almaburu
TECH

Суп из семи гиперлуп
Хайперлуп понемногу становится реальностью, маск начал подумывать в сторону того что боринговы тоннели неплохо бы переоборудовать под маглевы, ну и hyp1 не отстает и прогнала в неваде тележку на 600км/ч.
Это с одной стороны не очень похоже на то что изначально задумывалось (кольцо с ударной волной, идущей в одном направлении и скоростью в 1400 км/ч), но и то что все свелось из "давайте сделаем неведомую ебаную хуйню" к "давайте сделаем обычный маглев в вакуме" уже неплохо.

Одна из суперспособностей маска - это брать какую нибудь ебанутую идею и говорить: "а давайте сделаем", после чего все начинают срать кирпичами и говорит "ОООО ГОСПОДИ КАК МАСК УМЕН И ПРОНИЦАТЕЛЕН".
Это реалити варпинг в чистом виде, на мой взгляд, потому что никто пока не умеет брать и переводить проблемы из вселенной абстрактных во вселенную инженерных.

Я ставлю на маска с его подземной идеей - калифорния уже двадцать пять не может построить простую железную дорогу поверху, вряд ли смогут и остальные.

AI

Куда делся такой ошеломительный хайп который охватил нас в 2016 году? Пока не очень непонятно.
Ладно, imagenet до 99% довели и остановились на этом.

Гугл публикует заметку о том что модель обученная на нескольких задачах демонстрирует буст перформанса сразу во всех из них (в случае гугла это не модель а прямо таки Модель или даже МОДЕЛЬ, которая и переводит и картинки смотрит и речь распознает), и это то о чем мы все это время догадывались но точно не были уверены - есть скрытые параметры, которые определяют связь в нейчрал ленгвич процессинг задачах, и более широкая модель их сразу выявляет.
(Хозяйке на заметку: хотите быть лучше в своей доменной области - изучайте смежные дисциплины, вот мораль этой истории).

Пока это кажется то, куда идет весь большой ИИ - большие, жирные, суперуниверсальные модели.

OpenAI: шум внутри модели повышает перформанс (сильно). Почему - неизвестно, а) более гибкое поведение модели и стохастический режим работы нейронов совсем как в межушном нервном узле у людишек или
б) шум заставляет модель компенсировать его изнутри что улучшает общую стабильность)

На почитать:

timdettmers.com/2015/07/27/brain-vs-deep-learni... - очень крутая статья про нейробиологию, tl;dr - за последние 10 лет нейробиология усложнилась на два порядка и то что было известно о мозге почти полностью устарело.
Абсолютно все выводы, которые делает Тим мне кажутся нытьем и передергиванием, но статья пока лучшее что мне попадалось.

www.youtube.com/watch?v=vHlbC74RJGU
Стенфорд и его нейроморфные чипы, tl;dr - аксонные терминалы.

ML в 2017, тезисно:
Главная проблема ML в том, что все работают с дифференцируемыми сетями (дифференцируемые - значит можно посчитать производную, значит можно вычислить градиент в N-мерном пространстве параметров и найти локальный минимум, почему кстати не глобальный минимум?), а мозг почти (?) наверняка (??) не дифференциурем, во всяком случае себя он дифференцировать не пытается, во всяком случает нет известного механизма, который вот так бы продифференцировал 100 милилардов нейронов, а потом бы с полученой производной их ВСЕ поменял.

Вторая главная проблема на мой взгдяд это то что мы в условном 1980м году и работаем на эквивалентах ламповых компьютеров, нужны GPU с терабайтной памятью минимум, а лучше кластер и софт тоже до истерического смеха плох, если мы три тысячи тензоров не можем на двух картах распаралелить то о чем уж тут говорить. В общем, пока нет нам сингулярности.