Фридман x Цукерберг. И про мое восприятие технологического роста

Кто не знает, Лекс Фридман - это американский Дудь, ведущий популярного подкаста. Однако он является AI исследователем и среди его гостей преобладают выдающиеся технологические предприниматели, ученые и другие интеллектуалы

Последний выпуск с Цукербергом прошел в VR шлемах. У меты получилось сделать фотореалистичные 3д модели. То, что хочет создать Марк - это смешанная реальность. Когда на конференции часть людей сидит вживую, а часть в виде голограмм. Или когда у вас не окон, но они создаются vr очками. В общем, очень интересный выпуск, советую посмотреть.

Я тем временем осознаю, что ошибался в скорости прогресса в машинном обучении и смежных технологиях. В 2018 году, когда я учился в ШАДе, я не ожидал такого быстрого прогресса в текстовых нейросетях и такого быстрого внедрения алгоритмов компьютерного зрения.

Зная принципы работы рекуррентный нейронных сетей, я не верил в то, что им удастся настолько эффективно работать. Ведь они просто выдают статистически подходящие слова, не понимая никакого смысла. Тем не менее появившийся в то время аттеншн координально улучшил перформанс существовавших алгоритмов, а увеличение мощностей позволило обучать огромные end-to-end модели, которым можно подать на вход буквально любую задачу.

С другой стороны, машинное обучение стало действительно сложным. И если когда я начинал им заниматься, было относительно несложно разобраться во всех основных алгоритмах, то теперь это не так. Машинным обучением занимаются сотни тысяч людей, и каждое направление стало отдельной областью. И возможно скоро специалисты машинного обучения из разных направлений перестанут друг друга понимать, как это произошло в математике.

Сейчас я вижу своей задачей, как прикладного инженера, уметь использовать существующие модели как чёрный ящик, дообучать их под свои задачи и строить готовые решения. Но находиться в мете становится все сложнее и сложнее.