Простите, был неправ

За почти полгода ведения канала я перечитал около сотни статей, и за это время мои взгляды на большую картину происходящего в ML изменились.

Меня в первую очередь интересует изобретение интеллекта, превышающего человека. Приложения типа генерации красивых картинок, текстов, рекомендации - это интересно, но настоящая революция произойдёт тогда, когда научно-инженерный прогресс начнёт двигаться с помощью того, что не упирается в человеческие лимиты. Важно, что я говорю только о научно-инженерном прогрессе, а не о тотальной власти роботов, т.к. идеи коммунизма отвергаются при первой же попытке трезво взглянуть на реальность.

Что не изменилось за полгода? По-прежнему я не верю в языковые модели. Да, у них есть ряд интересных приложений, но они не обретут сверхчеловеческий интеллект, сколько не файнтюнь их на полайканные диалоги. Но у этого LLM-помешательства есть выгодополучатели - паникёры, стартаперы, а также желающие зачистить рынок от конкурентов с помощью насилия. Поэтому этот хайп может продолжиться вплоть до того, что какую-то из языковых моделей объявят AGI, а потом скажут, что она не захватила мир только потому, что на тестирование её "безопасности" потратили 2 миллиарда долларов.

Держа в голове это, я искал другие подходы. Я писал про них серии постов, много часов просто думал, и в конце концов пришёл к печальной мысли - вполне вероятно, интеллект слишком сложно (для человечества) спроектировать. Наша инженерия пользуется принципами, противоположными тому, как устроен человеческий мозг. Пытаться спроектировать интеллект - это как пытаться написать программу на C++, которая только с помощью ифов пытается отличить кошку от собаки на фотографии. И я сильно заблуждался, пытаясь изучать разные способы это сделать.

Сейчас я думаю, что мы можем создать интеллект только с помощью оптимизации, но такие подходы находятся в зачаточном состоянии, и ими мало кто занимается. Но я буду теперь более пристально следить за прогрессом в мета-обучении. Надеюсь, вам тоже это интересно.

@knowledge_accumulator