Ограничения LLM
Недавно у меня был спор с моей подругой о том, на сколько современный эйай, ChatGPT в частности, близки к AGI, умнее ли они людей, а если нет, то на сколько близко время тотальной доминации искусственной мысли над человеческой. Параллельно мне посоветовали посмотреть интервью Лекса Фридмана с Ян Лекуном, очень крутое, к слову. Совместно, эти два диалога: один на кухне, второй в студии, настроили меня на то, чтобы покрутить с вами некоторые идеи.
Мысль №1:
Оценка всех имеющихся текстовых данных для обучения LLM равна 2*10^13 байтов - если читать по 8 часов в день, то нам понадобится 170 лет для потребления этого объема знаний. При этом исследования показывают, что объем информации, который поступает через зрение к 4 годам жизни человека равен 10^15 байтов. Вывод тут простой - через органы чувств мы получаем гораздо больше информации, чем через язык.
Мысль №2:
А вообще что такое текст? "Всякая записанная речь" говорит интернет. А что такое речь/язык? (тут уже будет мое объяснение) Это способ описания всего происходящего. Нам дан этот мир, с его физическими законами, с его многообразием, а язык это методика, однажды избранная человеком (рукотворная) для того, чтобы описать весь этот мир. И тут возникает логичный вопрос, а являются ли пространство языка и пространство нашего мира равномощными? Можно ли через текст описать все то, что происходит вокруг? Хотя бы можно ли описать через текст все то, что человек способен воспринять через органы чувств, возвращаясь к первой мысли? Если да, то тогда первая мысль не так важна и мы можем сказать, что ранг матрицы, описывающий мир и ранг текстовой матрицы равны, что конечно, контринтуитивно. Сжатый аргумент от Лекуна: когда вы что-то представляете - вы не делаете это на каком-то языке, сказать какую-то мысль это уже и есть уйти от более абстрактного уровня представления на котором мы, например, планируем, что хотим сказать или в целом "размышляем".
Мысль №3:
Самый очевидный орган чувств - это зрение, а в машинном обучении эту тему давно уже глубоко прокопали. Давайте подружим тексты и зрение, частично избегая ответов на холиварные вопросы из 2 пункта. Идеи есть, например Chameleon или LLaVA. Основная суть - давайте картинки превратим в вектора, а потом эти вектора превратим в текстовые токены и добавим их к обычному тексту, после чего засунем в языковую модель. Получаем модель, которая как бы умеет работать и с картинками и с текстами одновременно, более умного подхода пока не придумали. Но превращая картинки в текст мы фактически уже теряем то, к чему стремились, мы опять сжали пространство до текста. Помимо этого есть большая душноватая статья про исследование такого подхода, которая пытается понять на сколько "визуальный" текст живет по законам лингвистического, вывод в статье: на язык это не похоже, а значит с визуалом надо работать иначе.

В сухом остатке, большие языковые модели - это прорывная технология, способная очень сильно упростить нашу повседневную жизнь, инструмент, который, в правильных руках, способен на невероятные вещи. При этом, текущие известные подходы к созданию моделей далеки от того, чтобы сделать Искусственный Интеллект. Случится ли это однажды - вопрос лишь веры, факт заключается в том, что человечество пока не придумало методику, которая бы намекала на то, что это случится скоро.

Как мне кажется куда все идет: языковые модели все больше будут идти в ризонинг - CoT от o1 и тд. При этом тут я не ожидаю больше каких-то невероятных прорывов. Фокус будет возвращаться к визуалу, а скорее всего именно в видео. Генеративные модели для видео - это новый прорыв в понимании окружающей действительности. При этом все больше статей будет выходить про работу с мультимодальными данными, пытаясь подружить картинки и тексты каким-то совершенно иным образом.

Спасибо, что поразмышляли вместе со мной - пишите ваши мысли и вижен в комментариях, продолжим разгонять там. Выхожу из новогодних каникул, цели на канал в 2025 большие, давайте пройдем этот путь вместе!

@lechim_ai