Забывание как фича, или почему AI не станет человеком

Посмотрел классное интервью Андрея Карпатого с Dwarkesh Patel. Ежедневно работаю с LLM, вижу как модели быстро меняются и перформят все лучше. Но это очень далеко от разговоров про AGI. Есть известный Amara's Law: люди склонны переоценивать краткосрочное воздействие новых технологий и недооценивать их долгосрочные последствия. Сейчас вижу именно это - оверхайп сейчас и недооценка долгосрочных изменений. Но самое интересное - не про временные рамки, а про фундаментальные различия между AI и человеческим интеллектом. Делюсь теми мыслями, которые больше всего понравились из интервью.


Мы строим призраков, а не животных
Карпатый говорит: "We're not building animals. We're building ghosts or spirits." Животные появились через эволюцию - миллионы лет оптимизации в ДНК. AI мы обучаем через имитацию людей и данных из интернета. Это совершенно другой процесс. Эволюция не дала нам готовое знание. Она дала алгоритм поиска знания - способность мозга учиться в течение жизни. Pre-training же дает модели готовое знание из интернета. Разница фундаментальная.


Забывание - это фича, а не баг
Дети плохо запоминают факты, но отлично учатся общим паттернам. LLMs запоминают все идеально - могут дословно воспроизвести текст из тренировочных данных. Карпатый объясняет: плохая память заставляет находить паттерны в более общем смысле. "That's a feature, not a bug, because it forces you to only learn the generalizable components."

Если не можешь запомнить все детали, вынужден найти общий принцип. Дети видят "лес, а не деревья". LLMs видят только деревья. Большинство параметров современных моделей - это не интеллект, а память. Интернет как датасет - это мусор, случайные символы, хлам. Чтобы сжать весь этот мусор, нужны огромные модели. Но большая часть работы - это память, а не мышление.

Нужно отделить cognitive core (алгоритмы мышления) от memory (факты). Модель должна уметь искать информацию, а не хранить все в весах. In-context learning (то что в контексте разговора) - это рабочая память. Pre-training (то что модель знает из обучения) - это смутное воспоминание о том, что читал год назад. Разница в 35 миллионов раз по количеству информации на токен.


Предел человеческого мозга
Сначала AI увеличивает производительность людей. Потом постепенно начинает выполнять задачи сам. Есть ли предел этого роста? Карпатый считает что AI продолжит тренд 2% роста GDP, как и все предыдущие технологии. Не будет дискретного скачка, будет плавное продолжение. Но я думаю что предел производительности человека упремся очень быстро. AI ускорит, появятся новые интерфейсы, но есть предел человеческого мозга. Уже сейчас тяжело - такое количество информации, очень сложно ориентироваться. Возможно, мы близки к пределу.


Чего не хватает
AI - это не дискретная революционная технология. Это естественное продолжение автоматизации, которая идет веками. Промышленная революция, компьютеры, компиляторы, IDE - все это звенья одной цепи. Но есть вещи, которых не хватает LLM, например, культура - модели не пишут книги друг для друга. AlphaGo играл сам с собой и стал лучше, но такого эквивалента для LLM нет. Модели еще "дети" - savant kids с идеальной памятью.


Вывод
Мы строим призраков, которые имитируют людей, но работают принципиально иначе. Они помнят все, но не умеют забывать. Они знают много, но не умеют искать. Они могут повторять, но не могут создавать культуру. Это не плохо, это просто другое. И понимание этого различия помогает не делать ложных аналогий и не переоценивать ближайшие горизонты, но и не недооценивать долгосрочные изменения.