Andrej Karpathy пересмотрел свой подкаст, вышедший на днях и написал развёрнутый твит, суммирующий его прогнозы и мнение по затронутым в подкасте вопросам

Сделал перевод:

Мне было приятно прийти в гости к Dwarkesh на прошлой неделе, вопросы и разговор вышли действительно увлекательными.

Только что пересмотрел выпуск. Во-первых, да, знаю и извиняюсь - я говорю слишком быстро :). Это мне в минус, потому что иногда "нить речи" не поспевает за "нитью мысли", так что где-то я смазал свои объяснения; иногда я ещё и нервничал, что ухожу в сторону или копаю слишком глубоко в чём-то относительно второстепенном. В общем, несколько заметок по мной озвученному:

1) AGI-таймлайны. Мои комментарии о сроках AGI - это, кажется, самый виральный топик среди первых реакций. Фраза про "десятилетие агентов" отсылает к этому более раннему твиту: https://x.com/karpathy/status/1882544526033924438. Да, в целом мои таймлайны по ИИ примерно в 5-10 раз более пессимистичны по сравнению с тем, что вы услышите на усреднённой AI-тусовке в Сан-Франциско или увидите в своей ленте твиттера, но всё ещё довольно оптимистичны на фоне растущей волны отрицателей и ИИ-скептиков. Тут нет противоречия: по-моему, одновременно верно, что 1) мы увидели огромный прогресс в последние годы благодаря LLM, и 2) остаётся очень много работы (чёрновой, интеграционной, с новыми "оргнанами чувств" и взамодействием в физической среде, социальной адаптации, в вопросах безопасности - джейлбрейки, промпт инъекции и т. д.), а также рисёрча, прежде чем появится AI-агент, которого вы предпочтёте нанять вместо человека для любой интеллектуальной работы в мире. В целом горизонт в 10 лет - это очень "бычий" таймлайн для AGI; просто на фоне нынешнего хайпа он таким не кажется.

2) Animals vs Ghosts. Мой прежний разбор в подкасте у Саттона: https://x.com/karpathy/status/1973435013875314729. Я сомневаюсь, что существует один простой алгоритм, который можно "отпустить в мир", и он выучит всё с нуля сам. Если кто-то построит такое - я окажусь не прав и это будет самый невероятный прорыв в ИИ. По-моему, животные - вовсе не пример этого: эволюция "предустановила" в них на уровне инстинктов массу интеллекта, а "доучивание" у животных сравнительно невелико (пример: зебра при рождении). Мы, будучи инженерами, конечно, мы не собираемся воспроизводить эволюцию с нуля. Но с LLM мы нащупали альтернативный способ "предзапаковать" кучу интеллекта в нейросеть - не эволюцией, а предсказанием следующего токена по интернету [прим. стадия предобучения на всём интернете]. Это порождает иной тип сущности в пространстве интеллекта: не похожий на животных, а скорее на "призраков" или "духов" [прим. переводчика, вспоминается аниме Ghost in the Shell, "призрак в доспехах"]. Но мы можем (и должны) со временем делать их более "животными", и во многом именно этим сейчас занимается фронтирная работа.

[прим. переводчика: я думаю в твитте плохо пересказана идея за этой дихотомией типов интеллекта, которую Andrej раскрыл на подкасте. "призраком" он называет интеллект, который в большой степени учится через подражание когнитивной деятельности человека, а не калибрует методом проб-и-ошибок с нуля паттерны находясь в среде, как "животное". по крайней мере, если говорить о львиной доле обучения фронтирных LLM на 2025]