Почему AGI не за углом 1/2

Дисклеймер: аналогии, приведенные в посте, лишь упрощенно описывают, как устроены LLM.

Грустно это осознавать, но в ближайшие годы мы не увидим никакого AGI (Artificial General Intelligence). Вполне вероятно, что мы увидим что-то очень близкое, почти неотличимое от AGI, но не более.

Но почему? Иронично, но причина в том же, почему у нас есть настолько продвинутые модели — RL (Reinforcement Learning).

Вся суть RL сводится к тому, что LLM пробует случайные действия и смотрит, как они влияют на конечный результат. За правильные действия она получает награду, за неправильные — штраф. Таким образом LLM со временем меняет стратегию так, чтобы максимизировать суммарную награду.

Для более наглядного примера представим собаку и две кнопки. Одна кнопка даёт еду, другая — ничего не делает. Собака нажимает на кнопку, получает еду, и в следующие разы начинает склоняться к этой кнопке. Если награду поменять местами, ей потребуется время, чтобы это заметить. Она не понимает причин, почему еда перемещается с одной кнопки на другую, но знает, что если нажать на правильную кнопку — получишь еду.

Ключевое здесь то, что LLM, как и собака, не понимают, почему происходит то, что происходит, но оба стремятся к вознаграждению. Непонимание просто проявляется на разных уровнях: собака не понимает механику двух кнопок, а LLM — многослойную структуру из миллиардов или даже триллионов параметров. Модель настраивает эти параметры так, чтобы генерируемый текст был максимально согласован с тем, что она видела в данных обучения. Это создаёт иллюзию «понимания», хотя фактически модель действует через статистические связи, а не осознанные причины и цели.

Итог в том, что в финальной точке такого развития мы можем получить модель, практически неотличимую от человека по интеллектуальным проявлениям, просто потому, что за квадриллионы итераций она довела искусство подражания до совершенства. Она никогда не будет понимать, чего человек от неё хочет, в буквальном смысле понимания, но научится настолько убедительно копировать наши мысли и шаблоны, что иллюзия мышления станет полной.

Для реального AGI нужны качества, которых в текущих архитектурах нет: устойчивое моделирование мира, перенос знаний между доменами, автономное формирование целей, полноценное причинное понимание контекста, а не имитация такого понимания.

Но что, если выкинуть из AGI ту часть, где система становится автономной? Тогда мы получим действительно мощную модель, способную выполнять широкий спектр задач по указанию человека. Казалось бы, отличная перспектива! Однако и здесь всё упирается в ограничения RL.

RL лежит в основе финальной доводки модели, но вместе с этим делает модель менее обобщённой. RL постепенно приучает её к безопасным, «правильным» паттернам, которые мы от неё ожидаем. Чем точнее мы задаём рамки поведения, тем точнее модель держится этих рамок. Но есть и оборотная сторона: с каждой новой итерацией корректировки снижается способность к неожиданным выводам. Модель становится аккуратнее, но менее гибкой. Вы можете увидеть это на примере GPT-5: она умнее, но одновременно заметно более «консервативна» в своих ответах. Она реже выходит за пределы ожидаемого, реже предлагает нестандартные ходы и гораздо осторожнее обращается с неопределённостью.

Возникает парадокс: чтобы приблизиться к AGI, системе нужны мощные способности к обобщению, а чтобы сделать её надёжной, безопасной и контролируемой — нам нужен RL, который эти способности сужает. Две цели, которые тянут систему в противоположные стороны. Или это можно обойти?