Сегодня я бы хотел донести до вас интересную точку зрения на то, как устроены внутренние процессы работы ИИ.
Илья Суцкевер, сооснователь OpenAI, утверждает, что задача предсказания следующего токена в больших языковых моделей – не просто статистическое копирование шаблонов, а сложный процесс, способный выявить глубокие закономерности.
По его мнению, если модель действительно достаточно «умная», она сможет выйти за рамки простой имитации и смоделировать поведение идеального человека, даже если такого человека не существует в реальности (и, по его мнению, этого уже достаточно, чтобы подойти к AGI).
Такая точка зрения подразумевает, что генерация ответа не ограничивается статистическим анализом данных, а модели необходимо «понимание» фундаментальных принципов, которые управляют человеческим поведением.
Именно это понимание позволяет моделям не только выдавать статистически вероятный ответ, но и формировать целостное представление о мире, которое в свою очередь служит основой для экстраполяции поведения, выходящего за рамки обыденного опыта.
Что, если я скажу, что большие языковые модели не просто предсказывают следующий токен в ответ на запрос, а уже на ранних этапах формирования ответа «заранее планируют» его характеристики?
Исследователи из Шанхайской ИИ-лаборатории представили статью «Emergent Response Planning in LLM», в которой описали феномен «эмерджентного планирования»: скрытые слои модели могут содержать информацию о параметрах будущего ответа.
Исследователи использовали так называемые пробы — простые нейронные сети, которые обучались предсказывать эти параметры, анализируя скрытые слои до начала генерации текста.
Результаты оказались поразительными:
• Структурные атрибуты (например, длину текста, наличие последовательных шагов рассуждений или даже стиль повествования) можно предсказать с высокой точностью;
• Смысловые характеристики (какой персонаж появится в тексте, какие ключевые слова будут использоваться, или какой вариант ответа выберется в тесте с вариантами) также были доступны в скрытых слоях модели;
• Поведенческие атрибуты, такие как уверенность в правильности ответа, выявлялись еще на ранних этапах обработки запроса.
Эти выводы опровергают традиционную точку зрения о том, что большие языковые модели работают исключительно на уровне локального предсказания следующего токена.
На самом деле, модель уже имеет некоторое «видение» того, каким будет ее итоговый ответ, еще до его формирования. А более крупные модели только улучшают планирование.
Почему это открытие имеет большое значение? Если мы можем «заглянуть» во внутренние слои модели, то появляется возможность вмешиваться в процесс генерации.
Например, можно заранее настроить модель так, чтобы она генерировала ответы определенной длины или с заданной структурой (на данный момент, если в промте указать требуемую длину ответа, модель будет следовать ей нестрого). Или можно более прозрачно объяснять и управлять поведением ИИ-агентов.
Также есть возможность разработать механизмы раннего обнаружения нежелательных ответов. Например, если внутренние слои показывают низкую уверенность в ответе или предвзятость, можно на ранней стадии скорректировать дальнейшую генерацию, экономя на вычислительных ресурсах.
Эмерджентное планирование можно охарактеризовать как способность ИИ-систем самостоятельно разрабатывать стратегии для достижения поставленных целей, выходя за рамки простого распознавания шаблонов.
Это открытие меняет наше понимание работы ИИ, позволяя не только глубже вникнуть в его внутренние процессы, но и существенно улучшить контроль за генерацией текста и работой ИИ-агентов.
#исследования