Зачем учить нейросеть рассуждать?

Заметили, как ChatGPT теперь часто подолгу «думает» перед ответом? Это происходит потому, что теперь в его последнюю версию по умолчанию встроена рассуждающая модель, которой отправляются все сложные запросы. Рассуждающие модели — ответ на замедление прогресса LLM с 2023 по 2025. Сегодня ведущие LLM показывают в тестах очень близкие результаты, а разница между последними поколениями ощущается все меньше и меньше. Один из вариантов решения этой проблемы – научить модель «рассуждать». Ведь если попросить LLM в запросе «думать по шагам», это значительно повысит качество ответов. Рассказываем, как LLM обучают таким размышлениям.

Почему развитие замедлилось?

Практически все современные LLM основаны на архитектуре Transformer. Одно из её главных преимуществ — масштабируемость: если увеличить модель и данные, улучшится качество ответов. Правда, с определенного момента с ростом размера и данных начинает падать темп улучшения и наступает эффект diminishing returns (исчезающей выгоды). Другими словами, дальнейшее масштабирование модели Transformer становится скорее убыточным, поскольку затраты на вычисления не дают сопоставимого улучшения качества.

Что с этим делать?

Рассуждение — нетривиальный и долгий процесс, но он может стать вариантом решения этой проблемы. Собирать качественные рассуждения вручную (особенно в большом объеме) и автоматизировать этот процесс не так уж просто, поэтому в основном используют два метода. Первый — с помощью обучения на ответах модели, собранных благодаря Chain-of-Thought промтингу (о нем мы уже рассказывали здесь), второй — через обучение с подкреплением (вот тут о нем можно узнать подробнее). Второй способ сложнее, но именно он используется практически всеми разработчиками рассуждающих моделей.

Уже есть первые результаты?

Первую успешную рассуждающую модель выпустила компания OpenAI, она получила название o1. О деталях ее создания известно мало, и мы не знаем, как именно ее обучали рассуждать. Зато через несколько месяцев компания Deepseek смогла создать большую рассуждающую языковую модель DeepSeek R1 и выложила в открытый доступ как саму модель, так и статью, детально описывающую масштабируемый способ обучения рассуждению. Это позволило open-source разработчикам создавать свои собственные рассуждающие модели.

Больше о самих рассуждающих моделях, методах обучения, проблемах и перспективах развития, узнаете из полной версии нашего материала.

Время чтения: 14 минут

🤖 «Системный Блокъ» @sysblok