Размышляющая языковая модель — Reasoning Language Model
Если использовать аэрокосмическую метафору, то можно сказать, что с выпуском новой модели о1 от OpenAI отрасль ИИ шагнула в сверхзвуковую эру турбо-реактивной тяги, когда было окончательно освоено небо. В рамках этой метафоры уверен, что в ближайшие годы есть все шансы свидетельствовать покорение космоса. Новое поколение языковых моделей в корне меняет способ мышления и решения задач искусственным интеллектом.
Эволюция языковых моделей (LLM)
Кратко рассмотрим, как развивался ИИ в последние годы:
— На заре развития LLM (2018–2021) исследователи обучили ИИ предсказывать каждое следующее слово. Это было похоже на продвинутую функцию автозаполнения.
— Затем ИИ поощряли быть не просто адекватным и правдоподобным. Люди показывали пример как при этом быть полезным, безопасным и честным. В 2022 появились чат-боты, претендующие на роль цифровых собеседников и помощников.
— Сейчас мы вошли в новую парадигму. Главная цель? Быть “объективно правильным”, а не просто полезным. Проще говоря, не ошибаться или скорее ошибаться меньше других (людей, ИИ).
Что нового?
Новейшее поколение моделей теперь вместо того чтобы выдавать первый пришедший в голову ответ, учатся думать объёмно:
— Рассуждать перед тем, как "говорить": ИИ генерирует длинную цепочку рассуждений перед тем, как дать окончательный ответ. Это похоже на то, как ученик решает задачу на черновике, прежде чем записать окончательный ответ.
— Учиться на успехе: модель ИИ “получает награду" за правильные ответы (и рассуждения), а не просто за правдоподобные. Это как если бы мы хвалили ученика больше за верные ответы, а не просто за исписанные листы.
— Время на размышление: Новым моделям дается время на обдумывание. Это как дать ученику дополнительное время на экзамене, чтобы проверить свою работу.
Почему это важно?
Этот новый подход приводит к значительному прогрессу:
— ИИ становится очень хорош в сложных предметах: математике, программировании и научных рассуждениях.
— В некоторых областях эти ИИ начинают работать на уровне (и лучше) экспертов-людей.
— Способ решения задач этими ИИ приводит к новым, творческим решениям, о которых люди могли бы и не подумать.