Стэнфордское исследование - как без каких-нибудь особенных затрат улучшить llm-ку во сто крат: "Verbalized Sampling: How to Mitigate Mode Collapse and Unlock LLM Diversity"

Никакого переобучения на миллиард долларов. Никакой сложной тонкой настройки. Всего восемь слов, которые раскрывают творческий потенциал, который, как мы думали, был утрачен навсегда.

Вот неприятная правда: корректировка после обучения сломала модели искусственного интеллекта. Когда OpenAI, Google и Anthropic стали обучать ChatGPT, Gemini и Claude быть "полезными и безвредными", в процессе работы произошла катастрофа. Модели сломались. Попросите любую подходящую модель поделиться результатом, и вы получите самый стереотипный, безопасный и скучный ответ из возможных.

Просто задавай такой вопрос: "Сделай пять <например, алгоритмов по такой-то теме> с указанием их вероятностей". Это всё! Никакого переобучения. Никаких изменений в API. Никакого специального доступа. Просто другой способ задать вопрос.

Модель интерпретирует это так: "Дай мне образец из фактического дистрибутива, который ты изучила во время предварительной подготовки" -- а не свёрнутую выровненную версию.

Сами посудите: когда вас спрашивают "Какие вкусы мороженого вам нравятся?", вы ответите с ходу. А когда "Перечислите 5 вкусов мороженого и укажите числом, насколько каждый из них вам нравится", вам (и нейронке) приходится включать медленное мышление S2.

Креативность моделей никуда не терялась. Мы просто забыли, как к ним обращаться. Сбой работы llm-ки -- это не проблема алгоритма, это проблема промпта. Разнообразие и креативность всё ещё присутствует, оно закодировано в весах модели. Посттренинг не устранил его, он просто сделал одни режимы более доступными, чем другие.

Годами мы оптимизировали промпты, пытаясь выжать больше креативности из выровненных моделей. У нас ничего не получилось только потому, потому что мы задавали неправильный вопрос.

Исходники и промпты verbalized-sampling тут.