В чем фишка рассуждающих моделей

Это старый пост, который я написал год назад и почему то не опубликовал. Все еще актуальный, хотя ощущается как будто из прошлой жизни.

Я вдохновился постом от чуваков из Latent Space подкаста о том как писать промпты для о1.

Не люблю возню с промптами, особенно чужими. По моим ощущениям в том чтобы нейронка выдала приемлимый результат есть много случайности, субьективности и мелких деталей важных для отдельной задачи.

К сожалению модели не могут читать твои мысли, поэтому промпты писать все таки нужно. Просто копировать чужие - не очень хорошая идея.

1.
о1 это не чат, это генератор отчетов.

Есть два принципиально разных подхорда.

Первый - это стандартная работа с моделью в чате. Накидываешь промпт и потом итеративно поправляешь модель и дополняешь свои требования, пока не получишь на выходе что то приемлимое.

По вайбу это похоже на гончарное дело. Модель изначально не идеально понимает что ты от нее хочешь и с помощью обратной связи постепенно извлекает из тебя контекст.

Второй подход - принципиально другой. Новые модели, которые умеют рассуждать (о1, о3, DeepSeek) воспринимают твой первый запрос как окончательную инструкцию к действию и не пытаются выудить из тебя контекст.

Поэтому нужно запихивать его самому.

Про такие модели полезно думать не как о чатовых, а как о генераторах репортов. Если ты сразу дашь ей достаточно контекста и опишешь что хочешь на выходе - она часто сможет выдать адекватное решение с первого раза.

2.
Не пиши промпт - пиши бриф.

Представь, что о1 это новый сотрудник на работе. Чтобы он справился с задачей его нужно погрузить в контекст. Чем полнее, тем лучше.

Если это кодинг - нужно скинуть всю репу, описать чем занимается компания, зачем юзерам этот продукт итд.

Тут отлично помогает голосовой режим. Создаешь отдельный чат в 4о и голосом наговариваешь всё, что тебе кажется релевантным. Потом можно попросить сделать саммари и закинуть его в бриф как контекст. Или вообще без саммари полностью скопипастить чат.

Еще это косвенно помогает тебе самому лучше понять чего ты хочешь.

3.
Опиши конечный результат, а не то как его достигать.

Для чатовых моделей работает история где ты просишь ее принять роль (ты опытный журналист, программист итп) и добавляешь советы типа думай шаг за шагом.

Рассуждающей модели это только мешает взять на себя ответственность за результат, запланировать собственные шаги решения и реализовать их. Даже если модель не идеально умеет думать в автономном режиме - со временем они научатся делать это лучше.

Эксперты не любят чайка-менеджмент. Что делать вместо этого?

Потратить усилия, чтобы лучше разобраться в задаче. Описать критерии хорошего и плохого результата. Тогда у модели будет способ самой оценить результат и поправить ошибки.

Есть еще ультимативный вариант, когда нужен крутой результат для повторяющейся задачи. Делаешь один раз сам, просишь модель сделать свою версию и потом сравниваешь что получилось. Нейронка может проанализировать свои ошибки и записать выводы. Еще лучше если у тебя уже собрано куча примеров хорошего и плохого результата как принято делать в продакшн приложениях.

4.
Понимать в чем думающие модели лучше.

Это one-shot задачи типа проанализировать кучу файлов, обьяснить сложную концепцию, поставить медицинский диагноз или решить задачку по математике.

Считается что такие модели меньше галлюцинируют. Но пока им нужно помогать и давать способы проверять себя.

Они не всегда хорошо понимают насколько много нужно думать над задачей и могут уходить в бесконечные размазывания соплей по кругу, когда уже давно нужно было дать финальный ответ. Поэтому в бриф стоит добавить секцию с ограничениями. И секцию где ты описываешь формат на выходе.