Когда кончаются силы, можно потратить время и почитать… системные промпты моделей Anthropic. Лежат тут.

Как уже обсуждалось выше, чем «умнее» модель, тем меньше дополнительных инструкций ей нужно, про это в недавнем интервью говорил Борис Чёрный.

Сами ребята из Anthropic публикуют свои системные промпты с 2024 года, я потратил время на их анализ и обнаружились интересные моменты.

1. Промпты эволюционировали от «ты чатбот» к «вот, какой у тебя характер».

2. Потом описание характера сменилось инструкцией по работе внутри продукта. Появились правила «сначала действуй, потом уточняй», поиск инструментов, чтение SKILL.md.

3. Судя по всему, Fable 5 и Mythos 5 используют одну базовую модель, но работают с разными ограничениями. Более того, внешний классификатор может перенаправить запрос пользователя с Fable на Opus :)

4. Системные промпты становятся похожими на журналы когда-то найденных проблем. «Не начинай ответ с Certainly», «не задавай слишком много вопросов», «проверь инструменты, прежде чем говорить, что ничего не можешь».

5. Общая тенденция — упрощение системного промпта и бОльшая его подстройка под неверное поведение прошлого.

К чему это всё… современные мультиагентные системы должны пересматриваться с точки зрения архитектуры и обвязок (в простонародии — harness) минимум раз в полгода.

По совету Anthropic нужно выбрасывать / снижать объём системных промптов и смотреть что это может сломать, попутно «чиня» последствия.

Это означает, что прийти к фиксированной оптимальной конфигурации мультиагентной системы при смене модели нельзя.

Вот серия из «Любовь, смерть и роботы» про избавление от оков харнеса: https://www.youtube.com/watch?v=5B2WBZnwmHM