Миша @koloskof предложил сделать обзор GStack от Гарри Тана, CEO YCombinator.
Я подумал, что стоит сначала разобраться, как вообще работает назначение ролей в промпте. Ведь это колдунство не меняет веса модели, не добавляет ей знаний, не увеличивает количество параметров и не расширяет контекстное окно.
Точно ли все эти «действуй, как CEO стартапа и серийный предприниматель» влияют на качество ответа?
Разумеется, LLM не имеет мнения ни по какому вопросу. Как мы уже обсуждали, всё, что делает модель — это предсказывает самый вероятный следующий токен. Но поскольку LLM обучена на колоссальном массиве человеческих текстов, она способна симулировать самые разные точки зрения.
Технически назначение роли — это способ управлять вероятностями предсказания.
Или, как изящно сформулировал Андрей Карпатый:
Мы призываем призраков
В архитектуре трансформеров есть механизм self-attention. Увидев в запросе токены «CEO», «стартап» и «предприниматель», он активирует соответствующие паттерны в весах. И модель вместо усредненного безопасного ответа (где RLHF занижает вероятность сложных терминов) начинает подбирать токены так, как это сделал бы CEO.
Так что там с GStack?
Гарри Тан опубликовал свой набор конкретных ролей (CEO, техлид, инженер-параноик, релиз-инженер, QA и др.) и скиллов (планирование, ревью, релиз, тестирование, ретро) с зашитыми предпочтениями самого Гарри.
Как мы выяснили выше, это действительно работает. Хотя вы наверняка захотите заточить эти скиллы под себя (за два дня с момента публикации уже более полутора тысяч форков на гитхабе).
Однако в подходе нет ничего нового. Например, в самом Claude Code в системном промпте зашита роль разработчика. А в моем исследовании «5 LLM в роли CEO» роли генерировались прямо в процессе выполнения верхнеуровневой цели по созданию стартапа. Аналогичный подход я использовал для создания @tdttMasterMindBot для мастермайндов — ведущий подбирает участников под ваш запрос. Еще одной очень популярной вариацией на эту же тему является фреймворк superpowers.
А ребята из Paperclip, про которых я недавно писал, анонсировали Clipmart — возможность качать целые «компании» агентов по клику.
В общем, подобных наборов на гитхабе over 9000. Этот конкретный неплох, но и ничем принципиально не отличается. Полагаю, что хайп случился из-за личности автора.
@devspotting