⚪️ Progressive Disclosure : пробеги по граблям Skills и меморибанки


(Видимо,) В связи с активностью Vercel в отношении скиллов (запуск большой библиотеки Shills.sh) они тут исследование затеяли.

🔗 https://vercel.com/blog/agents-md-outperforms-skills-in-our-agent-evals

Суть их эксперимента в том, что они смотрели как агенты будут пользоваться скиллом, если туда пакануть документацию. Статья хорошая, прочитать стоит.

Что они обнаружили: что агенты не вызывают скиллы. "срезают углы" и идут простейшим путем. Можем не вызвать? не вызываем. Не новость (да, Опус?)!

Клозеды вот даже подучили как эвалы на свой скилл делать, чтобы смотреть когда он вызываетсяя, а когда - нет:

🔗 https://developers.openai.com/blog/eval-skills

В общем, проблема известная.

👉 Вкратце:
• просто поставить скилл почти совсем не помогает
• явный промптинг "используй скилл" уже заметно помогает
• лучше всего помогает если индекс явно грузить через AGENTS.md (индексный файл, ага) - но тогда теряется progressive disclosure
• думать надо именно в контексте progressive, то есть если сначала грузить документацию, а только потом смотреть на проект, то реультаты хуже чем если сначала смотреть на проект, а потом - в документацию. Это логично: агент будет знать чего смотреть конкретно и зачем.

При чем тут меморибанк? Дело в том, что я давно строю проекты с использованием именно меморибанков на progressive disclosure принципах (еще с тех времен когда они так не назывались - в закрепе канала индекс есть). И я давно свои флоу строю на явных директивных указаниях исследовать проект/меморибанк.

▶️ Vercel тут переоткрыл то, что давно было видно из практики работы с меморибанком: работают детерминированные этапы флоу - сначала готовим контекст явными промптами, потом работаем с ним. Для подготовки контекста принцип progressive disclosure работает хорошо - но только если его готовить.

Оставить все на откуп текущему поколению агентов нельзя, это не работает или работает неважно.

В следующем поколении, возможно (и скорее всего!) будет заметно лучше, раз скиллы настолько пошли в народ. Но пока - директивно праймим контекст.

(ц) А статейку то сами - прочтите, да!)

@deksden_notes