Philipp Schmid про agent skills: сначала eval, потом публикация (Рубрика #AI4SDLC)

Посмотрел короткое выступление Philipp Schmid из Google DeepMind «Don't Ship Skills Without Evals» . Главный тезис простой: skill меняет поведение агента, поэтому выпускать его без проверки - примерно как менять код без тестов.

Schmid предлагает проверять не то, прочитал ли агент SKILL.md, а итог работы. Для этого каждому skill нужен небольшой набор задач: где он должен подключиться, где не должен и какой результат считается правильным. Сначала хватит обычных проверок через скрипты и регулярные выражения; LLM-as-a-judge нужен только там, где результат нельзя проверить детерминированно.

Вот как примерно выглядит алгоритм автора, который можно забрать себе

1. Выбрать один часто используемый skill.
2. Написать пять тестовых запросов: позитивные, негативные и один реальный проблемный кейс.
3. Для каждого задать проверяемый результат, а не обязательную последовательность действий агента.
4. Несколько раз прогнать задачи со skill и без него в изолированном окружении.
5. Удалить no-op инструкции. Если skill не улучшает результат — удалить и его, а eval оставить для регрессии.

Дальше этот набор стоит расширить до 10–20 кейсов и запускать при каждом изменении skill и обновлении модели.

Итого, SKILL.md - это не документация «на всякий случай», а часть агентной системы. Его ценность определяется не объемом инструкций, а измеримым изменением результата.

#AI #AI4SDLC #Agents #Evals #Engineering