В Claude Code появилась прикольная новая штука - claude plugin eval.

Теперь можно нормально проверить, реально ли ваш плагин или скилл делает Claude лучше, а не просто кажется, что с ним результат получше.

Работает всё довольно просто. Claude создает набор тестовых задач, прогоняет их с вашим плагином, а потом повторяет те же задачи уже без него и сравнивает результаты.

Для начала открываем папку плагина и запускаем:

claude plugin eval init

Claude спросит, какой результат вы считаете хорошим, сам предложит тестовые промпты и проверки, а затем сделает пробный прогон.

После настройки запускаем:

claude plugin eval

По умолчанию каждый тест прогоняется несколько раз с плагином и без него. В итоге прямо в терминале видно, где плагин реально дал улучшение, а где от него толку почти нет.

Плюс создается подробный HTML отчет. Если аккаунт поддерживает Artifacts, его можно получить ещё и в виде приватного артефакта.

Для первого быстрого прогона можно использовать:

--runs 1

Но один запуск может дать нестабильный результат, поэтому финальные выводы лучше делать уже после нескольких прогонов.

И тестируйте только плагины, которым доверяете.

YOUTUBE | ЧАТ