claude plugin eval 🎉Теперь можно посмотреть, какую пользу на самом деле приносит ваш плагин и не требует ли он доработки.
Можно создать тестовые случаи, прогнать на них плагин или навык, оценить результаты, а затем повторно запустить каждый тест уже без плагина и сравнить разницу.
Начните в папке вашего плагина и выполните:
claude plugin eval initВы объясняете Claude, как выглядит хороший и плохой результат, и даёте несколько реальных промтов. Claude сам набрасывает тестовые случаи и проверки, делает пробный прогон набора и сообщает, сколько будет стоить полный запуск.
Затем выполните:
claude plugin evalВ терминале вы увидите оценку каждого тестового случая с вашим плагином и без него, а также получите HTML-отчёт со всеми подробностями. Если ваш аккаунт это поддерживает, отчёт также публикуется как приватный артефакт.
Проверки вызывают модель, поэтому расходуют токены, а результаты могут отличаться от запуска к запуску. Перед полным прогоном сначала сделайте пробный запуск через:
--runs 1Хуки и MCP-серверы вашего плагина выполняются от вашего имени, поэтому проверяйте только те плагины, которым доверяете.
Чтобы попробовать функцию, выполните:
claude updatehttps://code.claude.com/docs/en/plugin-evals