Вайбкодеры, имба: нашел бенчмарк, который чекает скиллы и промпты на «бесполезность» — SkillCheck

Что делает:
• Генерирует до 100 тектсовых заданий по теме скилла и прогоняет по ним нейронку 2 раза — со скиллом и без
• Во время сравнения ИИ-судья не знает, где какой ответ, поэтому оценка идет без предвзятости
• Далее выдаётся подробная сводка, что улучшилось, что ухудшилось и что вообще не изменилось
• Поддерживает все форматы .md файлов
• Может проверять сразу все установленные скиллы без повторных запусков

Нужная вещь, чтобы не тратить токены на бесполезные скиллы, а также тестить свои промпты.

Пет-проект