Проведено масштабное тестирование Jev Skill Suggestion против линейки моделей Claude: 26 навыков, 10 промптов и по 3 запуска на каждый тест.
Jev показал точность 90% при медианном времени ответа всего 330 мс. Для сравнения, Haiku справляется с точностью 80% за 1,24 секунды, а флагманские Sonnet, Opus и Fable выдают 100% результат, но тратят на это от 2,2 до 4,5 секунд.
Главное преимущество Jev в том, что он принимает решения в 4–14 раз быстрее конкурентов, при этом список навыков совершенно не расходует контекстное окно. Ознакомиться с полными результатами эксперимента можно здесь
Post #971
233

- 👍 2