О классификаторах.

Прогнал тесты по актуальным классификаторам ( не по всем, что было под рукой), делюсь результатами

Взял пять компактных моделей и прогнал их на одной машине (Apple M5 Max, 128 ГБ).
Всего получилось около 300 тестовых примеров.
Набор специально собирал с подвохами: отрицания, перефразировки, «ловушки» и спорные случаи.

Что получилось:
🔍 Qwen3-Reranker-0.6B (поиск нужного документа): 101 правильный ответ из 103, около 38 мс на запрос. Слабое место, - вопросы с отрицанием вроде «что НЕ вызывает…»: модель видит совпадение темы и не учитывает «не».

🧩 GLiNER2 (извлечение данных из текста): 0.956 по поиску сущностей и 0.96 по классификации, без дообучения.
Схема задаётся словами прямо в запросе. На русском надёжно извлекает только сущности.

🎯 Модели для решений по типу Jev, - новый класс. Они не пишут текст, а выбирают вариант переменной из списка и сообщают, насколько уверены.
На тесте по сортировке 100 обращений клиентов:

Nimble (Ollama 0.35) — лучший: 0.82 при выборе отдела и честная уверенность (ECE 0.081). Однако при этом она медленнее и больше ест памяти: 344 мс и 9.5 ГБ.

Laya — в 12 раз быстрее (28 мс, 1.6 ГБ), но точность ниже, 0.68, и уверенность нужно перекалибровать на своих данных

CLM-8B без дообучения использовать нельзя: 0.33 и уверенность, никак не связанная с точностью.

Главные выводы:
Важна не только точность, но и «калибровка»
Нужно измерять уверенность модели: уверенные ответы обрабатывать автоматически, если уровень самоуверенности модели низкий, - передавать человеку.

Nimble и Laya ошибаются в разных местах: из 45 ошибочных обращений обе промахнулись только на пяти. Их можно использовать в связке.

Сто примеров с трудными случаями показали то, что не заметно на 3х примерах: плохую калибровку, провал на оценке риска ухода и «1 мс» задержки, которая оказалась кэшем.

Так же подготовил презентацию-мастеркласс по этим тестам.
Кому интересно, - залетайте, забирайте.

Полная презентация, как и другие полезные материалы и записи эфиров, в ИИзбранном.

#классификаторы #презентации #руководства
———
@tsingular