Как создать свою модель принятия решений на базе LLM

Для задач с фиксированным выбором (например, тесты A/B/C/D) можно использовать LLM как классификатор. Вместо генерации текста модель ограничивается выбором одного из заранее заданных токенов. Это позволяет делать предсказания за один проход, значительно ускоряя работу.

Однако модели часто страдают от «излишней уверенности»: их вероятностные оценки не всегда отражают реальную точность. Например, даже при высокой уверенности модель может ошибаться в неоднозначных вопросах.

Чтобы исправить это, применяется калибровка через температурное масштабирование. Подбор оптимального параметра температуры помогает выровнять распределение вероятностей так, чтобы они соответствовали реальной точности модели.

• Исходная точность: 59.38%
• Точность после дообучения: 62.41%

рекомендуем:
@TheVergeRussia