🧠 Малые языковые модели догоняют большие, почти без потерь в качестве

Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.

📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.

Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.

📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.

💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.

📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443