админ - @workakkk
@ai_machinelearning_big_data - Machine learning
@itchannels_telegram - 🔥лучшие ит-каналы
@pythonl - Python
@pythonlbooks- python книги📚
@datascienceiot - ml книги📚
№ 5037635661
Post #1245
1.61K
🧠 Малые языковые модели догоняют большие, почти без потерь в качестве
Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.
📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.
Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.
📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.
💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.
📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443
Новое исследование показало: маленькие LLM могут выполнять классификацию требований так же точно, как крупные, уступая им всего на 2% по F1-метрике, при этом будучи в 300 раз меньше по размеру.
📌 Что это значит:
Классификация требований - это разметка предложений как:
- функциональных (описывают, что система делает);
- нефункциональных (производительность, удобство, надёжность);
- связанных с безопасностью.
Учёные протестировали 8 моделей (5 маленьких и 3 больших) на трёх датасетах — PROMISE, PROMISE Reclass и SecReq — в одинаковых условиях.
Каждая задача запускалась трижды, результат выбирался по большинству голосов.
📊 Результаты
- Разница между малыми и большими моделями по F1 - всего 2%, статистически незначимая.
- На датасете PROMISE Reclass маленькие модели даже показали лучшую полноту (recall) — находили больше верных примеров.
- Размер модели повлиял на точность меньше, чем сам набор данных.
💡 Вывод:
При почти равной точности, меньших затратах и лучшем контроле над приватностью - малые модели становятся оптимальным выбором для автоматической классификации требований.
📚 Подробнее в исследовании: https://arxiv.org/abs/2510.21443
- ❤ 6
- 🔥 5
