В специальном выпуске журнала "Supercomputing Frontiers and Innovations", посвященном большим языковым моделям, вышла статья Анны Кузнецовой, Виктора Бызова, Ильяса Асланова и Евгения Котельникова, где авторы оценивают, как современные открытые большие языковые модели отвечают на вопросы знаменитой игры «Что? Где? Когда?»

Лучшая языковая модель набрала всего 32,4% точности — против 45,8% у среднестатистической команды знатоков. Особенно трудно моделям даются вопросы с игрой слов и допущениями.

Все выводы и результаты тестирования 14 открытых моделей читайте в статье по ссылке

😊

Ш.В.С.Н. в Европейском