💰GAMA-Bench

Принятие решений - сложный процесс, требующий различных навыков, что делает его хорошим тестов для оценки больших языковых моделей (LLM).

В данной работе исследователи изучали процесс принятия решений LLM через призму теории игр.

Существующие оценки в основном сосредоточены на случаях с двумя игроками, где LLM соревнуется с другим.

GAMA(γ)-Bench, новую структура для оценки способностей LLM в многоагентных средах через призму теории игр.

Он включает в себя восемь сценариев из классической теории игр и динамическую схему подсчета баллов, специально разработанную для количественной оценки производительности LLM.

γ-Bench очень гибкие настройки игры, что позволяет адаптировать систему подсчета баллов к различным параметрам игры, чтобы всесторонне оценить стратегии принятия решений

▪Статья: https://arxiv.org/abs/2403.11807
▪Код: https://github.com/CUHK-ARISE/GAMABench