POLLUX: бенчмарк для оценки творческих способностей AI 🤖

Обычные бенчмарки типа MMLU — это ЕГЭ для нейросетей: выбери правильный ответ из списка. В реальном применении мы используем AI для написания текстов, генерации идей и переводов

POLLUX — первый экспертный бенчмарк для оценки генеративных способностей на русском от специалистов Сбера:

➡️2 100 уникальных заданий (написаны экспертами с нуля)
➡️152 типа задач — от художественных текстов до анализа кода
➡️66 критериев оценки
➡️471 тысяча экспертных оценок
➡️обученные AI-судьи для автоматической оценки

Мы протестировали GPT-4o, Claude 3.5, LLaMA и другие. Оказалось, что даже топовые модели пока уступают людям в творчестве, а выбирать их нужно под конкретные задачи, а не по общему рейтингу

📌Проект открытый — читаем про него тут
📌Пробуем демо здесь