​​🔥K-Sort Arena: Efficient and Reliable Benchmarking for Generative Models via K-wise Human Preferences

Эффективная и надежная платформа, основанная на ключевом понимании: изображения и видео обладают более высокой интуитивностью восприятия, чем тексты, что позволяет быстро оценивать несколько образцов одновременно.

K-Sort Arena использует сравнения K-wise, позволяя моделям K участвовать в соревнованиях «все против всех», которые дают гораздо более богатую информацию, чем парные сравнения. Для повышения надежности системы мы используем вероятностное моделирование и байесовские методы обновления.

Благодаря своей высокой эффективности K-Sort Arena может непрерывно включать новые модели и обновлять таблицу лидеров с минимальным количеством голосов.

🤗 Hugging Face
💾 Arxiv
📂 PDF

@Devsp — Подписаться