Llama-4 Maverick набрала высокий рейтинг на LMSYS арене, но пользователи начали подозревать, что что-то тут нечисто. Реакция была настолько громкой, что организаторы слили более 2000 реальных баттлов с участием Maverick.

В этих логах видно промпт, ответы двух моделей и выбор пользователя. Формально — всё прозрачно. Но есть странности: в некоторых случаях юзеры выбирают Maverick, даже когда она отвечает менее точно, зато красочно и со смайликами.

Плюс всплыло, что в арене стоит кастомная версия модели — специально заточенная под "нравится людям", а не тот чекпоинт, что доступен на Hugging Face. Организаторы сказали, что об этом не знали и пообещали скоро заменить модель на настоящую.

Data Signal