WeirdML – один из самых необычных бенчмарков для ЛЛМок. В него входят необычные open-ended задачки по МЛю, например, написание МЛ пайплайнов по распознаванию цифр со всего 28 размеченными примерами и ~50к неразмеченными, предсказание формы фигур, или восстановление перемешанных фрагментов изображений.

Gemma 4 31B оказалась самой сильной открытой моделью на этом бенчмарке, опередив GLM 5 (MoE на 700B) и GPT-OSS с хорошим отрывом, показав результат на уровне с О3 или Gemini 2.5 Pro.