Alibaba влезла в топ-5 по кодингу

Qwen от Alibaba обогнала модели OpenAI и Google в рейтинге Code Arena. Единственная неамериканская компания в пятёрке лучших. Звучит как победа, да?

Давайте посчитаем, что мы знаем. Code Arena — это бенчмарк, где модели соревнуются в написании кода по принципу Elo-рейтинга. Штука популярная, но с нюансами. Бенчмарки вообще такая история: можно натаскать модель на конкретные задачи и получить красивую цифру. А потом в продакшене она будет путать Python с питоном.

Alibaba при этом не раскрывает, сколько потратила на обучение, на каких данных тренировала, какой compute использовала. Просто: «мы первые, аплодируйте». OpenAI хотя бы делает вид, что публикует технические детали.

Интересно другое. Китайские модели за последний год стабильно лезут вверх по всем бенчмаркам. DeepSeek, Qwen — тренд очевиден. А вот в реальных продуктах для разработчиков их почти никто за пределами Китая не использует 🤷