Qwen 3 Coder

Ещё один релиз от китайцев, тоже без ризонинга. На кодинг и агентных бенчах почти дотягивает до Claude 4 Sonnet. Нативно поддерживает до 256к токенов контекста, но масштабируется до миллиона с использованием YaRN.

Архитектурно это MoE на 480B параметров (35B активных), который натренировали на 7.5 триллионах токенов, 70% из них — код. Это почти в 5 раз меньше датасет чем у оригинального Qwen 3. Много внимание уделили скейлингу RL — модель учили решать реальные задачи используя реальные тулы в течении множества попыток. Чтобы это всё нормально тренировалось, они скейлили свою RL систему до 20к параллельных энвайронментов.

В официальном API у модели очень резко растёт цена с длиной контекста: до 32k контекста модель стоит $1/$5 за миллион токенов, при 128k-256k — стоит как Claude Sonnet, а при миллионе токенов контекста цена доходит до бешенных $6/$60 за миллион токенов. Так что вряд ли стоит использовать официальное API — сторонние API провайдеры хоть и дают пока лишь до 262к контекста, но там нет шанса стать на грабли бешеного прайсинга. Да и цена у сторонних провайдеров заметно ниже — самый дешёвый отдаёт модель по цене $1.5/$2 за миллион токенов.

С моделью опубликовали и Qwen Code — форк Gemini CLI, специально заточенный под Qwen Coder. Для пользователей Claude Code запустили совместимый с API Anthropic эндпоинт, но ему присущи все проблемы официального API.

С большим любопытством слежу за противостоянием открытых китайских моделей и закрытых западных. Китайцы уж очень дышат в затылок своими опенсорсными моделями.

Веса
Блогпост
Qwen Code

@ai_newz