✔️ Alibaba открыла «рентген» для Qwen

Alibaba выпустила Qwen-Scope - открытый набор sparse autoencoders для моделей Qwen.

Если проще, это инструмент, который позволяет смотреть внутрь модели и видеть, какие внутренние признаки отвечают за стиль, тему, язык, тон ответа и типичные сбои.

Поведение модели можно изучать и менять не только промптами, а через её внутренние активации.

Что это даёт:
- точнее управлять стилем, темой и форматом ответа
- находить причины багов вроде языкового переключения, повторов и странных вставок
- быстрее собирать редкие кейсы для дообучения и тестов
- понимать, какие бенчмарки реально проверяют разные способности, а какие дублируют друг друга

Раньше такие подходы чаще ассоциировались с исследованиями Anthropic вокруг Claude. Теперь похожий уровень прозрачности появился в открытом доступе для Qwen.

Веса доступны на HuggingFace и ModelScope, есть блог и технический отчёт.

Blog: https://qwen.ai/blog?id=qwen-scope
HuggingFace: https://huggingface.co/collections/Qwen/qwen-scope
ModelScope: https://modelscope.cn/collections/Qwen/Qwen-Scope
Technical Report: https://qianwen-res.oss-accelerate.aliyuncs.com/qwen-scope/Qwen_Scope.pdf