🇨🇳 Обучение ИИ. ИИ чипы. Китай

В Китае обучили ИИ-модель на китайских чипах

Модель TeleChat3-36B-Thinking полностью обучена на китайской аппаратной экосистеме в рамках стратегии технологической независимости.

При этом использовались ИИ-чипы Huawei Ascend 910B в серверах Ascend Atlas 800T A2 на базе которых были созданы вычислительные кластеры, и собственный фрейфорк глубокого обучения Huawei MindSpore. Обучение потребовало 15 трлн токенов.

Этот проект иллюстрирует, что в Китае могут обучать крупные модели без использования западных технологий (чипов Nvidia и фреймворка PyTorch).

Архитектура модели по сообщениям, напоминает то, что сделали DeepSeek, в частности, используется подход Mixture-of-Experts (MoE), что повысило стабильность и эффективность обучения.

Ключевая особенность модели - Thinking Mode, то есть явная генерация цепочки рассуждений перед ответом. Это улучшает логику и точность в сложных задачах (например, решение математических задач, написание кода), что делает процесс работы модели более прозрачным.

Согласно приведенным данным, модель показывает конкурентоспособные результаты с другими LLM.

Но мы не знаем "цену победы" - возможно потребовалось заметно больше энергии, времени, количества чипов, чтобы достичь того же результата, что позволяют получить кластеры на современных "западных" чипах.

Тем не менее, наиболее важный вывод - Китай создал полноценную и полностью технологически независимую модель. Остается проверить, насколько устойчивой она окажется в перспективе нескольких лет.

@RUSmicro