🇷🇺 🇨🇳 Российская электроника. ПАК. Чипы ИИ. Россия. Китай

МТС и Rubytech испытывают ПАК на базе китайских GPU

На базе ПАК Rubytech с 8-ю китайскими GPU совместно с дочкой МТС были проведены испытания российских больших языковых моделей, рассказывают Ведомости.

Запускали две модели MWS AI: старшую – Cotype Pro 3 с 27 млрд параметров и облегченную Cotype Light 3 на 9 млрд параметров. Обе предназначены для создания ИИ-агентов, способных выполнять последовательность действий без постоянного участия человека.

При тестировании инференса, были достигнуты результаты, «сопоставимые» с системами на базе Nvidia H100. При входном контексте примерно в 27 тысяч токенов, модель начинала формировать ответ через 8 секунд. В MWS AI рассматривали 5 вариантов китайских чипов, но не сообщают, какой был выбран для испытаний.

В планах компании Rubytech запуск ПАК на китайских GPU в 2027 году, первоначально планируется выпуск платформ, ориентированных только на инференс.

В России есть и другие участники рынка, которые присматриваются или даже внедряют китайские GPU, например, их тестируют в Yadro, а в ВТБ начали опытно-промышленную эксплуатацию. Как правило, в РФ экспериментируют с чипами MetaX, Moore Threads и Huawei Ascend. Отмечается, что заявленные характеристики китайских GPU не всегда подтверждаются на практике. Интеграцию осложняет незрелость программного стека.

В целом пока что рано ждать массового распространения китайских GPU. Среди причин – отсутствие локальной поддержки, проблемы с драйверами, виртуализацией у менее зрелых продуктов. GPU известных китайских производителей как правило, надежнее и лучше работают, чем решения малоизвестных. Перенос модели с Nvidia CUDA на китайские платформы может потребовать несколько месяцев и сложную оптимизацию. Это обещает некоторые перспективы для создателей ПАКов ИИ на китайских серверах.

💎 В сторону китайских GPU приходится смотреть потому, что американские приобрести становится сложнее, а отечественный сегмент пока что представлен решениями НТЦ Модуль и LinQ, которые подходят для видеоаналитики или периферийного инференса, но не для задач обучения ИИ и массового инференса. ||

✓ Подпишитесь на RUSmicro в Telegram | в Max