🇨🇳⚙️ DeepSeek строит собственный контур ИИ – от модели до кремния
DeepSeek постепенно выходит за пределы разработки отдельных ИИ-моделей. Китайская компания связывает в одну систему архитектуру модели, отечественные ускорители, программное обеспечение для их работы и технологии ускорения генерации. Следующим элементом может стать собственный специализированный ИИ-чип.
📌 Основа этой линии – DeepSeek V4. Старшая версия модели насчитывает около 1,6 трлн параметров, однако при обработке каждого токена использует лишь около 49 млрд. Это позволяет не задействовать всю модель одновременно и снижать вычислительную нагрузку. Контекст достигает 1 млн токенов, а предварительное обучение проведено на массиве свыше 32 трлн токенов.
По сравнению с предыдущей архитектурой при работе с длинным контекстом V4 требует примерно 27% прежнего объёма вычислений на токен и около 10% памяти, необходимой для хранения промежуточных данных. То есть DeepSeek решает проблему дефицита мощных ускорителей не только закупкой нового оборудования, но и снижением требований самой модели к вычислительной инфраструктуре.
📌 Второй элемент – переход на китайскую аппаратную базу. V4 получила поддержку ускорителей Huawei Ascend, причём модель и программная среда всё теснее приспосабливаются к особенностям китайского оборудования.
Практическое значение уже выходит за пределы простого запуска модели. Китайская группа с участием специалистов Huawei смогла провести длительное дополнительное обучение V4-Pro на кластере Ascend 910C. В ходе испытаний параметры модели последовательно обновлялись более 1500 раз без срыва процесса, а эффективность ключевых вычислительных операций удалось повысить примерно на 14%.
Это важный переход: китайские ускорители используются уже не только для выдачи готовых ответов, но и для изменения самой модели после основного обучения.
📌 Третий элемент – DSpark. Эта технология ускоряет формирование ответа V4 на 60–85%. Вспомогательный модуль заранее предлагает несколько следующих фрагментов, а основная модель проверяет их. Если прогноз верен, система принимает сразу несколько токенов за один цикл вместо последовательной генерации каждого.
Главное отличие DSpark – автоматическое регулирование числа таких предположений в зависимости от их точности и текущей загрузки оборудования. В результате DeepSeek получает больше готовых токенов из того же объёма вычислительных мощностей.
📌 Следующий возможный шаг – собственный специализированный ускоритель. По данным нескольких иностранных изданий, DeepSeek около года ведёт ранний проект чипа для работы уже обученных моделей и усиливает набор инженеров по проектированию микросхем. Готового изделия пока нет, сама компания проект официально не подтверждала.
Но технологическая логика очевидна. Сейчас DeepSeek уже контролирует модель и способы ускорения её работы, а китайская промышленность предоставляет собственную вычислительную базу. Специализированный чип позволил бы проектировать оборудование непосредственно под особенности конкретной архитектуры и реальную нагрузку системы.
➡️ Главная задача – не просто заменить Nvidia китайским аналогом. КНР движется к согласованной разработке модели, программного обеспечения и вычислительного оборудования, где каждый элемент создаётся с учётом ограничений и возможностей остальных.
🔵 Таким образом, DeepSeek формирует собственную технологическую цепочку ИИ. Дефицит наиболее передовых американских ускорителей компенсируется одновременно снижением вычислительной нагрузки модели, переходом на отечественные чипы и повышением эффективности их эксплуатации. Если проект собственного ускорителя будет доведён до серии, Китай получит возможность проектировать модель под конкретное оборудование, а оборудование – под конкретную модель.
Post #1240
71
