Как китайский DeepSeek сделал мощную ИИ-модель дешёвой и открытой

Китайский стартап DeepSeek не просто сделал мощную модель R1 открытой, но и в десятки раз дешевле конкурентов. Как им это удалось?

Что это за компания?

DeepSeek — спин-офф хедж-фонда High-Flyer, который использует ИИ для торговли. Его основатель Лян Вэньфэн начал скупать чипы Nvidia ещё в 2021 году, до введения санкций. В стартапе работают сотни китайских инженеров, не уехавших за границу.

Почему модель DeepSeek так дёшево обучалась?

Несмотря на слухи о затратах в $6 млн, реальная стоимость могла составить сотни миллионов долларов. Но это всё равно меньше, чем у конкурентов. Вот ключевые технологии, которые позволили DeepSeek сэкономить:

▫️Multi-Head Latent Attention — метод, позволяющий модели анализировать текст более эффективно, не перегружая процессоры.

▫️Оптимизация вычислений между видеокартами — DeepSeek сократил «простои» чипов, ускоряя обучение. Это особенно важно, учитывая ограничения на западные процессоры.

▫️Обучение с подкреплением (RL) вместо SFT — дешевле и эффективнее, чем классическое дообучение на размеченных данных.

Что это меняет?

DeepSeek доказал, что мощные модели можно делать быстрее и дешевле, чем это привыкли делать в OpenAI или Anthropic. ИИ-рынок уже не будет прежним.

🔗 Подробнее — в технорассылке.