Пока все ждут следующую версию модели, исследователи из DeepSeek совместно с университетами Цинхуа и Пекина опубликовали прорывную работу. Они представили систему DualPath, которая радикально оптимизирует производительность больших языковых моделей (LLM) в сценариях работы автономных агентов.
Проще говоря, новая система решает проблему «бутылочного горлышка» при чтении данных, что позволяет почти вдвое увеличить скорость обработки запросов как в офлайн-режиме, так и в онлайн-сервисах.
📌 В чём проблема?
Сегодня ИИ-агенты — это mainstream. Но их многораундовая работа создаёт новую проблему: «длинный контекст, короткое дополнение». Контекст диалога быстро растёт, и системе приходится постоянно подгружать историю (так называемый
KV-Cache).Проблема в архитектуре: вся нагрузка по чтению этого кеша ложится на одни и те же компоненты системы (Prefill Engine), в то время как другие (Decode Engine) простаивают. Получается дисбаланс и потеря производительности.
💡 Решение: DualPath
Система DualPath добавляет второй путь для загрузки данных:
• Путь 1 (классический): KV-Cache загружается напрямую в Prefill Engine.
• Путь 2 (новый): KV-Cache сначала загружается в Decode Engine, а затем быстро передаётся в Prefill Engine по высокоскоростной сети (RDMA).
Таким образом, система использует пропускную способность всех компонентов сразу, а не только одного, эффективно распределяя нагрузку.
📊 Результаты
Тестирование в продакшен-кластере на 1152 GPU показало:
• Офлайн-вывод (batch inference): До 1.87x увеличения пропускной способности.
• Онлайн-сервис: До 1.96x увеличения сервисной пропускной способности. Система выдерживает значительно более высокую нагрузку, сохраняя стабильную задержку генерации первого токена (TTFT).
✅ Вывод
DualPath — это не просто теоретическое улучшение, а практическая система, устраняющая ключевое препятствие для масштабирования сложных ИИ-агентов. Пока другие гонятся за параметрами моделей, DeepSeek оптимизирует фундаментальную инфраструктуру их работы.
Оригинальная статья на arXiv
#КитайскийИИ #КитайAI #DeepSeek #ИИАгенты