👍 NVIDIA Dynamo — инференс, перестроенный под агентный кодинг

Агентные инструменты делают сотни API-вызовов за сессию — стандартный инференс для этого не рассчитан. Dynamo перестраивает стек: KV-кэш роутинг, агентное планирование, многоуровневое кэширование и единая оркестрация.

Меньше задержек, выше попадания в кэш, в 7 раз больше throughput.

⛓️ Подробнее здесь

tags: #новости

➡ Data Scientist | Чат | ИИ-Бот