✔️ Рассуждающие агенты требуют не только ума, но и железа

Когда провайдеры запускают «агентов», пользователи видят красивый интерфейс.
Инженеры видят ад.

Потому что агентские сценарии — это не «запрос-ответ». Это:

- длинные диалоги с историей
- вызов внешних инструментов (поиск, интерпретация кода, внешние приложения)
- гигабайты промежуточных данных между шагами

Если просто «поднять контейнер на GPU» — TTFT (время до первого токена) поплывёт, TBT (время между токенами) просядет, и агент будет тормозить на ровном месте.

Что с этим делают

Yandex AI Studio, например, на днях запустила инференс DeepSeek V3.2 и при этом полностью пересобрала инфраструктуру.

Внедрили разделение prefill/decode:
- prefill-ноды — быстрый прогон длинных контекстов
- decode-ноды — стабильная генерация с низкой задержкой

Это потребовало научиться передавать KV-кэши между серверами в реальном времени. Помимо прочего сбалансировали запросы с учётом «сессионности» и выстроить иерархию KV-кэшей от HBM GPU до распределённой памяти и/или NVMe.

Безопасность и тарификация

- Управляемые правила модерации ответов модели
- Доступ к моделям через частные эндпоинты по выделенному сетевому каналу для работы без выхода в публичный интернет

Новая тарификация:
- токены инструментов и кэширования — в 4 раза дешевле обычных входящих
- чем длиннее сессия, тем выгоднее

Потому что платить стоит не за факт обращения к модели, а за новую вычисленную информацию.
Всё остальное можно и нужно кэшировать.