Что такое LLM‑gateway и зачем он нужен
или как переключать модели внутри агента?

LLM‑gateway --- это прослойка между приложением и провайдерами моделей.
Он даёт единый API (обычно OpenAI‑совместимый), маршрутизацию между
моделями, централизованную аналитику и контроль затрат.

В простых проектах можно жить без него, а в сложных без gateway тяжело.

два примера

LiteLLM - гибкость прежде всего

LiteLLM --- один из самых популярных open‑source шлюзов в
Python‑экосистеме.

- поддержка 100+ провайдеров\
- OpenAI‑совместимый интерфейс\
- гибкая маршрутизация (cheapest, fallback, weighted)\
- быстрое прототипирование

Он особенно удобен, когда нужно экспериментировать с разными моделями и быстро менять провайдеров и нужна максимальная гибкость

Cloudflare AI Gateway - edge‑подход

Cloudflare рассматривает AI‑трафик как часть edge‑инфраструктуры. Gateway встроен в их глобальную сеть рядом с CDN, WAF и Workers.

- низкая задержка за счёт edge
- встроенное кэширование (сильно снижает затраты)
- бесшовная интеграция со стеком Cloudflare
- быстрый старт без управления серверами
- не хочется управлять инфраструктурой

✍️ Blog Hanzo