🔖 Open-source AI Gateway для работы с LLM

Он умеет автоматически переключаться между моделями, делать повторные запросы при ошибках, балансировать нагрузку и поддерживает более 1600 моделей через разных провайдеров.

Хорошее решение, если строите сервисы поверх нескольких LLM.

⛓️ Ссылка на GitHub

tags: #полезное

➡ Data Scientist | Чат