⚖️ BricksLLM — шлюз для управления LLM в продакшене. Этот облачный шлюз на Go помогает контролировать использование языковых моделей в корпоративной среде. Он поддерживает OpenAI, Anthropic и Azure OpenAI, позволяя устанавливать лимиты запросов, отслеживать затраты и даже маскировать персональные данные перед отправкой к провайдеру.

Проект также оснащен интеграцией через Docker — всего несколько команд, и вы получаете готовую систему с Postgres и Redis для хранения метрик. Встроенные механизмы retry и failover повышают отказоустойчивость API.

🤖 GitHub

@bigdatai