Что умеет:
- streaming-ответы
- tool calling
- автоматическое переключение между провайдерами при сбоях
- шифрованное хранение ключей
- учёт token budget отдельно по каждому провайдеру
- работа с любым OpenAI SDK - достаточно поменять
base_url- поддержка Google, Groq, Cerebras, SambaNova, Mistral и других
По сути, это прослойка, которая собирает бесплатные лимиты разных LLM-сервисов в один общий API. Для разработчика всё выглядит как обычный OpenAI-compatible endpoint, а под капотом запросы распределяются между провайдерами, учитываются лимиты и включается failover.
https://github.com/tashfeenahmed/freellmapi