Держать 16 разных API-ключей только ради тестов разных LLM - то ещё удовольствие.

freellmapi решает это проще: один OpenAI-compatible endpoint для бесплатных tier’ов от Google, Groq, Cerebras, NVIDIA и ещё 14 провайдеров.

Что внутри:

* около 1.7B токенов в месяц суммарно
* роутер выбирает лучшую модель под запрос
* при rate limit автоматически переключается на другого провайдера
* ключи хранятся в зашифрованном виде
* интерфейс совместим с OpenAI API

По сути, это единая точка входа для экспериментов с разными LLM без ручного жонглирования ключами и лимитами.

15.9K звёзд на GitHub, а я почему-то наткнулся только вчера.

https://github.com/tashfeenahmed/freellmapi

⭐ 15.9K

#OpenSource #DevTools