Прокси к бесплатным тирам 28 LLM

🔹 tashfeenahmed/freellmapi
⭐ 19298 звёзд · TypeScript

Локальный прокси собирает бесплатные тиры 28 провайдеров LLM за одним OpenAI-совместимым эндпоинтом /v1: 251 семейство моделей, 358 эндпоинтов, суммарно ~4 млрд токенов в месяц. Маршрутизатор гоняет запросы по шести стратегиям, при 429/5xx переключается на следующую модель с охлаждением и ротацией ключей.

Ключи провайдеров лежат в SQLite под AES-256-GCM и расшифровываются в памяти на каждый запрос. На ключ считаются RPM/RPD/TPM/TPD, чтобы не выбить лимиты. В простое ест ~40 МБ, требует Node.js 20+, поднимается на Windows, macOS, Linux и ARM-платах вроде Raspberry Pi.

Есть липкие сессии: диалог держится на одной модели 30 минут с опциональной компактной передачей контекста при переключении. Каталог моделей подтягивается с freellmapi.co дважды в сутки. Автор явно оговаривает — только для личных экспериментов.

репозиторий

Полезная Репа 🔀