پروژه FreeLLMAPI - همه توکنهای رایگان AI در یک جا!
یک پروکسی OpenAI-compatible فوقالعاده که tierهای رایگان ۱۶ ارائهدهنده بزرگ (Google, Groq, Cerebras, Mistral, NVIDIA, Cloudflare، HuggingFace و...) رو پشت یک endpoint واحد جمع کرده!
چی بهتون میده؟
- حدود ۱.۷ میلیارد توکن در ماه!
- قابلیت routing هوشمند + failover خودکار (اگه یکی rate limit خورد، خودش میره بعدی)
- کلیدها رمزنگاریشده ذخیره میشن
- پشتیبانی از streaming، tool calling، embeddings و...
- میتونید custom endpoint محلی (Ollama, llama.cpp, LM Studio و...) هم اضافه کنید.
نصبش با یک خط کد (Docker) تموم میشه و داشبورد داره برای مدیریت همهچیز.
اگه زیاد با AI کار میکنید و توکنهاتون زود تموم میشه، این پروژه دقیقاً همون چیزیه که لازم دارید.
لینک پروژه:
https://github.com/tashfeenahmed/freellmapi@DevTwitter | <
Diego Jr/>