‏BerriAI/litellm
‏سریع‌ترین و سبک‌ترین AI Gateway

‏سریع‌ترین AI Gateway با هسته‌ی Rust و Python SDK. بیش از ۱۰۰ LLM API را با فرمت OpenAI (یا native) صدا بزنید — همراه با cost tracking، guardrail، load balancing و logging؛ برای Bedrock، Azure، OpenAI، Anthropic، VertexAI، vLLM و Nvidia NIM.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: وقتی پروژه از یک provider به چند provider مهاجرت می‌کند، داشتن یک لایه‌ی یکپارچه با این امکانات می‌تواند هفته‌ها وقت تیم را نجات دهد.
‏💡 نکته: هسته‌ی Rust یعنی overhead کمینه در hot path — برای inference‌هایی با حجم بالا این تفاوت محسوس است.
‏👥 برای کی: تیم‌هایی که روی backend هوش مصنوعی، مدیریت چند LLM یا کنترل هزینه‌ی inference کار می‌کنند.

‏🔗 https://github.com/BerriAI/litellm
‏#backend #LLM

‏@BenFeed