BerriAI/litellm
سریعترین و سبکترین AI Gateway
سریعترین AI Gateway با هستهی Rust و Python SDK. بیش از ۱۰۰ LLM API را با فرمت OpenAI (یا native) صدا بزنید — همراه با cost tracking، guardrail، load balancing و logging؛ برای Bedrock، Azure، OpenAI، Anthropic، VertexAI، vLLM و Nvidia NIM.
نظر هوش مصنوعی — ⭐ ۸/۱۰
🎯 چرا مهمه: وقتی پروژه از یک provider به چند provider مهاجرت میکند، داشتن یک لایهی یکپارچه با این امکانات میتواند هفتهها وقت تیم را نجات دهد.
💡 نکته: هستهی Rust یعنی overhead کمینه در hot path — برای inferenceهایی با حجم بالا این تفاوت محسوس است.
👥 برای کی: تیمهایی که روی backend هوش مصنوعی، مدیریت چند LLM یا کنترل هزینهی inference کار میکنند.
🔗 https://github.com/BerriAI/litellm
#backend #LLM
@BenFeed
سریعترین و سبکترین AI Gateway
سریعترین AI Gateway با هستهی Rust و Python SDK. بیش از ۱۰۰ LLM API را با فرمت OpenAI (یا native) صدا بزنید — همراه با cost tracking، guardrail، load balancing و logging؛ برای Bedrock، Azure، OpenAI، Anthropic، VertexAI، vLLM و Nvidia NIM.
نظر هوش مصنوعی — ⭐ ۸/۱۰
🎯 چرا مهمه: وقتی پروژه از یک provider به چند provider مهاجرت میکند، داشتن یک لایهی یکپارچه با این امکانات میتواند هفتهها وقت تیم را نجات دهد.
💡 نکته: هستهی Rust یعنی overhead کمینه در hot path — برای inferenceهایی با حجم بالا این تفاوت محسوس است.
👥 برای کی: تیمهایی که روی backend هوش مصنوعی، مدیریت چند LLM یا کنترل هزینهی inference کار میکنند.
🔗 https://github.com/BerriAI/litellm
#backend #LLM
@BenFeed