‏NVIDIA/TensorRT-LLM
‏کتابخانه‌ی NVIDIA برای inference سریع مدل‌های زبانی

‏یک Python API ساده برای تعریف LLM‌ها و اجرای inference بهینه روی GPU‌های NVIDIA — این چیزی است که TensorRT-LLM ارائه می‌دهد. این کتابخانه شامل component‌هایی برای ساختن runtime در Python و C++ است که اجرای inference را به شکل پرفورمنت orchestrate می‌کنند.

‏نظر هوش مصنوعی — ⭐ ۸/۱۰
‏🎯 چرا مهمه: هر تیمی که LLM را در production روی NVIDIA GPU دیپلوی می‌کند، بدون TensorRT-LLM latency و هزینه‌ی inference را بالاتر از حد لازم نگه می‌دارد.
‏💡 نکته: داشتن هر دو runtime فارسی Python و C++ در یک جا، یعنی می‌توانی از prototype تا production بدون تغییر stack بروی.
‏👥 برای کی: تیم‌هایی که روی deployment، inference optimization یا serving مدل‌های زبانی کار می‌کنند.

‏🔗 https://github.com/NVIDIA/TensorRT-LLM
‏#backend #LLM #inference

‏@BenFeed