یه مدل جالب برای اجرای AI روی دستگاه اندرویدی (ویدیو تست شده روی S26 برای هر درخواست 128توکنه 70 میلی ثانیه زمان میبره)
مدل GLiNER2.5-Decide دارای 340M پارامتره که برای classification، routing، sentiment، intent detection و تصمیمگیری ساختاریافته ساخته شده.
نسخهی LiteRTش رو میتونید روی دستگاههایی مثل Android بهصورت local اجرا کنید؛ بدون API و بدون نیاز به ارسال متن به سرور.
یعنی برای خیلی از کارهایی که لازم نیست حتماً یه LLM بزرگ داشته باشید، میتونه گزینهی جذابی باشه.
huggingface.co/litert-community/GLiNER2.5-Decide-LiteRT
@Linuxor
Post #5445
6.58K