امروز داشتم این بلاگ Liquid AI را می‌خواندم و بنچمارک‌های جالبی از مدل‌های انکودری جدیدشان منتشر کرده‌اند.

آن‌ها دو انکودر جدید (۲۳۰M و ۳۵۰M) بر پایه معماری LFM2 معرفی کرده‌اند که به شکل ویژه‌ای برای پردازش متن‌های طولانی تا ۸,۱۹۲ توکن روی CPU بهینه‌سازی شده‌اند.

نکته جذابش سرعت عملکردشان در طول کانتکست بالا روی CPU است؛ مدل ۲۳۰M در کانتکست‌های طولانی حدود ۳.۷ برابر سریع‌تر از ModernBERT-base عمل می‌کند و پردازش یک پاس کامل سند ۸k فقط ۲۸ ثانیه طول می‌کشد.

کاربردهای اصلی که مطرح کرده‌اند:
• اجرا روی دیوایس‌های Edge و صنعتی بدون GPU
• پردازش اسناد حساس مالی و حقوقی در محیط‌های کاملاً On-premise
• استفاده به عنوان لایه اول فیلتر و روتینگ برای کاهش هزینه در pipelineها

همچنین چند دموی عملیاتی جالب از PII detection تا چت‌بات با معماری Masked-Diffusion هم ساخته‌اند.

لینک مقاله:
https://liquid.ai/blog/lfm2-5-encoders

@DevTwitter | <Mehdi Allahyari/>