اگه روی پروژه ای با هوش مصنوعی لوکال کار می‌کنید و سرعت و زمان مدل پاسخگویی براتون مهم نیست پیشنهاد می‌کنم بجای مدل های سبک و ضعیف از مدل های سنگین استفاده کنید ولش می‌کنید به امون خدا خودش براتون با بهترین کیفیت کارو رایگان و لوکال انجام میده فقط یکم کنده، Colibrì یه موتور اجرای مدل‌های زبانی بزرگ (Inference Engine) هستش که هدفش اینه مدل‌هایی رو که از نظر تعداد پارامتر خیلی بزرگن، روی سخت‌افزار معمولی اجرا کنه؛ حتی وقتی کل وزن‌های مدل توی RAM یا VRAM جا نمی‌شن.

تا الان چندین پروژه در رابطه با این قضیه معرفی شده ولی این یکی جدید تره و روش دیپ سیک 4 رو، روی یه لپ تاپ معمولی اجرا کردن با سرعت 1 توکن در ثانیه:

github.com/JustVugg/colibri

@Linuxiz