می‌خوای مدل رایگان Gemma گوگل رو روی مک، با فقط چند گیگابایت RAM اجرا کنی؟

این پروژه رو از دست نده Turbo Fieldfare یک موتور اجرای LLM برای Apple Silicon هستش که با تکنیک‌های فشرده‌سازی، اجرای مدل‌های بزرگ رو با مصرف حافظه بسیار کمتر ممکن می‌کنه.

قابلیت‌هاش:
اجرای مدل‌های Gemma روی Apple Silicon
کاهش چشمگیر مصرف RAM
استفاده از GPU اپل (Metal) برای افزایش سرعتش
اجرای مدل‌های بزرگ روی مک‌های معمولی

github.com/drumih/turbo-fieldfare

@Linuxor ~ pedrambirack