این پروژه PicoLM که جدیدا معروف شده در اصل یه موتور اجرای مدل‌های زبانیه، نه خودِ مدل هوش مصنوعی. هدفش اینه که بتونی مدل‌های LLM کوچیکی مثل TinyLlama را روی سخت‌افزارهای بسیار ضعیف اجرا کنی؛ حتی روی بردهای 10 دلاری.

فرض کن یک مدل 1 میلیارد پارامتری (TinyLlama) داری که فایل GGUF آن حدود 638 مگابایته، معمولاً برای اجرای چنین مدلی صدها مگابایت RAM لازمه.
اما PicoLM با چند ترفند اجازه می‌ده همین مدل روی دستگاهی با 256MB رم اجرا بشه

github.com/RightNow-AI/picolm


@Linuxor