پروژه متن‌باز Soup فرایند Fine-tuning و Post-training مدل‌های LLM را به یک فایل YAML و یک دستور تبدیل کرده است. [GitHub پروژه Soup](https://github.com/MakazhanAlpamys/Soup?utm_source=chatgpt.com)

🤯 قابلیت جذابش Layer Streaming است؛ لایه‌های مدل به‌صورت یکی‌یکی از RAM به GPU منتقل می‌شوند و در نتیجه کل مدل لازم نیست داخل VRAM قرار بگیرد.

📊 در تست توسعه‌دهندگان، Llama 3.1 8B Instruct با NF4 روی RTX 3050 لپ‌تاپی با فقط ۴GB VRAM اجرا شد و حداکثر مصرف VRAM حدود ۳.۳۲GB بود.

🔹 پشتیبانی از LoRA و QLoRA
🔹 DPO، ORPO، KTO، SimPO و روش‌های دیگر
🔹 تشخیص خودکار GPU و تنظیم Batch Size
🔹 اجرای کاملاً محلی و بدون نیاز به Cloud

📌 یعنی فاین‌تیون مدل‌های 8B دیگر الزاماً به GPUهای گران‌قیمت نیاز ندارد؛ البته روی سخت‌افزار ضعیف‌تر، زمان آموزش بسیار بیشتر خواهد بود.

هوش مصنوعی روی لپ‌تاپ‌های معمولی هم دارد جدی‌تر می‌شود. 🥣🤖