ابزار AirLLM به‌جای اینکه کل مدل رو هم‌زمان داخل حافظه گرافیکی بارگذاری کنه، لایه‌ها رو یکی‌یکی پردازش می‌کنه. به این شکل، می‌تونه مدل‌هایی رو اجرا کنه که حافظه موردنیازشون خیلی بیشتر از VRAM کارت گرافیکته.
چند نمونه از قابلیت‌هایی که در پست معرفی شده:
- مدل Kimi K3 با ۲.۸ تریلیون پارامتر، با مصرف حدود ۳.۷۲ گیگابایت حافظه گرافیکی.
- مدل DeepSeek-V3 با ۶۷۱ میلیارد پارامتر، با حدود ۱۲ گیگابایت حافظه گرافیکی.
- اجرای مدل‌های 70B روی یک کارت گرافیک ۴ گیگابایتی، بدون کوانتیزه‌کردن مدل.
- امکان Fine-tune کردن یک مدل 125B با کمتر از ۶ گیگابایت حافظه گرافیکی.
برای شروع، کتابخانه رو نصب کن:
pip install airllmبعد می‌تونی مدل‌های پشتیبانی‌شده از Hugging Face رو با چند خط کد بارگذاری کنی.
اما یک نکته مهم وجود داره: کاهش مصرف VRAM به معنی اجرای سریع نیست. چون لایه‌های مدل به‌صورت مرحله‌ای بارگذاری می‌شن، سرعت اجرا می‌تونه خیلی پایین‌تر باشه و به فضای دیسک زیادی هم نیاز داری. سازگاری مدل‌ها و سخت‌افزار هم باید بررسی بشه.
پروژه متن‌بازه و تحت مجوز Apache-2.0 منتشر شده.
لینک گیت‌هاب:
https://github.com/lyogavin/airllm
@DevTwitter | <Yarad/>