خب چرا باید دقت اعداد رو کم کنیم؟ 🤔
چون حجم مدل خیلی کمتر میشه و در نتیجه:
⚡ سریع‌تر اجرا میشه
💾 مصرف RAM/VRAM کمتر می‌کنه
💻 راحت‌تر میشه مدل‌های بزرگ رو روی سیستم‌های معمولی اجرا کرد.
مثلاً یک مدل 7B کوانتایزشده می‌تونه خیلی راحت‌تر روی یک کامپیوتر شخصی اجرا بشه
📌مرجع تخصصی هوش مصنوعی و علم داده
❇️ سایت | بله | تلگرام | اینستاگرام
Post #1208
876
- 😍 1