وقتی می‌خوای یه مدل رو به‌صورت لوکال روی کامپیوترت اجرا کنی، سخت‌ترین بخشش دانلود کردن مدل نیست؛ سخت‌ترین قسمت اینه که بفهمی کدوم مدل واقعاً با سخت‌افزار کامپیوترت سازگاره و از پس اجرای اون برمیاد. Magnitude سخت‌افزار کامپیوترت رو بررسی می‌کنه و قبل از اینکه مدل‌ها رو دانلود کنی، بهت نشون می‌ده که هر مدل تقریباً با چه سرعتی، مثلاً چند توکن در ثانیه (tokens/second، روی سیستم تو اجرا میشه.
بعد خودش مدل مناسب رو دانلود می‌کنه و تنظیماتش رو متناسب با سخت‌افزارت انجام می‌ده تا بهترین حالت ممکن برای سیستم خودت داشته باشه.
رایگان و متن‌باز (Open Source) هستش، دانلود :
magnitude.dev
@Linuxiz
Post #1466
244