کوین ویتک (یه از بزرگان مهندسی داکر) توی یه ویدیو خفن معرفیش کرد.
اگه هم با داکر کار می‌کنید هم عاشق مدل‌های هوشمند (مثل ChatGPT) هستید، این داستان مخصوص شماس!
---
خب این Model Runner چیه؟ قصه‌ش چیه؟
ساده بگم: می‌تونی روی لپتاپ خودت، مدل‌های هوشمند رو اجرا کنی... درست مثل وقتی که یه کانتینر معمولی رو راه می‌ندازی!
حالا چرا محلی؟ دلایل خفنی داره:
- حریم خصوصیت محفوظ میمونه (دیتات پیش خودته!)
- تو توسعه سریع‌تر پیش می‌ری
- دیگه نیازی نیست مدام آنلاین باشی
---
چطوری ازش استفاده کنم؟ قدم‌به‌قدم بریم جلو:
۱. یه نکتهٔ مهم: فعلا فقط روی سیستم‌های اپل با تراشه M1/M2/M3 کار می‌کنه (نسخهٔ بتاست).
داکر داره زور می‌زنه به‌زودی لینوکس و ویندوز رو هم بیاره!
۲. اجراش خیلی باحاله: تو ترمینال فقط بزن:
docker model run aism/360m-4bit-kmeans # (اسم یه مدل نمونه)
بعد دکمه انتر رو بزن... کار تمومه!
۳. مدل رو از کجا میاره؟ خودکار از Docker Hub دانلودش می‌کنه... درست مثل عکس‌های داکر!
۴. حالا وقت چته! بعد از اجرا، یه پنجره چت باز میشه... می‌تونی مستقیم بپرسیش: "هی هوش مصنوعی! فلان چیز چطوری کار می‌کنه؟"
۵. اگه مدل اضافه کردی: برای لیست کردنشون بزن:
docker model list
تا ببینی کدوم‌ها رو داری!
۶. نکتهٔ جالب‌تر: می‌تونی این مدل‌های محلی رو توی برنامه‌هات هم استفاده کنی!
مثلاً توی یه برنامه Next.js، به جای وصل شدن به OpenAI، به همون مدلی که روی سیستم خودت راه انداختی وصل میشی!
رازش چیه؟ تو کدت فقط یه خط مثل این اضافه می‌کنی:
baseURL: 'http://model-runner.docker.internal:engines/v1'
(این آدرس، همون سرور استنتاج داکر روی سیستم خودتِ!)
منبع:
https://youtu.be/rGGZJT3ZCvo?si=699qJrXheVTvA13U
🎺برای یادگیری بیشتر و دریافت مطالب مفید در زمینه .NET و برنامه‌نویسی، به کانال ما بپیوندید!
📚💻 @dotnetcode 🖥👨💻