‏🚀 اجرای مدل هوش مصنوعی در مرورگر

‏تکنولوژی جدیدی معرفی شده است که در آن یک ایجنت کدنویسی هوشمند با استفاده از مدل 2 میلیارد پارامتری MiniCPM5-2B مستقیماً در مرورگر شما اجرا می‌شود. این ابزار با بهره‌گیری از توان پردازشی WebGPU، نیاز به سرورهای خارجی را برای بسیاری از فرآیندها حذف کرده است.

‏مهم‌ترین ویژگی‌های این راهکار:
‏- استفاده از مدل سبک MiniCPM5-2B برای اجرای محلی
‏- بهره‌گیری از Transformers.js و WebGPU برای استنتاج در مرورگر
‏- بهینه‌سازی شده با وزن‌های 4-bit ONNX با حجم حدود 1.83 گیگابایت
‏- امکان کش کردن مدل پس از دانلود برای استفاده مجدد و آفلاین
‏- اجرای ایجنت کدنویسی بدون نیاز به زیرساخت سمت سرور

‏این دستاورد نشان می‌دهد که مدل‌های کوچک (SLM) تا چه حد می‌توانند در محیط‌های ایزوله مانند مرورگرها توانمند باشند. البته به دلیل محدودیت‌های امنیتی و 샌드박س مرورگر، دسترسی به ترمینال یا ابزارهایی مانند Git همچنان با محدودیت همراه است. این ابزار گام مهمی در جهت خصوصی‌سازی و سرعت بخشیدن به فرآیندهای توسعه با کمک هوش مصنوعی است.

اجرای ایجنت کدنویسی MiniCPM5-2B و Pi در مرورگر با WebGPU

📊 Data➕Science