یه مدل جدید و قدرتمند مولتی‌مودال از سری Qwen به اسم Qwen3-VL ریلیز شده که همزمان تصویر، ویدیو و متن رو به عنوان ورودی می‌گیره و خروجی متنی تولید می‌کنه. کاربرد اصلیش فراتر از VQA ساده رفته و روی تحلیل ویدیوهای خیلی طولانی و کاربردهای ایجنت‌محور برای کنترل رابط کاربری (GUI) تمرکز داره.

این مدل توی دو نسخه ارائه شده:

Instruct:
برای کاربردهای عمومی مثل تشخیص متن از تصویر (OCR)، تحلیل نمودار و داکیومنت و درک رابط کاربری.

Thinking:
برای استدلال‌های پیچیده‌تر، حل مسائل ریاضی و علمی که نیاز به chain-of-thought داره.

معماری این مدل از نوع Mixture-of-Experts یا MoE هست. مدل ۲۳۵ میلیارد پارامتری در مجموع حدود ۲۳۵ میلیارد پارامتر داره، اما در هر forward pass فقط حدود ۲۲ میلیارد پارامتر فعال میشه (A22B). این ساختار که از ۱۲۸ اکسپرت با ۸ اکسپرت فعال تشکیل شده، باعث میشه مدل خیلی بزرگ باشه ولی هزینه محاسباتی برای inference کنترل‌شده باقی بمونه.

از نظر فنی چندتا ویژگی کلیدی داره:

طول زمینه بالا: به صورت نیتیو 256K توکن context داره که با تکنیک‌های scaling مثل RoPE میشه اون رو تا حدود ۱ میلیون توکن افزایش داد. این قابلیت، تحلیل کتاب‌ها یا ویدیوهای چند ساعته رو ممکن می‌کنه.

درک ویدیو: با استفاده از معماری‌هایی مثل Interleaved-MRoPE و Text–Timestamp Alignment، میتونه رویدادها رو با دقت زمانی بالا توی ویدیوهای طولانی تشخیص بده.

درک فضایی: توانایی درک موقعیت اشیاء به صورت دو‌بعدی و سه‌بعدی (3D grounding) رو داره که برای رباتیک و embodied AI مهمه.

OCR پیشرفته: از ۳۲ زبان پشتیبانی می‌کنه و توی شرایط نوری ضعیف، زاویه‌های نامناسب یا روی متون تار عملکرد خوبی از خودش نشون میده.

برای اجرا کردنش به سخت‌افزار سنگین نیاز هست. توی داکیومنت‌هاش به کارت‌های H100 انویدیا با CUDA 12 به بالا اشاره شده و مثال‌های inference با موازی‌سازی روی ۸ تا GPU ارائه شدن. پس برای استفاده عملی باید به فکر زیرساخت بود.

به نظر من، Qwen3-VL یه قدم مهم در دنیای مدل‌های مولتی‌مودال اپن‌سورس (با لایسنس Apache-2.0) محسوب میشه. ترکیب MoE با context طولانی برای ویدیو و قابلیت‌های ایجنت، اون رو به یه ابزار قدرتمند برای ساخت محصولات پیچیده تبدیل کرده، به شرطی که منابع سخت‌افزاری لازم براش فراهم باشه.

🤗 مدل در هاگینگ فیس

🛠 Join @LLMEngineers Community