🧠 مدل‌های Multimodal چطور همزمان متن، تصویر و صدا را می‌فهمند؟
بیشتر سیستم‌های یادگیری ماشین فقط روی یک نوع داده کار می‌کنند:
📄 متن 🖼 تصویر 🎧 صدا
اما مدل‌های Multimodal LLM یا MLLM این مرز را از بین برده‌اند.این مدل‌ها می‌توانند همزمان:
📷 تصویر  🎥 ویدئو 🎙 فایل صوتی
و متن را دریافت و تحلیل کنند.
ساختار اصلی یک MLLM از ۳ بخش تشکیل می‌شود:
👁 Encoder → تبدیل تصویر/صدا به داده قابل فهم
🧠 LLM → بخش استدلال و تولید زبان
🔗 Connector → مترجم بین داده تصویری و مدل زبانی
در واقع Connector داده‌های تصویری را به token تبدیل می‌کند تا مدل زبانی بتواند آن‌ها را پردازش کند.این مدل‌ها طی ۳ مرحله آموزش می‌بینند:
1️⃣ Pre-training
2️⃣ Instruction tuning
3️⃣ Alignment tuning
و با تکنیک‌هایی مثل RLHF و DPO برای رفتار ایمن‌تر و پاسخ‌های بهتر تنظیم می‌شوند.البته هنوز مشکل «Hallucination» وجود دارد؛یعنی مدل ممکن است:
❌ چیزی را ببیند که وجود ندارد
❌ ویژگی‌ها را اشتباه توصیف کند
❌ یا رابطه بین اشیا را اشتباه بفهمد
  
مرکزهوش مصنوعی دانشگاه صنعتی اصفهان
📲 ble.ir/AIC_IUT
📲 t.me/AIC_IUT
🌐 ai.iut.ac.ir