وقتی مدل‌ها با ورودی‌های طولانی کار می‌کنن، تعداد توکن‌ها می‌تونه سرعت و هزینه رو به‌شدت بالا ببره.
اینجاست که Token Merging میاد وسط؛ یک تکنیک ساده اما خیلی مؤثر که کمک می‌کنه مدل‌ها هم سریع‌تر جواب بدن و هم حافظهٔ کمتری مصرف کنن. 🧩
🔍 توکن مرجینگ دقیقاً چیکار می‌کنه؟
در این روش، مدل توکن‌هایی که خیلی شبیه هم هستن رو پیدا می‌کنه و به‌جای پردازش جداگانه، اون‌ها رو ادغام می‌کنه.📌 مرجع تخصصی هوش مصنوعی و علم داده
فرض کن مدل قراره جمله‌ای رو بخونه که چندبار عبارت‌های شبیه به هم مثل “in the system”, “inside the system”, “within the system” تکرار شدن.
تکنیک ToMe می‌گه: «این‌ها از نظر معنا خیلی نزدیکن؛ لازم نیست سه‌بار محاسبه جدا انجام بدم.»
پس این توکن‌های مشابه رو ادغام می‌کنه و فقط یک نماینده رو پردازش می‌کنه، بدون اینکه معنی جمله خراب بشه.
نتیجه:
سرعت اجرای مدل بالاتر⚡
مصرف حافظه (به‌خصوص KV-cache) کمتر🧮
هزینهٔ inference پایین‌تر💸
همین سادگی باعث شده این تکنیک تو خیلی از مدل‌های تصویری و زبانی امروزی استفاده بشه.
🤖 دیتایاد / datayad@