مدل‌های معمولی ترنسفورمر تعداد لایه های ثابتی دارن، یعنی عمق Reasoning از قبل مشخصه. اگر مدل بخواد بیشتر فکر کنه، معمولاً باید Token بیشتری تولید کنه که یعنی هزینه و Compute بیشتر.
ایده‌ی Recurrent Looped Transformer (RLT) این ساختار رو تغییر میده. به‌جای اینکه مدل یک Stack ثابت از لایه ها داشته باشه، Layerها رو به‌صورت Loop روی توکن اجرا می‌کنه و همزمان یک Internal Memory می‌سازه که با طول Sequence رشد می‌کنه.
هدف این طراحی اینه که مدل بتونه Reasoning عمیق‌تر انجام بده، بدون اینکه الزاماً توکن بیشتری تولید کنه ضمن اینکه با Parallel Encoding و Memory Reuse برای سخت افزار و منابه در دسترس هم مناسب‌تر باشه.
البته یک نکته مهم: RLT فعلاً یک Design Spec و ایده‌ی تحقیقاتی محسوب می‌شه، نه یک محصول آزمایش‌شده. نتایج اولیه هستن و خود مقاله هم می‌گه مزیت‌های مربوط به Efficiency و Scaling هنوز نیاز به بررسی بیشتر دارن.
این کارا نشون میده که هسته معماری ترنسفرومر باز جای بهتر شدن رو داره
گیتهاب
@silicon_brain | از هوش مصنوعی عقب نمانید