👉 @navidcasts 🎓


این مقاله روش جدیدی به نام پیش‌بینی ترتیب توکن (TOP) را معرفی می‌کند که هدف آن بهبود آموزش مدل‌های زبانی بزرگ (LLM) است. برخلاف روش‌های سنتی که فقط توکن بعدی را پیش‌بینی می‌کنند (NTP) یا روش‌های کمکی مانند پیش‌بینی چند-توکن (MTP) که توکن‌های آینده را به طور دقیق پیش‌بینی می‌کنند، TOP مدل را برای رتبه‌بندی توکن‌های آینده بر اساس نزدیکی‌شان آموزش می‌دهد.

👉 @navidcasts 🎓

نویسندگان استدلال می‌کنند که پیش‌بینی دقیق توکن‌های آینده در MTP بسیار دشوار است و منجر به بهبودهای نامنظم می‌شود، اما TOP با یک لایه اضافی ساده و با استفاده از «زیان یادگیری برای رتبه‌بندی» (learning-to-rank loss)، عملکرد کلی مدل‌های زبانی را در معیارهای استاندارد NLP بهبود می‌بخشد و با افزایش مقیاس مدل نیز عملکرد بهتری دارد.

لینک مقاله : https://www.alphaxiv.org/pdf/2508.19228