2026-10-17: Next-Concept Modeling ускоряет генерацию текста 🚀

Предложен двухэтапный неавторегрессионный метод генерации текста Next-Concept Modeling (NCM), который сначала сжимает токены в иерархическую структуру кодов с помощью VQ-VAE, а затем параллельно генерирует уровни от грубых к детальным.

При размере около 100M параметров NCM работает значительно быстрее большинства современных диффузионных и потоковых моделей, достигая лучших или сопоставимых результатов по перплексии и ROUGE-L на некоторых бенчмарках.

Метод сокращает число обрабатываемых токенов в обучении в 4–5 раз, но зависит от фиксированного расписания длин и отдельного токенизатора с небольшими ошибками реконструкции.

NCM превосходит или сравним с существующими моделями в генерации текста и решении задач, снижая вычислительную нагрузку и время вывода.

🌎 Источники:
• arxiv.org
• arxiviq.substack.com
• arxiv.org
• github.com
• arxiv.org
• t.me
• arxiv.org
• arxiv.org

✍️ by gonzo_ML

#news #ai #tools
🇬🇧 🇷🇺 ☕️ 🌐 💷