Интересная работа про моделирование последовательностей через иерархию концептов. Размеры исследуются только малые, но модель ведёт себя лучше авторегрессионок и диффузионок.

Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
Hermann Kumbong, Ishan S. Khare, Iddah Mlauzi, Andrew Woen, Charles Ding, E. Kelly Buchanan, Simran Arora, Azalia Mirhoseini, and Christopher Ré
Paper: https://arxiv.org/abs/2610.14162
Review: https://arxiviq.substack.com/p/next-concept-modeling-fast-parallel
Code: https://github.com/HazyResearch/ncm
Model: N/A

ЧТО сделали: Предложили двухэтапный неавторегрессионный метод генерации текста Next-Concept Modeling (NCM). Сначала автоэнкодер с векторной квантизацией (VQ-VAE) сжимает последовательность токенов в многомасштабную иерархию дискретных остаточных кодов. Затем трансформер учится генерировать эти уровни от грубых к детальным, предсказывая все коды внутри каждого уровня параллельно.

ЧТО получили: При размере около 100M параметров NCM догоняет или обходит диффузионные и потоковые модели, работая заметно быстрее. На LM1B модель достигает генеративной перплексии 93.05 за 12 шагов против 97.30 за 128 шагов у дискретной диффузии DUO (в 21 раз быстрее). На XSum NCM набирает 28.0 ROUGE-L за 8 шагов против 26.6 за 128 у латентной диффузии AURORA-LM (в 31 раз быстрее), но уступает в переводе на WMT14 без гайданса (22.6 против 24.8 BLEU). На сложном судоку метод решает 86.1% полей за 12 шагов против 81.3% за 16 у потоковой модели FMLM+.

ПОЧЕМУ это важно: Короткие ранние уровни сокращают число обрабатываемых токенов при обучении в 4–5 раз и высвобождают ресурсы на инференсе для проверки кандидатов. Однако метод привязан к фиксированному расписанию длин и отдельному токенизатору, который ошибается при реконструкции в 0.01%–1.21% токенов.

Моделировать концепты тут: https://t.me/gonzo_ML_podcasts/4829