gonzo-обзоры ML статей

Мемы про муху не прекращаются. Извинити.

Дистилляция в байтовые модели открывает новые законы скейлинга.

Breaking the Token Ceiling: Distilling Smaller, Stronger Byte Models
Kalyani Marathe, Artidoro Pagnoni, Tomasz Limisiewicz, Margaret Li, Mike Lewis, Luke Zettlemoyer, Srinivasan Iyer
Paper: https://arxiv.org/abs/2609.12303
Review: https://arxiviq.substack.com/p/breaking-the-token-ceiling-distilling
Code: N/A
Model: N/A

ЧТО сделали: Авторы провели масштабное теоретическое и эмпирическое исследование овертрейнинга dense-трансформеров с архитектурой decoder-only на стыке двух осей: парадигмы токенизации (BPE-токены против сырых байтов UTF-8) и функции потерь (supervised cross-entropy против дистилляции знаний). Чтобы переносить знания от крупных моделей-учителей с BPE-словарями без вычислительно неподъёмных многопроходных авторегрессионных вычислений, исследователи разработали два метода однопроходной конвертации логитов: приближённую условную маргинализацию Marginalize-It и точный метод End-Of-Token, расширяющий байтовый словарь структурным разделителем конца токена <eot>. Обучив сетку 1B-моделей на объёме до 1 триллиона байт с учителем Llama 3-8B, авторы вывели степенные законы скейлинга, связывающие тренировочные FLOPs, валидационный лосс в битах на байт (BPB) и точность на восьми бенчмарках.

ПОЧЕМУ это важно: Общепринятые подходы к токенизации опираются на эвристики вроде Byte Pair Encoding (BPE), которые создают узкие места в репрезентации данных, раздувают словарь, страдают от артефактов на границах слов и требуют колоссальных объёмов памяти для сохранения логитов при офлайн-дистилляции. Байтовые архитектуры традиционно уступали токенным при малых вычислительных бюджетах из-за удлинения последовательностей. Однако эта работа доказывает, что байтовые модели демонстрируют значительно более крутую траекторию скейлинга и заметно более высокий асимптотический потолок качества. Точно дистиллированные байтовые модели превосходят токенные аналоги по средней точности на задачах на величину до 4%, догоняют их по качеству всего на 1/6 объёма обучающих данных и сокращают затраты дискового пространства на хранение логитов учителя примерно в пять раз за счёт отказа от усечения top-k.

Для практиков: Долгое время считалось, что учить языковые модели напрямую на сырых символах или байтах вычислительно неэффективно по сравнению с BPE-токенизацией. Данная работа опровергает этот тезис для режимов длительного обучения с большим бюджетом вычислений. При переносе знаний из 8B-учителя в компактные 1B-модели токенные ученики быстро упираются в плато, где дальнейшие вычисления дают околонулевой прирост. Байтовые модели стартуют медленнее, так как тратят ресурсы на сборку слов из байтов, но сохраняют устойчивый прогресс на длинной дистанции. Добавление простого разделителя <eot> позволяет переводить распределение учителя в байтовые последовательности за один проход, обеспечивая то же качество при экономии 84% обучающих данных и 80% места на диске под логиты. Если ваша цель — выжать максимум качества из компактной модели для инференса на устройствах при наличии мощностей для долгого обучения, дистилляция напрямую в байтовую архитектуру позволяет преодолеть фундаментальные ограничения стандартных токенизаторов.

Дистиллировать в байты тут: https://t.me/gonzo_ML_podcasts/4805

Очень прикольная работа, продолжает другую работу этих же авторов, где проблема отслеживания состояния внутри трансформеров (которое только уползает вверх и ограничено глубиной сети) только обозначалась. Здесь же она решается довольно элегантным образом, используя свойство аддитивности residual stream. Если подмешивать в более ранние слои репрезентации с более поздних, то проблема снимается. Никакого дообучения вообще.

Recirculation
Michael C. Mozer, Shoaib Ahmed Siddiqui, Danny Sawyer, Sunny Sanyal, Rosanne Liu
Paper: https://arxiv.org/abs/2608.17981
Review: https://arxiviq.substack.com/p/recirculation
Code: N/A
Model: N/A

ЧТО сделали: Авторы предложили рециркуляцию (recirculation) — метод модификации прямого прохода, превращающий стандартные feedforward-трансформеры в динамические системы на инференсе. Подход подмешивает нормированную часть скрытых активаций из глубоких слоёв обратно в ранние слои на последующих шагах генерации, не меняя при этом предобученные веса.

ПОЧЕМУ это важно: Обычные feedforward-трансформеры не способны произвольно отслеживать состояние на длинных последовательностях, поскольку передача контекста принципиально ограничена глубиной сети. Рециркуляция предлагает вычислительно дешёвый механизм без необходимости дообучения, который опирается на линейное выравнивание residual stream для поддержания устойчивых скрытых состояний. Это даёт заметное снижение перплексии и прирост качества на прикладных задачах (например, относительный рост на 21% на GSM8k).

Для практиков: Современные LLM часто теряют контекст диалога или меняющийся смысл понятий, так как вычисляют представления строго по слоям снизу вверх. Вместо дорогостоящего изменения архитектуры или файнтюнинга авторы показывают, что в готовых моделях уже заложено нужное внутреннее выравнивание представлений. Подмешивая небольшую долю глубоких репрезентаций в ранние слои по ходу чтения текста, можно существенно повысить стабильность контекста, цепочки рассуждений и точность следования инструкциям на инференсе, вообще не трогая параметры модели.

Рециркулировать тут: https://t.me/gonzo_ML_podcasts/4804

Про важность хороших бейзлайнов и качественную сантехнику.

Sliding-Window Beats Linear Attention
Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais
Paper: https://arxiv.org/abs/2608.28444v1
Review: https://arxiviq.substack.com/p/sliding-window-beats-linear-attention

ЧТО сделали: Авторы поставили под сомнение популярную практику дистилляции стандартных квадратичных LLM в линейные декодеры и гибридные state-space модели. Проведя систематический бенчмарк на семействах моделей от 1.3B до 70B параметров, исследователи показали: обычный механизм Sliding Window Attention с начальными attention sinks, обозначаемый как SWA(w, s), вообще без дообучения не уступает сложным пост-обученным линейным архитектурам на стандартных downstream-задачах, а в длинном контексте и задачах на рассуждение с разгромом их побеждает.

ПОЧЕМУ это важно: Последние пару лет индустрия вливала огромные ресурсы в дистилляцию полносвязных трансформеров в линейные альтернативы вроде LoLCATs и Liger-GLA, стремясь побороть линейный рост KV-кэша. Эта статья вскрывает фундаментальную методологическую ошибку предшественников: линейные методы сравнивали с некорректным бейзлайном — скользящим окном без синк-токенов, которое неизбежно деградирует. Если же взять корректный бейзлайн — локальное окно всего с четырьмя статическими токенами в начале, — многостадийная дистилляция, LoRA-адаптеры и кастомные аппаратные кернелы оказываются попросту лишними.

Для практиков: Обслуживание современных моделей обходится дорого: каждый новый токен диалога раздувает KV-кэш, сжирая видеопамять GPU и замедляя генерацию. Чтобы с этим справиться, инженеры городили замысловатые схемы дистилляции, упаковывая историю контекста в скрытое состояние фиксированного размера. Как выяснилось, элементарный трюк без обучения — закрепить первые 4 токена в роли «якоря» и поддерживать небольшое скользящее окно недавних токенов — даёт сравнимое или даже более высокое качество на бенчмарках, декодирует токены быстрее, расходует меньше памяти и в 2–10 раз превосходит дистиллированные линейные модели при поиске фактов в длинном контексте. Не нужно городить дорогие пайплайны дообучения ради экономии памяти на инференсе: стандартные кернелы внимания с локальным окном и attention sinks обеспечивают превосходную Парето-эффективность прямо из коробки.

Прокачивать слив тут: https://t.me/gonzo_ML_podcasts/4803