📌 Новая работа Microsoft + University of Pennsylvania показывает, как LLM могут решать более сложную математику **короче и точнее** - за счёт семплирования и “слияния” вариантов мысли.

Метод называется Multiplex Thinking.

Обычный Chain-of-Thought работает так:
модель расписывает шаги рассуждений текстом, и это:
- быстро раздувает длину ответа
- заставляет рано выбрать один путь решения (и ошибиться)

Multiplex Thinking меняет сам механизм шага:
на каждом шаге модель семплирует K вариантов следующего токена, а затем объединяет их в один “внутренний токен”.

Как это устроено:
- токены - это маленькие куски текста, которые предсказывает модель
- вместо выбора одного варианта сразу, берутся K предположений
- затем их эмбеддинги (внутренние векторы модели) смешиваются в один токен
- итог: неопределённость “упаковывается” без увеличения длины рассуждения

Если модель уверена - варианты совпадают, и поведение почти как обычное.
Если не уверена - сомнения сохраняются внутри шага, не раздувая цепочку мыслей.

Ключевой плюс:
так как варианты берутся как реальные случайные выборки из распределения вероятностей модели, обучение через reward может направлять модель к более сильным траекториям рассуждений.

Авторы проверили метод на двух размерах DeepSeek R1 Distill Qwen:
- 6 сложных математических бенчмарков
- сравнение с обычным пошаговым CoT и другими continuous-token методами

Результат:
✅ точность выше (от 1 до 1024 семплов)
✅ при этом генерируется меньше токенов, что критично, когда дорого прогонять много попыток решения

arxiv.org/abs/2601.08808