UQT: квантовый Transformer заработал на реальном железе IBM

Sungyong Chung и Alireza Talebpour выложили 25 сентября четвёртую версию препринта Universal Quantum Transformer. Главная новость версии: авторы исполнили сам вычислительный контур Transformer на физических процессорах IBM Quantum, и он справился там с языковой задачей. Раньше квантовые блоки играли вспомогательную роль, а в UQT вычисления целиком живут внутри квантовой схемы.

⚛️ Как устроено: Архитектура собрана из одних квантовых примитивов. Токены превращаются в геометрические фазы, слои смешивания управляют интерференцией волн SU(2), и механизм внимания работает прямо на кубитах. Один и тот же контур на 5–6 кубитах с 551–1 650 обучаемыми параметрами точно решает четыре формальные задачи: сложение и умножение по модулю 11, некоммутативную алгебру перестановок S4 и лингвистическую композицию SCAN.

🧊 Кристаллизация: Классические MLP и Transformer даже после сходимости сохраняют стохастическую нестабильность, а UQT выдаёт математически точный и повторяемый результат. Авторы назвали этот режим crystallization: он строже известного grokking. На трёх процессорах IBM модель прошла 39 из 40 контрольных прогонов без коррекции ошибок и справилась со всеми тестами на генерализацию, включая zero-shot SCAN.

⚠️ Оговорки: Масштаб остаётся микроскопическим: SCAN по-прежнему формальная задача, и до генеративной LLM с большим словарём отсюда далеко. Модель обучалась в симуляции JAX, а на QPU переносили только готовые веса: градиентные циклы с сотнями последовательных CNOT выходят за пределы точности нынешних NISQ-процессоров. Сравнение с классикой сделано на маленьких специально подобранных задачах, поэтому заявленную экономию параметров стоит считать экспериментальным результатом препринта.

💼 Зачем бизнесу: Картина на сегодня такая: LLM, целиком работающей на QPU, пока нет, гибриды LLM и QPU уже работают, а полностью квантовый Transformer показал себя на реальном железе и в языке тоже. Убедительного квантового преимущества для LLM никто пока не продемонстрировал, поэтому за линией UQT стоит следить: если логарифмическое масштабирование параметров выдержит рост словаря, формальные задачи уйдут на компактные схемы с миллиардных моделей.

📎 статья · Variational Quantum Transformer · QTrans

#UQT #IBMQuantum #quantum #кванты
———
@tsingular