Группа испанских ученых из компании Multiverse Computing под руководством Борхи Айспуруа представила исследование, демонстрирующее возможность повышения качества работы большой языковой модели за счет интеграции квантовых вычислительных блоков. В исследовании показано, что добавление шести тысяч параметров к модели с восемью миллиардами параметров позволяет снизить показатель перплексности на 1,4% и улучшить точность ответов на ряд вопросов.

Ключевым элементом метода являются параметризованные по Кейли унитарные адаптеры (Cayley-parameterised unitary adapters) — квантовые схемы, встраиваемые в замороженные проекционные слои предварительно обученной модели. В отличие от традиционных подходов, предполагающих полное переобучение модели или использование независимых кодировщиков, данный метод оставляет исходные параметры модели неизменными. Обучение адаптеров выполняется на классическом оборудовании, после чего они загружаются в квантовый процессор для выполнения этапа вывода.

Архитектурное решение ориентировано на минимизацию требований к квантовому оборудованию. Адаптеры строятся как блочно-диагональные унитарные операторы, факторизующиеся на независимые блоки, что позволяет выполнять их в виде мелких схем в пределах текущих ограничений по времени удержания состояния. В экспери- ментах использовался блок размером 4×4, реализованный в виде схемы глубиной 19 вентилей на 156-кубитном процессоре IBM Quantum System Two.

Данная конструкция обходит проблему экспоненциального роста сложности, характерную для унитарных преобразований общего вида, и обеспечивает практическую реализуемость на существующих квантовых устройствах.

В качестве тестовой модели выступала Llama 3.1 8B — широко распространенная открытая модель с восемью миллиардами параметров. Выбор был обусловлен репрезентативностью модели и наличием устоявшихся бенчмарков для оценки качества. Для систематического анализа влияния параметров квантовых блоков дополнительно использовалась модель SmolLM2 с 135 миллионами параметров, позволяющая проводить эксперименты с различными конфигурациями без значительных вычислительных затрат.

Количественные результаты эксперимента на тестовом наборе WikiText показали снижение перплексности на 1,4% при добавлении 6000 параметров, что составляет 0,000075% от общего объема модели. При этом исследователи отмечают, что улучшение перплексности возрастает вместе с увеличением размерности унитарного блока вплоть до точки, где шум квантового оборудования начинает преобладать над вычислительными преимуществами. Данный эффект авторы обозначают как фазовый переход шум-экспрессивность (noise–expressivity phase transition), указывающий на конкретный путь к достижению квантовой полезности при увеличении числа кубитов.

Исследователи подчеркивают, что представленная работа является первой успешной демонстрацией сквозного квантового улучшения предварительно обученной языковой модели производственного масштаба на реальном сверхпроводящем квантовом оборудовании. Значимость результата по их оценке заключается не столько в величине достигнутого улучшения, сколько в самом факте его существования, что открывает путь к дальнейшему масштабированию по мере совершенствования квантового оборудования и увеличения числа доступных кубитов.

Перспективы развития метода связаны с возможностью прямой кодировки всей квантовой схемы, а не только адаптеров, что потенциально позволит достичь более низкой перплексности и более высокой точности при меньшем числе параметров по сравнению с классическими методами. Исследование носит характер подтверждения концепции (proof of concept) и определяет направление для дальнейших разработок в области гибридных классическо-квантовых систем искусственного интеллекта.

📕📕📕
Источник Yahoo Tech