ИИ и логика: как большие языковые модели могут быстрее и дешевле обучаться рассуждению

Исследователи из T-Bank AI Research совместно с Центральным университетом разработали новый метод обучения LLM. С его помощью модели смогут развивать способность к логическим рассуждениям с меньшими финансовыми затратами.

Вместо полного переписывания “мозга” модели исследователи добавили компактные векторы-настройки, которые усиливают правильные логические шаги. Это похоже на регулятор громкости — модель уже умеет рассуждать, а новые векторы делают “громче” верные решения.

Метод проверили на шести мировых бенчмарках по математическому рассуждению, и он подтвердил свою результативность: он сохраняет 100% качество полного дообучения, изменяя лишь 0.0016% параметров модели. Так, исследователи впервые показали, что сложные умения LLM можно развить с изменением небольшого количества обучаемых параметров.

Время обучения на одном из этапов уменьшается с десятков минут до секунд, а объем памяти сокращается с гигабайтов до сотен килобайт. Таким образом, даже университетские лаборатории и небольшие компании смогут создавать собственные reasoning-модели.

Исследование может помочь сделать языковые модели более объяснимыми – ученые по всему миру уже трудятся над этой задачей. Метод был представлен на одной из ведущих международных конференций в области ИИ по эмпирическим методам обработки естественного языка (EMNLP 2025) уровня А*, которая проходит с 4 по 9 ноября в Китае.

Data Science