Российские ученые разработали технологию сжатия нейросетей, которая позволяет снизить потребность языковых моделей в вычислительных ресурсах и памяти при минимальной потере точности. На фоне развития ИИ растет нагрузка на центры обработки данных, а дефицит оборудования и электроэнергии для них уже ощущается в России. Источник: https://iz.ru/2182861/denis-gritcenko/metod-upakovki-nejrosetej-snizit-nagruzku-na-data-centry

Специалисты МФТИ разработали алгоритм HARP, который позволяет сжимать языковые модели практически без потери точности. Технология способна вдвое увеличить скорость работы ИИ-систем, а также снизить потребность в вычислительных мощностях и памяти дата-центров. Алгоритм успешно испытали на языковых моделях Llama и Qwen. При наиболее жестком сжатии ошибка снизилась на 15%. HARP и уже сжатые с его помощью нейросети доступны для свободного использования.

По мнению основателя компании «Интернет-Розыск», председателя совета по противодействию технологическим правонарушениям координационного совета негосударственной сферы безопасности России Игоря Бедерова, технология HARP способна снизить нагрузку на инфраструктуру, но не отменяет потребность в ней. Метод позволяет переводить нейросети с привычной 16-битной точности на 2–4 бита. Для РФ это означает возможность запускать современные модели на более доступном оборудовании, что особенно важно в условиях ограничений на поставки высокопроизводительных графических процессоров.

— Сжатие моделей напрямую снижает требования к памяти и вычислительной мощности на одну операцию вывода. По оценкам, квантование позволяет сократить энергопотребление при обработке новых данных до 50%. Дефицит электроэнергии для ЦОД в России уже ощущается. Так, по прогнозам, к 2030 году энергопотребление дата-центров вырастет на 76% и достигнет 26,2 млрд кВт·ч. В этих условиях HARP предлагает важный инструмент технологического суверенитета, — сказал он.