На чем работает Kapitsa.AI. Квантование

Для Kapitsa.AI наша команда использует квантованную версию LLaMA 3.1-8B на 4 бита. Почему такое решение? Сегодня поговорим о квантовании.

Квантование — это процесс уменьшения количества бит, необходимых для представления чисел в модели. В LLaMA 3.1-8B это означает, что вместо 32-битных или 16-битных чисел используется всего 4 бита. Это значительно снижает объем памяти и увеличивает скорость вычислений.

Это достигается с помощью трех вещей:

1️⃣ Преобразование весов: Весовые коэффициенты модели конвертируются в более компактные представления. Это достигается с помощью различных техник, таких как минимакс-квантование, которое использует диапазон значений для определения уровня точности.

2️⃣ Снижение разрядности: вместо хранения каждого веса с высокой точностью, квантование позволяет округлить значения до ближайшего представления, что приводит к меньшему объему памяти.

3️⃣Оптимизация вычислений: Использование 4-битных операций значительно ускоряет процесс обработки данных, так как современные процессоры могут выполнять операции над меньшими числами быстрее и с меньшими затратами на память.

Таким образом, модель можно запускать на устройствах с ограниченными ресурсами, увеличивается скорость вывода за счет меньших размеров данных и оптимизированных операций, но качество остается на уровне — точность генерации текста сохраняется.

#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки #KapitsaAI