Llama продолжает покорять мобильные устройства. Вышла версия Llama 3.2 1B с весами, квантованными до 4-битного формата. Согласно опубликованным результатам бенчмарков, эта версия вполне способна конкурировать с несжатой моделью в формате BF16. Скорость инференса на ARM-процессорах для Android значительно возросла.
Разработчики использовали несколько методов квантизации, и наилучшие результаты показал хорошо известный метод QLoRA.
Чтобы самостоятельно сжать веса крупной языковой модели до 4-битного формата, улучшив её скорость и экономичность по памяти, потребуется подходящий графический процессор.
На платформе immers.cloud доступны видеокарты для различных типов нагрузок. Также понадобятся базовые теоретические знания и навыки работы с инструментами квантизации, такими как библиотека bitsandbytes.
➡️Подробнее о том, как работает метод QLoRA, вы можете узнать из этого видео.
@ruslandevlive — мысли о современных AI/ML технологиях