AI разработчики могут сконвертировать веса моделей llama 3.2 1B и 3B в формат, поддерживаемый мобильными устройствами. Для этого есть официальная открытая реализация нового метода post-training квантизации SpinQuant, который оптимизирует названные модели для работы на мобильных платформах. Оптимизация заключается в сокращении потребляемой памяти и повышении скорости инференса.
Этот метод проще, чем QLoRA, потому что вам не нужно файнтюнить модель. Достаточно взять готовые несжатые веса, выполнить подготовительный шаг - ротацию матриц весов и активации, для чего есть готовый скрипт в названном репозитории. Для этого понадобится видеокарта - можно выбрать любую на immers.cloud, RTX 3090 более чем достаточно, так как речь идет о легковесных 1B и 3B моделях.
После ротации можно выполнить обычную post-training квантизацию - для этого тоже есть готовый скрипт - и экспортировать модель для запуска на мобильном устройстве. Но как именно запустить Llama, скажем, на Android? Для этого служит ExecuTorch, фреймворк для создания Pytorch-программ под мобильные процессоры. И да, репозиторий SpinQuant предоставляет скрипты для экспорта весов в совместимый с ExecuTorch формат.
@ruslandevlive - мысли о современных AI/ML технологиях