🌟 local-gemma — простая библиотека и CLI для запуска Gemma-2 локально; можно использовать CUDA, MPS или CPU

— pip install local-gemma"[cpu]"

local-gemma предоставляет простой и быстрый способ локального запуска Gemma-2 прямо из терминала (или можно использовать в коде как обычную библиотеку).
local-gemma построена на основе библиотек Transformers и bitsandbytes.

🖥 GitHub

@machinelearning_ru