🦙 go-llama.cpp — запускаем LLM в Go без лишних зависимостей. Этот проект предлагает минималистичные Go-биндинги для llama.cpp, позволяя работать с локальными языковыми моделями прямо из Go-кода. В отличие от других решений, здесь основная логика остаётся в C/C++ для максимальной производительности, а Go выступает лишь удобной обёрткой.

Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.

🤖 GitHub