koboldcpp

Сначала я хотел запускать большую модель локально, но помимо возни со сложными зависимостями окружения и установкой кучи библиотек, пришлось ещё разгребать проблемы с совместимостью и это оказалось особенно муторно.

Позже появились инструменты вроде Ollama и llama.cpp, которые сильно упростили процесс, но по части функциональности они всё же выглядели ограниченными.

Недавно я наткнулся на KoboldCpp на GitHub — это тулза, которая унаследовала производительность llama.cpp и при этом ставится так же легко и удобно, как Ollama.

По части возможностей тут всё куда интереснее: в одном исполняемом файле собрано сразу несколько AI-функций — генерация картинок, распознавание речи, синтез речи. То есть реально формат "скачал и сразу работаешь".

Так как всё построено на llama.cpp, есть поддержка и CPU, и GPU, плюс несколько совместимых API-интерфейсов и интеграция с популярными сервисами вроде OpenAI и Ollama.

Достаточно просто скачать бинарник под свою платформу — Windows, macOS или Linux — и можно юзать. Кто захочет, может спокойно попробовать.

📁 Language: #Cpp 85.6%

⭐️ Stars: 8.3k

➡️ Cсылка на GitHub

📱 @git_developer