Awesome local LLM

Если хочешь развернуть большую языковую модель локально, легко утонуть в куче инструментов и гайдов. То Ollama, то vLLM, плюс десятки фреймворков для дообучения. В итоге сложно понять, за что браться и какой стек вообще рабочий.

Случайно наткнулся на GitHub-проект Awesome local LLM. По сути, это энциклопедия по запуску LLM локально. Подборка очень полная и при этом хорошо структурирована, помогает быстро разложить весь стек по полочкам.

Внутри есть разделы по inference-платформам, inference-движкам, UI, самим языковым моделям, инструментам для разработки и ещё с десяток категорий. Плюс советы по выбору железа и полезные туториалы.

У каждого проекта указано количество GitHub Stars и короткое описание, так что можно быстро оценить популярность и понять, для чего он нужен. Также собраны обучающие ресурсы, включая YouTube-гайды и обзоры железа.

Если планируешь собирать локальное окружение под LLM или ищешь open source инструменты под конкретные задачи, эту подборку точно стоит сохранить.

⭐️ Stars: 613

➡️ Cсылка на GitHub

📱 @git_developer