Содержание статьи:
1. Какой дистрибутив Linux выбрать для локального запуска ИИ
2. Установка драйверов видеокарты
3. Повышение мощности видеокарты ноутбуков
4. Установка стандартных пакетов
5. Установка Micromamba
6. Установка llama.cpp
7. Установка ollama и ollama-cuda
8. Установка LM Studio
9. Установка видеодрайверов, CUDA и компиляторов для старых видеокарт NVIDIA
10. Виртуальные окружения Python: в чём разница и как обновлять
Выбор дистрибутива Linux не является чем-то критичным для локального запуска нейросетей — подавляющее число зависимостей устанавливаются в виртуальные окружения Python, которые работают идентично на разных дистрибутивах
— Из стандартных репозиториев ключевыми для локального ИИ являются буквально несколько пакетов, которые если отсутствуют/слишком старые в вашем дистрибутиве, можно скомпилировать из исходного кода
🗣 Ссылка на чтиво
🧑💻 Этичный хакер