LM Studio — это как Steam для нейросетей. Не нужно знать Python, возиться с терминалом или настраивать библиотеки. Это программа с графическим интерфейсом, которая скачивает и запускает модели в два клика. И главное — всё работает локально, без интернета, данные никуда не утекают (и интернет после установки тоже не нужен)
Пошаговая инструкция от установки до первого сообщения
Шаг 1: Установка программы
— Зайти на официальный сайт lmstudio.ai.
— Скачать версию под свою ОС (Windows / macOS / Linux)
— Установить и запустить как обычную программу
Шаг 2: Поиск правильной модели
Главный экран LM Studio — это каталог (связанный с базой Hugging Face)
Теперь задача выбрать подходящую ИИ-модель под свой ПК (под его мощность)
Выбрать можно тут: https://www.canirun.ai/
Шаг 3: Как выбрать нужный файл (Разбираемся с квантованием)
Справа от модели откроется список файлов. Их будет много, и они будут называться странно, например: q4_k_m.gguf или q8_0.gguf.
— Буква «Q» означает уровень сжатия модели:
— Q2 / Q3: Экстремальное сжатие. Занимает очень мало памяти, работает быстро, но модель становится откровенно глупой
— Q4: Золотая середина. Отличный баланс между умом нейросети и потреблением памяти
— Q6 / Q8: Минимальное сжатие. Модель максимально умная, но потребует много оперативной памяти и будет генерировать текст медленнее.
Лайфхак LM Studio. Программа проанализирует железо и подсветит зеленой плашкой «Should work» те файлы, которые компьютер потянет
Шаг 4: Запуск и настройка чата
— Теперь нужно нажать на иконку диалогового окна в левом меню
— В верху по центру есть выпадающий список «Select a model to load»
— Нужно выбрать только что скачанный файл
Программа начнет загружать модель в оперативную память. Это займет несколько секунд (будет виден индикатор загрузки). Как только загрузка завершится — готово. Внизу есть поле ввода, туда можно вписать запрос
#ЛокальныеМодели@ii_papka
👍 — респект, я ждал этого гайда!
👨🚒 — осталось купить мощный компуктер
🤡 — уже пошел тестить локальные ЛЛМ
🪐 Вездесущий ИИ | Чат с админом | Консультация