ЛОКАЛЬНЫЕ ИИ МОДЕЛИ И ПОЧЕМУ ЭТО КРУТО Ч1

Локальная модель — это ИИ без интернета, который живет на твоей машине, и его можно встроить в любой твой проект. Всё это без: API ключа, оплаты токенов, ухода данных куда-то в облако.

Огромное количество публичных ИИ моделей уже существует, и ты можешь выбрать нужные тебе. Одной из важных особенностей также служит то, что ты можешь ТЮНИТЬ модель под себя и улучшать под свои нужды.

Оптимизируй свои проекты с добавлением локальных ИИ, чтобы тратить меньше.

ГДЕ ВЗЯТЬ И КАК ЗАПУСТИТЬ ЛОКАЛЬНУЮ МОДЕЛЬ

Выбрать одну из 2+ миллионов моделей ты можешь тут — https://huggingface.co/

Удобная сортировка по размерам параметров, для каких задач, под какие приложения подойдёт.

Какую модель выбрать?

Прежде чем качать первую попавшуюся (хотя можешь и так), надо разобраться вообще в свойствах этих моделей.

Каждая модель обладает своим количеством параметров (от 1B до >500B), чем больше параметров, тем модель умнее, но требует более сильного железа.

Есть несколько популярных моделей:

— Llama (Meta)

Самые популярные open-source модели. Хорошо работают на английском, с русским хуже.

— Qwen (Alibaba)

Лучший выбор, если тебе важен русский язык. При одинаковом размере часто умнее Llama. Qwen2.5 на 7B — база для локального запуска.

— Gemma (Google)

Лёгкие модели, хорошо работают на слабом железе. 2B версия шустрая и подойдёт для почти любого железа.

Как подобрать под своё железо

Ориентировочные цифры, учитывай, что для разных моделей — они все равно варьируются.

8GB RAM/VRAM — 2-3B модели
16GB RAM/VRAM — 7-8B модели
24GB+ RAM/VRAM — 14B+ модели

СКАЧАЛ МОДЕЛЬ, КАК ЕЁ ЗАПУСТИТЬ

Есть много разных приложений для этого. Найти их ты можешь тут в разделе apps.

Чем я пользуюсь и что могу посоветовать:

— Ollama. Самый простой способ использовать локальные модели.

1. Качаем у них на сайте. Справа сверху кнопка Download.
2. После установки запускаем приложение.
3. Видим дефолтный для ИИ интерфейс:

— New chat.
— Settings. Тут можете настроить, где будут храниться ваши модели, контекст, автообновление моделей, разрешение на облачные модели и веб-поиск.

4. Для установки модели выбери подходящую тут (нажми use this model и там выбери Ollama) или тут (просто копируй команду), в настройках выбирай папку для моделей. Далее заходи в командную строку (WIN+R > cmd) и пиши команду:

cd *директория папки для моделей*
вставляй команду, которая нужна для установки

Дождись конца скачивания и на этом кончится твоя установка. Автоматически в Ollama появится модель и ты УЖЕ сможешь её использовать.

— LM Studio. Более удобный и приятный GUI.

1. Скачиваем приложение у них на сайте.
2. При запуске приложение сразу предложит скачать первую модель.
3. Приложение предлагает выбрать настройки:

— Turn on Developer Mode. Включи, если будешь делать локальный API сервис, логи и если будешь подключать модель к своему коду.
— Start local LM service on login. Если хочешь, чтобы был автозапуск при запуске ПК.

4. Заходишь в раздел Model Search и там пишешь названия нужных тебе моделей. Сразу можешь прочитать особенности, информацию о модели и скачать.

5. После заходишь в Chat и можешь общаться с моделью.

Особенности и преимущества LM Studio:

— Визуальный интерфейс. Можно сразу скачать модель одним кликом, также видишь контекст, количество потраченных токенов, за сколько был дан ответ.
— Больше настроек. Это даёт более продвинутый и кастомизированный опыт.
— Пресеты для моделей. Можешь добавить кастомный системный промпт, настроить температуру, выбрать количество ядер CPU и ещё немного гиковских настроек.

ВЫВОДЫ

В этой части мы разобрались с тем: что такое локальные модели, их преимущества, где взять модель, как выбрать модель, как подобрать под своё железо, как запустить модель, какие приложения подойдут для этого.

В следующей части я планирую показать, как их можно использовать для разных задач. Сейчас попробуй потыкать пару разных моделей в каком-либо приложении.

Делись, реагируй, пиши комментарии — это лучшее, что ты можешь сделать для поддержки меня. Спасибо!

ЛУЧШИЙ ОБМЕННИК | SHITPOST