В 2026 открытые модели подошли к облачным вплотную — Qwen 3.5 235B и DeepSeek V4 отстают от frontier-моделей всего на 3-5% на большинстве бенчмарков. При этом локальный запуск после амортизации железа выходит в 30-150 раз дешевле за токен, чем облачный API.
Три причины, по которым это интересно бизнесу из РФ:
— данные клиентов и документы не уходят в чужое облако
— нет подписки и привязки к тарифу, который завтра поднимут
— работает без VPN и без вопроса «а спишут ли деньги с карты»
4 применения, которые окупаются
1. RAG по внутренним документам. Регламенты, прайсы, база знаний — модель отвечает сотрудникам строго по вашим файлам, и ни один документ не улетает наружу. Для юр/мед/бух это часто единственный законный способ.
2. Классификация и разметка обращений. Входящие письма и заявки раскидываются по темам и приоритетам. 7-8B модели справляются на потоке, дообучать не нужно.
3. Черновики ответов и писем. Менеджер получает готовый черновик, а не пустое поле. Переписка остаётся на вашем сервере.
4. Помощник по коду. Локальный ассистент для разработчиков — без утечки исходников в чужой сервис.
Какую модель брать (зарубежные веса)
— Qwen 3.5 (8B / 14B / 30B) — рабочая лошадка 2026. Для большинства задач берите 14B.
— Llama 4 Scout (17B MoE) и Mistral Medium 3.5 — сильные универсалы под 16 ГБ VRAM.
— DeepSeek V4 — если нужен reasoning и математика.
— Gemma 4 (мелкие) — для слабого железа и простой классификации.
Настройка за вечер: Ollama
Ollama ставится одной командой и сразу даёт OpenAI-совместимый API на
localhost:11434 — значит, ваш код, который ходил в OpenAI, переключается сменой одного URL.Установка (Linux):
curl -fsSL https://ollama.com/install.sh | sh
Скачать и запустить модель:
ollama pull qwen3.5:14b
ollama run qwen3.5:14b
Дёрнуть по API (тот самый OpenAI-формат):
curl http://localhost:11434/v1/chat/completions -d '{
"model": "qwen3.5:14b",
"messages": [{"role":"user","content":"Сократи регламент до 5 пунктов"}]
}'Дальше подключаете это к боту, RAG-скрипту или CRM так же, как облачный API.
P.S. 💬 Подпишитесь на MAX, если хотите ещё больше пользы
#selfhosted #ai #agent