Сегодня поговорим про локальные LLM (большие языковые модели), зачем они вообще аналитику и почему не всё так гладко, как кажется.
Зачем мучиться с локальной моделью, если есть ChatGPT?
Если у вас нет NDA и вопросов конфиденциальности — дальше не читайте. ChatGPT справится на ура.
Но если вас ограничивает соглашение о неразглашении — этот пост для вас.
Задача, которую я хотел решить:
Регулярно создаю и редактирую аналитические документы (use cases, требования, цели, API). Делать вручную долго и муторно. Поэтому решил автоматизировать с помощью локальной LLM.
Что нужно для запуска локальной LLM?
0️⃣ Железо (основная проблема)
- Нужна мощная видеокарта (от 8 GB VRAM).
- Без GPU всё плохо, даже не пытайтесь.
1️⃣ Софт для запуска
- Ollama (Docker, CLI, терминал — сложно)
- LM Studio (просто, понятно, рекомендую)
2️⃣ Подбор модели
- Размер модели сильно влияет на качество и требования к GPU.
- DeepSeek и другие часто прыгают с языка на язык (русский-английский-украинский).
- Ограниченное окно контекста (нужно несколько чатов для больших задач).
Мои фавориты:
- gamma-3-12b-it (запустил на MacBook M4 Pro, отлично)
- gamma-3-4b-it (запустил на RTX 3050 8 GB VRAM, норм)
3️⃣ Практика: результаты
✅ Плюсы:
- Быстро собирает требования из use cases.
- Структурирует информацию.
- Помогает генерировать идеи.
❌ Минусы:
- Markdown сложно переносится обратно в модель (лучше сразу работать в Markdown).
- Нужны качественные промпты.
4️⃣ Выводы
Локальная LLM отлично помогает:
- быстро генерировать идеи;
- приводить в порядок черновики;
- систематизировать записи.
Но не заменит ваш мозг и критическое мышление.
Не факт, что быстрее, чем вручную, но инструмент перспективный.
Буду держать вас в курсе. Делитесь опытом в комментариях!
#ИТ_база@analyst_exe
analyst.exe | чат | практика