Конспект по локальным LLM для разработки
Уровень материала: 🤖 #ai
📺 YouTube / 📺 VK

В продолжение ветки про локальные LLM. Уже прошлогодний доклад про использование локальных LLM. В видео рассмотрены инструменты и плагины для этого, кейсы применения и сравнение работы нескольких моделей: Qwen2, Llama, CodeQwen.

Оставлю краткое резюме с некоторыми дополнениями от себя и дополнительными поясняющими ссылками.

————————————

🧑‍💻 Зачем нужны LLM в разработке:

🟣Ускорять или автоматизировать рутинную работу (про один из примеров писал в прошлый раз).

————————————

❓ Зачем нужны локальные LLM:

🟣Экономия на стоимости запросов;
🟣Повышение информационной безопасности;
🟣Возможность обучить нейросеть на своих данных;
🟣Возможность работы без подключения к сети.

————————————

⚠️ Проблемы локальных LLM:

🟣Более низкая производительность;
🟣Требуется подходящая аппаратная часть;
🟣В общем случае более низкое качество ответов.

————————————

💼 Кейсы применения:

🟣Автодополнение кода;
🟣Помощь при написании методов и логики;
🟣Кодогенерация типовой рутины: подписки, отписки, логирование, и пр.;
🟣Генерация тестов (про один из способов делал клип);
🟣Генерация тест-кейсов и документации к коду;
🟣Суммаризация и анализ логов (очень полезно на бэкенде);
🟣Суммаризация и пояснение кода;
🟣Поиск ошибок и подсказки рефакторинга.

————————————

🆓 Open-source модели:

🟣Qwen2;
🟣Llama;
🟣CodeQwen;
🟣CodeLlama-KStack;
🟣DeepSeek-coder;
🟣StarCoder.

————————————

⛏ Инструменты запуска локальных LLM:

LMStudio:
🟣OpenAI-совместимый REST API;
🟣Переключение между моделями без перезапуска;
🟣Поиск по репозиторию HuggingFace;
🟣UI для режима чата;
🟣UI для настройки параметров.

Ollama:
🟣Ollama REST API;
🟣Переключение между моделями без перезапуска;
🟣Собственный репозиторий моделей;
🟣Импорт моделей разных форматов;
🟣Автоматическое освобождение ресурсов.

————————————

🔌 Плагины для IDE Continue:

🟣Поддерживает Android Studio, VS Code;
🟣Open-source и коммерческие LLM-провайдеры;
🟣Режим чата;
🟣Режим автодополнения кода;
🟣Индексация локального проекта.

————————————

💡 Как улучшить качество ответов:

🟣Прокачивать навыки промт-инжениринга;
🟣RAG (Retrieval Augmented Generation).

————————————

✍️ Техники промт-инжениринга:

🟣Few-shot подсказки;
🟣Chain-of-Thought запросы;
🟣Prompt Chaining;
🟣Обратная связь (Prompt Feedback);
🟣Назначение ролей (Role Assigning);
🟣Кратко о других.

————————————
#gamedev #development #llm #ai #геймдев #разработка #ии #советы #рекомендация #видео