Настраиваем собственную LLM как угодно! Нашли вам инструментарий для обучения любой кастомной модели под любые задачи — Soup.

Всё просто: один YAML-конфиг и одна команда. Никаких SSH и инфраструктурного кошмара. Главное — всё автоматизировано.

Целиком настройка выглядит так:
1️⃣ Устанавливаем Soup с компонентами для обучения — pip install 'soup-cli[train]'
2️⃣ Создаём начальную конфигурацию для модели — soup init --template chat
3️⃣ Запускаем обучение модели — soup train
4️⃣ Запускаем настроенную нейронку и общаемся — soup chat --model ./output

На 7B параметров достаточно 8Гб VRAM, а на 14B — 16Гб. При этом внутри — десятки готовых шаблонов для чата, кода, медицины, рассуждений, зрения, RLHF и тд.

После всё можно экспортировать как GGUF и запустить в Ollama или загрузить в HuggingFace — как угодно.

Пользуемся.

🙂 Не баг, а фича