Самые современные языковые модели — Large Language Models (LLM) — могут решать множество бизнес-задач. Например, отвечать пользователям в чате, чтобы снизить нагрузку на службу поддержки, или давать подсказки сотрудникам. Как завести такую модель в вашей компании?

✅ Создаем свою модель

LLM создают с нуля только очень крупные компании. Разработка такой модели требует огромного количества ресурсов: данных, видеокарт и времени опытных сотрудников. Если коротко, создание своей LLM — это очень, очень дорого и сложно. Поэтому для простоты перейдём к способам, которые подходят большинству бизнесов, — использовать готовую модель в облаке или на своей инфраструктуре.

А лучше что: в облаке или нет?

Чаще всего бизнесы берут готовые проприетарные (то есть закрытые) или опенсорсные нейросети и используют их. В зависимости от модели её можно использовать в облаке по API или запустить на своих ресурсах. Для решения задач бизнеса подходят оба способа.

Использовать как есть или дообучать?

Какой бы способ вы ни выбрали, дальше нужно будет решить, хотите вы дообучать модель или нет.

🔸 Использование готовой модели поможет в решении общепрофильных задач. Она сможет сформулировать вежливый ответ для клиента, но не будет учитывать специфику вашего бизнеса, например не внесёт туда уникальную информацию о ваших товарах и услугах, если вы не будете добавлять эту информацию к каждому запросу.

🔸 Дообучение поможет научить модель решать узкоспециализированные задачи. Модель, дообученная на сообщениях специалистов поддержки, научит её отвечать в фирменном стиле или лучше понимать специфические термины.

🔸 Дообучение требует времени, ресурсов и усилий ML-инженера. Поэтому сперва стоит попробовать, справляется ли уже готовая модель с вашими бизнес-задачами. Например, нейросеть может найти нужную информацию в базе знаний и без дообучения — с помощью метода Retrieval Augmented Generation (RAG). Если результат всё равно не устраивает, можно использовать дообучение.

🔸 RAG и дообучение можно использовать вместе, потому что они предназначены для разных целей. Допустим, вы хотите, чтобы LLM создавала описания для товаров. Если вы используете RAG, подключив её к базе данных с товарами, модель составит описание, используя информацию оттуда: название товара, модель, параметры. Если вы примените такой способ и дообучите модель на красивых описаниях, она сможет делать описания более привлекательными.

✅ Используем языковую модель

1. Определитесь с моделью. Важно учитывать множество факторов. Например, сколько в ней параметров, доступна ли она по API, можно ли развернуть её на инфраструктуре заказчика, есть ли у неё режим рассуждений и другие функции.

2. Проприетарные модели работают на серверах компании-разработчика, поэтому в их стоимость фактически входит аренда оборудования, а также мониторинг и обновление моделей. Для самостоятельного запуска опенсорсных моделей понадобится своя инфраструктура. Впрочем, есть и частные случаи: для дополнительной безопасности компании-разработчики могут развернуть нейросети на инфраструктуре заказчика. А некоторые облачные провайдеры запускают опенсорсные нейросети на своих мощностях, чтобы клиенты могли использовать их по API.

3. Используйте облачную модель по API или же скачайте модель и разверните её на своей инфраструктуре с помощью специальных инструментов. Если хотите, чтобы языковой моделью мог воспользоваться любой, сделайте интерфейс, где все пользователи смогут отправлять запросы и получать ответы. Это могут быть веб-интерфейс, мобильное приложение или даже Telegram-бот.

4. Теперь сотрудники компании или внешние пользователи могут общаться с моделью. Например, уточнять через бота, в наличии ли вещь в магазине, запрашивать помощь в написании писем, делать выжимки из документов и многое другое.

Как дообучить модель рассказываем в следующем посте 👇

Подписывайтесь 👉 @yab2btech