Можно ли создать собственный (узкоспециализированный) ChatGPT за $600?

Да, можно

Именно это недавно сделали ребята из Стэнфорда, разработав модель Alpaca 7B, на базе LLaMA 7B model

Примечательно, что модель была обучена всего на 52 тысячах инструкций (в формате: текст с описанием задачи на вход и текст с результатом на выход), которые были сгененрированы с помощью API OpenAI за $500 (на базе openAI’s text-davinci-003)

Настройка модели заняла 3 часа (8 штук NVIDIA GPU A100s с 80Гб) и стоила $100

Качество работы было проверено пятью студентами с помощью оценки работы Alpaca 7B по шкале от 0 до 100 баллов. Проверка включала задачи по написанию электронных писем, постов для социальных сетей и статей по повышению производительности. Аналогичный тест на качество был проведен и для модели text-davinci-003 от OpenAI

Итог: 90 баллов у Alpaca 7B VS 89 у text-davinci-003 (OpenAI)

Код решения можно найти здесь