Хватит платить за токены внешних моделей эмбедингов... ну серьезно

Знакомая боль, когда каждый вызов API для эмбеддингов откусывает кусочек от бюджета, особенно если ваши тексты по объему приближаются к «Войне и миру»? Я сам регулярно с этим сталкиваюсь. Но я хочу предложить вам вариант лучше - сэкономить и получить значительно лучшее качество, настроив модель идеально под себя. Локальные решения и fine-tuning реально работают очень хорошо, возвращая вам полный контроль над данными и, что немаловажно, кошельком.

Стоимость обработки больших текстов

Для иллюстрации: объем текста, сопоставимый с «Войной и миром» (1 и 2 том: ~753 000 токенов), при обработке через платные сервисы обойдется примерно в 30 рублей при использовании моделей эмбедингов и около 150 рублей при применении моделей генерации (по ценам ру-рынка). А теперь масштабируем наш «бизнес» на тысячи документов, представили? Локальные решения предлагают бесплатную альтернативу, требуя лишь вычислительных ресурсов (кстати, не таких небольших).

Прирост качества через fine-tuning

Я посмотрел на разные результаты работы fine-tune моделей, оценил метрики после дообучения открытых моделей на специфических данных. Специализированные модели демонстрируют более высокую точность и понимание терминологии в конкретных областях.

Примеры среднего значения uplift метрик на различных языках/задачах после fine-tuning (в сравнении с оригинальной моделью, то, что смог найти в открытых источниках):

1️⃣ Модель: BAAI/bge-m3

- Базовая модель: BAAI/bge-m3 (более 260 fine-tune версий на Hugging Face!)
- Fine-tune версия: nlpai-lab/KURE-v1: +1.36%
- Fine-tune версия: dragonkue/BGE-m3-ko: +13.35%
- Fine-tune версия: AITeamVN/Vietnamese_Embedding: +28.02%

2️⃣ Модель: Alibaba-NLP/gte-Qwen2-1.5B-instruct

- Базовая модель: Alibaba-NLP/gte-Qwen2-1.5B-instruct
- Fine-tune версия: NetoAISolutions/T-VEC +3.05%

3️⃣ Модель: Alibaba-NLP/gte-Qwen2-7B-instruct

- Базовая модель: Alibaba-NLP/gte-Qwen2-7B-instruct
- Fine-tune версия: infly/inf-retriever-v1 +12.42%

4️⃣ Мои тесты

- то, что я пробовал сам, и то что видел у коллег, показывало результаты на домене в среднем +10-20% роста метрик

Кстати, модели выбирал, ориентируясь на MTEB Leaderboard, очень удобно.

Отраслевые и доменно-специфичные модели

На зарубежных рынках уже есть компании, предлагающие дообученные под конкретные домены модели (например, Voyage AI), которые показывают превосходную производительность в специализированных областях. Такие модели уже реализованы для сферы здравоохранения, финансов и юриспруденции, где требуется глубокое понимание специфической терминологии.

В русскоязычном сегменте эта ниша менее насыщена; чаще обсуждается применение техник вроде LoRA, которые не всегда являются эквивалентом полноценной доменной адаптации (+1 идея для стартапа 👓).

Какие перспективы

Так что, друзья, переход на локальные, дообученные модели — это не просто «сэкономить на спичках», как может показаться. Это возможность получить ощутимый прирост качества на ваших специфических данных, а локальное размещение — это ваше спокойствие за их конфиденциальность.

Подумайте вот о чем: будущее здесь за теми, кто сможет не просто «взять готовую модель», а предложить тонкую настройку под конкретные бизнес-задачи, обеспечивая реальный, ощутимый результат. Это уже не про экономию на API, это про стратегический выбор и создание по-настоящему конкурентного преимущества

#llm@ml_maxim