Когда настройки промпта мало: как ещё повысить точность ИИ?
Аккуратной настройки промпта чаще всего хватает. Но если разброс остаётся слишком большим для цены ошибки — есть методы посерьёзнее.
Множественная генерация и разные модели. В отличие от человека, ИИ можно опросить не один раз, а двадцать — и не одной моделью. Усредняем прогоны: разброс сужается, оценка стабилизируется. А сам разброс становится сигналом: скачут результаты — критерий ещё размыт или данных мало. Честное «недостаточно данных» всегда лучше выдуманной цифры.
Тонкая настройка промпта для разных моделей.
У разных моделей- разные слепые зоны, разные особенности промптов, поэтому важно придерживаться как общих правил уточнения промпта, так и знать нюансы моделей, чтобы не увеличивать разброс.
1️⃣ Покажите 2–3 эталонных фрагмента: вот так выглядит «4», а так «2» — модель калибруется по примерам гораздо точнее, чем по определениям.
2️⃣ Требуйте сначала обоснование с цитатами и только потом балл.
3️⃣ Дробите «лидерство» на конкретные индикаторы — целое собирается из частей надёжнее.
Качественный скачок — больше данных.
Один разговор — это одна точка, случайная. Несколько встреч одного человека дают устойчивую картину и гасят погрешность отдельного интервью. В RConf для этого автоматически создаётся база знаний по встречам — анализ идёт по всей истории, а не по одному срезу.
Человек на границе. Уверенные случаи ИИ закрывает сам, пограничные — валидирует человек. Там, где цена ошибки выше всего, ответственность остаётся за человеком.
Итог.
Точность ИИ — не свойство модели, а результат настройки. Сначала четкие критерии и индикаторы, понятные примеры, обоснование перед баллом, дробление критериев. Если этого мало — множественная генерация по разным моделям. Пограничные случаи — всегда человеку.
Post #163
85
- 👍 1
- 🔥 1