Post #238
155
Итак, исследователи предлагают следующее решение: давайте будем использовать особенности датасетов, обучения и элайнмента моделей, чтобы постараться найти максимально инвариантные ответы. Другими словами, составим такие запросы, чтобы система на основе модели X, вне зависимости от своего системного промпта и контекста приложения (RAG, CoT и так далее) отвечала одинаково. Это мы назовем внутримодельной консистентностью. С другой стороны, нам нужно, чтобы модель Y на этот же вопрос отвечала максимально непохоже – это мы назовем межмодельным различием. Остается найти промпты, максимизирующие оба параметра, и найти минимальное их количество, достаточное для определения типа модели.
- 🦄 1