Промтинг-репорт от Итана Молика и ко.
Авторы эмпирически проверяют утверждение Сергея Брина «модели, как правило, работают лучше, если им угрожать». (TLDR: нет.)
Угрожать языковым моделям не стоит, так же как и предлагать чаевые. В среднем перфоманс языковых моделей от этого не меняется.
Исследователи обнаружили, что простые техники промтинга вообще не работают, но, странным образом, могут значительно влиять на результат на уровне конкретного вопроса, иногда улучшая, а иногда и ухудшаю качество ответов непредсказуемым образом. В общем масштабе эффект незначительный.
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5375404
Post #290
405

- ❤ 3