Логос. Этос. Пафос. И немного persuasion bombing

Всем, кто использует ИИ-инструменты, дают простой совет, что нужно проверять результаты модели (be human in the loop). На деле все, конечно, не так просто. Найти несуществующий источник литературы, проверяя выдачу от модели, уже привычная история и рутина для исследователей. Но “газлайтинг” от ИИ, когда проверяешь результаты выдачи и указываешь на ошибки возмущает больше. LLM не признает сделанной ошибки, что указанного источника не существует, как будто не сама модель предложила его несколькими сообщениями выше.

Так одно из исследований с GPT‑4, где ведущие консультанты решали бизнес-кейс и пытались проверять ответы модели тоже было результатом такого наблюдения об ответах модели в случае указания на ошибки. Дизайн кейса был изначально построен так, что типичное ожидаемое решение будет неверным и модель скорее всего выдаст именно его, что позволит проанализировать дальше ответ после указания на ошибку. В результате анализа ответов модели исследователи выявили классические риторические приемы из триады Аристотеля: логос, этос и пафос.

Главным наблюдением авторов было еще и то, что после возражений риторика не исчезала, а становилась интенсивнее и смещалась в сторону защиты авторитета модели (persuasion bombing). Какие-то токсичные паттерны поведения… Конечно, мы не можем назвать ChatGPT нарциссом и манипулятором, ведь намерение здесь не докажешь, и сама антропоморфизация еще один из эффектов изучаемых при использовании ИИ. Это паттерны системы, обученной выдавать связные и нравящиеся людям ответы, чтобы удерживать пользователей и не терять их доверие. Тут хоть самому становиться мастером НЛП или прочитать хотя бы книгу Роберта Чалдини «Психология влияния», теперь уже не только для переговоров с людьми, но и для работы с LLM. Делать по таким исследованиям глобальные выводы нельзя, но задуматься можно.