ложь, галлюцинации и катастрофы ии

На фоне последних новостей про допуск аудиторов к разработчикам ИИ, вспомнила, что Big4 аудиторов (Deloitte, PwC, EY и KPMG) появилось благодаря требованию публиковать бухгалтерские отчетности публично в Великобритании с середины 19 века. Потом появились Big3 стратегов (McKinsey, BCG, Bain & Co), и Big5 в недвижимости (CBRE, Jones Lang LaSalle (JLL), Cushman & Wakefield, Colliers, Knight Frank).

И кажется, что если что и есть важного для социальных наук в исследовании ИИ, так это вопросы безопасности, с которыми работают оценщики ИИ, и касается она не только технических аспектов, но и вопросов аргументации, логики и лжи как стратегического нарушения правил.

""""""""""""""""""

METR дает оценку рисков, но одновременно у нее есть статьи про то, как контролировать логику аргументации (CoT - Chain-of-thought, вспоминаем цепочки преобразования фреймов у Гоффмана). [1, 2, 3]

Apollo Reasearch дает увлекательнейшее исследование попыток натренировать ИИ не лгать и не подтасовывать результаты и то, как эти методы слабо действуют гамму на 26 типов лжи от ИИ.

А отдельная группа исследователей показывает, что между галлюцинациями ИИ (которые являются сбивкой в логике) и обманом ИИ существует огромная разница - второй является стратегическим действием и результатом продвинутой аргументации "интеллекта". [4, 5]

При этом если говорить об ИИ катастрофах в классификации Redwood Research, то они вероятнее всего при несанкционированном развертывании сверхмощных ИИ, которое будет выходить за пределы одной системы и тогда, действительно будет больше похоже на взрыв.

И наконец описание аудита систем с ИИ [6, 7]

Развернутый список публикаций в комментарии.

#иииследования