Мотивированное Мышление: Главный Враг Безопасности ИИ

Даже самые умные люди, работающие над критическими проблемами вроде безопасности ИИ, неосознанно предвзяты. Новый анализ показывает, как когнитивные искажения, например, «мотивированное рассуждение», искажают их суждения в области AI-рисков, где цена ошибки беспрецедентна.

Проблема в том, что мы склонны верить в комфортные выводы, и этот процесс работает на многих уровнях: при выборе, оценке и даже запоминании аргументов. В сложных задачах вроде выравнивания ИИ, где нет четкой обратной связи, небольшие 8–16% искажения на каждом этапе накапливаются, приводя к огромным общим смещениям. Автор, изучавший такие искажения в IARPA, отмечает, что высокая эрудиция не снижает эффект, а иногда даже дает больше инструментов для самообмана.

В результате, эксперты в AI-области все сильнее расходятся во мнениях, будучи уверенными в собственной правоте, что делает коллективное решение проблемы почти невозможным.