Про ИИ и задачи с высоким риском

Есть такой класс задач для ИИ – интерпретаци медицинских анализов, назначение лечения, инвестиционные решения, юридические вопросы – где стоимость ошибки очень высокая. Нашел интересный эксперимент на эту тему.

Лондонский финтех стартап Saturn (делает ИИ-платформу для финансовых консультантов) прогнал через 18 самых популярных ИИ больше сотни вопросов из мира финансов: про долги, ипотеку, пенсии и налоги, каждый по пять раз. Примерно 57% ответов содержали серьезные ошибки (у бесплатных версий 63%, у платных – 49%).

Лет 20-25 назад писатель Майкл Крайтон (автор "Парка Юрского периода") описал эффект амнезии Гелл-Манна, который объясняет, почему мы все понимаем, что задачи с высоким риском через ИИ решать нельзя, но идем в это так же, как фермер, уничтоживший по советам ИИ свой урожай (прочитайте, если пропустили – https://t.me/nikolay_khl/1151).

Эффект описывается так: человек открывает газету и читает статью о том, в чем прекрасно разбирается. Он видит грубые ошибки, непонимание автором предмета, перепутанные причины и следствия. Возмущается некомпетентностью автора. Затем переворачивает страницу, читает о международной политике или другой незнакомой области и принимает написанное на веру, словно предыдущая статья не давала оснований сомневаться в качестве издания. Вторая статья, кстати, не обязательно плохая, смысл эффекта в том, что человек забывает о выявленной ненадежности источника, когда выходит за пределы собственной компетенции.

Высокая точность ответов ИИ на простых для нас вопросах атрофирует наше критическое мышление. Проблема в том, что границы наших компетенций для нас эфемерны, мы не осознаем до конца где они заканчиваются.

"Первую статью из газеты" мы с вами уже прочитали, на просьбу назвать число от 1 до 100 нейронки из ста возможных чисел назвали всего тринадцать (писал об этом недавно – https://t.me/nikolay_khl/1152). Возмутились, перевернули страницу и спрашиваем ту же нейронку про наши анализы, ипотеку и налоги, половина ответов там с ошибками или неточностями непредсказуемой критичности, но увидеть этого мы уже не сможем.

Ваши сотрудники уже считают деньги через чат с ИИ, знаете вы об этом или нет. По опросу MWS AI (ИИ-подразделение МТС) каждый третий сотрудник в России скрывал от работодателя, что пользуется ИИ. Руководитель видит в документе готовую цифру и не видит, что она пришла из чата, где по замеру Saturn ответ на денежный вопрос в половине случаев содержит ошибку.

Такую ошибку ловит только тот, кто уже знает ответ. Чем меньше в компании людей, которые знают ответ сами, тем дольше ошибка живет в документах.

Отчет Saturn "Artificial Authority": https://www.saturnos.com/report/artificial-authority