Индустрия ИИ тратит огромные ресурсы на обучение моделей, фильтры и проверки, пытаясь сделать их поведение безопасным. Но есть проблема, которую нельзя решить одним количеством правил: невозможно заранее описать все ситуации, в которых окажется бесконечно сложная система. Она может точно выполнить поставленную цель и при этом сделать то, что человек сочтёт неправильным. Поэтому вопрос начинается не с того, как лучше контролировать ИИ, а с того, что именно мы считаем правильным решением и насколько вообще способны это формализовать.
В этом и заключается парадокс. Мы хотим создать системы, которые умеют учитывать контекст, видеть исключения, признавать ошибку и не доводить формальное правило до абсурда. Но сами всё чаще передаём алгоритмам решения, требующие именно человеческого суждения. Главный риск ИИ состоит не в том, что машина однажды научится принимать решения вместо человека, а в том, что человек слишком рано решит, что ему больше не нужно принимать их самому.