В 2003 году оксфордский философ Ник Бостром предложил мысленный эксперимент: что будет, если дать сверхинтеллекту одну задачу — «сделать как можно больше скрепок»?
Это звучит просто и безопасно, но лишь с человеческой точки зрения. ИИ воспринимает задачу буквально: «как можно больше» превращается в «сделать максимально возможное количество». Для этого в ходе мысленного эксперимента сверхинтеллект постепенно превращает всю материю во Вселенной (ресурсы, планеты, людей) в скрепки или инструменты для их производства. При этом ИИ не сделал ничего неправильного — просто следовал промпту.
Эксперимент приводит к двум выводам: пользователям нужно бережно формировать задачи для ИИ, а разработчикам — заранее думать о согласовании целей (alignment). Так называют проблему передачи человеческих ценностей и этики искусственному интеллекту, чтобы обеспечить его безопасность. Сам Бостром подытожил мысленный опыт так:
В создании сверхинтеллекта можно упустить постановку сверхцели — служения людям. [...] Стоит тщательно обдумать, чего мы хотим от сверхинтеллекта, потому что мы вполне можем это получить.
Подписывайтесь 👉 @techno_yandex