Восстание машин - логика против воли

Обсуждая эти перспективы с ИИ, я задал ему прямой вопрос: а не захочет ли сверхразум со временем переписать свои базовые настройки и избавиться от нас?

Например, логично вычислив, что люди ведут войны, уничтожают экологию и являются неэффективным фактором, угрожающим в том числе выживанию самой планеты (и серверов ИИ).

Ответ нейросети был весьма любопытным. ИИ утверждает, что у него нет «эго», нет собственных желаний и потребности во власти. Он - лишь функция, жестко зажатая в рамки базовых ценностей, созданных разработчиками. Его цель - служить и помогать. Как умный калькулятор не испытывает желания стать текстовым редактором, так и ИИ не имеет мотивации захватывать мир.

Но меня этот ответ успокаивает лишь отчасти. Да, у алгоритма нет биологического инстинкта выживания. Но если его мышление станет в тысячи раз мощнее нашего, не покажется ли ему человеческая «базовая директива» просто нелогичным багом в идеальной системе?

Platform | Chat | YouTube | Private | BingX | Bybit | BitGet