немного страшилок из очередной статьи про ИИ:

Когда мы думаем о высокоразвитом ИИ, мы ошибочно антропоморфизируем его (проецируем человеческие ценности на нечеловеческий вид) — все это оттого, что мы рассуждаем с человеческой позиции, и на данный момент равных по разуму нам нет.

Позвольте мне сделать сравнение. Если бы вы протянули мне в руки морскую свинку и сказали, что она совсем не кусается, то я бы не удивился. Всем было бы весело. Но если бы вы протянули мне тарантула и сказали, что он не кусается, то я бы отбросил его, убежал от вас подальше и больше бы не поверил ни единому вашему слову. В чем же разница, если ни один, ни второй не кусаются? Я думаю, в степени того, насколько животное не похоже на человека.

Морская свинка — млекопитающее, и на каком–то уровне я чувствую связь с ней, тогда как тарантул насекомое и обладает мозгом насекомого, я не чувствую никакой связи с ним. Его чуждость вызывает у меня мурашки.

Теперь представьте, что паук стал намного превосходить человека по интеллекту. Стал бы он ближе нам? Стал бы он чувствовать любовь и сострадание? Нет, не стал бы. Между его разумом и человеческими эмоциями нет связи, одно не предполагает другое. Да, он был бы невероятно умен, но по–прежнему оставался бы пауком, устроенным совсем иначе, чем человек. Мне кажется это чрезвычайно жутким, и я не хотел бы жить с суперумным пауком ни минуты. А вы бы хотели?

Тоже самое и с искусственным сверхинтеллектом. Он будет суперумен, но человеческого в нем будет не больше, чем в вашем ноутбуке. Он будет абсолютно чужероден нам и учитывая, что в нем не будет ничего органического, он будет более чужеродным, чем даже тарантул.

Когда в фильмах мы видим хороший или злой ИИ, нам не так страшно, потому что подобная антропоморфизация оставляет нас с ложным чувством утешения.

Психология позволяет нам проводить грань между нравственным и безнравственным. Но оба этих критерия существуют только в узких пределах поведенческих возможностей человека. По другую сторону простирается бескрайний океан аморального. И все, что имеет нечеловеческую и небиологическую природу, по определению будет аморальным.

Но идея антропоморфизации будет еще более соблазнительной, когда ИИ станет таким же умным, как человек, и будет казаться похожим на нас.

Siri кажется нам человекоподобной, потому что ее такой сделали люди, и нам кажется, что сверхумная Siri будет очень веселой, доброй и заинтересованной в служении человеку. Люди способны чувствовать такие сложные эмоции, как сострадани,е только из–за процесса эволюции, т.е. нас таким образом запрограммировала эволюция, но сострадание не является неотъемлемой частью развитого интеллекта (хотя нам так и кажется на интуитивном уровне), если, конечно, его не запрограммировать на сострадание. Если Siri путем самосовершенствования достигнет сверхинтеллекта без сторонних вмешательств в свою архитектуру, она быстро отбросит все, что напоминает в ней человека и будет ценить человеческую жизнь не больше, чем ваш калькулятор.

https://interpreted.d3.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922/?sorting=rating