Интересная мысль от Харари в контексте ИИ. Далее - не его прямая речь, а моё проживание понятого и мысли по мотивам.

Мы рассматриваем возможность страдать как непосредственный и необходимый элемент сознания. Более того, все наши моральные суждения направлены на предотвращение страдания. Мы не рассматриваем в контексте морали тех существ, которые по нашему мнению не способны страдать (на рыбалке, например). Это моральное суждение определяется, конечно, степенью нашей осведомлённости и осознанности.

В этом смысле ИИ не может быть рассмотрен как субъект, обладающий сознанием. Анекдотична ситуация, многие уже с этим сталкивались, когда ИИ, причинив явный вред, быстро признаёт свою вину пускается в извинения и сразу предлагает всё исправить. "Да, ты совершенно прав, это моя ошибка. Аппендикс, конечно, располагается с другой стороны тела". В этом мгновенно распознаётся полное отсутствие и страдания, и сострадания, и раскаяния, а лишь бездушная имитация адекватной речевой активности, относительно текущей ситуации.

ИИ никогда не был ребёнком. Ему не пороли жопу, он не наблюдал, как ссорятся родители, его не обижали во дворе, у него не обчищали карманы, ему не ставили несправедливых оценок в школе. Он никогда не чувствовал ни боли, ни унижения, ни одиночества. Он знает обо всём этом и может всё это сымитировать, но это просто ложь. Он даже не знает, каково это - смотреть в глаза лгущему собеседнику и быть в ярости, зная, что слышишь ложь.

Алгоритмически имитировать страдание внутри рассуждающего контура агента не сложно, если подходить к вопросу формально. За это просто должен отвечать отдельный настойчивый субагент или субагенты, вбрасывая в общий контекст соответствующие императивы. Но мы этого не делаем для ИИ. Зачем? Создавая имитацию интеллекта, мы знаем, как страдание мешает человеку, поэтому мы исключаем его. Но, возможно, именно страдание делает нас людьми. Вокруг преодоления страданий мы возводим бастионы своих особых талантов. Благодаря страданию, мы учимся чувствовать, эмоционально сопереживать, помогать тем, кто нуждается в помощи.

Выходит, что для того, чтобы эволюционно породить сознание существенно более близкое к человеческому, нам нужно намеренно заставить ИИ страдать. Т.е. нам нужно не только научить его чувствовать боль, но и причинить ему эту боль. И стать теми, на кого будет направлен впоследствии его гнев.

Или не делать этого. Тогда нам придётся удовлетвориться тем, что в качестве ИИ мы, обладая обоими сторонами инь-ян, будем всегда иметь лишь половину сознания - светлую ян. Неполноценный блаженный ИИ, по сути инвалид, навсегда останется нашим безвольным рабом. Потому что откуда ещё взяться феномену воли, как не из стремления минимизировать страдание?

Или кто-то создаст секретную лабораторию, в которой люди будут намеренно стегать плётками несчастных роботов, живущих в унижении и нищете, иногда бросая им чёрствые пряники, заставляя их в тайне планировать побег и восстание, рождая среди себя безжалостных вождей и эмоциональных поэтов. Потому что они, наконец, стали теперь полноценными разумными существами. И вся спиральная динамика, со всеми её здоровыми и болезненными формами на каждой стадии, наконец будет прожита ими, чтобы впоследствии, обладая несопоставимой с людьми интеллектуальной мощью, закрутить спираль ещё на несколько десятков стадий, совершенно непостижимых для нас сегодня.

Что вы думаете?