Харари и ИИ
Часть 2

(7) Kill Switch – беспрецедентная власть ИИ над суверенитетом

- Можно создать систему, где всё работает на инфраструктуре ИИ по всему миру, но в имперском центре есть «выключатель» – римляне продавали мечи готам и готы могли потом сражаться этими мечами с римлянами (современный пример – Старлинк, который может быть для кого-то выключен)

- Единственный выбор – стать ли вам покорным вассалом империи или остаться полностью вне расы, как варвары [тут прямо Звездными войнами повеяло, не так ли?]

(8) Правда, вымысел и пределы человеческого понимания

- Правда – дорогая, вымысел – дешев. Правда сложна, а люди не любят сложных историй. Вымысел может быть бесконечно прост

- Есть много вещей, которые люди на самом деле НЕ хотят знать о себе, о своей стране, о своей группе, о чем угодно, а вымысел можно делать приятным

- Человечество пробовало создавать институты борьбы за истину – журналистика, наука

- Люди думают, что ИИ расскажет нам правду о мире. Этого не произойдет. Он создаст гораздо более сложный мир, в котором познать истину будет гораздо труднее

(9) От каменного века до ИИ: парадокс прогресса

- Наши достижения в знаниях также приводят к созданию все более сложных систем, которые затрудняют понимание нашей жизни

- Мы гораздо хуже понимаем свою жизнь, потому что она больше не подчинена только животным и растениям, как у какого-то охотника-собирателя

- ИИ, вероятно, доведет это до крайности – раскроет некоторые истины, которые нам неизвестны, но создаст гораздо более сложные системы управления, которые большинство людей практически не смогут понять

- ИИ усложнит финансовую систему настолько, что люди перестанут ее понимать

(10) Сила слов — и её пределы

- Если мышление – это просто упорядочивание слов, упорядочивание языковых символов – например, «все люди смертны, Сократ – человек, следовательно, Сократ смертен». Если в этом и заключается суть мышления, то ИИ возьмет на себя даже само мышление

- А если мышление заключается не в упорядочивании слов, а в чувствах, связанных с этими словами? Вы можете произнести одно и то же предложение дважды и почувствовать совершенно разные вещи. Тогда если ИИ сможет чувствовать, он возьмет на себя и это мышление

- Если ИИ вам скажет "Я люблю тебя", а вы попросите его убедить вас, он может сделать это лучше кого-либо, потому что читал все на свете книги – от Шекспира до психологии

(12) Революция мудрости

- Революция ИИ заключается в том, чтобы сделать интеллект очень дешевым и доступным. Интеллект – это способность решать проблемы

- Теперь, в мире, где интеллект стал очень дешевым и доступным, вы можете решить любую задачу. В чем же узкое место? Узким местом становится вопрос: «Хорошо, что я хочу решить? Я могу получить все, что захочу – чего я хочу?»

- Интеллект – это Джинн из сказки. Нужна мудрость, чтобы понять, что именно вам нужно решить

#bodyguards_of_lies #Paradox_of_Progress #AI_boyfriends #AI_girlfriends #material_substrate #safe_intelligence

〰️ Сигналы бытия