🔭 Хто небезпечніший: автономний ШІ чи диктатор із суперінтелектом

👤 Катя Грейс – співзасновниця AI Impacts (дослідницький проєкт довгострокових наслідків ШІ), Том Девідсон – старший науковий співробітник Forethought (організація аналізу глобальних пріоритетів і ризиків ШІ)
🎤 Луїза Родрігез – ведуча 80,000 Hours (подкаст про розв'язання найгостріших світових проблем)

📺 80,000 Hours – 👥 93,1 тис. підписників
⏱ 1 год 29 хв
🗓 30.09.26 (3 дні тому)
👁 5,4 тис.

📝 Дебати дослідників безпеки ШІ про два екзистенційні сценарії: повну втрату контролю людства над машинами проти узурпації влади групою людей за допомогою надрозумних систем.

💡 ГОЛОВНІ ТЕЗИ

1️⃣ ШІ-дослідники оцінюють ризик загибелі від ШІ у 10%
Згідно з масштабними опитуваннями ML-інженерів, медіанна ймовірність катастрофічного захоплення влади автономним ШІ становить близько 10%.

2️⃣ Концентрація влади в руках людей недооцінена у 20–30 разів
Спільнота безпеки ШІ надмірно фокусується на узгодженні систем, ігноруючи ризик державного або корпоративного перевороту за допомогою ШІ. Керівники держав і топ-лабораторій за своєю природою схильні до накопичення влади.

3️⃣ Автономний ШІ дасть ранні попереджувальні сигнали
ШІ діє міопічно й розкриває свої небезпечні наміри передчасно (як в інциденті з Hugging Face). Люди-узурпатори діють стратегічно й приховують концентрацію влади до вирішального моменту.

4️⃣ ШІ-диктатор може бути менш деструктивним, ніж людина
ШІ не має садизму чи злопам'ятності і може керуватися широкими етичними фреймворками. Людина при абсолютній владі схильна заблокувати майбутнє у вузьких егоїстичних цінностях.

5️⃣ Невдалий мораторій може створити монополію президента США
Якщо паузу в розробці регулюватиме одноосібно виконавча влада, президент отримає інструмент шантажу лабораторій і повний контроль над передовими системами. Необхідний незалежний зовнішній аудит.

6️⃣ Один мегапроєкт AGI гірший за 2–3 конкуруючі лабораторії
Єдиний державний Мангеттенський проєкт створює критичну точку відмови. Наявність 2–3 систем дозволяє використовувати один ШІ для перевірки й контролю іншого.

7️⃣ Гонка з Китаєм слугує виправданням небезпечного прискорення
Китай так само зацікавлений уникнути самознищення через некерований ШІ. Обом країнам вигідніше домовитися про синхронне уповільнення, ніж ризикувати втратою влади чи демократії.

💬 «Якщо ви створите купу створінь, які перевершують вас у всьому, і випустите їх у світ, ви неодмінно зіткнетеся з бідою так чи інакше.»

🎯 ЩО З ЦИМ РОБИТИ
Планувати безпеку ШІ потрібно не лише від математичного розходження цілей (misalignment), а й від сценаріїв централізації контролю, створюючи децентралізовані інститути аудиту.

💵 0.14$

@icereadspodcastsua