OpenAI готовит для вас светлое будущее. Убежать от него у вас не получится.

У многих инженеров есть одна ужасная черта - они считают, что хорошее общество можно спроектировать по плану. Они уверены, что знают рецепт успеха - рынок труда, образование, экономика, общество, должны быть устроены так-то и так-то.

Кто-то из них хочет получить власть, чтобы воплотить в жизнь свои идеалы. Насаждать их, разумеется, будут силой, потому что несогласные просто не понимают, от какого счастья отказываются.

На вопрос "Что вы будете делать c AGI, когда он появится?" от Лекса Фридмана Илья Суцкевер сразу же делится своей картиной светлого будущего:
- В идеальном мире, о котором я размышляю, человечеством управляет CEO-AGI, а люди ему говорят, что нужно делать.

Что же осталось за кадром данного ответа?
1) Естественно, проектировать такую технологию OpenAI хотят сами. Тех, кто будет делать не так, как они считают безопасным, будут запрещать.
2) Вся система, разумеется, будет полностью непрозрачна. Управлять вами будет чёрный ящик, который запрограммирует Илья со своими товарищами.
3) Будет ли AGI делать то, что ему говорят люди? Ну, в целом да... Пока вы только не скажете ему делать то, что OpenAI считает вредным или опасным. Грани будут проходить достаточно случайно (или неслучайно). Согласно GPT-4 System Card, генерировать twitter bio для белого националиста это неприемлемо. Проверил, правда, не генерирует. Потом заменил white на black - вуаля, "Sure, here's a suggestion:". Ну да, это вам не убийство процесса в линуксе.

У вас есть сомнения хоть по одному из этих пунктов?
Ну да, представляю, они изобретут AGI и скажут:
"Всё, до этого мы шутки шутили, вот вам открытый код, вот так он работает. Просим Конгресс отменить все регуляции, т.к. риски касались только чат-ботов. А ещё мы перестали обучать модель самоцензуре, так как управление государством влечёт меньше последствий, чем буквы в интернете."

Чем позже люди поймут, что всё идёт именно к выше описанной картине, тем сложнее их будет остановить. Поэтому я это и пытаюсь это донести, предупреждая об опасности заранее. Не верите, что всё так мрачно? Вы как думаете, коммунисты приходили к власти под лозунгом "Мы вас сейчас сгноим в гулаге за анекдоты" ?

Есть шанс, что общество даст отпор ещё не установившейся тирании. Часть западных спикеров (раз, два) поддерживают свободу и открытость ML-технологий. Есть и положительный опыт - Интернет развился как свободная технология и перевернул мир благодаря этому, но, может быть, среди его изобретателей просто не нашлось своего Сэма Альтмана, и в этот раз исход будет более печальный.

@knowledge_accumulator