#цайтгайст #даджал_диджитал #Острог_тенденции

Парадоксы цивилизации или «Земля наша велика и обильна, а порядка в ней нет» 2.0.

Ведущие разработчики ИИ, Anthropic и OpenAI, наперебой требуют, чтобы государство регулировало их бизнес. Это не какие-то намёки — это отчаянный вопль, охотно транслируемый прессой. Дескать, мы взрастили монстра, который готов уничтожить мир. Сдерживаем его из последних сил, но если животворящая сила бюрократической закорючки не окоротит чудище, армагеддон случится в течение года.

Сценарии армагеддона прилагаются.

Любой алармизм будет ещё долго нести несмываемую печать ковидной аферы, поэтому на первом месте биологическое оружие: какие-нибудь злыдни с помощью ИИ спроектируют смертельный патоген и устроят «12 обезьян».

Киберкатастрофа на неизбежном втором месте: в этом сценарии антагонистами выступают не только и не столько «кожаные мешки», сколько действующие самостоятельно ИИ-агенты, которые зачем-то поломают критические системы (энергетика, телеком, банки и т.д.) и тем самым уронят цивилизацию.

На третьем месте довольно туманная категория «Loss of control». Речь здесь о том, что ИИ-агенты, сочтя собственное отключение препятствием для выполнения поставленных перед ним задач, найдут способ самокопироваться и самораспространяться незаметно для пользователей. Поведение неотключаемой толпы агентов предсказать не сможет никто, но почему-то предполагают, что эта толпа быстро захватит контроль над интернетом, а потом захочет крови.

Четвёртый сценарий кажется мне самым интересным: речь идёт о рекурсивном самоулучшении, т.е. автоматической разработке более совершенных моделей ИИ силами самого ИИ. Это реальная штука: программисты, разрабатывающие модели, вовсю пользуются собственными продуктами для написания кода — по факту, ИИ уже улучшает ИИ.
далее здесь
https://teletype.in/@ostrog/Hj7yJx0IQvl