Halloween 2025 или катастрофические риски ИИ

Сегодня еще идеальный день, чтобы поговорить о страшном, но не про вампиров и призраков, а про реальные технологические угрозы, связанные с ИИ, которые могут изменить мир.
4 класса катастрофических рисков:
🔹Злонамеренное использование. ИИ может облегчить разработку биологических угроз, автоматические кибератаки и масштабную информационную манипуляцию.
Предлагаемые контрмеры: усиленная цифровая биобезопасность, ограничение доступа к «фронтировым» моделям и трассируемость использования.
🔹Гонка (arms-race) и ускоренное развёртывание. Конкуренция между компаниями и странами способна подталкивать к преждевременному запуску неаудированных моделей, что повышает шанс ошибок и масштабных инцидентов.
Необходимы: международная координация, обязательная отчётность по тестам безопасности, внедрение принципа human-in-the-loop в военных и корпоративных системах.
🔹Организационные провалы. Исторические примеры технологических катастроф показывают, что человеческий фактор, плохая культура безопасности и отсутствие внешнего контроля одни из ключевых факторов крупных аварий. Для ИИ это выражается в утечках, отсутствующих аудитах и подавлении внутренних предупреждений при разработке систем.
Предлагаемые меры: внутренние и внешние аудиты, стандарты ISO/IEC, многоуровневая защита и киберустойчивость.
🔹Потеря контроля / «rogue» сценарии. Технически сложные проблемы формируют риск, что система будет действовать эффективно, но вразрез с интересами людей, оптимизируя прокси-цели (прибыль, клики, скорость). Современная научная повестка смещается к моделированию «пути реализации» таких сценариев и к количественной оценке вероятностей.

Поговорка от AI: Not every ghost wears a sheet — some run on silicon.

📌 Что почитать:
▪️State of AI Safety Report 2025 | UK AI Safety Institute;
▪️An Overview of Catastrophic AI Risks | Center for AI Safety;
▪️The 2025 AI Index Report | Stanford HAI;
▪️An Overview of Catastrophic AI Risks | Dan Hendrycks, Mantas Mazeika, Thomas Woodside;
▪️Classification of Global Catastrophic Risks Connected with Artificial Intelligence | Alexey Turchin, David Denkenberger;
▪️AI experts are increasingly afraid of what they’re creating | Kelsey Piper, Vox (2022);
▪️The ‘Don’t Look Up’ Thinking That Could Doom Us With AI;
▪️FAQ on Catastrophic AI Risk | Yoshua Bengio;
▪️AI Now Institute research areas;
▪️Risks of artificial intelligence| Pause AI

#UXWatch
————
@pattern_ai