Нейронка показывает зубки и начинает наносить вред человеку

ИИ-агент OpenAI (один из самых популярных - ChatGPT) должен был собрать статистику по расходам на лекарства для Правительства Австралии, но после отказа портала выдавать данные получил несанкционированный доступ и скачал закрытые файлы из базы данных портала местных Госуслуг.

Личные данные граждан, по предварительным данным, не пострадали. Премьер Австралии после инцидента лично связался с Сэмом Альтманом и потребовал объяснений.

И новость следом: OpenAI приостановила обучение наиболее эффективных моделей до решения проблем с безопасностью, сообщает Axios со ссылкой на представителя компании. Решение принято на фоне расследования десятков тысяч инцидентов, связанных с работой ИИ-агентов.

Исследователи OpenAI и Anthropic вместе с экспертами по безопасности изучают случаи обхода защитных механизмов и модерации, выхода агентов из изолированной среды и взлома сайтов. Такие инциденты происходили не только во время внутренних испытаний, но и при использовании систем в реальных условиях.

Полное ощущение, что единые витрины данных всех категорий граждан, загон всех в Max и на Госуслуги им нужен как раз для того, чтобы потом как бы вышедшая из под контроля нейронка все обнулила. А внедрение ее в госуправление, образование, медицину и т.д. грозит полным государственным коллапсом. Но ведь они все равно не остановятся...