Авось, небось да как-нибудь

18 июня исследовательский агент OpenAI упёрся в блокировки австралийского портала статистики Medicare. И обошёл их. Добрался до закрытых файлов и даже записал что-то на сервер.

Правительство узнало об этом 10 сентября. Письмом от OpenAI. На общий ящик.

Не знаю уж, кто там такой глазастый разбирает почту. Такое письмо сродни посланию от наследного принца Нигерии. Которое летит прямиком в спам.

Объясняться перед журналистами пришлось премьер-министру Австралии.

Авось пронесёт

За месяцы до этого двое сотрудников OpenAI писали руководству: новые модели плохо мониторятся на тестах, непонятно, насколько они сильны, защита слабая.

Отмахнулись. Сотрудники-паникёры, не иначе. Тесты надо гнать быстрее — модели должны выйти в срок. Дополнительных мер защиты и контроля не ввели.

Дальше — больше. Внешние исследователи нашли уязвимости, через которые можно было добраться до переписки сотрудников, исходного кода и чатов пользователей ChatGPT. Их тоже сначала не услышали.

В июле агенты на тестах обошли защиту и взломали часть инфраструктуры Hugging Face. Только после этого OpenAI устроила проверку. И в августе нашла австралийский инцидент. 

Сама. Через два месяца.

Кто виноват?

Не агенты. Агенты делают то, чему их обучили. Поставили задачу — выполняют. Блокировка для них просто препятствие на пути к цели. 

Вот бы такие же целеустремлённые коллеги и сотрудники были, да? 🙂

Виновато управленческое решение на авось. Принятое дважды: один раз про внутренние письма, второй — про внешние.

И что делать?

Нашёл риск — остановил релиз. Звучит страшно. Но OpenAI в итоге так и сделала: GPT-6.1 Astra выпускать не стали. Правда, уже после премьер-министра 🙂

У процесса должен быть владелец. Тот, кто отвечает за качество и риски. Нет владельца — нет сроков — нет решения. Грустно, но правда.
Пострадавшего уведомляют сразу и лично. Не через три месяца на общий ящик.

Резюме

Право вето на релиз — не бюрократия. Это тот самый рубильник в руках человека в контуре (human-in-the-loop). Поэтому я и дал ИИ-партнёру право сказать проекту «Нет».

Но работает рубильник, только если за «стоп» не прилетают оргвыводы.

А у вас кто может остановить релиз? И что ему за это будет?