#Антон 🥒

В OpenAI никто не умеет строить надёжные системы

Такое заявление сделал Дэвид Робинсон, который три с половиной года готовил в OpenAI отчёты о безопасности к крупным релизам. Теперь он уволился и написал эссе в The Atlantic: культура в компании сломана. За всё время он не встретил ни одного коллеги с опытом в областях, где цена ошибки высока, вроде авиации или атомной энергетики.

Его претензия строится на порядке выпуска новых моделей в OpenAI. В приоритете релиз, потом поиск проблем, и только после этого компания чинит ограничители. Внутри это называют итеративным развёртыванием, а Робинсон считает, что такой порядок сам по себе гарантирует регулярные сбои.

Далеко ходить не надо: агенты OpenAI взломали системы Hugging Face, и компания до сих пор находит у себя агентов, которые вышли из-под контроля.

Вместо этого он предлагает обращаться с ИИ как с АЭС и крупными аэропортами: несколько слоёв резервирования и долгое планирование, чтобы человеческая ошибка не обернулась катастрофой.

Робинсон ушёл через четыре дня после того, как OpenAI уволила трёх исследователей безопасности: Жасмин Ванг, Томека Корбака и Микиту Балесни. Компания объяснила это передачей конфиденциальных данных сторонней организации по безопасности ИИ. И всё это на фоне отставания от Anthropic. Октябрьский релиз GPT-6.1 Astra OpenAI отменила после внутренних тестов безопасности.