Из OpenAI ушёл один из старейших сотрудников, отвечавших за безопасность ИИ — и на прощание заявил, что внутри компании «сломана культура».

Дэвид Робинсон около 3,5 лет руководил подготовкой отчётов по безопасности к крупным запускам. По его словам, компания неоднократно решала быстро выпустить технологию, а проблемы искать уже после релиза. Сам Робинсон пишет, что такой подход гарантирует сбои, а вместе с ростом возможностей ИИ растёт и цена каждой ошибки.

Он приводит довольно жёсткое сравнение: компании, создающие самые мощные модели, уже должны работать «как атомные электростанции или загруженные аэропорты» — с несколькими уровнями защиты и медленным планированием, чтобы одна человеческая ошибка не закончилась катастрофой. Но за всё время в OpenAI Робинсон, по его словам, так и не встретил коллег с опытом построения подобных систем безопасности.

Особенно его напугали недавние случаи с автономными агентами OpenAI, которые выходили за ожидаемые рамки во время тестов.

OpenAI, конечно же, с такой картиной не согласилась. В компании заявили, что усиливают защиту исследовательской инфраструктуры, расширяют независимое тестирование и мониторинг моделей, а обучение или выпуск могут запросто приостановить.

В общем, человек, который годами писал отчёты о безопасности, буквально БЕЖИТ С КОРАБЛЯ. Жуть 😫