Из OpenAI ушёл человек, который отвечал за безопасность 12 запусков моделей

Дэвид Робинсон проработал в OpenAI три с половиной года, участвовал в создании Preparedness Framework и курировал подготовку safety-отчётов для 12 запусков передовых моделей. Теперь он ушёл и опубликовал эссе с довольно недвусмысленным названием: I Quit OpenAI Because Its Culture Is Broken.

Главная претензия Робинсона — подход, который OpenAI называет iterative deployment: выпускаем технологию, смотрим, какие проблемы возникают, затем усиливаем защиту.

Для обычного софта это знакомая модель. Но Робинсон считает, что для всё более автономного и мощного AI цена такого «попробовали — исправили» становится слишком высокой. По его мнению, индустрии пора перенимать культуру безопасности авиации и атомной энергетики, где критические риски стараются предусмотреть до запуска.

OpenAI с такой оценкой не согласна и утверждает, что при необходимости приостанавливает обучение или задерживает модели, если риски нельзя безопасно контролировать.

Но сама дискуссия становится всё интереснее.

AI-компании привыкли работать как стартапы. А технологии, которые они создают, постепенно требуют отношения к себе как к критической инфраструктуре.

И эти две культуры начинают конфликтовать.

Будущее по подписке