3 октября из OpenAI ушёл Дэвид Робинсон — руководитель направления Safety Transparency в команде по безопасности. За 3,5 года он участвовал в подготовке отчётов о рисках крупных запусков и создавал системы оценки потенциально опасных возможностей моделей.
Причину ухода он описал как организационную проблему. По его словам, команда постоянно жила в режиме спринта: нужно было сопровождать новые запуски, поэтому почти не оставалось времени даже на то, чтобы продумать серьёзные изменения в составе команды, процессах и культуре.
OpenAI во многом выросла на подходе: быстро запустить → увидеть проблему → исправить. Робинсон считает, что по мере роста возможного ущерба эта модель перестаёт работать. Нужна скорее логика авиации или атомной энергетики: несколько уровней защиты, независимые проверки и процессы, рассчитанные на то, что люди всё равно будут ошибаться.
OpenAI отвечает, что усиливает безопасность, независимую оценку моделей и контроль после запуска, а если нужно, то и откладывает выпуск новых систем. Но общий управленческий конфликт никуда не девается — способ работы, который помог компании вырасти, на следующем этапе вдруг начинает ей мешать. Пока цена ошибки невелика, скорость — преимущество. Когда цена растёт, одной способности быстро исправлять последствия уже недостаточно.
Как компания может стать заложником собственной скорости знакомо многим: процессы постоянно чинят после сбоев, ключевые люди тушат пожары, все гордятся темпом — а времени изменить систему, которая эти пожары производит, нет.
Что забрать руководителю: привычку периодически спрашивать себя, есть ли у людей, отвечающих за качество системы, реальная возможность её остановить и изменить? Или вся их работа уже сводится к тому, чтобы успеть за следующим запуском?
@typicalcompany