OpenAI готова замедлять разработку передовых моделей, если риски будут расти быстрее средств контроля. На внутренней встрече Сэм Альтман сказал сотрудникам, что компания может сознательно снизить темп и хотел бы делать это вместе с другими ведущими лабораториями, сообщает Bloomberg.
⠀
OpenAI уже перешла от разговоров к действиям. Компания недавно на две недели останавливала обучение новых моделей с подкреплением после проблем с безопасностью, а крупнейший запланированный цикл такого обучения оставила на паузе до получения более убедительных данных по контролю и защите системы.
⠀
Шесть дней назад мы описали следующий рубеж: скорость развития ИИ начнёт зависеть от того, насколько безопасно лаборатории могут давать новым моделям инструменты, сети и автономность. Этот рубеж частично пройден — безопасность уже задерживает сам процесс разработки.
⠀
Теперь узкое место смещается на уровень всей гонки. Односторонняя пауза означает потерю времени относительно Anthropic, Google и других конкурентов. Поэтому Альтман говорит о согласованном замедлении, а главный исследователь OpenAI Якуб Пачоцкий предлагает сделать добровольные паузы обычной практикой до появления общих критериев безопасности.
⠀
Следующий шаг гораздо труднее внутренней паузы: лабораториям нужно согласиться, что при достижении опасного порога никто не использует остановку конкурента для рывка вперёд. Если такой механизм появится, безопасность впервые начнёт ограничивать не одну компанию, а скорость всей передовой ИИ-гонки.
⠀
Психоистория #ИИ