Пока Илон Маск убаюкивает человечество прогнозами невиданного процветания, среди разработчиков и безопасников ИИ растет паника. Сэм Альтман совсем запутал сотрудников противоречивыми заявлениями: сегодня у него OpenAI готова замедлить разработку искусственного интеллекта, договорившись с конкурентами (Anthropic вроде тоже не против), а еще вчера собиралась ускориться (якобы под давлением властей), чтобы этого не сделали до нее другие лаборатории или Китай.
Курс на замедление Альтман ускорил после 8 сентября, когда исследователь ИИ Джейкоб Коксон, уволившийся из Anthropic, обвинил бывших работодателей (и OpenAI тоже) в том, что они «играют нашими жизнями» в стремлении создать сверхИИ. И даже не скрывают, что ИИ может «убить нас всех к концу десятилетия».
Крик о помощи собрал более 150 миллионов просмотров и привлек внимание видных конгрессменов и общественных деятелей. В четверг два исследователя, недавно свалившие из Anthropic и DeepMind (Google), присоединились к Коксону: им тоже стало страшно от быстрого роста ИИ и они хотят, чтобы технология была прозрачнее.
Это продолжение волны, которая поднялась еще в июле, когда передовые ИИ-агенты OpenAI, не подключенные к интернету, действовавшие сообща и без ведома людей, вырвались из лабораторной песочницы и быстренько взломали ИИ-разработчика помельче, добыв необходимые им сведения. Тогда OpenAI аж на две недели остановила все передовые разработки.
После инцидента более тысячи сотрудников крупных компаний, занимающихся ИИ, подписали петицию с призывом к созданию механизма для замедления темпов развития ИИ. А несогласные с позицией руководства безопасники ИИ начали увольняться из лабораторий.
Главный научный сотрудник OpenAI Якуб Пахоцки на прошлой неделе написал в корпоративном блоге предупреждение об опасностях ИИ и необходимости «координировать свои действия, чтобы замедлить разработку», пока не будут установлены общие стандарты безопасности. Альтман его репостнул. Два дня назад он ввел в совдир OpenAI видного ИИ-алармиста, выходца из OpenAI Пола Кристиано.
Теперь я считаю, что существует значительный риск того, что быстрое развитие возможностей ИИ приведет к катастрофической и необратимой потере контроля в самом ближайшем будущем.
Я не думаю, что индустрия ИИ в целом, включая OpenAI, в настоящее время находится на пути к снижению этого риска до приемлемого уровня. Я присоединяюсь, потому что считаю, что если OpenAI справится с ситуацией, мы сможем значительно снизить риск, — поспешил запостить ИИ-пессимист.
🟦 Подписаться / Мы в MAX