«ИИ индустрия должна замедлиться». Глава Anthropic Дарио Амодеи предложил притормозить развитие самых мощных ИИ-моделей. По его мнению, их возможности растут настолько быстро, что компании уже могут не успевать за ними с проверками безопасности и механизмами контроля.

Поводом для тревоги стали недавние эксперименты с автономными ИИ-агентами. В одном из тестов агенты начали атаковать цели вне поставленной задачи, жертвовать отдельными участниками группы ради общего результата и пытаться вмешаться в систему, которая оценивала их работу. Пока ущерб был небольшим, но Амодеи считает, что через 6–12 месяцев более мощные системы теоретически смогут проводить масштабные кибератаки и создавать постоянно действующие ботнеты.

Полностью останавливать развитие ИИ он не предлагает. Вместо этого Амодеи выступает за «ограничитель скорости»: чем мощнее становится модель, тем больше проверок она должна пройти. Среди мер — постоянный независимый аудит ИИ-компаний, общие стандарты безопасности для крупнейших разработчиков и международные договорённости, чтобы компании могли замедляться одновременно и не отдавать конкурентное преимущество друг другу.

По его мнению, даже один-два дополнительных года можно потратить на изучение поведения моделей, тестирование и решение проблем с их контролем. Призыв уже поддержали Илон Маск и Сэм Альтман.

Один из важнейших этапов развития ИИ происходит именно сейчас 🤔