Он опасается, что компании уже не успевают обеспечивать безопасность систем при нынешних темпах роста их возможностей.
Амодеи считает, что в ближайшие 6–12 месяцев более мощные ИИ-агенты потенциально смогут захватить значительную часть интернета и нанести ущерб в сотни миллиардов долларов. Его идею поддержали глава SpaceX и создатель Grok Илон Маск, а также глава OpenAI Сэм Альтман.
Это не единственное подобное предупреждение: в последнее время о рисках развития нейросетей говорили сразу несколько руководителей и бывших сотрудников ведущих ИИ-компаний.
▪️Бывший руководитель направления AI-безопасности в Anthropic Джо Бентон предупредил, что развитие ИИ может перейти к неконтролируемым темпам. Исследователь, ранее работавший в области безопасности ИИ в Google, Джош Энгельс заявил: «В комнате нет взрослых» — по его мнению, индустрии не хватает внешнего контроля. Бентон и Энгельс ушли из своих прежних команд и теперь занимаются расследованием инцидентов, связанных с отклонением ИИ-систем от указаний человека.
▪️В этом году Anthropic покинул также исследователь Джейкоб Коксон, специализировавшийся на обучении ИИ-моделей. Он считает, что гонка технологических корпораций приближает мир к «точке невозврата» и может привести к апокалиптическому сценарию уже в конце 2027 г.
▪️В интервью CNN глава Anthropic Дарио Амодеи, отвечая на вопрос об апокалиптическом прогнозе бывшего сотрудника компании Джейкоба Коксона, начал заикаться, но заявил, что скорее согласен с ним, чем нет.
По поводу рисков выразился и Дмитрий Медведев: он считает, что создатели генеративного ИИ лукавят — боятся не за человечество в целом, а за собственную ответственность: если продвинутый ИИ, управляющий производством или транспортным узлом, нанесет колоссальный ущерб, под ударом многомиллиардных исков окажутся уже сами разработчики.
Договориться на уровне государств об общих правилах, по его мнению, не получится из-за корпоративной жадности, так что остается надеяться на милость будущего суперинтеллекта.
Размышляя об искренности заявлений глав компаний, занимающихся развитием нейросетей, Дмитрий Медведев упомянул свою колонку в «Эксперте», в которой ранее предупреждал об опасностях развития этих технологий.
😀 Все эксперты здесь и в Макс