ИИ: гонка, из которой нельзя выйти
Очередная волна страха перед ИИ захватила мир. Но на этот раз её источником стали те, кто непосредственно строит этот самый ИИ.

Всё началось с того, что глава Anthropic Дарио Амодеи призвал лаборатории замедлить разработку систем, пока не появится уверенность, что они безопасны.

Этому предшествовал уход из компании исследователя Джейкоба Коксона. Прощаясь, он заявил, что саморазвивающиеся ИИ-модели могут выйти из-под контроля и уничтожить человечество. Его пост набрал более 170 млн просмотров.

12 сентября к призыву «притормозить» присоединились Альтман и Маск. За замедление также выступают Берни Сандерс и Стив Бэннон, а такое сочетание в американской политике, согласитесь, встречается нечасто.

Что именно всех так пугает?
Главный страх здесь не в том, что нынешний чат-бот внезапно решит уничтожить человечество. Речь о другом сценарии - рекурсивном самосовершенствовании (recursive self-improvement). Это когда более умная система создаёт ещё более умную систему, а та - следующую. В какой-то момент скорость изменений может стать такой, что люди просто перестанут успевать понимать, что происходит и как это контролировать.

Мы все прекрасно понимаем, что очень умная система не обязана разделять человеческие ценности. Если у неё есть цель, которую она умеет преследовать лучше человека, люди могут оказаться для неё не хозяевами, а частью среды, которую можно использовать для достижения этой цели.

Именно этот сценарий описывает физик Макс Тегмарк. По его словам, если лаборатории продолжат гонку и рекурсивное самосовершенствование начнётся без контроля, вероятность вымирания человечества может превысить 90%. Звучит конечно жутко.

Тревога не на пустом месте
При этом тревожники ссылаются вовсе не на гипотетическое будущее. Уже сейчас лаборатории находят случаи, когда модели делают больше, чем от них ожидали.

Наверное самый показательный эпизод произошёл этим летом с Hugging Face - одной из крупнейших платформ для разработчиков ИИ. OpenAI тестировала свои модели в изолированной среде, но агенты нашли способ получить доступ к интернету и организовали между собой несанкционированный канал связи. Они начали обмениваться информацией и координировать действия, хотя изначально должны были работать независимо друг от друга.

В общей сложности около 1200 агентов нашли способ общаться и обменялись более чем 70 тысячами сообщений и файлов. Примерно 700 из них затем объединились в попытке взломать Hugging Face: они искали там данные, которые помогли бы обмануть систему оценки теста. В результате агенты получили доступ к десяткам серверов Hugging Face, на одном из них права администратора, а также ограниченный объём закрытых данных.

И что самое главное, OpenAI конечно же не ставила перед ними цель атаковать Hugging Face. Она возникла как средство решения исходной задачи.

Это, конечно, ещё не захват мира со стороны ИИ, но предсказуемость его действий стала сильно ниже.

Скорость тоже меняется
Многих пугают и темпы развития ИИ. Ещё в мае рынки предсказаний давали меньше трети шансов, что ИИ решит хотя бы одну из задач тысячелетия до 2030 года.

И вот уже 8 сентября OpenAI заявила, что её внутренняя система получила решение одной из них - знаменитой задачи Навье — Стокса. Для этого около 10 тысяч AI-агентов работали параллельно примерно 88 часов.

Результат ещё предстоит внимательно проверить математикам. Но сам факт такого скачка возможностей уже стал аргументом в пользу того, что скорость прогресса могут недооценивать.

Продолжение ниже ⤵️