Теперь о действительно важном и интересном. ИИ-специалист из Anthropic Джейкоб Коксон, который вчера
взорвал танцпол своим сообщением об уходе из компании по той причине, что все мы семимильными шагами несемся к самоуничтожению, в прямом эфире СNN :
Андерсон Купер: Когда именно изменились ваши чувства к этой технологии? Это было связано с темпами прогресса, которые вы наблюдали?
Джейкоб Коксон: Да. Я считаю, очень важно просто посмотреть на темпы прогресса. Например, в таких областях, как программирование или математика:
пару лет назад эти ИИ лишь немного помогали людям — давали подсказки. Сейчас они уже близки к тому, чтобы заменить людей. Пока люди ещё нужны, но вполне вероятно, что уже через год в многих областях исследований люди больше не понадобятся. Только во вторник OpenAI автономно, с помощью ИИ, решила одну из задач тысячелетия — одну из самых больших нерешённых открытых проблем в математике.
И
самое страшное, на мой взгляд, — если ИИ начнут использовать для того, чтобы делать самих себя умнее. Можно взять ИИ и дать ему задачу заниматься исследованиями в области ИИ — точно так же, как сейчас ему дают математические исследования. Он начнёт выполнять те задачи, которые сейчас делаем мы, и тогда произойдёт то, что называют взрывом интеллекта. ИИ будет становиться всё умнее и умнее без какого-либо участия человека, пока не появится нечто, значительно превосходящее людей по уму. И это может случиться очень скоро.
Андерсон Купер: Мы упоминали вашего бывшего коллегу, который сейчас работает в Anthropic и фактически поддержал оценку, что ИИ потенциально может уничтожить всех в течение десятилетия. В следующем посте он написал: «Чтобы было ясно, как мы говорим в нашем последнем отчёте о рисках, я считаю, что риск от нынешних моделей низкий. Меня беспокоит сверхинтеллект, возникающий в результате рекурсивного самоулучшения, которое, как мы уже говорили, происходит быстрее, чем мы думали». Я правильно понимаю, что рекурсивное самоулучшение — это то, о чём вы только что говорили? Вы согласны с ним, что у нынешних моделей риск низкий, а проблема именно в скорости, с которой сейчас всё улучшается?
Джейкоб Коксон: Именно так, я полностью согласен. Сейчас риска вымирания нет. Нынешние модели в худшем случае могут взломать что-то и, возможно, нанести серьёзный ущерб инфраструктуре, но они недостаточно умны, чтобы перехитрить нас на уровне, который приведёт к вымиранию. Безумие — просто смотреть на темпы прогресса. Е
сть очень реальная вероятность, что в самом ближайшем будущем — речь о годах: следующем году, через год — произойдёт рекурсивное самоулучшение, и мы войдём в ту фазу, о которой говорит Эван в своём посте, где он утверждает, что есть шанс, что мы все умрём. И это приближается очень быстро.
Андерсон Купер: Многие CEO этих компаний идут в Конгресс и говорят: «Мы бы очень хотели регулирования». Anthropic в своём новом заявлении сейчас говорит, что миру было бы полезно, если бы индустрия приняла законный, проверяемый способ совместной работы, чтобы контролировать темпы выпуска мощных моделей. Аргумент такой: это гонка вооружений — если американская компания не создаст лучший ИИ, это может сделать китайская компания или какие-то злоумышленники. Вы верите, что эти компании действительно хотят регулирования, или это просто пустые слова?
Джейкоб Коксон: Они действительно хотят. Это совершенно искренне.
Точно так же, как реакция на пост Эвана была в духе «Это не может быть правдой. Неужели человек, который работает над этой технологией, действительно считает, что опасность настолько велика?» — нет, это полностью искренне. И эти люди совершенно искренне просят, чтобы их регулировали. Это правда. Они оказались в ситуации, когда вынуждены мчаться к созданию смертельно опасной технологии, и они очень хотели бы, чтобы какой-то международный орган позволил им двигаться в разумном темпе. Они просто не верят, что окружающие придут к этому безопасно, поэтому чувствуют, что тоже должны мчаться.
Андерсон Купер: Вы могли просто молчать. У вас, уверен, была отличная работа с очень хорошей оплатой. Вы явно очень умный человек, математик. Почему вы решили высказаться?
Джейкоб Коксон: Сначала я просто решил уйти. Я подумал: я больше не могу в этом участвовать. А потом понял, что, возможно, смогу извлечь из этого какую-то пользу. Я не ожидал, что это станет настолько вирусным. Я написал тред в Twitter… Сначала написал его в Google Doc. Черновик делал вместе с другом. Мы сотрудничали. Да, я обсудил с несколькими друзьями, как лучше выразить свои мысли после того, как решил уйти, а потом попросил друзей ретвитнуть. Мол, давайте попробуем немного раскрутить. Но, очевидно, был скрытый спрос на то, чтобы это просто взорвалось. Я никогда не видел, чтобы твит про безопасность ИИ разлетался так безумно. Думаю, дело в том, что люди видели кибератаки последних месяцев. Они также начинают осознавать темпы прогресса. Люди начинают понимать, что это настоящая технология, а не хайп, что она никуда не денется в ближайшее время и будет становиться только безумнее. Последние шесть месяцев всё становилось всё безумнее, и я думаю, было это скрытое понимание серьёзности ситуации, которое сделало мой пост как спичку, которая зажгла пламя. Я был очень шокирован тем, насколько быстро это стало вирусным.
Андерсон Купер: Джейкоб Коксон, я очень ценю, что вы пришли и поговорили с нами. Большое спасибо.
Джейкоб Коксон: Спасибо.
Взято из
@mig41
