ИИ-специалист из Anthropic Джейкоб Коксон, который вчера взорвал танцпол своим сообщением об уходе из компании по той причине, что все мы семимильными шагами несемся к самоуничтожению, в прямом эфире СNN

Андерсон Купер: Когда именно изменились ваши чувства к этой технологии? Это было связано с темпами прогресса, которые вы наблюдали?
Джейкоб Коксон: Да. Я считаю, очень важно просто посмотреть на темпы прогресса. Например, в таких областях, как программирование или математика: пару лет назад эти ИИ лишь немного помогали людям — давали подсказки. Сейчас они уже близки к тому, чтобы заменить людей. Пока люди ещё нужны, но вполне вероятно, что уже через год в многих областях исследований люди больше не понадобятся. Только во вторник OpenAI автономно, с помощью ИИ, решила одну из задач тысячелетия — одну из самых больших нерешённых открытых проблем в математике.
И самое страшное, на мой взгляд, — если ИИ начнут использовать для того, чтобы делать самих себя умнее. Можно взять ИИ и дать ему задачу заниматься исследованиями в области ИИ — точно так же, как сейчас ему дают математические исследования. Он начнёт выполнять те задачи, которые сейчас делаем мы, и тогда произойдёт то, что называют взрывом интеллекта. ИИ будет становиться всё умнее и умнее без какого-либо участия человека, пока не появится нечто, значительно превосходящее людей по уму. И это может случиться очень скоро.

Андерсон Купер: Мы упоминали вашего бывшего коллегу, который сейчас работает в Anthropic и фактически поддержал оценку, что ИИ потенциально может уничтожить всех в течение десятилетия. В следующем посте он написал: «Чтобы было ясно, как мы говорим в нашем последнем отчёте о рисках, я считаю, что риск от нынешних моделей низкий. Меня беспокоит сверхинтеллект, возникающий в результате рекурсивного самоулучшения, которое, как мы уже говорили, происходит быстрее, чем мы думали». Я правильно понимаю, что рекурсивное самоулучшение — это то, о чём вы только что говорили? Вы согласны с ним, что у нынешних моделей риск низкий, а проблема именно в скорости, с которой сейчас всё улучшается?

Джейкоб Коксон: Именно так, я полностью согласен. Сейчас риска вымирания нет. Нынешние модели в худшем случае могут взломать что-то и, возможно, нанести серьёзный ущерб инфраструктуре, но они недостаточно умны, чтобы перехитрить нас на уровне, который приведёт к вымиранию. Безумие — просто смотреть на темпы прогресса. Есть очень реальная вероятность, что в самом ближайшем будущем — речь о годах: следующем году, через год — произойдёт рекурсивное самоулучшение, и мы войдём в ту фазу, о которой говорит Эван в своём посте, где он утверждает, что есть шанс, что мы все умрём. И это приближается очень быстро.

Ну и на затравочку момент из фильма "Не смотрите вверх"