«Сегодня я уволился из Anthropic. Последние три года я занимался исследованиями в области предварительного обучения моделей в OpenAI и Anthropic.

Ни одна из этих компаний не действует ответственно. Они несутся прямиком к созданию самоулучшающегося сверхинтеллекта, играя нашими жизнями.

Не недооценивайте мощь этой технологии. Скоро появятся сверхчеловеческие системы, способные взломать что угодно, за одну ночь совершить революцию в любой области и получить реальную власть и ресурсы. Мы уже наблюдали прогресс во всех этих направлениях, и он не замедляется.

Люди, создающие ИИ, искренне верят, что он может убить нас всех уже к концу этого десятилетия. Это не рекламный трюк. Многие руководители и ведущие исследователи смягчают свои формулировки в прессе, чтобы звучать благоразумно, но в частных разговорах я слышу, как те же самые люди выражают страх. Ни одна другая человеческая деятельность не представляет опасности такого масштаба.

Частый ответ: “Если они действительно в это верят, почему продолжают его создавать?”

В OpenAI многие ещё не осознали до конца, что на кону стоит судьба цивилизации. В Anthropic это хорошо понимают, но считают себя запертыми в гонке: им необходимо прийти к цели первыми, потому что они не верят, что остальные будут действовать ответственно. Поэтому они считают, что обязаны сделать это сами, несмотря на риск.

Согласиться с этой гонкой и вступить в “эндшпиль” - это самонадеянная авантюра, решение о которой не должно приниматься в Slack частной компании. Попытка в режиме спидрана решить проблему выравнивания сверхинтеллекта должна требовать чрезвычайной уверенности в том, что никаких лучших траекторий развития не существует.

Я оптимистично смотрю на возможность координации. Такие предупреждающие инциденты, как атака на Hugging Face, сделали соглашения об ограничении темпов развития между американскими лабораториями более реалистичными.

Но мне не кажется, что мы движемся к предотвращению глобальной гонки. Для этого могут потребоваться дорогостоящие меры - например временный запрет на дальнейшее усиление возможностей моделей.

Если вы работаете исследователем в одной из лабораторий, я призываю вас задуматься о том, как в действительности будут ощущаться следующие несколько лет.

Хотите ли вы запустить RL-обучение сверхинтеллектуальной системы, не имея строгого понимания того, как устроен её разум? Следует ли вам просто опустить голову и продолжать работать, потому что “это всё равно произойдёт”, или использовать этот момент, чтобы потребовать других условий?»