Это новая паста или треш-памфлет?

«Сегодня я уволился из Anthropic. Последние три года я занимался исследованиями в области предобучения моделей — и в OpenAI, и в Anthropic. Ни одна из этих компаний не действует ответственно. Они наперегонки движутся прямо к самосовершенствующемуся сверхинтеллекту, ставя на кон наши жизни.

Не стоит недооценивать мощь этой технологии. Вскоре появятся системы, превосходящие человека: они смогут взламывать что угодно, за одну ночь совершать революцию в любой области и обретать реальную власть и ресурсы. Мы все видели прогресс в каждом из этих направлений, и он не замедляется.

Люди, создающие ИИ, всерьёз считают, что он может убить нас всех ещё до конца этого десятилетия. Это не маркетинговый трюк. Скорее наоборот: многие руководители и ведущие исследователи подбирают более осторожные формулировки для прессы, чтобы звучать рассудительно, — но в частных разговорах я слышу, как те же люди выражают страх. Ни одна другая человеческая деятельность не несёт опасности такого масштаба.

Часто в ответ спрашивают: «Если они действительно в это верят, почему продолжают его создавать?» В OpenAI многие ещё не осознали по-настоящему, что на кону стоит судьба цивилизации. В Anthropic масштаб ставок хорошо понимают, но оказались заложниками гонки за первенство. Там считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск.

Принять условия этой гонки и вступить в её финальную стадию — самонадеянная авантюра, которую не следует запускать из Slack частной компании. Попытка в ускоренном темпе решить проблему согласования поведения ИИ с человеческими целями требует исключительной уверенности в том, что лучших путей развития событий просто нет.

Я с оптимизмом смотрю на возможность координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали договорённости между американскими лабораториями о темпах развития более реалистичными. Но у меня нет ощущения, что мы движемся к предотвращению глобальной гонки. Для этого могут потребоваться меры, за которые придётся дорого заплатить, — например, временный запрет на повышение возможностей моделей.

Если вы исследователь в одной из лабораторий, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запускать обучение сверхинтеллекта с подкреплением, не имея строгого понимания того, как устроено его мышление? Стоит ли просто продолжать свою работу, потому что «это всё равно произойдёт», — или лучше воспользоваться этим моментом, чтобы потребовать иных условий?»