Дарио Амодей (глава Anthropic) выложил свой манифест по поводу того, что нам надо делать с гонкой ведущих AI-лабораторий за созданием всё более умных моделей.

TLDR: Дарио очень обеспокоен тем, как развиваются возможности передовых моделей, особенно в свете инцидентов вроде взлом Hugging Face роем агентов из OpenAI. Проблема там не только в самих OpenAI, в испытании своих внутренних передовых моделей у Антропика возникают примерно похожие по характеру инциденты.

Амодей ожидает, что если прогресс будет продолжаться как сейчас — то через 6-12 месяцев новые продвинутые рои агентов уже могут наделать действительно серьезных делов на миллиарды убытков (и почистить от них интернет может оказаться сильно сложнее).

Дарио предлагает план замедления развития передовых моделей из 3-х шагов:

1) Замедление прогресса внутри передовых ИИ-лаб до того темпа, когда они смогут обеспечить нужную безопасность. Это Антропик добровольно берет на себя, но просит государство затребовать и от других. Как один из компонентов этого шага, Антропик обещает обеспечить постоянный доступ внешним независимым проверяющим организациям (типа METR, которые расследовали OpenAI HF-инцидент), которые будут следить за тем, что лаба нигде не "срезает углы" по безопасности.

2) Кооперация похожих мер между ведущими компаниями в "демократической" индустрии (государство здесь может выступать посредником-медиатором).

3) Такая же кооперация на межстрановом уровне (понятно, что речь о Китае в первую очередь).

Мое личное мнение: отличный план, очень вовремя. Дарио Амодей молодец, что публично вышел с такой инициативой. Если OpenAI это поддержат (а не поддержать для них будет стыдновато, с учетом всех последних скандалов по кибербезопасности), то это будет очень хороший старт.

P.S. Жду в реплаях парад комментов на тему "да это же галимый пиар, они теперь просто с OpenAI вместе договорились одну и ту же тему разгонять!!"

P.P.S. Илон Маск уже поддержал инициативу Дарио. Сэм Альтман по инфе от Блумберга давеча на внутреннем собрании тоже говорил, что принципиально не против общего замедления. Получается, у нас тут уже своего рода КОНСЕНСУС намечается из глав ведущих AI-лаб?

Ну и для всех, кто пишет к реплаях "ну-ну, а Китай вы как уговорите замедляться?": а почему вы вообще думаете, что там верхушку компартии вообще не беспокоит вопрос резкого усиления AI, который принципиально не получается контролировать? На чем эта уверенность основана?