Есть такой институт, оказывается, "Будущее жизни" (да, я о таком тоже первый раз слышу). Занимаются они исследованием рисков и угроз от разных технологий: ядерки, autonomous weapons и т.п. А еще, похоже, занялись и угрозами AI. И вчера они опубликовали открытое письмо, в котором призвали на 6 месяцев остановить разработку любых AI-систем, сравнимых с GPT-4 по мощи. Письмо вот.

Идея понятна: прогресс идет слишком быстро, мы не особо понимаем, к чему он может привести. И не успеваем за этим прогрессом выработать хоть какую-то адекватную регуляцию этого ИИ.
Во время паузы предлагают сделать следующее:
- Понять, что мы хотим от AI. Хотим ли мы, чтобы AI заменял прям все профессии, которые может? Хотим ли мы сделать робота-гуманоида? Ок ли нам, что AI заполонит интернет генерациями и фейк-ньюз?
- Выработать протоколы безопасности и регуляции разработки AI: как делать AI более робастным, безопасным, надежным и... loyal (ок, но не уверена, что с этим согласна).
В этом пункте про "выработать протоколы" они даже ссылаются на недавний стейтмент OpenAI, в котором была строчка: "At some point, it may be important to get independent review before starting to train future systems, and for the most advanced efforts to agree to limit the rate of growth of compute used for creating new models". Считают, что этот момент — прямо сейчас.

В коммьюнити, насколько я понимаю, была неоднозначная реакция на этот пост. В основном выражались два консерна (с которыми я согласна):
- 6 месяцев — это очень мало (но это ладно, так-то и продлить можно);
- Это бесполезно. В мире еще нет такого консенсуса, чтобы была возможна ситуация, когда большие компании и страны договариваются приостановить разработки AI. От себя добавлю: если вам тут на ум пришло ядерное оружие, по которому сировая договоренность в каком-то виде таки была достигнута, то у AI, на мой взгляд, другая ситуация. Тут риски не так очевидны, польза быть первы и классным — очевидна. А еще, испытания ядерки в тайне держать не получится. А AI — легко.

Но тут есть еще пара веселых моментов:
- Под письмом стоят подписи таких людей, как Йошуа Бенджио, Илон Маск, Ян ЛеКун. Последний вот в твиттере сказал, что это чушь, с письмом он не согласен и его не подписывал. В приципе, неудивительно: вряд ли при подписании проверяют твою истинную имя-фамилию. Но все равно кек)
- Кто-то нашел в письме конспирологию и считает, что письмо написано не из-за реальных консернов компании по поводу AI, а просто Илон Маск бесится.
Бесится он вот почему: в 2018 году он ушел из OpenAI после неудачной попытки стать единоличным главой компании. А теперь OpenAI сделали такой крутой AI, а он остался в стороне. То, что у Маска есть по этому поводу какие-то эмоции, подтверждается тем, что он хочет создать свою компанию-конкурента OpenAI (вот новость). А институт "Будущее жизни" финансируется организацией Musk Foundation. Плюс, Илон указан на сайте как один из external advisors. Отсюда возникла мысль, что Маск просто хочет насолить OpenAI))

Ну и еще в копилку к теме: сегодня в журнале Time вышла статья Элизера Юдковского (основатель LessWrong, на вики представлен как "специалист по искусственному интеллекту, исследующий проблемы технологической сингулярности и выступающий за создание дружественного ИИ"). Статья называется "Pausing AI Developments Isn't Enough. We Need to Shut it All Down", а первая строчка касается инициативы института будущего жизни: "This 6-month moratorium would be better than no moratorium."

UPD: о, вот Лекс Фридман как раз выложил ссылку на интервью с Юдковским. В том числе и про "danger of AI to destroy human civilization"