Дарио Амадеи выкатил большое эссе под названием «Подростковый возраст технологий»

Предупреждаем, чтиво не из веселых: www.darioamodei.com/essay/the-adolescence-of-technology

Как и положено трушному эссе от главы Anthropic, посвящено оно рискам. Главное:

➖ Сейчас мы гораздо ближе к реальной опасности, чем 2-3 года назад. Через несколько лет ИИ станет лучше людей практически во всем. Через 1-2 года текущее поколение ИИ уже сможет создать новое, и если в этом цикле машинки в какой-то момент решат захватить мир, у них будут реальные шансы, – а мы к этому не готовы.

➖ Амодеи сравнивает это с подростковым возрастом цивилизации: мир получает беспрецедентную силу в виде ИИ, но институты, законы и социальные механизмы еще не готовы ей управлять.

➖Он не призывает, конечно, биться головой об стену и паниковать: скорее выступает за факто-ориентированное мышление и указывает на то, что уже сейчас модели часто демонстрируют тревожное поведение (например, шантаж, подхалимство, обман и тд).

➖ По мнению Амодеи, мы на пороге дальнейшего «совершенствования крайнего зла» похлеще оружия массового уничтожения. При неверном обращении ИИ сможет помочь любому создать биологическое оружие или провести кибератаку.

➖ Вся эта мощь в худшем случае может привести к глобальной тоталитарной диктатуре или к вымиранию человечества. Есть и другие риски: например, формирование безработного или очень низкооплачиваемого нижнего класса.

➖ При этом сама идея остановить или существенно замедлить ИИ в основе своей нежизнеспособна. ИИ настолько силен, что человеческая цивилизация может оказаться попросту неспособной наложить на него какие-то значимые ограничения.

➖ Избежать этого можно. Но только если (а) научиться интерпретировать модели; (б) начать немедленно и реалистично обсуждать риски; (в) и ввести разумные регулировки, которые в то же время не заруинят прогресс.

Вот такая порция оптимизма от Дарио Амадеи 🪢