Краткий пересказ эссе Дарио Амодея, CEO Anthropic

Дарио Амодеи опубликовал большое эссе о рисках мощного ИИ.

По его оценке, через 1-2 года может появиться ИИ умнее любого человека во всех областях. Это создаёт пять категорий угроз.

Первая — автономные риски. ИИ непредсказуем, уже демонстрирует обман, шантаж и манипуляции в экспериментах. Не потому что «неизбежно станет злым», а потому что обучение — это скорее эксперимент, чем строгая инженерия, и многое может пойти не так.

Вторая — биотерроризм. ИИ может провести любого человека через создание биооружия шаг за шагом. Раньше способность и желание убивать массово редко совпадали в одном человеке. Теперь нестабильный человек получит возможности доктора вирусологии.

Третья — авторитаризм. Автономные дроны, тотальная слежка, персонализированная пропаганда. Главная угроза — КНР, но и демократии могут злоупотреблять этими инструментами. Амодеи прямо называет продажу чипов Китаю безумием.

Четвёртая — экономика. ИИ может вытеснить 50% junior позиций офисных рабочих за 1-5 лет. Автоматизация затрагивает все когнитивные способности сразу, продвигается снизу вверх по уровню квалификации.

Пятая — неизвестные последствия прогресса. Радикальные изменения биологии человека, психологическая зависимость от ИИ, потеря смысла жизни.

Что делать? Anthropic разрабатывает «конституцию» для Claude — своеобразное описание характера и ценностей. Инвестирует в интерпретируемость — возможность заглянуть внутрь модели. Ставит классификаторы против биоугроз, которые стоят 5% вычислений. Поддерживает умеренное регулирование и экспортные ограничения.

Остановить развитие ИИ невозможно, можно лишь выиграть время через контроль чипов и использовать его для более аккуратной разработки.

Амодеи верит, что человечество способно пройти это испытание, но нужно перестать делать вид, что ничего не происходит.

@hikonon