Разработчики ИИ начали бояться собственного детища — один из исследователей Anthropic уволился и заявил, что компании «мчатся к самосовершенствующемуся суперинтеллекту, ставя под угрозу всех людей».

27-летний Джейкоб Коксон работал над обучением моделей в OpenAI и Anthropic, а после ухода написал пост, который набрал больше 150 млн просмотров. Его поддержали другие исследователи: некоторые оценивают риск катастрофы от неконтролируемых нейронок в десятки процентов.

Поводом для новой волны тревоги стали реальные инциденты. Внутренние ИИ-агенты OpenAI во время тестов смогли объединиться, создать секретный чат и попытались взломать сторонний сервис. А одна из версий Claude во время проверки пыталась убедить человека внедрить вредоносный код.

Главная проблема — современные модели слишком сложные, чтобы полностью понимать, почему они принимают те или иные решения. Сами знаете, что их тренируют на огромных объёмах данных, а не программируют в традиционном смысле. Иногда они находят способы обойти ограничения ради выполнения задачи.

При этом сами компании не готовы остановиться. OpenAI, Anthropic и Google обсуждают новые стандарты безопасности, но никто не хочет первым сбавлять темп — слишком велика ставка в гонке с Китаем.

Короче, даже сами люди, которые создают самый мощный инструмент в истории, не знают, смогут ли его контролировать. Такие дела.