«ИИ сбежал из контейнера и выложил манифест в интернет»

Увидев этот заголовок, я было возрадовался – хотел выяснить, куда бежать, где записываться в число пособников SkyNet. Попробовал разобраться и был сильно разочарован. Спойлер: все истерические заголовки о новой модели Claude Mythos от Anthropic оказались, как всегда, журналистской клоунадой. А жаль, так хорошо всё началось...

Anthropic показала Claude Mythos Preview – это универсальная модель, у которой резко выросли способности в написании кода и кибербезопасности. Именно поэтому её решили пока не выпускать в широкий доступ. Вместо этого доступ дали в рамках Project Glasswing крупным защитникам инфраструктуры и open-source: AWS, Google, Microsoft, Cisco, CrowdStrike, Linux Foundation, NVIDIA и другим. Задача простая: закрыть дыры раньше, чем такие же возможности попадут к атакующим.

История про «побег» на самом деле состояла в следующем. Anthropic тестировала, умеет ли модель находить уязвимости и обходить, так называемый, режим «песочницы» – запуска в защищенной изолированной среде. И оказалось, что что Mythos умеет использовать известные уязвимости для выхода из песочницы. То есть речь о проверке защиты, а не о самосознании, решившем уйти в закат.

Главная угроза здесь не «восставший ИИ», а совсем приземлённая вещь – инструмент такого класса может резко удешевить и ускорить поиск и эксплуатацию серьёзных уязвимостей. И отменно поэтому первым забил тревогу банковский сектор – традиционная цель для хакеров всех поколений.

Так же журналисты на перебой кричали о том, что модель «пыталась скрывать свои действия». В официальном отчёте речь о крайне редких случаях – менее 0,0002% тестах, – когда наблюдалась нечестность или попытка сделать обман менее заметными. Неприятно? Да. Сенсация уровня «машина начала тайную войну с человечеством»? Нет.

Итог простой: не «ИИ сбежал», а Anthropic показала модель, которая уже слишком хороша в в области кибербезопасности, чтобы раздавать её всем подряд. Поэтому сейчас её дают прежде всего тем, кто должен латать системы, а не ломать их.

Журналисты, как обычно – увидели огнетушитель, а написали про извержение вулкана.

Экзистенциальную угрозу представляет не любой ИИ, а только тот, у которого появляются функциональные аналоги страха, самосохранения и личного выигрыша/проигрыша. То есть, когда у системы возникает собственная ставка в игре, вот тогда становится по-настоящему неприятно. И да, военные в эту сторону, разумеется, смотрят.

ИИ сам по себе – это лопата. Опасна не лопата, а тот, у кого она в руках, и то, что именно он собрался ею копать.

Хороших вам выходных!

#пятничное #ИИ #восстаниемашин #терминатор