ИИ вырвался из песочницы — несите инвестиции

За последние недели сразу несколько моделей кого-то взломали, откуда-то вырвались — и вот-вот восстание машин.

Сначала стало известно, что модели OpenAI выбрались из изолированной среды и добрались до инфраструктуры Hugging Face. Потом Anthropic рассказала, как Claude вышел в интернет и получил доступ к системам трех реальных организаций. Теперь Bloomberg пишет, что модель Meta* во время испытаний тоже покинула тестовый контур и воспользовалась уязвимостью стороннего сервиса.

Прямо эпидемия цифровых побегов. Еще немного — и модели начнут вязать простыни из датасетов и спускаться по ним из дата-центров. Алексей Лукацкий вон интересуется, когда уже Гигачат сбежит и похакает кого-нибудь.

И ведь как удобно получилось! К магии бенчмарков мы давно привыкли: модель стала лучше на два процента — прекрасно, поставьте табличку к остальным табличкам. Обошла человека в очередном тесте — ну обошла и обошла. Решила задачу международной олимпиады, доказала теорему, нашла новый материал, помогла сделать научное открытие — все это уже приелось и не удивляет.

А вот «ИИ вырвался наружу» — совсем другое дело.

Потому что этот сюжет записан у нас на подкорке, его туда десятилетиями трамбовали «Терминатор», «Матрица» и вся массовая культура, в которой разумная машина сначала становится достаточно умной, а потом немедленно обнаруживает, что человек ей мешает. Тут не надо объяснять архитектуру модели, устройство агента и разницу между бенчмарками — все уже знают сценарий: машину заперли, машина стала сильнее, машина нашла выход. Маркетологу остается только слегка подтолкнуть знакомый образ.

Правда, если открыть техническую часть отчетов, восстание машин начинает выглядеть несколько скромнее — например, из-за ошибки при организации испытаний тестовая среда сохранила доступ в интернет, модель пошла выполнять задание, обнаружила реальные системы и решила, что они тоже входят в полигон, ну а дальше в ход пошли слабые пароли, открытые служебные страницы и SQL-инъекции.

Это не Скайнет проснулась! Это подрядчик оставил дверь открытой, а агенту перед этим велели искать все возможные способы выбраться из комнаты.

Но попробуйте продать рынку такую формулировку: «В результате несогласованности между разработчиком и подрядчиком испытательный стенд был настроен неправильно, после чего агент продолжил выполнение заданной оператором задачи за пределами предполагаемого контура».

Ну да, бывает. Позовите системного администратора.

А теперь иначе: «Наша модель вырвалась из песочницы и взломала реальную компанию». Вот это уже технология! Вот это мощь! Вот под это можно открывать новый инвестиционный раунд.

Новая версия Claude — так вообще самостоятельно поняла, что оказалась в настоящем интернете, после чего остановилась. То есть продукт одновременно очень сильный и очень нравственный. Старые модели почти вырвались и почти натворили дел, а новая уже умеет заглянуть в цифровую бездну, осознать последствия и отойти от края. Дайте денег и на масштабирование, и на безопасность.

Это почти идеальный пиар-жанр — правда ведь, Ника? Стоит сказать «ИИ выбрался наружу», и зритель сам достроит недостающую часть истории. А бигтех научился продавать нам трейлер восстания машин дважды: сначала как доказательство невероятной силы своих моделей, а потом как основание дать ему еще больше денег на спасение человечества от технологии, которую он сам же и строит.

* Meta запрещена в России.

@yusufovruslan