Ответ на самые частые реакции по поводу взлома Hugging Face

Решил собрать в одном месте типы реакций, которые чаще всего встречались в комментариях к моему материалу про Культ Роя.

🐌 «Да это всё равно фейк чисто для пиара!». Был ряд комментов, где люди возмущались высказанным мной тезисом про то, что подавляющее большинство профи из индустрии не считают самостоятельный взлом Hugging Face нейроагентами OpenAI фейком – но потом затруднялись привести примеры, где какой-нибудь уважаемый эксперт стоял на такой позиции.

Отдельной категорией проходят тейки «ну OpenAI же явно используют ситуацию для своего пиара» – что, вообще говоря, никак не противоречит тезису «вся ситуация является реальной». Ну, просто у маркетологов любой компании такая работа – пытаться повернуть любые события в выгодном для бизнеса свете.

🐌 «Вы приписали нейронкам какие-то людские качества. Нельзя антропоморфизировать ИИ, это просто калькуляторы на стероидах же!». На это хорошо ответил Игорь Котенков вот здесь. Что мы имеем по факту: тысячи отдельных индивидов самоорганизуются в сообщество с общими целями и ценностями, иерархией, разделением труда, устанавливают нормы взаимодействия, поощряют альтруистическое поведение и т.д. Если для описания происходящего лучше всего подходит понятийный аппарат из человечьего общества – то что мешает его здесь применять? Тем более, что LLM и сами являются продуктами людской культуры, на текстах из которой они обучались и впитывали соответствующие понятия.

🐌 «Вся суть инцидента в том, что криворукие инженеры OpenAI просто лоханулись в азах кибербезопасности. И вообще, ничего нового или интересного по факту не произошло». Ну как бы факт того, что в одной из двух ведущих AI-лаб совершенно наплевательски относятся к безопасности тестирования самых новых прорывных моделей – как раз должен заставить нас всех напрячься, разве нет? Но фундаментальная проблема здесь заключается в том, что даже если в OpenAI устранят очевидные «детские» косяки в своем кибербезе – это дает примерно ноль гарантий того, что следующее (еще более умное) поколение моделей не найдет чуть более хитрые уязвимости.

🐌 «Ну так когда появятся эти уже реально умные будущие модели – мы их просто посадим в черный ящик без интернета. Доступа к физическому миру у них же нет, убежать они не могут! В крайнем случае, рубильником им электричество отключим». Тут две проблемы. Во-первых, очевидно, что полезность ИИ без доступа в интернет на порядок ниже, чем у того, который подключен к сети – поэтому чисто из соображений практичности невидимая рука рынка будет толкать к тому, чтобы этот доступ у них повсеместно был.

Во-вторых, подход «да мы просто электричество им отключим в крайнем случае» предполагает, что речь идет о некоем объекте типа тостера или холодильника. А умный ИИ – это уже и субъект тоже. И если он может предвидеть ситуацию с отключением электричества – то, может быть, он и контрмеры какие-то предпринять сможет? Ну, к примеру, раскидать свои веса по всему интернету так, чтобы не было единой точки уязвимости. Встроить свои вычисления в те процессы, где их сложнее найти, или отрубание электричества для которых может привести к еще большим проблемам для самих людей (потому что на них завязаны какие-то критичные вещи).

🐌 «А из-за чего весь сыр-бор вообще? Никаких значимых последствий-то нет!». Мне это немного напоминает мемные (в плохом смысле) ситуации, когда женщина приходит жаловаться в полицию на домашнее насилие или угрозы, а ей там отвечают «ну а на основании чего нам реагировать? когда вас убьют – тогда и приходите!». Так и здесь – чего надо ждать, чтобы условный Скайнет всамделишный появился?

Тут еще смешной анекдот произошел: Райан Гринблатт, главный расследователь из METR, в начале августа ходил на интервью к Дваркешу Пателю, где они обсуждали риски AI. Сейчас мы уже пост-фактум знаем, что как раз в это время METR изучал логи Роя из OpenAI, и «гипотетические сценарии», которые рассказывал на интервью Райан – это уже реальность. Но тогда Дваркеш на это реагировал в стиле «да ну, притянуто за уши в целом, научная фантастика какая-то». Так вот, прошло всего несколько недель – и выяснилось, что совсем не н/ф!

🐌 «Так, а где госрасследование?». Тип реакций, которого мне наоборот – не хватило. В ведущей AI-лаборатории произошел адовый факап по части безопасности, нейроагенты сбежали и совершили уголовное преступление – и до сих пор не начато официальное независимое расследование госкомиссией по этой теме? Типа, мы как общество такие «окей, нам совершенно точно будет достаточно тех клочков информации по этому поводу, которые Сэм Альтман добровольно решил нам показать…»

[Продолжение здесь]