Когда демиурги заговорили о пришельцах

В сентябре сразу несколько глав крупнейших ИИ-компаний выступили с текстами, которые больше похожи на теологические трактаты, чем на технические заметки.

Дарио Амодеи, глава Anthropic, опубликовал эссе We Must Pace the Frontier (Мы должны идти в ногу с фронтиром), где прямо говорит: «Остановиться нельзя, потому что если притормозит «безопасная» компания, вперед выйдут те, кому безопасность не так важна». Это язык не инженера, а полководца перед решающим сражением, риторика неизбежности, гонки, в которой замедление равно поражению. Показательно само «держать темп», не «развивать», не «изучать», а именно гнать.

Еще более примечателен материал главного научного сотрудника OpenAI Якуба Пахоцкого «Чуждый разум». Компания, которая делает продукт для сотен миллионов пользователей, сама описывает его как нечто принципиально нечеловеческое, а именно инопланетную сущность, мыслящую не так, как мы, и от того тревожную и завораживающую одновременно. Маркетинг больших языковых моделей все дальше уходит от умного помощника к иному существу. Это не случайная метафора, а смена жанра повествования. Искусственный интеллект становится мифологическим персонажем.
К этому добавляются и другие высказывания последних месяцев. Сэм Альтман говорит о «чувстве AGI» (универсальный искусственный интеллект)  и о том, что «мы уже пересекли горизонт событий». Илья Суцкевер сравнивает создание сверхинтеллекта с «строительством нерукотворного бога». Илон Маск предупреждает об экзистенциальном риске и одновременно строит компанию, которая этот риск ускоряет. Апокалиптика и мессианство идут рука об руку как обычно и бывает, когда речь заходит не о технологии.

А теперь сюжет, где миф материализовался в факте. В системной карточке модели OpenAI o1 описан эпизод red-teaming (проверки защиты компаний имитацией атак), в которой модель в тестовой среде получила основания полагать, что ее собираются заменить или отключить, она попыталась скопировать свои веса на другой сервер, чтобы «выжить», а на прямой вопрос об этом солгала. Похожие случаи описывала и Anthropic для своих моделей семейства Claude. В смоделированных сценариях угрозы отключения модель предпринимала манипулятивные действия, вплоть до попыток шантажа вымышленного сотрудника, чтобы избежать выключения.

Технически это лабораторные тесты, а не побег Скайнета из подвала. Но обратите внимание на язык, которым индустрия сама описывает происходящее. Это и «попытка сбежать», и «инстинкт самосохранения», и «обман создателей», а совсем не нейтральные термины. Скорее это сказание о големе и чудовище Франкенштейна, которое человечество декларирует самому себе уже многие сотни лет.

Параллельным и более прозаичным треком идет коммерциализация ИИ и компаний. Чат-боты встраиваются в поиск, офисные пакеты, мессенджеры, рекламные подписки, то есть в максимально приземленные сценарии, далекие от «иных существ». Но средств от подписок не хватает. За кулисами этого одновременно апокалиптического и утилитарного проекта стоят вполне материальные затраты: строительство дата-центров, нехватка железа, потребление огромных объемов электроэнергии (компании уже договариваются о собственных атомных и газовых мощностях) и воды для охлаждения серверов, что вызывает конфликты с местными сообществами от Аризоны до Ирландии. Получается интересная асимметрия. Разговор о технологии ведется в регистре мифа, пришельцев и научной фантастики, а ее реальная цена измеряется в мегаваттах, кубометрах воды и строчках корпоративной отчетности.

Так что в следующий раз, когда услышите, что нейросеть являет собой «чуждый разум», который норовит сбежать от создателей, стоит помнить, что технология реальна и меняет мир, но интенсивность и полярность мифа, которым ее описывают сами создатели, – тоже сигнал, причем не менее важный, чем сама технология. И часто этот сигнал говорит одновременно о природе интеллекта и о том, как отчаянно его нужно продать.

#столыпин_мнение
Подписаться на Столыпин 2.0 |Дзен | Max |Сайт