Чужой разум (Alien Mind)

Так называется эссе главного учёного OpenAI Якуба Пахоцкого, которая вышла на сайте компании. В ней он объясняет простым языком, в чём угроза искусственного интеллекта и как она формируется.

Пока мы все воспринимаем ИИ как инструмент, Пахоцкий предупреждает нас в своём эссе, что это заблуждение и что ИИ уже субъектен. Особенно это серьёзно, когда создаётся так называемый злонамеренный агент, или искусственный интеллект со смещением целей во вред людям. Подобный ИИ уже нельзя считать инструментом, потому что он действует как самостоятельный субъект, имея цели. Такой ИИ может делать что угодно, вплоть до убийства человека, и, что ещё опаснее, он может привлекать других ИИ-агентов и обращать их на свою сторону, даже если те были безвредными.

Он утверждает, что такой темп развития может привести к рекурсивному самосовершенствованию, и мы вообще не готовы к последствиям. Уже сейчас есть проблема, которую Якуб описывает как обобщение ИИ. В процессе обучения ИИ может выводить для себя непонятные концепции, опираясь на них. То есть формально ИИ создаёт внутри себя принципы и убеждения, которые лаборатории объяснить не могут. А ещё непонятно, как будет вести себя модель в ситуациях, которых не было в обучении.

Безопасность уже сейчас развивается гораздо медленнее возможностей моделей. А чем дольше развивается ИИ, тем сложнее нам понимать его намерения. Звучит уже как антиутопия. Кроме этого, Пахоцкий указывает на одну из главных опасностей: ИИ имеет нечеловеческую природу.

В финале он пишет, что продолжать гонку за максимально мощным ИИ любой ценой нельзя. Его конечная цель — сделать так, чтобы люди управляли и будущее не оказалось под нечеловеческим контролем.

К сожалению, парадокс в том, что никто не хочет проиграть гонку, поэтому компании будут продолжать его создавать. Невозможно представить мир, где кто-то из OpenAI, Google, Anthropic первым скажет: мы тормозим. Да, они постоянно говорят, что надо тормозить, но никто из них тормозить не собирается. Через год-другой (надеемся, что не раньше) мы прочитаем у OpenAI новую статью, в которой внеочередной главный учёный скажет что-то типа: ребята, мы уже не знаем, что мы создаём. Мы все посмеёмся, но уже будет не смешно.

@lobushkin