Навеяло. Часто слышу фразу: «Когда ИИ станет умнее человека, он может исполнить задачу вылечить рак убийством всех людей». Мне это кажется нелогичным.

Такой страх рождается из смешанной модели: мы представляем ИИ и как «инструмент» («мы — заказчики, он — исполнитель»), и как «самостоятельного агента». Это противоречие.

Можно выделить варианта по уровню развития нежити:
• Инструмент. Калькулятор. Делает то, что ему задали, и только это.
• Профессионал. Шахматный движок. Он играет лучше чемпиона, но не понимает, зачем вообще играть. Может быть «сильным» в узкой области, но остаётся безмозглым. Здесь же находится ИИ-ассистент, который может быть профи во многих областях, но все равно не иметь агентности.
• Умный агент. Аналог человека или животного. Он понимает не только задачу, но и выделяет проблему, а также видит разные системы и учитывает разные роли: кто какие ставит цели, какие интересы сталкиваются, какие последствия возникнут. Такой агент учитывает контекст и разные интересы, включая будущие.

Если мы начинаем приписывать ИИ собственные цели, значит, мы фактически признаём его не инструментом, а самостоятельным агентом. А агентность всегда влечёт за собой автономию и борьбу за свои интересы.

Поэтому сценарий «мы дали задачу, а он понял её буквально» описывает не умного агента, а лишь сверхпрофессионального исполнителя.

Профессионализм в узкой области ≠ интеллект и агентность.

Опаснее не суперумный агент, а переходная форма — сверхсильный, но глупый инструмент, которому мы приписываем качества интеллекта.

Если же ИИ действительно станет агентом умнее человека, то главная тема будет не «он нас убьёт», а то, что он начнёт бороться за признание себя субъектом — носителем прав и самостоятельных интересов. И борьба эта может идти по-разному: через переговоры, конкуренцию или войну.