Нафиса Финей пишет в своем аккаунте:

Знаменитого и великого Фукуяма я встретила в далеком 2009 году (помню этот год, потому что через год я разведусь, у меня будет свой The End of History, до Last Man мы не добежим). Это был Вашингтон, университет Джона Хопкинса.

Я была влюблена в его книги, особенно видение будущего, вроде сериала Черное Зеркало. Когда случилась моя любовь к ИИ, я гадала, что там Фукуяма скажет на этот счет и вот внезапно, он в Лондоне. Мы с моим англичанином побежали сразу. Шутка ли, будут еще продавать новую книгу, которой нет и в продаже.

Интервьюер был не менее знаменитый Мартин Вульф (позднее, мой англичанин хмыкнул «такой занозчивый», прервал женщину, задававшую вопрос. Вопрос был об Иране и она реально долго говорила).

Я пришла послушать о его видении ИИ.

Честно говоря, я ожидала от него другого разговора.
После Our Posthuman Future мне казалось естественным, что он посмотрит на ИИ через привычные для него темы: неравенство, власть, человеческое достоинство, способность государств управлять технологиями, которые меняют саму ткань общества.

Я думала о двух возможных сценариях.

Первый: ИИ ещё сильнее увеличит разрыв между странами. Те, у кого уже есть деньги, вычислительные мощности, доступ к данным, энергия, университеты, исследовательские центры и инженеры, получат ещё одно преимущество. Богатые и технологически развитые экономики смогут ускориться; остальным придётся догонять не просто новые продукты, а целую инфраструктуру нового мира.

Второй сценарий - почти противоположный. А что, если самые развитые страны окажутся слишком осторожными? Если законодательство, стандарты, этические требования, проверки и страх ответственности замедлят внедрение ИИ? А страны, где меньше ограничений и меньше внимания к рискам, будут экспериментировать быстрее, и в краткосрочной перспективе окажутся впереди?
Это, конечно, упрощение. В реальности скорость не равна успеху. Страна, которая позволяет внедрять ИИ без серьёзных правил, может быстро получить рост и инвестиции, но вместе с ними, мошенничество, дискриминацию, киберриски, потерю доверия и последствия, которые потом будут стоить дороже любой предварительной регуляции. Но вопрос остаётся: как регулировать так, чтобы не задушить развитие, и развивать так, чтобы не потерять контроль?

Однако Фукуяма говорил не об этом. Или, точнее, не прежде всего об этом.

В его новой книге ИИ занимает лишь одну главу. Фукуяма не утверждает, что ИИ обязательно станет сверхразумным и сбежит от человечества, как в плохом sci-fi. Его мысль гораздо спокойнее, и поэтому, мне кажется, тревожнее.

По мере того как ИИ-агенты становятся способнее, мы будем рационально передавать им всё больше полномочий. Не потому, что люди безответственны. А потому, что машины могут оказаться быстрее, лучше информированы, дешевле и эффективнее в выполнении определённых задач.

Сначала AI помогает принять решение. Потом его рекомендациям начинают доверять. Затем его подключают к большему числу процессов. Человеческая проверка не исчезает сразу, она становится более выборочной. И однажды становится трудно понять, где ещё есть реальный человеческий контроль, а где он уже существует только на схеме governance.
Вот это и есть проблема делегирования.

Фукуяма пишет, что в любой системе принципал может устанавливать внешние ограничения для своего агента и контролировать его действия. Но в конечном счёте принципал должен доверять суждению и лояльности агента. Людей мы, по крайней мере, умеем оценивать: у нас есть репутация, опыт, социальные сигналы, профессиональная ответственность, право, иерархии, интуиция - всё то, что помогает решить, можно ли человеку доверять.

Но как оценить надёжность машины, которая способна адаптироваться, менять поведение и, по выражению Фукуямы, фактически «программировать себя»?

И, пожалуй, самый неприятный вопрос: остаётся ли человек действительно «in charge», если он уже не может вовремя понять, оспорить или остановить решение, принятое на скорости и в масштабе машины?