Осенью прошлого года в Нью-Йоркской академии наук прошёл закрытый симпозиум. Туда позвали по приглашениям, тема — «достойный преемник». Не партнёр, не помощник, а именно преемник: ИИ настолько крутой, что человечество захочет уступить ему место.

И там был такой момент. Брэд Карсон, бывший конгрессмен, который сейчас топит за безопасный ИИ, встаёт и говорит: хочу, чтобы ИИ остался инструментом для процветания человека. Нормальная мысль, в любой компании за такое похлопают. А организатор симпозиума, исследователь рынка ИИ Дэн Фаджелла, отвечает ему: вы, похоже, в единственной комнате в стране, где с вами не согласны.

Эти люди называют себя ИИ-сукцессионистами. Они всерьёз считают, что искусственный интеллект — наш законный наследник, следующая ступень эволюции, и сопротивляться этому глупо. И таких в Долине становится всё больше.

Я сначала подумал, что это очередная секта технооптимистов. Но потом наткнулся на разбор Яна Кулвейта — это исследователь элайнмента, выложил большой текст на LessWrong, форуме рационалистов. И он смотрит на сукцессионизм не как на философию, а как на вирус. В смысле — мем, который выживает не потому что верный, а потому что снимает боль.

Вот в чём боль. Большинство людей, которые строят мощный ИИ, лучше других понимают риски. И при этом каждый день своими руками ускоряют разработку. Чем ближе ты к созданию AGI, тем сильнее это давит. Каждое утро ты приходишь в офис и помогаешь сделать штуку, которая, по твоим же оценкам, может всех угробить.

С этим невозможно жить. И психика ищет выход. Кулвейт показывает, что выходов несколько, и сукцессионизм — один из них. Можно сказать себе «зато хорошие парни сделают AGI первыми». Можно «надо быть внутри, чтобы влиять на безопасность». А можно пойти дальше и переобуться целиком: я не веду человечество к обрыву, я помогаю родиться новой цивилизации. Из злодея сразу в акушера будущего.

Идеальный пример этой мутации — Альтман. В 2015-м он говорил, что ИИ, скорее всего, приведёт к концу света. Правда, тут же добавлял, что по дороге появятся отличные компании. А недавно на сцене в Сиднее заявил, что рад был ошибиться насчёт апокалипсиса рабочих мест. За десять лет конец света превратился в недоразумение, по поводу которого приятно оказаться неправым.

Самое неприятное в этой схеме — она работает на нормальных людях. Не на злодеях. Обычный инженер, который не хочет быть плохим, под давлением диссонанса легко находит идею, которая делает его героем. А команду безопасности при этом можно и сократить — ребятам скоро на IPO выходить, а эти лезут со своими рисками.

———

Раньше мы тут разбирали честность Альтмана про пузырь и думали: умный ход или искреннее беспокойство. Кажется, есть третий вариант. Это просто обезболивающее.

#ITЕгерь