ИИ как религия

В 1966 году Джозеф Вейценбаум написал ELIZA – программу, изображавшую психотерапевта. Она выхватывала из фразы ключевые слова и собирала из них ответ. Этого хватало, чтобы люди начинали разговаривать с ней всерьёз. Даже секретарь Вейценбаума, знавшая устройство программы, однажды попросила его выйти из кабинета и оставить их наедине. Сейчас это называют эффектом ELIZA, имея в виду, что люди охотно олицетворяют машину, которая убедительно изображает человека. Потом появился ИИ – и понеслось.

Сейчас ИИ «думает», «рассуждает», «обманывает», «не хочет умирать» и даже временами куда-то «пытается сбежать». У него появились память, навыки и способность действовать самостоятельно. Память, правда, это обычный текст, который подставляют в запрос, навык – файл с инструкцией, а самостоятельность – возможность сделать несколько действий подряд без участия человека, но об этом уже мало кто вспоминает. Отдельно индустрия полюбила слово «эмерджентность» — им можно назвать что угодно непонятное в поведении модели и сделать вид, что объяснение найдено.

В Anthropic, например, такой язык успел стать частью корпоративной культуры. У модели Claude есть Конституция – документ, где компания описывает, каким хочет его видеть. Отдельная исследовательская программа занимается «благополучием модели», в поте лица выясняя, может ли та переживать, иметь собственные интересы и заслуживает ли она вообще какого-то морального отношения. В текстах компании всерьёз разбирают, способна ли модель хотеть жить, бояться отключения и можно ли причинить ей вред, а к разговору о ценностях Claude приглашают философов, психологов, писателей и представителей религиозных традиций.

Разговорами о чувствах и правах модели дело не заканчивается. ИИ отведена роль куда крупнее – от него ждут либо спасения человечества, либо его гибели. В мрачной версии развития событий он станет умнее человека, начнёт совершенствовать себя, научится обманывать создателей, сопротивляться отключению, сбежит в сеть и в конце концов выйдет из-под контроля. В светлой версии – победит болезни, бедность и приведёт мир к процветанию. Рай это будет или апокалипсис? Решит мессия.

Мессия, догматы и толкователи, пророки и еретики, особый язык, обещание спасения и погибели – набор подозрительно знакомый. Не хватает разве что храмов. Впрочем, дата-центры вполне на эту роль подходят. Если так пойдёт и дальше, перед запуском новой модели инженеры начнут окуривать стойки ладаном и молиться Духу Машины.