Оригинальный мысленный эксперимент «Китайская комната» был сформулирован американским философом Джоном Серлом в докладе и последующей статье 1980 года. В качестве стартовой точки рассуждения Серл делит все системы ИИ на две категории – слабый и сильный ИИ. Слабый остается только инструментом, пусть и чрезвычайно изощренным; сильный ИИ, по мысли Серла, является полноценным мыслящим агентом – «разумом на самом деле, о котором можно буквально сказать, что он понимает и имеет другие когнитивные состояния». Далее философ предлагает представить следующую ситуацию: он заперт в комнате, куда подаются записанные вопросы на китайском языке. Серл не знает китайского и даже не может определить, на каком языке сделаны записи. Все, что он видит – это бессмысленные для него иероглифы. Однако в комнате есть инструкция на понятном ему языке, где подробно описано, в каком порядке следует составлять иероглифы в ответ. По мнению философа, в этих условиях он может манипулировать символами достаточно успешно, чтобы его ответы для внешнего наблюдателя были неотличимыми от ответов носителя китайского языка. Тем не менее, он все еще не будет понимать ни слова по-китайски. Схожим образом, по мнению Серла, устроены компьютерные программы – они оперируют только синтаксисом, но семантика для них недоступна. Программы не понимают (и никогда не смогут понять) смысл текста так, как его понимает человек, не испытывают схожих когнитивных состояний, а значит не мыслят в полном смысле этого слова. Из этого Серл делает вывод, что компьютерная программа ни при каких условиях не может быть сильным ИИ. Ее ответы могут быть достаточно убедительными, чтобы пройти тест Тьюринга, но все равно мы будем иметь дело только с искусной имитацией, но не настоящим пониманием.

Нельзя сказать, что рассуждение американского философа было полностью новаторским: мысленные эксперименты, опирающиеся на подобные интуиции, уже встречались как в литературе XX века, так и в классической философской традиции. К примеру, более трехсот лет назад Готфрид Лейбниц предлагал представить мыслящую мельницу, попав внутрь которой вряд ли можно будет найти хоть одну мыслящую часть. За 2 года до выхода статьи Серла другой американский философ Нед Блок описывал гипотетическую ситуацию, при которой каждый гражданин Китая снабжен радиопередатчиком и способен обмениваться сигналами с остальными. По мнению Блока, вполне представимо, что такая система китайцев при определенных условиях сможет воспроизвести схему сигналов между нейронами функционирующего головного мозга; однако на интуитивном уровне трудно поверить в то, что получившийся «Китайский мозг» будет обладать когнитивными состояниями. Для русскоязычного читателя также может представлять интерес рассказ советского писателя-фантаста Анатолия Днепрова «Игра», написанный примерно за 30 лет до Китайской комнаты. По сюжету рассказа участники игры с присвоенными им номерами перемещаются по стадиону, следуя оговоренным инструкциям. В итоге выясняется, что каждый из них выполнял функцию детали вычислительной машины, а произведенные движения в совокупности реализовали программу по переводу текста с русского языка на португальский. Однако ни один из участников португальского не знал и уж точно не понимал смысла переводимого текста. Анализируя такую возможность, Днепров приходит к выводу, что «даже самая тонкая имитация мышления машинами не есть само мышление».

Из статьи «Что понимает нейросеть?».