Способность понимать — это не просто умение выдавать правильные ответы. Именно на этом настаивал Роджер Пенроуз в книге «Тени разума». Компьютер может безошибочно следовать даже самым сложным правилам, но понимание начинается там, где возникает осознание смысла. Между вычислением и пониманием лежит принципиальная граница.

Если понимание невозможно без сознательного восприятия, то и само сознание нельзя свести к последовательности алгоритмов. Иными словами, человеческий разум — это не просто «биологический компьютер», исполняющий программу. В его основе, вероятно, скрываются процессы, которые принципиально не описываются никаким набором вычислительных инструкций. Именно поэтому Пенроуз называл сознание «невычислимым».
Идея неалгоритмисеской сложности изложена в книге Роберта Маркса, о которой мы писали.

Если Пенроуз прав, то сколько бы мы ни увеличивали вычислительную мощность искусственного интеллекта, он сможет лишь всё лучше имитировать понимание, но не обретет его в подлинном смысле. Тогда главный вопрос заключается уже не в том, как сделать машину умнее, а в том, что вообще представляет собой сознание — и не скрывает ли сама природа разума нечто, что пока ускользает от современной науки.