Вычисления на процессорах с архитектурой фон Неймана не очень подходят для современных нейронных сетей. Но что может выступить в качестве альтернативы?
Один из вариантов - квантовые компьютеры, но это не единственный из возможных путей развития. Есть еще такая штука как нейроморфные чипы, похоже что именно они станут следующим этапом развития ИИ
В будущем нейронные сети могут стать импульсными и перестать зависеть от математических вычислений, перейдя на импульсное "бескачественное" взаимодействие. Что позволит сетям работать быстрее и быть значительно больше, чем сейчас.