Человек машине друг: как создатели нейронных сетей вдохновлялись человеческим мозгом, но создали совершенно иную систему?

Для выполнения, скажем, языковой задачи можно порционно показывать нейронной сети предложение - по одному слову за раз, и она будет медленно учиться предсказывать следующее слово в последовательности. Это сильно отличается от того, как обычно учатся люди. Большая часть человеческого обучения проходит без присмотра: нам не говорят, какова «правильная» реакция на тот или иной стимул. Мы должны решить это сами. Так детям не дают инструкций о том, как говорить, но они учатся этому через сложный процесс воздействия речи взрослых, подражания и обратной связи.

Еще одно отличие — масштаб данных, используемых для обучения ИИ. Модель GPT-3 была обучена на 400 миллиардах слов, в основном взятых из Интернета. При скорости 150 слов в минуту человеку потребовалось бы почти 4000 лет, чтобы прочитать текст такого объема.

Еще более фундаментальное различие кроется в следующем: чтобы сопоставить стимул с желаемой реакцией, нейронные сети используют алгоритм, называемый «обратным распространением» для передачи ошибок назад по сети. Нейробиологи признают, что обратное распространение не может быть реализовано в мозгу человека, поскольку для этого потребуются внешние сигналы, которых просто не существует.

Некоторые исследователи предполагают различные варианты обратного распространения, но пока нет никаких доказательств того, что человеческий мозг может использовать такие методы обучения.

Вместо этого люди учатся создавая структурированные мысленные концепции, в которых множество различных свойств и ассоциаций связаны друг с другом. Например, наше восприятие слова «банан» включает в себя его форму, желтый цвет, знание того, что это фрукт, как его держать и так далее. Системы ИИ не формируют подобных концептуальных знаний. Они полностью полагаются на извлечение сложных статистических ассоциаций из своих обучающих данных, а затем применяют их к аналогичным контекстам.

https://theconversation.com/were-told-ai-neural-networks-learn-the-way-humans-do-a-neuroscientist-explains-why-thats-not-the-case-183993