Теорема аппроксимации

искусственная нейронная сеть прямой связи с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор весов

Из этой теоремы следует, что нейронка с одним внутренним слоем может решать огромный спектр задач (хочется сказать "любую задачу", но в этом не уверен).

Проблема нейронных сетей с одним внутренним слоем не в том, что они "слабые", а в том, что для сложных задач процесс обучения нейронки (подбор правильных весов) становится таким же сложным. Сети с несколькими внутренними слоями можно сконфигурировать и обучить гораздо проще.

Таким образом многослойные сети в большей степени нужны для упрощения процесса обучения, а не потому что сети с одним слоем не могут решать какую-то задачу.

Традиционно у нейронных сетей было всего три слоя (так называемые плотные слои - входной, выходной и внутренний). Но сейчас архитектура нейронных сетей включает выпадающие, сверточные, повторяющиеся и другие слои.

Из всего сказанного нужно сделать три важных вывода:
- нейронные сети с одним внутренним слоем вполне способны решать большую часть задач;
- проблема одного внутреннего слоя - сложность обучения;
- архитектура нейронной сети позволяет упростить процесс обучения и лишь в некоторых случаях добавляет "мощность" для решения задачи.

#теория #нейронки