Сети из линейных нейронов не имеют смысла, но одни нелинейные функции помогают сети учиться, а другие обучение останавливают. Поговорили о том, как устроены нейросети, в популярных лекциях в ЮФУ:

ЮФУ — 2026.09.28 — Как работают нейронные сети
(слайды и доска на странице курса)

Разбирались с устройством нейросетей буквально на пальцах и на доске. Начали с одного нейрона, собрали из простых операций граф вычислений и выяснили, чем выбор архитектуры отличается от обучения весов.

Потом прошли от пороговых активаций через сигмоиды к ReLU и Swish: зачем нужны производные, почему насыщение мешает обучению и как простенький шарнирчик оказался настолько удачной идеей.

Удивительно, сколько в истории одного искусственного нейрона дожило до наших дней: базовая модель Маккаллоха—Питтса из 1943 года всё ещё узнаваема даже в современных трансформерах. Но сходство отдельного нейрона с биологическим ещё не означает, что вся сеть устроена и учится как мозг.

В конце мы начали обсуждать обучение как задачу минимизации ошибки и на примере линейной регрессии добрались до идеи градиентного спуска. А подробно разбирать обратное распространение ошибки будем уже в следующий раз.

#sfu #lectures #dsfrontiers