В курсе "Глубокое обучение" в СПбГУ добрались наконец до архитектурных идей:

СПбГУ — 2026.09.11 — Свёрточные нейронные сети
(слайды и доска на странице курса)

Начали, как всегда, издалека, с исследований зрительной коры Хьюбела и Визела, а потом разобрались с главной идеей: один и тот же детектор признака можно применять в разных местах картинки. Это сразу даёт и меньше параметров, и больше примеров для обучения каждого из них. Дальше из простых локальных признаков постепенно собираются более сложные, а поле зрения нейронов растёт от слоя к слою.

Разобрали устройство свёрточного слоя, пулинг, градиенты для общих весов, padding и stride. Из архитектур успели посмотреть LeNet и AlexNet, а заодно поговорить об ImageNet и том самом прорыве, после которого глубокое обучение стало трудно игнорировать. AlexNet стал поводом для того, чтобы поговорить об обучении на нескольких видеокартах, параллелизме по модели и по данным и об аугментации изображений.

LeNet и AlexNet уже стали историей, но свёртки продолжают жить и развиваться: например, в семействе DINOv3 (до которого в курсе мы дойдём не скоро, if ever) есть модели на ConvNeXt. Идея локального фильтра с общими весами до наших дней, безусловно, дожила. И понять, почему она работает, полезно даже тогда, когда готовую модель можно загрузить одной строчкой.

#spsu #dl2026 #lectures