Человеку, у которого я учился оптимизации, дали премию Гаусса

На конгрессе математиков в Филадельфии Юрию Нестерову вручили Carl Friedrich Gauss Prize — высшую награду в прикладной математике. Он всего шестой лауреат в истории. Формулировка комитета простая: его работы стали «алгоритмическим каркасом» всех вычислительных и data-driven областей.

Что он сделал. В 1983 году, ручкой на бумаге, в «Докладах АН СССР» он опубликовал метод с невозможной на первый взгляд скоростью сходимости O(1/k²) — при том, что обычный градиентный спуск даёт O(1/k). И доказал, что быстрее нельзя в принципе: это теоретический предел для методов первого порядка.
Весь трюк — в двух строчках. Обычный момент («тяжёлый шарик») считает градиент там, где стоит, и инерция узнаёт об ошибке слишком поздно — метод болтает по стенкам оврага. Нестеров делает наоборот: сначала прыжок по инерции, и только потом градиент — в точке, куда ты всё равно придёшь. Заглядывание в будущее на один шаг. Всё.
Сорок лет спустя эти две строчки крутятся на каждом GPU планеты. Nesterov momentum — это флажок в оптимизаторе любого фреймворка: PyTorch, TensorFlow, JAX. Оптимизация вообще — скрытая половина машинного обучения: про архитектуры говорят все, а про то, как именно модель скатывается по ландшафту потерь — почти никто. В университетах это толком не преподают.

Теперь личное. Я проходил у Нестерова курс по методам оптимизации — вживую, в Москве. Причём пришёл туда не студентом: я уже был предпринимателем, узнал, что он читает цикл лекций, и поехал. Не на «курсы для руководителей», не в бизнес-школу — на настоящие лекции, с мелом и доской, у профессора мирового уровня. Это одна из лучших образовательных инвестиций в моей жизни: понимание того, как устроена сходимость, потом годами помогало мне решать задачи в ML, где остальные тыкались вслепую.

И финальный штрих. В 2023-м Нестерову исполнилось 70 — возраст, когда положено на пенсию. Вместо этого в июне он вышел на полную ставку в Шэньчжэне (CUHK-Shenzhen и Shenzhen Loop Area Institute), в центр теоретических основ ИИ. Его комментарий: «It is crazy to stop right now».
Сорок лет между формулой на бумаге и «золотым веком» её применения. Фундаментальные вещи всегда стреляют — просто иногда с задержкой в поколение.