🔧 Градиент, Якобиан, Гессиан: математика под каждой обучаемой моделью

Три слова которые выглядят пугающе. На деле — три способа измерить изменение.

📐 Градиент ∇f

Принимает скалярную функцию f : ℝⁿ → ℝ
Возвращает вектор частных производных первого порядка

Отвечает на вопрос: «В каком направлении f растёт быстрее всего?»

Именно поэтому градиент в центре оптимизации. Градиентный спуск идёт в противоположном направлении — потому что градиент указывает вверх по склону. Backpropagation — это эффективное вычисление градиентов во время обучения.


📊 Якобиан J_F

Принимает векторную функцию F : ℝⁿ → ℝᵐ
Возвращает матрицу m × n частных производных первого порядка

Отвечает на вопрос: «Как каждый выход меняется с каждым входом?»

Встречается в: анализе чувствительности, автодифференцировании, смене переменных.

Простая связь с AD:
— Forward-mode AD использует произведения Якобиан-вектор
— Reverse-mode AD (backprop) использует произведения вектор-Якобиан


📈 Гессиан H_f

Принимает скалярную функцию f : ℝⁿ → ℝ
Возвращает матрицу n × n частных производных второго порядка

Отвечает на вопрос: «Как меняется сам градиент?»

Гессиан измеряет кривизну. В критической точке:
— Гессиан положительно определён → локальный минимум
— Гессиан отрицательно определён → локальный максимум
— Гессиан неопределён → седловая точка


Чистая ментальная модель

Градиент = производные одного выхода → направление
Якобиан = производные многих выходов → чувствительность
Гессиан = производные второго порядка → кривизна

И простая связь: Гессиан — это Якобиан градиента.

📍 Навигация: Вакансии • Задачи • Собесы

Библиотека дата-сайентиста

#буст