Derivatives, Gradients, Jacobians and Hessians 🔥 Горячее
Производная показывает, как меняется функция.
Для y = x² – 6x + 13 производная y' = 2x – 6.
Знак y' подсказывает, куда идти вниз по графику; ноль означает минимум.
Решив 2x – 6 = 0, сразу получаем x = 3, y = 4.
Итеративный спуск (градиентный) полезен, когда аналитическое решение сложно.
Градиент — вектор частных производных по каждому аргументу.
Для w = f(x, y, z)
∇f = [∂w/∂x, ∂w/∂y, ∂w/∂z].
Каждая компонента показывает, насколько w изменится при приращении соответствующей переменной на 1.
Комментарии (66)
- Градиенты удобно представлять как «карты стрелок», а Якобиан — как набор таких карт для каждой выходной координаты.
- Хесс-матрица — это вторые производные скалярной функции, и её форма (n×n) возникает только при одномерном выходе.
- Визуальные подходы помогают интуитивно понимать устойчивые/неустойчивые точки и алгоритмы оптимизации.
- Современные инструменты (Julia, Enzyme) позволяют эффективно вычислять Якобианы и Хессианы автоматическим дифференцированием.
- Человеческое зрение быстро «находит минимум» лишь в низких размерностях; в высших размерностях без вычислений не обойтись.