1356 字
7 分钟
微积分 07|多变量微分与梯度

数学总导航 · 本课程目录 · ← 上一章 · 下一章 →

爬山时,为什么“向东变陡”和“最快上坡”不一样?#

把山坡高度简化为 h(x,y)=100+x2+3y2h(x,y)=100+x^2+3y^2,x,yx,y 是地图坐标。在 (1,1)(1,1),向东走一小步,高度增加率为 2;向北则为 6。两项偏导只告诉你这两条指定路线。

如果可以任选方向,向东北偏北走会更快。单位方向 (1,3)/10(1,3)/\sqrt{10} 的上升率是 40≈6.32\sqrt{40}\approx6.32,比正北的 6 还大。把两个偏导放在一起,得到的梯度 (2,6)(2,6) 就指向这条路线。

天气、房价和菜谱也一样:一个结果往往有多个输入。偏导问“其余条件暂时固定,只改一个输入”;全微分问“几个输入一起微调,能否统一估算结果”。

把最快上坡方向亲手算出来#

在 (1,1)(1,1) 附近,把 h(x,y)=100+x2+3y2h(x,y)=100+x^2+3y^2 展开:

h(1+a,1+b)−h(1,1)=2a+6b+a2+3b2.h(1+a,1+b)-h(1,1)=2a+6b+a^2+3b^2.

当步子很小时,主要变化是 2a+6b2a+6b。若总步长固定为 a2+b2=r\sqrt{a^2+b^2}=r,Cauchy–Schwarz 给出 2a+6b≤40 r2a+6b\le\sqrt{40}\,r,在 (a,b)(a,b) 与 (2,6)(2,6) 同向时取等。

这就直接推导出梯度的方向意义。不是先定义一个箭头,再宣布它“最陡”,而是把所有等长小步放在一起比较之后发现,最佳方向恰好由偏导数拼成。

为什么只看两条坐标轴会被骗#

想检查一个路口是否平坦,如果只测正东和正北两条路,可能漏掉斜着穿过的坑。数学上,f(x,y)=xy/(x2+y2)f(x,y)=xy/(x^2+y^2) 在两根坐标轴上全为零,沿斜线 y=xy=x 却始终为 1/21/2。

因此两个偏导只能证明两条特殊路线的局部行为。全微分要求同一套线性预测对任意小位移都成立,包括曲线路径。判断误差要除以整个步长 a2+b2\sqrt{a^2+b^2},不能只分别盯着 aa 或 bb。

Hessian 是坡度怎样继续变化#

梯度告诉你此刻向哪走,Hessian 告诉你再走一点后坡度怎样变。对上面的山坡,Hessian 是 diag⁡(2,6)\operatorname{diag}(2,6),因此北向的弯曲更强,同样偏离一步,二次代价更大。

在优化里,梯度下降只看当前坡度,Newton 法还尝试用曲率修正步长。后者需要 Hessian 可逆并满足合适的局部条件;遇到非凸区域或近奇异曲率时,不能保证一步就到谷底。矩阵在这里进入微积分,是因为多方向的局部影响需要一张表来记录。

带你做:温度和用量一起变化,结果如何估计#

设一项简化实验输出 F(T,m)=mT2F(T,m)=mT^2,工作点为 T=2,m=3T=2,m=3。温度增加 0.01、用量减少 0.02,输出约变多少?

偏导为 FT=2mT=12F_T=2mT=12、Fm=T2=4F_m=T^2=4,因此线性估计为 12×0.01+4×(−0.02)=0.0412\times0.01+4\times(-0.02)=0.04。精确新值为 2.98×2.012=12.0394982.98\times2.01^2=12.039498,真实增加 0.039498,线性估计多算 0.000502。

误差来自二次及更高阶交互项。你可以直接展开 (3+b)(2+a)2(3+b)(2+a)^2,看到被线性近似遗漏的是 3a2+4ab+a2b3a^2+4ab+a^2b。多变量微分在同时处理多个小变化,交互影响会在更高阶出现。

若 TT 与 mm 的单位量纲不同,不能随便把“移动 1 单位”当作同样成本来讨论最陡方向。先说明坐标尺度或所用内积,梯度的几何解释才有明确意义。

回头整理:定义、工具与练习#

多个输入时什么叫导数#

对 f:Rd→Rf:\mathbb R^d\to\mathbb R,偏导数只沿坐标轴测量变化。全微分要求存在一个线性映射,使

f(x+h)=f(x)+∇f(x)Th+o(∥h∥2).f(x+h)=f(x)+\nabla f(x)^Th+o(\|h\|_2).

这是一个对所有方向同时成立的误差估计。若附近偏导存在且连续,则可微;仅在一点存在全部偏导不够。

反例:令 f(x,y)=xy/(x2+y2)f(x,y)=xy/(x^2+y^2)(非原点处),原点取零。两个坐标轴上恒为零,所以原点偏导均为零;沿 y=xy=x 趋近却恒为 1/21/2,故它甚至不连续。

梯度是最陡方向#

对单位向量 vv,可微函数的方向导数为 Dvf=∇f⋅vD_vf=\nabla f\cdot v。Cauchy–Schwarz 不等式给出

∣Dvf∣≤∥∇f∥2.|D_vf|\le\|\nabla f\|_2.

当梯度非零时,最大增长方向为 ∇f/∥∇f∥2\nabla f/\|\nabla f\|_2。梯度依赖所选内积;换几何结构,表示同一个微分的梯度也会改变。

例:f(x,y)=x2+3y2f(x,y)=x^2+3y^2,∇f=(2x,6y)\nabla f=(2x,6y)。在 (1,1)(1,1),最快增长方向为 (1,3)/10(1,3)/\sqrt{10}。

向量值函数与链式法则#

对 F:Rd→RmF:\mathbb R^d\to\mathbb R^m,导数为 m×dm\times d 的 Jacobian 矩阵 JFJ_F。若 G:Rm→RkG:\mathbb R^m\to\mathbb R^k,则

JG∘F(x)=JG(F(x))JF(x).J_{G\circ F}(x)=J_G(F(x))J_F(x).

矩阵维度提供快速检查:(k×m)(m×d)=k×d(k\times m)(m\times d)=k\times d。反向传播正是在计算这些线性映射的复合及其转置作用。

Hessian 与二阶近似#

若 f∈C2f\in C^2,二阶偏导组成对称矩阵 HfH_f,有

f(x+h)=f(x)+∇f(x)Th+12hTHf(x)h+o(∥h∥22).f(x+h)=f(x)+\nabla f(x)^Th+\tfrac12h^TH_f(x)h+o(\|h\|_2^2).

在驻点,Hessian 正定保证严格局部最小,负定保证严格局部最大,不定则为鞍点。半正定本身不足以保证最小:f(x,y)=x2−y4f(x,y)=x^2-y^4 在零点 Hessian 半正定,但仍是鞍点。

二阶偏导交换需要条件,连续二阶偏导是一条常用充分条件。

练习与解答#

  1. 对 f(x)=12∥Ax−b∥22f(x)=\tfrac12\|Ax-b\|_2^2 求梯度和 Hessian。
  2. f(x,y)=xyf(x,y)=xy 的原点是什么类型的驻点?
  3. 为什么“所有方向导数存在”仍不自动等于可微?

解答:1. 梯度 AT(Ax−b)A^T(Ax-b),Hessian ATAA^TA。2. 沿 y=xy=x 为正,沿 y=−xy=-x 为负,所以是鞍点。3. 方向导数逐条检查直线,而可微要求统一的线性近似和对任意路径成立的余项界;还需要线性和统一误差控制。


数学总导航 · 本课程目录 · ← 上一章 · 下一章 →

微积分 07|多变量微分与梯度
https://f1yingwhite.github.io/posts/数学/微积分/07-多变量微分与梯度/
作者
F1yingWhite
发布于
2026-11-03
许可协议
CC BY-NC-SA 4.0