数学总导航 · 本课程目录 · ← 上一章 · 下一章 →
爬山时,为什么“向东变陡”和“最快上坡”不一样?#
把山坡高度简化为 h(x,y)=100+x2+3y2,x,y 是地图坐标。在 (1,1),向东走一小步,高度增加率为 2;向北则为 6。两项偏导只告诉你这两条指定路线。
如果可以任选方向,向东北偏北走会更快。单位方向 (1,3)/10 的上升率是 40≈6.32,比正北的 6 还大。把两个偏导放在一起,得到的梯度 (2,6) 就指向这条路线。
天气、房价和菜谱也一样:一个结果往往有多个输入。偏导问“其余条件暂时固定,只改一个输入”;全微分问“几个输入一起微调,能否统一估算结果”。
把最快上坡方向亲手算出来#
在 (1,1) 附近,把 h(x,y)=100+x2+3y2 展开:
h(1+a,1+b)−h(1,1)=2a+6b+a2+3b2.当步子很小时,主要变化是 2a+6b。若总步长固定为 a2+b2=r,Cauchy–Schwarz 给出 2a+6b≤40r,在 (a,b) 与 (2,6) 同向时取等。
这就直接推导出梯度的方向意义。不是先定义一个箭头,再宣布它“最陡”,而是把所有等长小步放在一起比较之后发现,最佳方向恰好由偏导数拼成。
为什么只看两条坐标轴会被骗#
想检查一个路口是否平坦,如果只测正东和正北两条路,可能漏掉斜着穿过的坑。数学上,f(x,y)=xy/(x2+y2) 在两根坐标轴上全为零,沿斜线 y=x 却始终为 1/2。
因此两个偏导只能证明两条特殊路线的局部行为。全微分要求同一套线性预测对任意小位移都成立,包括曲线路径。判断误差要除以整个步长 a2+b2,不能只分别盯着 a 或 b。
Hessian 是坡度怎样继续变化#
梯度告诉你此刻向哪走,Hessian 告诉你再走一点后坡度怎样变。对上面的山坡,Hessian 是 diag(2,6),因此北向的弯曲更强,同样偏离一步,二次代价更大。
在优化里,梯度下降只看当前坡度,Newton 法还尝试用曲率修正步长。后者需要 Hessian 可逆并满足合适的局部条件;遇到非凸区域或近奇异曲率时,不能保证一步就到谷底。矩阵在这里进入微积分,是因为多方向的局部影响需要一张表来记录。
带你做:温度和用量一起变化,结果如何估计#
设一项简化实验输出 F(T,m)=mT2,工作点为 T=2,m=3。温度增加 0.01、用量减少 0.02,输出约变多少?
偏导为 FT=2mT=12、Fm=T2=4,因此线性估计为 12×0.01+4×(−0.02)=0.04。精确新值为 2.98×2.012=12.039498,真实增加 0.039498,线性估计多算 0.000502。
误差来自二次及更高阶交互项。你可以直接展开 (3+b)(2+a)2,看到被线性近似遗漏的是 3a2+4ab+a2b。多变量微分在同时处理多个小变化,交互影响会在更高阶出现。
若 T 与 m 的单位量纲不同,不能随便把“移动 1 单位”当作同样成本来讨论最陡方向。先说明坐标尺度或所用内积,梯度的几何解释才有明确意义。
回头整理:定义、工具与练习#
多个输入时什么叫导数#
对 f:Rd→R,偏导数只沿坐标轴测量变化。全微分要求存在一个线性映射,使
f(x+h)=f(x)+∇f(x)Th+o(∥h∥2).这是一个对所有方向同时成立的误差估计。若附近偏导存在且连续,则可微;仅在一点存在全部偏导不够。
反例:令 f(x,y)=xy/(x2+y2)(非原点处),原点取零。两个坐标轴上恒为零,所以原点偏导均为零;沿 y=x 趋近却恒为 1/2,故它甚至不连续。
梯度是最陡方向#
对单位向量 v,可微函数的方向导数为 Dvf=∇f⋅v。Cauchy–Schwarz 不等式给出
∣Dvf∣≤∥∇f∥2.当梯度非零时,最大增长方向为 ∇f/∥∇f∥2。梯度依赖所选内积;换几何结构,表示同一个微分的梯度也会改变。
例:f(x,y)=x2+3y2,∇f=(2x,6y)。在 (1,1),最快增长方向为 (1,3)/10。
向量值函数与链式法则#
对 F:Rd→Rm,导数为 m×d 的 Jacobian 矩阵 JF。若 G:Rm→Rk,则
JG∘F(x)=JG(F(x))JF(x).矩阵维度提供快速检查:(k×m)(m×d)=k×d。反向传播正是在计算这些线性映射的复合及其转置作用。
Hessian 与二阶近似#
若 f∈C2,二阶偏导组成对称矩阵 Hf,有
f(x+h)=f(x)+∇f(x)Th+21hTHf(x)h+o(∥h∥22).在驻点,Hessian 正定保证严格局部最小,负定保证严格局部最大,不定则为鞍点。半正定本身不足以保证最小:f(x,y)=x2−y4 在零点 Hessian 半正定,但仍是鞍点。
二阶偏导交换需要条件,连续二阶偏导是一条常用充分条件。
练习与解答#
- 对 f(x)=21∥Ax−b∥22 求梯度和 Hessian。
- f(x,y)=xy 的原点是什么类型的驻点?
- 为什么“所有方向导数存在”仍不自动等于可微?
解答:1. 梯度 AT(Ax−b),Hessian ATA。2. 沿 y=x 为正,沿 y=−x 为负,所以是鞍点。3. 方向导数逐条检查直线,而可微要求统一的线性近似和对任意路径成立的余项界;还需要线性和统一误差控制。
数学总导航 · 本课程目录 · ← 上一章 · 下一章 →