两次称重几乎一样，为什么单件重量会乱跳？#

你想知道两个零件各重多少。第一次称它们各一个，得到 2 克；第二次把第二个零件数量的系数只增加一点点，模型是 $x+1.001y=2.001$。联立 $x+y=2$，算出 $x=y=1$。

但第二次读数若从 2.001 抖到 2.002，只差 0.001 克，结果就变成 $y=2,x=0$。观测误差很小，推断误差却很大，因为两条测量几乎在问同一个问题。

矩阵仍可逆，但这是一种难以稳定求解的测量设计。条件数是在量化它有多敏感；正则化是在承认信息不足后，增加偏好来压住不合理的大幅波动。

测量为什么会把误差放大一千倍#

两条零件测量相减，得到 $0.001y=b_2-b_1$。因此 $y=1000(b_2-b_1)$。你最终依赖的是两个很接近读数的微小差值，而差值里也带着测量噪声。

如果 $b_2$ 有 $10^{-3}$ 的误差，$y$ 就有 1 的误差。问题不在消元写得不够漂亮，而在测量本来就几乎不能区分两个零件。重新设计差别更大的测量，可能比更高精度算术更有效。

一个碗为什么会又长又窄#

平方损失的等高线若呈细长椭圆，沿窄方向变化一点损失就很大，沿长方向移动很多损失却几乎不变。Hessian 的大、小特征值分别衡量这两种弯曲强度。

梯度下降若步长照顾窄方向，就可能在长方向进展很慢；若步长太大，又可能跨过窄谷不断振荡。这把正定矩阵的几何与优化算法的实际表现连在一起。

正则化具体往碗里加了什么#

在原损失上加 $\lambda\|x\|^2$，相当于给每个方向额外增加一份向原点拉回的二次代价。原来几乎平的方向也开始有了曲率。

在奇异方向上，未正则化解使用 $1/\sigma$ 放大读数；加惩罚后使用 $\sigma/(\sigma^2+\lambda)$。当 $\sigma$ 很小时，后者约为 $\sigma/\lambda$，不会像倒数那样爆炸。

但如果真相本来就在一个很弱的方向上，它也会被压小。因此正则化不是免费去噪，而是在信息不足时明确接受偏差，以换取稳定。以后看到某种范数惩罚，应继续追问：它偏爱哪类答案，可能压掉哪类真实信息？

带你做：比较正则化前后的噪声放大#

在一个奇异方向上，机器倍率为 $\sigma=0.001$。直接反解要乘 1000，若观测误差为 0.0001，恢复误差就达到 0.1。

取 $\lambda=0.01$，正则化倍率变成 $0.001/(0.000001+0.01)\approx0.09999$，同样噪声只贡献约 $10^{-5}$。稳定性改善巨大。

但若真实输入在这个方向上为 1，精确观测为 0.001，正则化恢复值也只有约 0.0001，真信号几乎被全部压掉。这说明如此大的 $\lambda$ 对这个弱方向非常保守。

调参时不能只看重建是否平滑，还要看哪些真实结构被压低。一个有用的练习是分别在强奇异方向和弱奇异方向放同样大小的真信号，观察同一个 $\lambda$ 对它们的偏差为何不同。

回头整理：定义、工具与练习#