泛函分析 17｜概率、条件期望与再生核

1900 字

10 分钟

泛函分析 17｜概率、条件期望与再生核

2026-11-03

数学

/

泛函分析

数学总导航 · 本课程目录 · ← 上一章 · 下一章 →

知道坐哪条地铁，怎样预测通勤时间？#

四种等概率情况的通勤时间为 1、3、2、6 个单位。你不知道当天具体是哪种情况，只知道它属于前两种的 A 线，还是后两种的 B 线。

只用这条信息，A 线报 2、B 线报 4，会使平均平方误差最小。你不能根据不知道的那一格偷偷改预测，所以允许方案必须写成 $(a,a,b,b)$ 。

条件期望就在表达这种信息限制下的最佳预测。线性代数的投影在这里重新出现：“允许使用的信息”决定了子空间，“均方误差”决定了距离。

四种通勤情况，最佳预测怎样算#

允许预测为 $(a,a,b,b)$ ，平均平方误差是

L(a,b)=\frac{(1-a)^2+(3-a)^2+(2-b)^2+(6-b)^2}{4}.

前两项合为 $2(a-2)^2+2$ ，后两项合为 $2(b-4)^2+8$ 。所以

L(a,b)=\frac12(a-2)^2+\frac12(b-4)^2+\frac52.

最小值在 $(a,b)=(2,4)$ 取得，为 $5/2$ 。两条线路内部仍有你不知道的波动，最后这一项就是在当前信息限制下无法消除的误差。

按路线分组后的均值预测

信息更多为什么预测通常更好#

若新增信息能区分四种情况，你可以直接报 $(1,3,2,6)$ ，误差为零。若没有任何线路信息，只能报一个常数，最优为整体均值 3，误差为 $(4+0+1+9)/4=3.5$ 。

从没信息到线路信息，再到完整信息，允许预测的集合逐步扩大，最佳距离不会增大。这就是条件期望的投影图像：信息越丰富，子空间越大，最小均方误差越小或相同。

塔式性质则说明：先做精细预测，再只保留粗信息，结果与直接做粗预测一致。比如先知道四格后再忘记具体哪格，只保留线路，仍回到 $(2,2,4,4)$ 。

线性回归为什么可能漏掉已知信息#

若只允许预测 $a+bZ$ ，你是在选一个两维预测空间。即使 $Z$ 完整已知，真正的条件均值也可能是 $Z^2$ 、分段函数或其他形状。没有理由一定落在直线模型里。

因此回归模型的误差可能来自两方面：信息本身不够，以及你限制了使用信息的函数形状。条件期望对应所有平方可积可测预测中的最优，不等于任何固定形式的线性回归。

核方法怎样把复杂函数学习变成有限张表#

在 RKHS 中，每个样本点 $t_i$ 对应一个函数方向 $k_{t_i}$ 。把候选 $f$ 拆为样本核方向内的部分与垂直部分。垂直部分在全部训练点都为零，所以既不能改善训练误差，还增加范数惩罚。

于是最优解只需 $N$ 个系数。有限维化来自“损失只看这 $N$ 个点”和“范数惩罚排除无用方向”，并非无限维函数自动都能用 $N$ 个数精确表示。这条推理是核方法最值得掌握的结构，而不是单独背最后的矩阵公式。

带你做：多知道一条信息，到底省掉多少误差#

四格通勤例子中，无信息时最佳预测为常数 3，误差为 3.5；知道线路后预测为 $(2,2,4,4)$ ，误差为 2.5。改善量为 1。

两种预测之间的均方差为 $[(2-3)^2+(2-3)^2+(4-3)^2+(4-3)^2]/4=1$ ，恰好等于改善量。这是嵌套子空间投影的勾股分解。

因此新增信息的价值，在平方损失下可以量化为预测本身改变了多少。若新增信息没有改变条件均值，最佳均方误差也不会因此改善，即使这条信息对别的预测目标可能仍有用。

别把这个结论扩展成“信息没有价值”。我们只分析了当前变量、当前可用信息与平方损失。改成异常风险、分位数或其他决策代价，最佳预测和信息价值都可能不同。

回头整理：定义、工具与练习#

随机变量是一支看不见的向量#

在概率空间上，平方可积随机变量的等价类构成 $L^2(\Omega)$ ，内积为 $\langle X,Y\rangle=\mathbb E[X\overline Y]$ 。范数是均方根。

取实随机变量并中心化，协方差就是内积： $\operatorname{Cov}(X,Y)=\langle X-\mathbb EX,Y-\mathbb EY\rangle$ 。相关系数是中心化向量的夹角余弦，但不相关一般不等于独立。

只允许使用已知信息#

子 $\sigma$ 代数 $\mathcal G$ 表示可用信息。所有 $\mathcal G$ 可测的平方可积随机变量构成闭子空间 $L^2(\mathcal G)$ 。闭性可通过 $L^2$ 收敛子列的几乎处处收敛和可测性保持证明；必要时选择可测版本。

把 $X$ 投影到这个子空间，得到 $Y=\mathbb E[X\mid\mathcal G]$ ，它满足

\mathbb E[(X-Y)Z]=0\quad\forall Z\in L^2(\mathcal G),

\mathbb E[(X-Y)^2]\le\mathbb E[(X-Z)^2]\quad\forall Z\in L^2(\mathcal G).

取 $Z=\mathbf1_A$ 可得到条件期望的事件积分定义。条件期望对 $L^1$ 变量也可定义，但“Hilbert 投影”的构造在这里针对 $L^2$ 。

一个四格世界#

四个等概率结果下 $X=(1,3,2,6)$ ，信息只告诉我们属于前两格还是后两格。可用预测必须形如 $(a,a,b,b)$ 。

平方误差分别在两组均值处最小，所以

\mathbb E[X\mid\mathcal G]=(2,2,4,4).

误差 $(-1,1,-2,2)$ 与任意 $(a,a,b,b)$ 内积为零。条件期望不是神秘的概率操作，而是信息限制下最好的均方影子。

若 $\mathcal G\subseteq\mathcal H$ ，嵌套投影给塔式性质 $\mathbb E[\mathbb E[X\mid\mathcal H]\mid\mathcal G]=\mathbb E[X\mid\mathcal G]$ ；也给收缩性 $\|\mathbb E[X\mid\mathcal G]\|_2\le\|X\|_2$ 。

线性回归并不是所有可测预测#

用 $1,Z_1,\ldots,Z_d$ 的线性张成做投影，得到线性最小二乘。用整个 $L^2(\sigma(Z_1,\ldots,Z_d))$ 做投影，得到条件期望；后者可以是非线性函数。不要把两者当成同一个预测类。

RKHS 为什么能评价一个点#

普通 $L^2$ 忽略零测集，单点评价没有定义。再生核 Hilbert 空间 $\mathcal H$ 则是一类逐点函数组成的 Hilbert 空间，要求每个评价 $E_t(f)=f(t)$ 都有界。

由 Riesz 表示，对每个 $t$ 存在 $k_t\in\mathcal H$ 使

f(t)=\langle f,k_t\rangle_{\mathcal H}.

定义 $k(s,t)=k_t(s)$ ，称再生核。Riesz 表示把“一个输入点的读数”变成了“与某个函数的内积”，所以学习函数可以转为组合核函数。

为什么无限维优化能退成有限和#

考虑实 RKHS 中的正则化问题

\min_{f\in\mathcal H}\sum_{i=1}^N(f(t_i)-y_i)^2+\lambda\|f\|_{\mathcal H}^2,\quad\lambda>0.

把 $f$ 分解为 $f_\parallel+f_\perp$ ，其中前者属于有限维空间 $\operatorname{span}\{k_{t_i}\}$ 。由再生性质， $f_\perp(t_i)=0$ ；它不改变训练误差，却增加平方范数。因此最优解必在有限核张成中： $f=\sum_i\alpha_i k_{t_i}$ 。