Abstract#

高斯分布被誉为上帝的分布，因为他有优秀的建模能力和数学性质。大量的独立同分布随机变量的均值在做适当的标准化后会依分布收敛于高斯分布，这使得高斯分布有普世建模能力。数学上, 当使用高斯分布对贝叶斯推断的似然和先验进行建模时, 得到的后验同样为高斯分布, 即其具有共轭先验性质. 在随机过程理论中, 多元高斯分布则是高斯过程的理论基础. 这种种场景使得高斯分布颇受重视, 并发展出一套成熟完整的理论体系. 本文主要介绍多元高斯分布的由来与其背后的几何原理.

中心极限定理指出，随着随机变量数量的增加，许多具有有限方差的独立的且相同分布的随机变量的总和将趋于正态分布。在许多情况下，对于独立并同样分布的随机变量，即使原始变量本身不是正态分布，标准化样本均值的抽样分布也趋向于标准正态分布.

多元标准高斯分布#

如果随机变量服从$X\sim \mathcal{N}(\mu,\theta^2)$，那么我们使用$Z=\frac{X-\mu}{\theta}$进行换元，就可以得到Z服从0·1标准正态分布

IMPORTANT

随机变量X标准化的过程，实际上是消除量纲和分布差异的过程，通过想随机变量可以用若干个标准差来衡量，从而实现不同随机变量和其均值对应的过程

多元高斯分布的概率密度函数正是由上面的公式推导而出的，假设我们有随机向量$\vec{Z}=[Z_1,...,Z_n]^T$,其中Z都是标准正态分布，并且Z之间互相独立,那么联合概率密度函数就是

我们称随机变量$\vec{Z}\sim \mathcal{N}(\vec{0},I)$,即随机变量服从均值为零向量，协方差矩阵为单位矩阵的高斯分布。当随机变量z为二维向量，二元表准高斯分布就是一个同心圆。

多元高斯分布#

从上面我们知道当随机变量$\vec{Z} \sim\mathcal{N}(\vec{0},I)$时，每个随机变量彼此独立，那么如果对于普通随机变量且彼此不独立的情况下，我们如何求联合概率密度函数呢？很自然的想法就是如果我们通过线性变换让每个随机变量相互独立，就可以求出联合概率密度函数

知乎后续