协方差矩阵 - FlyingWhite

协方差矩阵

2024-10-07

方差和协方差#

统计学中，方差用来衡量单个变量的离散程度，协方差用来计算两个随机变量的相似度，方差的计算公式为

\sigma^2_x=\frac{1}{n-1}\sum^n_{i=1}(x_i-\bar{x})^2

在此基础上，协方差的计算公式被定义为

\sigma(x,y)=\frac{1}{n-1}\sum^n_{i=1}(x_i-\bar{x})(y_i-\bar{y})

x和y分别表示随机变量的观测的样本均值，据此我们发现，方差可以看做样本关于自身的协方差 $\sigma(x,x)$

对于N个随机变量协方差矩阵的表示就是：

\Sigma = \begin{bmatrix} \sigma(x_1, x_1) & \cdots & \sigma(x_1, x_d) \\ \vdots & \ddots & \vdots \\ \sigma(x_d, x_1) & \cdots & \sigma(x_d, x_d) \end{bmatrix} \in \mathbb{R}^{d \times d}

协方差矩阵是个对称矩阵

如果一个向量x服从均值向量为 $\mu$ ，协方差矩阵为 $\Sigma$ 的多远正泰分布，则

p(x) = \frac{1}{2\pi \Sigma} \exp \left( -\frac{1}{2} (x - \mu)^T \Sigma^{-1} (x - \mu) \right)

假设均值向量为0，前面的是常数，那么多元正态分布可以简化为

p(x) \propto \exp \left( -\frac{1}{2} x^T \Sigma^{-1} x \right)