协方差矩阵,最好的例子

有一组数据（如下），分别为二维向量，这四个数据对应的协方差矩阵是多少？

解答：

由于数据是二列（X的列数），所以协方差矩阵是一个2*2的矩阵，矩阵的每个元素为：

元素(i,j) = (第i 维所有元素- 第i 维的均值) * (第j 维所有元素- 第j 的均值) 除以（第i or j 维元素个数（X的行数）-1）。

其中「*」代表向量内积符号，即两个向量求内积，对应元素相乘之后再累加。

我们首先列出第一维：

D1: (1,3,4,5) 均值：3.25

D2: (2,6,2,2) 均值：3

下面计算协方差矩阵第(1,2)个元素：

元素(1,2)=(1-3.25,3-3.25,4-3.25,5-3.25)*(2-3,6-3,2-3,2-3)/3=-1/3=-0.3333

类似的，我们可以把X对应的协方差矩阵各个元素都计算出来：

总结一下协方差矩阵的特点：

?协方差矩阵是对称阵。

?对角线元素(i,i)为数据第i 维的方差。

?非对角线元素(i,j)为第i 维和第j 维的协方差。