浅谈协方差矩阵今天看论文的时候又看到了协方差矩阵这个破东西
方差 -协方差矩阵
方差 -协方差矩阵方差和协方差是两个核心的统计概念，用于衡量随机变量之间的关系以及其散布情况。
在数据处理中，方差和协方差矩阵被广泛用于探索变量之间的相互作用并且对于许多算法来说也是必要的。
1、方差方差是衡量在一组数据中，变量值的差异性的一种统计量。
如果变量的方差较大，那么数据的散布情况就比较广泛。
在统计数学中，整体数据集合的方差是每个数与其平均数之差的平方的平均数。
由于每个数据点与平均数之差的平方都是非负数，因此方差始终是非负的。
对于总体方差σ²，有以下计算公式：$$ \sigma^2 = \frac{\sum_{i=1}^{n}(x_i - \mu)^2}{n} $$其中，n是样本中变量的数量，μ是变量集合的均值。
当样本为总体时，分母实际上是总体大小N。
这个公式可以用来计算整个数据集的方差。
对于单个随机变量的方差，我们可以使用以下公式：$$ Var(X) = E(X^2) - E(X)^2 $$这个公式的意思是，方差等于X的平方的期望减去X的期望的平方。
简单的说，方差就是每个数据点与这个变量的期望之差的平方的平均数。
如果变量的方差越大，说明数据的散布情况越广泛。
协方差是指两个变量之间的关系。
它用来衡量两个变量之间的共变性。
如果两个变量总是在同一方向变化，那么它们的协方差就是正的；如果它们总是在相反的方向变化，那么它们的协方差就是负的；如果这两个变量相互独立，那么它们的协方差就是0。
协方差的计算公式如下：其中，E表示期望。
协方差是两个变量之间的乘积的期望值减去它们的期望值之积。
值得注意的是，两个变量之间的协方差值与它们的绝对数是相关的。
因此，如果我们试图将协方差用于比较两个变量之间的关系，那么我们需要对它们进行标准化。
协方差矩阵是一个对称矩阵，它记录一个向量中所有变量之间的协方差。
协方差矩阵的对角线元素是每个变量的方差，而非对角线元素是两个变量之间的协方差值。
协方差矩阵可以通过以下公式来计算：其中，E表示期望，(X-E(X))^T表示转置矩阵。
协方差矩阵的性质
协方差矩阵的性质协方差矩阵是一种重要的数学工具，可以用来描述两个或更多变量之间的相关性。
它可以为统计分析中的多种模型提供有力的证据，并且是直观、快速并且易于计算的解决方案。
今天，我们将概述协方差矩阵的性质，以及它如何用于实际的分析问题中。
首先，协方差矩阵可以用来描述两个或多个变量之间的相关性。
如果两个变量之间呈现正相关，那么他们在协方差矩阵中的值将为正；而如果两个变量之间呈现负相关，协方差矩阵中的值则为负。
根据这些值，我们就能够得到每对变量之间的关系是正相关还是负相关，从而更好地了解研究的问题。
协方差矩阵还可以用来进行多变量分析。
比如，假设我们想要探究一组变量（如年龄、性别和收入水平）之间的关系。
我们可以使用协方差矩阵来计算每个变量与其他变量之间的方差，从而更好地探究变量之间的相关性。
通过计算每个变量之间的方差，我们可以确定哪些变量之间具有最大的相关性，从而帮助我们更好地分析问题。
此外，协方差矩阵还可以用来进行无监督学习，比如聚类分析。
在聚类分析中，我们将数据分为几个聚类，每个聚类中的每个变量都与其他变量之间具有最强的相关性。
为了实现这一点，我们可以使用协方差矩阵来计算每个变量之间的关系，从而找出最相关的聚类。
最后，协方差矩阵还可以用于分类模型中，比如决策树和逻辑回归。
在这些模型中，我们可以使用协方差矩阵来计算各个变量之间的相关性，从而增强模型的准确性。
例如，如果我们正在使用决策树进行分类，我们可以使用协方差矩阵来比较不同变量之间的相关性，以决定哪个变量最能帮助我们建立更好的模型。
总之，协方差矩阵的性质可以说是非常多的，它的应用非常广泛。
它可以用来描述两个或更多变量之间的相关性，也可以用于多变量分析、聚类分析和分类模型等。
协方差矩阵是一种快速、有效和高效的计算方法，可以帮助我们更加客观和准确地分析数据。
矩阵的方差 协方差
矩阵的方差协方差矩阵方差与协方差是统计学中常用的两个概念，用于衡量变量之间的相关性以及数据的离散程度。
在数据分析和机器学习等领域中，矩阵方差与协方差的概念被广泛运用，成为了测量和建模数据之间关系的重要工具。
一、方差(Variance)方差是用来度量随机变量离其期望值的平均距离，衡量数据的离散程度和分布的散布程度。
对于一个样本集合X={X1,X2,...,Xn}，其方差定义为：Var(X) = E（(X-EX)²）其中，E表示期望值运算符，EX表示X的期望值。
方差越大，数据的分散程度越大。
对于一个n×d的矩阵X，如果将其看作是包含n个样本的d维向量，我们可以通过求解X在每个维度上的方差来得到矩阵的方差。
即，对于每个维度i，我们可以计算矩阵X在该维度上的样本方差：Var(X[:,i]) = Var([X₁,i; X₂,i; ...; Xn,i])其中，Var表示方差运算符，X[:,i]表示X矩阵中的第i列。
将每个维度上的样本方差组成一个向量Var(X)=[Var(X[:,1]),Var(X[:,2]),...,Var(X[:,d])]，即可得到矩阵X的方差。
二、协方差(Covariance)协方差用于度量两个变量之间的线性关系。
对于两个随机变量X和Y，其协方差定义为：Cov(X,Y) = E（(X-EX)*(Y-EY)）其中，EX和EY分别表示X和Y的期望值。
协方差可正可负，正值表示两个变量正相关，负值表示两个变量负相关，数值的绝对值表示相关程度的强弱。
对于一个n×d的矩阵X，我们可以通过协方差矩阵来度量各个维度之间的相关性。
协方差矩阵的定义如下：Cov(X) = E（(X-EX)(X-EX)ᵀ）其中，(X-EX)(X-EX)ᵀ是一个n×n的矩阵，表示X中每个样本向量与其均值向量之间的差值，ᵀ表示转置运算符。
协方差矩阵的对角线元素为各个维度上的方差，非对角线元素为不同维度之间的协方差。
变量的协方差矩阵
变量的协方差矩阵
在统计学中，协方差矩阵是一种重要的工具，用于描述多个变量之
间的关系。
它是一个方阵，其中每个元素表示两个变量之间的协方差。
在本文中，我们将深入探讨变量的协方差矩阵，包括其定义、性质和
应用。
一、定义
协方差矩阵是一个对称矩阵，其中第i行第j列的元素表示第i个变量
和第j个变量之间的协方差。
如果两个变量之间的协方差为正，则它们
倾向于同时增加或减少；如果协方差为负，则它们倾向于相反的变化；如果协方差为零，则它们之间没有线性关系。
二、性质
协方差矩阵具有以下性质：
1. 对角线上的元素是每个变量的方差，即第i个变量的方差为第i行第
i列的元素。
2. 协方差矩阵是对称的，即第i行第j列的元素等于第j行第i列的元素。
3. 协方差矩阵是半正定的，即对于任何非零向量x，x'Σx≥0，其中x'表
示x的转置。
三、应用
协方差矩阵在统计学中有广泛的应用，包括以下几个方面：
1. 因子分析：协方差矩阵可以用于因子分析，其中变量被分解为一组潜在因子，这些因子可以解释变量之间的协方差。
2. 多元正态分布：协方差矩阵可以用于描述多元正态分布，其中每个变量的分布是正态分布，且变量之间的协方差由协方差矩阵给出。
3. 主成分分析：协方差矩阵可以用于主成分分析，其中变量被转换为一组新的变量，这些新变量是原始变量的线性组合，且它们之间的协方差为零。
4. 线性回归：协方差矩阵可以用于线性回归，其中回归系数和误差项的协方差由协方差矩阵给出。
总之，协方差矩阵是统计学中一个非常重要的工具，它可以用于描述多个变量之间的关系，从而帮助我们更好地理解数据。
协方差与协方差矩阵
协方差与协方差矩阵协方差是统计学上表示两个随机变量之间的相关性，随机变量ξ的离差与随机变量η的离差的乘积的数学期望叫做随机变量ξ与η的协方差（也叫相关矩），记作K ξη：[()()]()K E E E E E E ξηξξηηξηξη=--=-,记为cov(,)ξη对于离散随机变量，我们有()()(,)i i ii ijK xE y E p x y ξηξη=--∑∑；对于连续随机变量，我们有()()(,)K x E y E x y dxdy ξηξηϕ+∞+∞-∞-∞=--⎰⎰，随机变量的协方差用来描述随机变量之间的相关性，我们指出，独立随机变量的协方差等于零，即如果ξ与在统计学与概率论中, 协方差矩阵是一个矩阵，这是从标量随机变量到高维度随机向量η独立，则K ξη=0. 如果ξ与η相同，则协方差就是变量ξ的方差。
的自然推广。
协方差矩阵对于多元随机变量，一般是对于一个多维随机变量来讲的，表现的是随机变量X 各个元素分量（为1维随机变量）之间的相互关系，每一项都对应着其中两个变量的协方差，组合起来就是协方差矩阵了,比如 一个n 维的随机变量X,其协方差矩阵之第ij 个元素即为E[(Xi-E(Xi))*(Xj-E(Xj))],Xi 和Xj 分别表示X 的第i 个和第j 个元素分量。
比如：随机变量x 和y ，n Q 为它们的协方差矩阵，2ij σ为随机变量i 和j 的协方差，(,),1,...,Tn n n u x y n N== ，其中， cos n n n x d θ=，sin n n n y d θ=，N 为扫描数据点个数。
现实中，由于测量值(,)n n d θ受噪声干扰，假设它们分别服从高斯白噪声分布且互相独立，方差分别为2d σ和2θσ，则：222222()()()()x xy TTnnnnn d nnnn xy y u u u u Q d d θσσσσθθσσ⎡⎤∂∂∂∂==+⎢⎥∂∂∂∂⎢⎥⎣⎦22222222cos sin 22sin sin 2()22sin 22sin sin 22cos nn nn d n nn nn d θθθθθσσθθθθ⎡⎤⎡⎤-=+⎢⎥⎢⎥-⎣⎦⎣⎦补充知识：数学期望：随机变量ξ的一切可能值i x 与对应的概率()i P x ξ=的乘积的和叫做随机变量ξ的数学期望，记作E ξ。
统计学中的协方差矩阵
统计学中的协方差矩阵统计学是研究收集、整理、分析和解释数据的科学领域。
协方差矩阵是统计学中一种重要的工具，用于研究多个变量之间的关系和相关性。
本文将介绍协方差矩阵的定义、性质、计算方法以及在实际应用中的意义。
一、协方差矩阵的定义协方差矩阵是指一个矩阵，其中的元素表示了变量之间的协方差。
假设有n个变量，那么协方差矩阵将是一个n×n的矩阵。
协方差矩阵的第(i,j)个元素表示了第i个变量和第j个变量的协方差。
如果两个变量之间的协方差为正值，表示它们之间存在正相关的关系；如果协方差为负值，表示它们之间存在负相关的关系；如果协方差为零，则表示它们之间不存在线性相关关系。
二、协方差矩阵的性质1. 对称性：协方差矩阵是一个对称矩阵，即第(i,j)个元素等于第(j,i)个元素。
这是因为协方差是一个对称的概念，不依赖于变量的顺序。
2. 非负定性：协方差矩阵是一个非负定矩阵，即对于任意非零的列向量x，有x^TΣx≥0，其中Σ表示协方差矩阵。
这个性质保证了协方差矩阵的主对角线上的元素都是非负的。
三、协方差矩阵的计算方法协方差矩阵的计算涉及到变量之间的协方差。
对于两个变量X和Y，它们的协方差可以用下式表示：Cov(X,Y) = E[(X-μ_X)(Y-μ_Y)]，其中μ_X和μ_Y分别表示X和Y的均值。
协方差矩阵的元素由各个变量之间的协方差计算得到。
协方差矩阵Σ的元素可以表示为：Σ_ij = Cov(X_i, X_j)，其中X_i和X_j是第i和第j个变量。
根据协方差的计算公式，我们可以通过样本数据的均值和方差来估计协方差矩阵的元素。
四、协方差矩阵在实际应用中的意义协方差矩阵在统计学和金融学等领域中具有广泛的应用价值。
1. 多变量分析：协方差矩阵可以用于多变量分析，帮助研究人员了解多个变量之间的关系和相关性。
通过分析协方差矩阵，可以发现变量之间的线性依赖关系，从而更好地理解数据的结构和特征。
2. 风险管理：在金融学中，协方差矩阵被广泛用于风险管理。
协方差与协方差矩阵
协⽅差与协⽅差矩阵协⽅差与协⽅差矩阵标签： 协⽅差 协⽅差矩阵 统计引⾔最近在看主成分分析（PCA），其中有⼀步是计算样本各维度的协⽅差矩阵。
以前在看算法介绍时，也经常遇到，现找了些资料复习，总结如下。
协⽅差通常，在提到协⽅差的时候，需要对其进⼀步区分。
（1）随机变量的协⽅差。
跟数学期望、⽅差⼀样，是分布的⼀个总体参数。
（2）样本的协⽅差。
是样本集的⼀个统计量，可作为联合分布总体参数的⼀个估计。
在实际中计算的通常是样本的协⽅差。
随机变量的协⽅差在概率论和统计中，协⽅差是对两个随机变量联合分布线性相关程度的⼀种度量。
两个随机变量越线性相关，协⽅差越⼤，完全线性⽆关，协⽅差为零。
定义如下。
当，是同⼀个随机变量时，与其⾃⾝的协⽅差就是的⽅差，可以说⽅差是协⽅差的⼀个特例。
或由于随机变量的取值范围不同，两个协⽅差不具备可⽐性。
如，，分别是三个随机变量，想要⽐较与的线性相关程度强，还是与的线性相关程度强，通过与⽆法直接⽐较。
定义相关系数为通过的⽅差与的⽅差对协⽅差归⼀化，得到相关系数，的取值范围是。
表⽰完全线性相关，表⽰完全线性负相关，表⽰线性⽆关。
线性⽆关并不代表完全⽆关，更不代表相互独⽴。
样本的协⽅差在实际中，通常我们⼿头会有⼀些样本，样本有多个属性，每个样本可以看成⼀个多维随机变量的样本点，我们需要分析两个维度之间的线性关系。
协⽅差及相关系数是度量随机变量间线性关系的参数，由于不知道具体的分布，只能通过样本来进⾏估计。
设样本对应的多维随机变量为，样本集合为，为样本数量。
与样本⽅差的计算相似，和两个维度样本的协⽅差公式为，其中，，为样本维度这⾥分母为是因为随机变量的数学期望未知，以样本均值代替，⾃由度减⼀。
协⽅差矩阵多维随机变量的协⽅差矩阵对多维随机变量，我们往往需要计算各维度两两之间的协⽅差，这样各协⽅差组成了⼀个的矩阵，称为协⽅差矩阵。
协⽅差矩阵是个对称矩阵，对⾓线上的元素是各维度上随机变量的⽅差。
协方差矩阵的形式
协方差矩阵的形式协方差矩阵（covariance matrix）是一种用于衡量多变量之间关系的矩阵。
它是由方差和协方差组成的，并告诉我们变量之间的相关性以及每个变量自身的方差。
协方差矩阵在多元统计分析和数据处理领域中被广泛应用，为我们提供了关键的信息来理解变量之间的关系。
协方差矩阵是一个对称阵，其中的对角线元素表示对应变量的方差，非对角线元素表示不同变量之间的协方差。
具体而言，如果有d个变量，协方差矩阵C的元素C_ij表示第i个变量和第j个变量之间的协方差。
若i=j，则该元素表示第i个变量的方差；若i≠j，则该元素表示第i个变量和第j个变量的协方差。
协方差矩阵的大小为d×d。
协方差的计算公式为：cov(X,Y) = E[(X-E(X))(Y-E(Y))]，其中E 表示期望，X和Y分别为两个变量。
对于协方差矩阵C，其元素C_ij为变量i和j之间的协方差，可以通过以下公式计算：C_ij =cov(X_i, X_j) = E[(X_i-E(X_i))(X_j-E(X_j))]。
其中，X_i和X_j分别表示第i个变量和第j个变量。
协方差矩阵的重要性在于它提供了关于变量之间关系的全面信息，包括线性相关性和非线性相关性。
协方差矩阵的主对角线上的元素提供了每个变量的方差，反映了每个变量自身的差异程度。
如果一个变量的方差很大，意味着该变量的取值范围较广，相对其他变量有更大的波动性。
协方差矩阵的非对角线元素反映了不同变量之间的相关性。
当C_ij为正数时，表示变量i和变量j呈正相关关系；当C_ij为负数时，表示变量i和变量j呈负相关关系；当C_ij为0时，表示变量i和变量j之间没有线性相关关系。
通过观察协方差矩阵的非对角线元素，我们可以判断变量之间的相关程度。
协方差矩阵也可以用于研究变量之间的共线性问题。
共线性指的是两个或多个变量之间存在较高的线性相关性，可能会导致模型的多重共线性问题，降低预测的准确性。
协方差矩阵通俗理解
协方差矩阵通俗理解
协方差矩阵是用于衡量多个随机变量之间关系的矩阵。
协方差指的是两个随机变量之间的关系，可以是正相关、负相关或者没有关系。
协方差矩阵将所有随机变量两两之间的协方差组成一个矩阵。
可以将协方差矩阵看作是一个表格，表格中每个元素代表了两个随机变量之间的关系强度。
矩阵的对角线上的元素是各个随机变量的方差，它们表示了每个变量自身的变化程度。
矩阵的其他元素是不同随机变量之间的协方差，它们表示了不同变量之间的共变关系。
协方差矩阵可以帮助我们分析不同变量之间的相关性。
如果两个变量之间的协方差为正数，则它们是正相关的；如果协方差为负数，则它们是负相关的；如果协方差为0，则它们是独立的变量，即彼此没有关系。
通过计算协方差矩阵，我们可以了解多个随机变量之间的关系强度和方向，从而帮助我们进行数据分析和模型建立。
一文读懂协方差与协方差矩阵
⼀⽂读懂协⽅差与协⽅差矩阵摘要：⾸先从公式出发介绍了协⽅差和协⽅差矩阵的基本概念，然后通过图形说明了协⽅差矩阵的⼏何意义；进⼀步对协⽅差矩阵进⾏特征分解，其最⼤特征向量指向⽅差最⼤⽅向，第⼆⼤特征向量与最⼤特征向量正交；最后介绍了线性变换的数据集其协⽅差矩阵将如何变换。
01协⽅差在百度百科上，协⽅差是被这样定义的，协⽅差在概率论和统计学中⽤于衡量两个变量的总体误差。
⽽⽅差是协⽅差的⼀种特殊情况，即当两个变量是相同的情况。
⾸先，我们来看⼀下协⽅差的计算公式：从公式上看，协⽅差是两个变量与⾃⾝期望做差再相乘，然后对乘积取期望。
也就是说，当其中⼀个变量的取值⼤于⾃⾝期望，另⼀个变量的取值也⼤于⾃⾝期望时，即两个变量的变化趋势相同，此时，两个变量之间的协⽅差取正值。
反之，即其中⼀个变量⼤于⾃⾝期望时，另外⼀个变量⼩于⾃⾝期望，那么这两个变量之间的协⽅差取负值。
正如上图所⽰，当x与y变化趋势⼀致时，两个变量与⾃⾝期望之差同为正或同为负，其乘积必然为正，所以其协⽅差为正；反之，其协⽅差为负。
所以协⽅差的正负性反映了两个变量的变化趋势是否⼀致。
再者，当x和y在某些时刻变化⼀致，某些时刻变化不⼀致时，如下图所⽰，在第⼀个点，x与y 虽然变化，但是y的变化幅度远不及x变化幅度⼤，所以其乘积必然较⼩，在第⼆个点，x与y变化⼀致且变化幅度都很⼤，因此其乘积必然较⼤，在第三个点，x与y变化相反，其乘积为负值，这类点将使其协⽅差变⼩，因此，我们可以认为协⽅差绝对值⼤⼩反映了两个变量变化的⼀致程度。
因此，两个变量相关系数的定义为协⽅差与变量标准差乘积之⽐。
总的来说，协⽅差反映了两个变量之间的相关程度。
02协⽅差矩阵在现实⽣活中，我们在描述⼀个物体时，并不会单单从⼀个或两个维度去描述，⽐如说，在描述⼀个学⽣的学习成绩时，就会从他的语⽂、数学、英语、物理、化学等等很多个维度去描述。
在进⾏多维数据分析时，不同维度之间的相关程度就需要协⽅差矩阵来描述，维度之间的两两相关程度就构成了协⽅差矩阵，⽽协⽅差矩阵主对⾓线上的元素即为每个维度上的数据⽅差。
均值、方差、标准差及协方差、协方差矩阵详解
均值、方差、标准差及协方差、协方差矩阵详解一、统计学基本概念：均值、方差、标准差统计学里最基本的概念就是样本的均值、方差、标准差。
首先，我们给定一个含有n个样本的集合，下面给出这些概念的公式描述：均值：方差：标准差：均值描述的是样本集合的中间点，它告诉我们的信息是有限的。
方差（variance)是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。
概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。
统计中的方差（样本方差）是各个数据分别与其平均数之差的平方的和的平均数。
在许多实际问题中，研究方差即偏离程度有着重要意义。
方差是衡量源数据和期望值相差的度量值。
而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。
以这两个集合为例，[0, 8, 12, 20]和[8, 9, 11, 12]，两个集合的均值都是10，但显然两个集合的差别是很大的，计算两者的标准差，前者是8.3后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。
之所以除以n-1而不是n，是因为这样能使我们以较小的样本集更好地逼近总体的标准差，即统计上所谓的“无偏估计”。
而方差则仅仅是标准差的平方。
二、协方差及其意义标准差和方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。
面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。
协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：来度量各个维度偏离其均值的程度，协方差可以这样来定义：协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。
如果结果为负值，就说明两者是负相关，越猥琐女孩子越讨厌。
协方差与协方差矩阵
协方差与协方差矩阵协方差是统计学上表示两个随机变量之间的相关性，随机变量ξ的离差与随机变量η的离差的乘积的数学期望叫做随机变量ξ与η的协方差（也叫相关矩），记作K ξη： [()()]()K E E E E E E ξηξξηηξηξη=--=-,记为cov(,)ξη对于离散随机变量，我们有()()(,)i i i i i j K x E y E p x y ξηξη=--∑∑； 对于连续随机变量，我们有()()(,)K x E y E x y dxdy ξηξηϕ+∞+∞-∞-∞=--⎰⎰，随机变量的协方差用来描述随机变量之间的相关性，我们指出，独立随机变量的协方差等于零，即如果ξ与 η独立，则K ξη=0. 如果ξ与η相同，则协方差就是变量ξ的方差。
在统计学与概率论中, 协方差矩阵是一个矩阵，这是从标量随机变量到高维度随机向量的自然推广。
协方差矩阵对于多元随机变量，一般是对于一个多维随机变量来讲的，表现的是随机变量X 各个元素分量（为1维随机变量）之间的相互关系，每一项都对应着其中两个变量的协方差，组合起来就是协方差矩阵了,比如 一个n 维的随机变量X,其协方差矩阵之第ij 个元素即为E[(Xi-E(Xi))*(Xj-E(Xj))],Xi 和Xj 分别表示X 的第i 个和第j 个元素分量。
比如：随机变量x 和y ，n Q 为它们的协方差矩阵，2ij σ为随机变量i 和j 的协方差，(,),1,...,T n n n u x y n N == ，其中， cos n n n x d θ=，sin n n n y d θ=，N 为扫描数据点个数。
现实中，由于测量值(,)n n d θ受噪声干扰，假设它们分别服从高斯白噪声分布且互相独立，方差分别为2d σ和2θσ，则：222222()()()()x xy T T n n n n n d n n n n xy y u u u u Q d d θσσσσθθσσ⎡⎤∂∂∂∂==+⎢⎥∂∂∂∂⎢⎥⎣⎦ 22222222cos sin 22sin sin 2()22sin 22sin sin 22cos n n n n d n n n n n d θθθθθσσθθθθ⎡⎤⎡⎤-=+⎢⎥⎢⎥-⎣⎦⎣⎦补充知识：数学期望：随机变量ξ的一切可能值i x 与对应的概率()i P x ξ=的乘积的和叫做随机变量ξ的数学期望，记作E ξ。
协方差矩阵计算例子
协方差矩阵计算例子【篇一：协方差矩阵计算例子】浅谈协方差矩阵今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。
统计学的基本概念学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。
首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。
均值：标准差：方差：很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。
以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”。
之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”。
而方差则仅仅是标准差的平方。
为什么需要协方差？上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。
面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊，嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：来度量各个维度偏离其均值的程度，标准差可以这么来定义：协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿，那必须的~结果为负值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为0，也是就是统计上说的“相互独立”。
协方差矩阵的详细说明
协方差矩阵的详细说明变量说明：设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵（1）其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。
单随机变量间的协方差：随机变量之间的协方差可以表示为（2）根据已知的样本值可以得到协方差的估计值如下：（3）可以进一步地简化为：（4）协方差矩阵：（5）其中，从而得到了协方差矩阵表达式。
如果所有样本的均值为一个零向量，则式（5）可以表达成：（6）补充说明：1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素C ij就是反映的随机变量X i, X j的协方差。
2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。
对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。
特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。
3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。
4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。
再谈协方差矩阵之主成分分析
再谈协方差矩阵之主成分分析自从上次谈了协方差矩阵之后，感觉写这种科普性文章还不错，那我就再谈一把协方差矩阵吧。
上次那篇文章在理论层次介绍了下协方差矩阵，没准很多人觉得这东西用处不大，其实协方差矩阵在好多学科里都有很重要的作用，比如多维的正态分布，再比如今天我们今天的主角——主成分分析(Principal Component Analysis，简称PCA)。
结合PCA相信能对协方差矩阵有个更深入的认识~PCA的缘起PCA大概是198x年提出来的吧，简单的说，它是一种通用的降维工具。
在我们处理高维数据的时候，为了能降低后续计算的复杂度，在“预处理”阶段通常要先对原始数据进行降维，而PCA就是干这个事的。
本质上讲，PCA就是将高维的数据通过线性变换投影到低维空间上去，但这个投影可不是随便投投，要遵循一个指导思想，那就是：找出最能够代表原始数据的投影方法。
这里怎么理解这个思想呢？“最能代表原始数据”希望降维后的数据不能失真，也就是说，被PCA降掉的那些维度只能是那些噪声或是冗余的数据。
这里的噪声和冗余我认为可以这样认识：•噪声：我们常说“噪音污染”，意思就是“噪声”干扰我们想听到的真正声音。
同样，假设样本中某个主要的维度A，它能代表原始数据，是“我们真正想听到的东西”，它本身含有的“能量”(即该维度的方差，为啥？别急，后文该解释的时候就有啦~)本来应该是很大的，但由于它与其他维度有那么一些千丝万缕的相关性，受到这些个相关维度的干扰，它的能量被削弱了，我们就希望通过PCA处理后，使维度A与其他维度的相关性尽可能减弱，进而恢复维度A应有的能量，让我们“听的更清楚”！•冗余：冗余也就是多余的意思，就是有它没它都一样，放着就是占地方。
同样，假如样本中有些个维度，在所有的样本上变化不明显(极端情况：在所有的样本中该维度都等于同一个数)，也就是说该维度上的方差接近于零，那么显然它对区分不同的样本丝毫起不到任何作用，这个维度即是冗余的，有它没它一个样，所以PCA应该去掉这些维度。
相同的方差—协方差矩阵
相同的方差—协方差矩阵“相同的方差——协方差矩阵”，这听起来像是一种高级数学的术语，不是吗？但别着急，它其实没有那么难懂。
你可能觉得“方差”听起来像是个让人头疼的数学名词，跟“协方差”一提到就更想找个角落躲起来，但如果咱们把这些干巴巴的概念给生活化，像聊聊篮球赛上的得分一样，事情就简单多了。
方差是个啥？想象一下你在打篮球，队友们每次投篮得分的分布总是有些差距。
有的投得高，有的投得低。
你能感觉到，大家的表现不一致。
方差就用来衡量这种不一致性的大小。
它告诉我们，大家的得分有多“分散”，还是都比较集中。
如果大家投篮都差不多，方差就小；如果每个人投篮差距大，那方差就大。
简单吧？但问题来了，光看“方差”有点太单一了。
咱们还得看一下大家之间的“关系”。
你看，有的人得分高，其他人也许就跟着得分高，有的人得分低，其他人也许也低。
那么问题就来了——“协方差”就是拿来测量这种关系的。
你能想象，一群人得分跟你完全不搭嘎，那肯定协方差是零。
如果大家都差不多，要么一起进球，要么一起失误，那协方差就大了。
哎呀，你是不是开始明白了？好啦，话说回来，“相同的方差——协方差矩阵”又是个啥？嗯，咱们从一个更简单的例子入手。
你想象一下，你和你的朋友们在一个游乐园里玩碰碰车。
每个人都开着自己的车，各自独立行动。
你开得很快，有的朋友开得慢，车速差距大，方差就很大。
反过来，如果大家都开得差不多，车速差距小，那方差就小。
好了，这里就有两个情况：一个是每个人自己的车速表现（就是方差），一个是你们之间的互动关系（就是协方差）。
协方差矩阵，就可以把这些数据“矩阵化”，即通过一张表格，把每个人之间的关系，车速的差异，都写得明明白白。
这个矩阵不止能告诉你大家每个人的“方差”多大，还能把你们之间的“协方差”关系排列成一个大表。
想象下，和朋友们一起玩碰碰车，大家开得快慢不一，但这个表格能精确告诉你们每个人的“表现”如何。
如果你们之间的关系复杂，它就能从一个个小方格里看出端倪。
空间协方差矩阵
空间协方差矩阵什么是空间协方差矩阵？空间协方差矩阵是指在多元统计分析中，用于描述变量之间线性相关性的一种矩阵。
它是一个方阵，其行和列数量等于变量的个数，每个元素表示两个变量之间的协方差。
在统计学中，协方差是用来衡量两个变量之间相关性的一种统计量。
它描述了两个变量的变动趋势是否同步以及变动的程度。
而空间协方差矩阵则是将所有变量的协方差按照矩阵形式呈现出来，从而能够同时描述多个变量之间的相关性。
空间协方差矩阵对于多元统计分析非常重要。
通过研究变量之间的相关性，我们可以了解变量之间的联系和影响，从而进行更加全面和准确的数据分析。
接下来，我们来讨论一些关于空间协方差矩阵的重要性和应用。
首先，空间协方差矩阵可以帮助我们理解变量之间的相关性。
通过计算协方差，我们可以了解两个变量是否具有正相关、负相关还是无关。
当研究多个变量时，空间协方差矩阵可以提供一个全面的图像，展示变量之间的复杂关系。
其次，空间协方差矩阵在多元统计分析中起着重要的作用。
例如，在主成分分析（PCA）中，我们使用空间协方差矩阵来计算变量之间的协方差和相关性，并找到主成分，从而降低数据的维度。
在这种情况下，空间协方差矩阵可以帮助我们理解数据中最重要的变量和主要的关系。
此外，空间协方差矩阵还可以用于线性判别分析（LDA）和协方差矩阵的逆矩阵等方法中。
这些方法都依赖于协方差矩阵的计算和分析，从而从多个变量中找到最重要的特征。
如何计算空间协方差矩阵？对于n个变量的数据，我们可以根据数据集的平均值和方差来计算空间协方差矩阵。
假设我们有变量X1，X2，...，Xn，并且有m个观测值。
首先，我们需要计算每个变量的平均值。
计算方法如下：\bar{X}=\frac{1}{m}\sum_{i=1}^{m}X_i然后，我们可以通过计算每个变量与其他变量的协方差来创建协方差矩阵。
协方差的计算方法如下：COV(X_i,X_j)=\frac{1}{m}\sum_{i=1}^{m}(X_{i}-\bar{X}_{i})(X_{j}-\bar{X}_{j})最后，将所有协方差的计算结果放入矩阵中，就得到了空间协方差矩阵。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
浅谈协方差矩阵
今天看论文的时候又看到了协方差矩阵这个破东西，以前看模式分类的时候就特困扰，没想到现在还是搞不清楚，索性开始查协方差矩阵的资料，恶补之后决定马上记录下来，嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。
统计学的基本概念
学过概率统计的孩子都知道，统计里最基本的概念就是样本的均值，方差，或者再加个标准差。
首先我们给你一个含有n个样本的集合，依次给出这些概念的公式描述，这些高中学过数学的孩子都应该知道吧，一带而过。
均值：
标准差：
方差：
很显然，均值描述的是样本集合的中间点，它告诉我们的信息是很有限的，而标准差给我们描述的则是样本集合的各个样本点到均值的距离之平均。
以这两个集合为例，[0，8，12，20]和[8，9，11，12]，两个集合的均值都是10，但显然两个集合差别是很大的，计算两者的标准差，前者是8.3，后者是1.8，显然后者较为集中，故其标准差小一些，标准差描述的就是这种“散布度”“散布度”(类似于起伏度，如评价一个学生成绩的起伏）。
之所以除以n-1而不是除以n，是因为这样能使我们以较小的样本集更好的逼近总体的标准差，即统计上所谓的“无偏估计”(个人臆断:每一个数据均需要与均值作差运算，这个均值可能等于某一个元素的值，正好抵消掉，所以，干脆就去掉一个，以降低影响、干扰)。
而方差则仅仅是标准差的平方。
为什么需要协方差？
上面几个统计量看似已经描述的差不多了，但我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。
面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子欢迎程度是否存在一些联系啊，嘿嘿~协方差就是这样一种用来度量两个随机变量关系的统计量，我们可以仿照方差的定义：
来度量各个维度偏离其均值的程度，标准差可以这么来定义：
协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的(从协方差可以引出“相关系数”的定义)，也就是说一个人越猥琐就越受女孩子欢迎，嘿嘿，那必须的~结果为负
值就说明负相关的，越猥琐女孩子越讨厌，可能吗？如果为0，也是就是统计上说的“相互独立”。
从协方差的定义上我们也可以看出一些显而易见的性质，如：
协方差多了就是协方差矩阵
上一节提到的猥琐和受欢迎的问题是典型二维问题，而协方差也只能处理二维问题，那维数
多了自然就需要计算多个协方差，比如n维的数据集就需要计算个协方差，那自然而然的我们会想到使用矩阵来组织这些数据。
给出协方差矩阵的定义：
这个定义还是很容易理解的，我们可以举一个简单的三维的例子，假设数据集有三个维度，则协方差矩阵为
可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度上的方差。
Matlab协方差实战
上面涉及的内容都比较容易，协方差矩阵似乎也很简单，但实战起来就很容易让人迷茫了。
必须要明确一点，协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
这个我将结合下面的例子说明，以下的演示将使用Matlab，为了说明计算原理，不直接调用Matlab的cov函数(蓝色部分为Matlab代码)。
首先，随机产生一个10*3维的整数矩阵作为样本集，10为样本的个数，3为样本的维数。
1MySample = fix(rand(10,3)*50)
根据公式，计算协方差需要计算均值，那是按行计算均值还是按列呢，我一开始就老是困扰这个问题。
前面我们也特别强调了，协方差矩阵是计算不同维度间的协方差，要时刻牢记这
一点。
样本矩阵的每行是一个样本，每列为一个维度，所以我们要按列计算均值。
为了描述方便，我们先将三个维度的数据分别赋值：
1dim1 = MySample(:,1);2dim2 = MySample(:,2);3dim3 = MySample(:,3);
计算dim1与dim2，dim1与dim3，dim2与dim3的协方差：
1sum( (dim1-mean(dim1)) .* (dim2-mean(dim2)) ) / ( size(MySample,1)-1 ) % 得到 74.53332sum( (dim1-mean(dim1)) .* (dim3-mean(dim3)) ) /
( size(MySample,1)-1 ) % 得到 -10.08893sum( (dim2-mean(dim2)) .*
(dim3-mean(dim3)) ) / ( size(MySample,1)-1 ) % 得到 -106.4000
搞清楚了这个后面就容易多了，协方差矩阵的对角线就是各个维度上的方差，下面我们依次计算：
1std(dim1)^2 % 得到 108.32222std(dim2)^2 % 得到 260.62223std(dim3)^2 % 得到 94.1778
这样，我们就得到了计算协方差矩阵所需要的所有数据，调用Matlab 自带的cov 函数进行验证： 1cov(MySample)
把我们计算的数据对号入座，是不是一摸一样？
Update ：今天突然发现，原来协方差矩阵还可以这样计算，先让样本矩阵中心化，即每一维度减去该维度的均值，使每一维度上的均值为0，然后直接用新的到的样本矩阵乘上它的转置，然后除以(N-1)即可。
其实这种方法也是由前面的公式通道而来，只不过理解起来不是很直观，但在抽象的公式推导时还是很常用的！同样给出Matlab 代码实现：
1X = MySample - repmat(mean(MySample),10,1); % 中心化样本矩阵，使各维度均值为02C = (X'*X)./(size(X,1)-1);
总结
理解协方差矩阵的关键就在于牢记它计算的是不同维度之间的协方差，而不是不同样本之间，拿到一个样本矩阵，我们最先要明确的就是一行是一个样本还是一个维度，心中明确这个整个计算过程就会顺流而下，这么一来就不会迷茫了~
P.S.写论文要选Latex ，在wordpress 里编辑公式还得用Latex ，用Latex 还真对得起咱学计算机这张脸~
1-)-(=∑1=2
2n x x σn
i i
它表示了采样点在平均值两侧的分布，对应于图表2(a)就是采样点云的“胖瘦”。
显然的，方差较大，也就是较“宽”较“胖”的分布，表示了采样点的主要分布趋势，是主信
号或主要分量；而方差较小的分布则被认为是噪音或次要分量。
σ是采样图表2：(a)摄像机A的采集数据。
图中黑色垂直直线表示一组正交基的方向。
2
signal
σ是数据点在短线方向上分布的方差。
(b)对P的基向点云在长线方向上分布的方差，而2
noise
量进行旋转使SNR和方差最大。