相关系数与协方差的关系

探究协方差与相关系数

罗燕

摘要：协方差),(Y X Cov 是描述二维随机变量两个分量间相互关联程度的一个特征数，如果将协方差相应标准化变量就得到相关系数),(Y X Corr 。从而可以引进相关系数),(Y X Corr 去刻画二维随机变量两个分量间相互关联程度。且事实表明，相关系数明显被广泛应用。本文的目的在于从协方差与相关系数的关系的角度去探讨协方差与相关系数的优缺点，并具体介绍协方差和相关系数这两个描述二维随机变量间相关性的特征数。 关键字：协方差),(Y X Cov 相关系数),(Y X Corr 相互关联程度

1 协方差、相关系数的定义及性质

设（X ，Y ）是一个二维随机变量，若E{ [ X-E(X) ] [ Y -E(Y) ] }存在，则称此数学期望为X 与Y 的协方差，并记为Cov(X,Y)=E{ [ X-E(X) ] [ Y -E(Y) ] }，特别有Cov(X,X)=)(X Var 。

从协方差的定义可以看出，它是X 的偏差“X-E(X) ”与Y 的偏差“Y -E(Y)”的乘积的数学期望。由于偏差可正可负，故协方差也可正可负，也可为零，其具体表现如下：

·当Cov(X,Y)>0时，称X 与Y 正相关，这时两个偏差 [ X-E(X) ] 与[ Y -E(Y) ] 同时增加或同时减少，由于E(X)与E(Y)都是常数，故等价于X 与Y 同时增加或同时减少，这就是正相关的含义。

·当Cov(X,Y)<0时，称X 与Y 负相关，这时X 增加而Y 减少，或Y 增加而X 减少，这就是负相关的含义。

·当Cov(X,Y)=0时，称X 与Y 不相关。

也就是说，协方差就是用来描述二维随机变量X 与Y 相互关联程度的一个特征数。协方差Cov(X,Y)是有量纲的量，譬如X 表示人的身高，单位是米(m )，Y 表示人的体重，单位是公斤(k g )，则Cov(X,Y)带有量纲(m ·kg )。为了消除量纲的影响，对协方差除以相同量纲的量，就得到一个新的概念—相关系数，它的定义如下：

设（X ，Y ）是一个二维随机变量，且)(X Var >0,)(Y Var >0.则称

),(Y X C o r r =)()()

,(Y Var X Var Y X Cov =y

x Y X Cov σσ),( 为X 与Y 的（线性）相关系数。

利用施瓦茨不等式我们不难得到-1≤),(Y X Corr ≤1.也就是说相关系数是介于-1到1之间的，并且可以对它作以下几点说明：

·若),(Y X Corr =0，则称X 与Y 不相关。不相关是指X 与Y 没有线性关系，但也有可能有其他关系，比如平方关系、立方关系等。

·若),(Y X Corr =1，则称X 与Y 完全正相关；若),(Y X Corr =-1，则称X 与Y 完全,负相关。

·若0<),(Y X Corr <1，则称X 与有“一定程度”的线性关系。

2 协方差与相关系数的一致性

从协方差与相关系数的定义和性质我们不难发现，协方差与相关系数都是反映X 与Y 相关程度的量。也就是说，他们有异曲同工之效。在刻画二维随机变量两个分量间相互关联程度时，他们保持了一致性。这一点我可以给出以下两个例子来说明。

例一 设随机变量X 和Y 独立同服从参数为λ的泊松分布，令

U=2X+Y ， V=2X-Y 。

求U 和V 的协方差及相关系数。

解：因为

)(U V a r =Var (2X+Y)=5λ，Var (V)=Var (2X-Y)=5λ.

所以

Cov(U,V)=Cov(2X+Y ,2X-Y)

=Cov(2X,2X)+Cov(Y ,2X)-Cov(2X,Y)-Cov(Y ,Y)

=3λ

由此得

),(V U C o r r =)()()

,(V Var U Var V U Cov =λλ

53=53

服从参数为λ的泊松分布中得λ>0，由协方差Cov(U,V)=3λ是恒大于0的，再由相关

系数),(V U Corr =5

3，就很好的说明协方差与相关系数均可以反映二维随机变量关联程度。我们再看下一个例题，看能否能出这个结论呢？

例二 将一枚硬币重复掷n 次，以X 和Y 分别表示正面向上和反面向上的次数，试求X 和Y 的协方差和相关系数。

解：因为X+Y=n ，且X ～b （n ，1/2），Y ～b （n ，1/2），所以

V a r (X) =Var (Y)=4

n ， Cov(X,Y)=Cov(X ,n －X)=－Cov(X,X)=－4

n ),(Y X C o r r = )()()

,(Y Var X Var Y X Cov =4

4n n

-=－1

我们假定n=1，Cov(X,Y)=4

1

-；n=100，Cov(X,Y)=－25；n=10000，Cov(X,Y)=－2500……我们可以得出，随着n 的增大，协方差Cov(X,Y)就越来越小，随之X 与Y 的负相关性就表现得越来越强烈。就有∞

→n lim Cov(X,Y)=∞-，X 与Y 间是完全负相关的。 又由于),(Y X Corr =－1，表明X 与Y 间是完全负相关的。其实，这个结论早就蕴含在线性关系式X+Y=n 之中了。

综上，就说明：在某种情况下，协方差和相关系数在反映X 与Y 间的关联程度时保持

一致性。若是这样的话，研究相关系数似乎有点多余了。因为，我们已经有一个可以反映X 与Y 间的关联程度的量了（即协方差），那我们能否找出相关系数更优秀的地方呢？ 3 协方差与相关系数的“矛盾性”

),(Y X C o r r 越接近1，则线性相关程度越高；),(Y X Corr 越接近0，则线性相关程度越低。而协方差看不出这一点。若协方差很小，而其两个标准差X σ和Y σ也很小，则其比

值就不一定小，下面我们来看实例。

例三 已知随机向量(X,Y)的联合密度函数为

其他

求X,Y 的协方差及相关系数。

解：先计算两个边际密度函数，再分别计算)(X E 、)(2X E 、)(Y E 、)(2Y E 、 )(X Var 、)(Y Var 及)(XY E 。

最后得协方差和相关系数为

),(Y X C o v =)(XY E －)(X E )(Y E =0.0471

),(Y X C o r r =y

x Y X Cov σσ),(=0.8243 这个协方差很小，但其相关系数并不小。从相关系数),(Y X Corr =0.8243看，X 与Y 有相当程度的正相关；但从相应的协方差),(Y X Cov =0.0471看，X 与Y 的相关性很微弱，几乎可以忽略不计。造成这种错觉的原因在于没有考虑标准差，若两个标准差都很小，即使协方差小一些，相关系数也能显示一定程度的相关性。由此可见，在协方差的基础上加工形成的相关系数是更为重要的相关性的特征数。

参考文献

[1] 茆诗松，程依明，濮晓龙.概率论与数理统计教程.北京：高等教育出版社，2004

[2] 董永权，王占民.关于相关系数ρ的几点注释.唐山 063000

[3] 谢明文，关于协方差、相关系数与相关性的关系.四川成都 610074

{

;1,0,5.00,38

,0),(<<<-<=y x y x y x p

相关系数与协方差的关系

探究协方差与相关系数 罗燕 摘要：协方差),(Y X Cov 是描述二维随机变量两个分量间相互关联程度的一个特征数，如果将协方差相应标准化变量就得到相关系数),(Y X Corr 。从而可以引进相关系数),(Y X Corr 去刻画二维随机变量两个分量间相互关联程度。且事实表明，相关系数明显被广泛应用。本文的目的在于从协方差与相关系数的关系的角度去探讨协方差与相关系数的优缺点，并具体介绍协方差和相关系数这两个描述二维随机变量间相关性的特征数。 关键字：协方差),(Y X Cov 相关系数),(Y X Corr 相互关联程度 1 协方差、相关系数的定义及性质 设（X ，Y ）是一个二维随机变量，若E{ [ X-E(X) ] [ Y -E(Y) ] }存在，则称此数学期望为X 与Y 的协方差，并记为Cov(X,Y)=E{ [ X-E(X) ] [ Y -E(Y) ] }，特别有Cov(X,X)=)(X Var 。 从协方差的定义可以看出，它是X 的偏差“X-E(X) ”与Y 的偏差“Y -E(Y)”的乘积的数学期望。由于偏差可正可负，故协方差也可正可负，也可为零，其具体表现如下： ·当Cov(X,Y)>0时，称X 与Y 正相关，这时两个偏差 [ X-E(X) ] 与[ Y -E(Y) ] 同时增加或同时减少，由于E(X)与E(Y)都是常数，故等价于X 与Y 同时增加或同时减少，这就是正相关的含义。 ·当Cov(X,Y)<0时，称X 与Y 负相关，这时X 增加而Y 减少，或Y 增加而X 减少，这就是负相关的含义。 ·当Cov(X,Y)=0时，称X 与Y 不相关。 也就是说，协方差就是用来描述二维随机变量X 与Y 相互关联程度的一个特征数。协方差Cov(X,Y)是有量纲的量，譬如X 表示人的身高，单位是米(m )，Y 表示人的体重，单位是公斤(k g )，则Cov(X,Y)带有量纲(m ·kg )。为了消除量纲的影响，对协方差除以相同量纲的量，就得到一个新的概念—相关系数，它的定义如下： 设（X ，Y ）是一个二维随机变量，且)(X Var >0,)(Y Var >0.则称 ),(Y X C o r r =)()() ,(Y Var X Var Y X Cov =y x Y X Cov σσ),( 为X 与Y 的（线性）相关系数。 利用施瓦茨不等式我们不难得到-1≤),(Y X Corr ≤1.也就是说相关系数是介于-1到1之间的，并且可以对它作以下几点说明： ·若),(Y X Corr =0，则称X 与Y 不相关。不相关是指X 与Y 没有线性关系，但也有可能有其他关系，比如平方关系、立方关系等。 ·若),(Y X Corr =1，则称X 与Y 完全正相关；若),(Y X Corr =-1，则称X 与Y 完全,负相关。

协方差和相关系数

二维随机变量的期望与方差 对于二维随机变量，如果存在，则 称为二维随机变量的数学期望。 1 、当( X ，Y ) 为二维离散型随机变量时 2 、当( X ，Y ) 为二维连续型随机变量时 例题 2.39 设，求。与一维随机变量函数的期望一样，可求出二维随机变量函数的期望。 对二维离散型随机变量( X ，Y ) ，其函数的期望为 对二维连续型随机变量( X ，Y ) ，其函数的期望为

例题 2.40 设，求 2.41 设( X ，Y ) 服从区域A 上的均匀分布，其中A 为x 轴、y 轴及直线 围成的三角形区域，如图2-10 所示。求函数的数学期望。 随机变量的数学期望和方差的三个重要性质： 1 、 推广： 2 、设X 与Y 相互独立，则 推广：设相互独立，则 3 、设X 与Y 相互独立，则 推广：设相互独立，则 仅对性质 3 就连续型随机变量加以证明 证明3

由于X 与Y 相互独立，所以与相互独立，利用性质 2 、知道 从而有， 可以证明：相互独立的随机变量其各自的函数间，仍然相互独立。 例题 2.42 某学校流行某种传染病，患者约占，为此学校决定对全校1000 名师生进 行抽血化验。现有两个方案：①逐个化验；②按四个人一组分组，并把四个人抽到的血混合在一起化验，若发现有问题再对四个人逐个化验。问那种方案好？ 2.10.2 协方差与相关系数 分析协方差与相关系数反映随机变量各分量间的关系；结合上面性质 3 的证明，可以得到以下结论： 若X 与Y 相互独立，则 可以用来刻划X 与Y 之间的某种关系。 定义设( X ，Y ) 为二维随机变量，若 存在，则称它为随机变量X 与Y 的协方差，记作或，即 特别地 故方差，是协方差的特例。计算协方差通常采用如下公式：

03 第三节 协方差及相关系数

第三节 协方差及相关系数 对多维随机变量, 随机变量的数学期望和方差只反映了各自的平均值与偏离程度，并没能反映随机变量之间的关系. 本节将要讨论的协方差是反映随机变量之间依赖关系的一个数字特征. 内容分布图示 ★ 引言 ★ 协方差的定义 ★ 协方差的性质 ★ 例1 ★ 例2 ★ 相关系数的定义 ★ 相关系数的性质 ★ 例3 ★ 例4 ★ 例5 ★ 例6 ★ 矩的概念 ★ 协方差矩阵 ★ n 维正态分布的概率密度 ★ n 维正态分布的几个重要性质 ★ 例7 ★ 内容小结 ★ 课堂练习 ★ 习题4-3 内容要点： 一、 协方差的定义 定义 设),(Y X 为二维随机向量,若 )]}()][({[Y E Y X E X E -- 存在, 则称其为随机变量X 和Y 的协方差, 记为),(Y X Cov ,即 )]}.()][({[),cov(Y E Y X E X E Y X --= 按定义, 若),(Y X 为离散型随机向量,其概率分布为 ),2,1,(},{ ====j i p y Y x X P ij j i 则 ∑--=j i j i Y E y X E x E Y X ,)]}.()][({[),cov( 若),(Y X 为连续型随机向量, 其概率分布为),,(y x f 则 ? ? +∞∞-+∞∞ ---=dxdy y x f Y E y X E x E Y X ),()]}()][({[),cov(. 此外, 利用数学期望的性质, 易将协方差的计算化简. ). ()()()()()()()()()()]} ()][({[),cov(Y E X E XY E Y E X E X E Y E Y E X E XY E Y E Y X E X E Y X -=+--=--= 特别地, 当X 与Y 独立时, 有 .0),cov(=Y X 二、协方差的性质 1. 协方差的基本性质 );(),cov()1(X D X X = );,cov(),cov()2(X Y Y X = ),cov(),cov()3(Y X ab bY aX =,其中b a ,是常数;

协方差矩阵和相关矩阵

一、协方差矩阵 变量说明： 设为一组随机变量，这些随机变量构成随机向量，每个随机变量有m个样本，则有样本矩阵 （1） 其中对应着每个随机向量X的样本向量，对应着第i个随机单变量的所有样本值构成的向量。 单随机变量间的协方差： 随机变量之间的协方差可以表示为 （2） 根据已知的样本值可以得到协方差的估计值如下： （3） 可以进一步地简化为： （4） 协方差矩阵：

（5）其中，从而得到了协方差矩阵表达式。 如果所有样本的均值为一个零向量，则式（5）可以表达成： （6） 补充说明： 1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差，而不是不同样本之间的协方差，如元素C ij就是反映的随机变量X i, X j的协方差。

2、协方差是反映的变量之间的二阶统计特性，如果随机向量的不同分量之间的相关性很小，则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合，为了使随机向量的长度较小，可以采用主成分分析的方法，使变换之后的变量的协方差矩阵完全是一个对角矩阵，之后就可以舍弃一些能量较小的分量了（对角线上的元素反映的是方差，也就是交流能量）。特别是在模式识别领域，当模式向量的维数过高时会影响识别系统的泛化性能，经常需要做这样的处理。 3、必须注意的是，这里所得到的式（5）和式（6）给出的只是随机向量协方差矩阵真实值的一个估计（即由所测的样本的值来表示的，随着样本取值的不同会发生变化），故而所得的协方差矩阵是依赖于采样样本的，并且样本的数目越多，样本在总体中的覆盖面越广，则所得的协方差矩阵越可靠。 4、如同协方差和相关系数的关系一样，我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大，还会引入相关系数矩阵。 二、相关矩阵 相关系数： 著名统计学家卡尔·皮尔逊设计了统计指标——相关系数。相关系数是用以反映变量之间相关关系密切程度的统计指标。相关系数是按积差方法计算，同样以两变量与各自平均值的离差为基础，通过两个离差相乘来反映两变量之间相关程度；着重研究线性的单相关系数。 依据相关现象之间的不同特征，其统计指标的名称有所不同。如将反映两变量间线性相关关系的统计指标称为相关系数（相关系数的平方称为判定系数）；将反映两变量间曲线相关关系的统计指标称为非线性相关系数、非线性判定系数；将反映多元线性相关关系的统计指标称为复相关系数、复判定系数等。 相关系数用r表示，它的基本公式（formula）为： 相关系数的值介于–1与+1之间，即–1≤r≤+1。其性质如下：

方差协方差和相关系数

§2 方差、协方差与相关系数 一、方差 二、协方差 三、相关系数 四、矩 一、方差 例1 例1 比较甲乙两人的射击技术，已知两人每次击中环数ξ分 布为 ξ： 789010601...?? ??? η：67 891001 02040201.....?? ???. 问哪一个技术较好？ 首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度. 称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于 ()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此用 ()E E ξξ-是不恰当的. 我们改用()2 E E ξξ-描述取值ξ的离散程度，这就是方差. 定义1 若 () 2 E E ξξ-存在，为有限值，就称它是随机变量ξ的方差 (variance)，记作Var ξ, Var ξ=()2 E E ξξ- (1) 但Var ξ的量纲与ξ ξ的标准差

(standard deviation). 方差是随机变量函数()2 E ξξ-的数学期望，由§1的(5)式，即可写出方差的 计算公式 Var ξ=2()d ()x E F x ξ ξ+∞-∞-?=22()(),, ()()d .i i i x E P x x E p x x ξξξξ+∞ -∞?-=???-?∑?离散型，连续型 (2) 进一步，注意到 ()2 E E ξξ-=()222E E E ξξξξ??-+??=()22E E ξξ- 即有 Var ξ=()2 2E E ξξ-. (3) 许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式 2 E ξ= ∑=i i i x P x ) (2 ξ=72×0.1+82×0.8+92 ×0.1=64.2, Var ξ=()2 2E E ξξ-=64.2--82=0.2. 同理, Var η=()2 2E E ηη-= 65.2-64 = 1.2 > Var ξ, 所以η取值较ξ分散. 这说 明甲的射击技术较好. 例2 试计算泊松分布P(λ)的方差. 解 2 2 01 ! (1)!k k k k E k e k e k k λ λ λλξ∞ ∞ --====-∑∑ 1 1(1) (1)!(1)!k k k k k e e k k λ λ λλ∞ ∞ --===-+--∑∑ 2 ! ! j j j j j e e j j λ λ λλλ λ∞ ∞ --===+∑∑ 2 λλ=+ 所以Var ξ=22 λλλλ+-=. 例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.