方差与协方差理解
§2 方差、协方差与相关系数 方差
例1
比较甲乙两人的射击技术，已知两人每次击中环数分布为：
ξ：7
8901
0601...?? ??? η：67891001
02040201.....?? ???. 问哪一个技术较好
首先看两人平均击中环数，此时8E E ξη==，从均值来看无法分辩孰优孰劣. 但从直观上看，甲基本上稳定在8环左右，而乙却一会儿击中10环，一会儿击中6环，较不稳定.因此从直观上可以讲甲的射击技术较好. 上例说明：对一随机变量，除考虑它的平均取值外，还要考虑它取值的离散程度.
称ξ-E ξ为随机变量ξ对于均值E ξ的离差(deviation)，它是一随机变量. 为了给出一个描述离散程度的数值，考虑用()E E ξξ-，但由于
()E E ξξ-=E E ξξ-=0对一切随机变量均成立，即ξ的离差正负相消，因此
用()E E ξξ-是不恰当的. 我们改用()2
E E ξξ-描述取值ξ的离散程度，这
就是方差.
定义 1 若()2
E E ξξ-存在，为有限值，就称它是随机变量ξ的方差(variance)，记作Var ξ,
Var ξ=()2E E ξξ- (1)
但Var ξ的量纲与ξξ的标准差(standard deviation).
方差是随机变量函数()2
E ξξ-的数学期望，由§1的(5)式，即可写出方差的计算公式
Var ξ=2()d ()x E F x ξ
ξ+∞
-∞-?=22()(),,()()d .i i i x E P x x E p x x ξξξξ+∞
-∞?-=???-?∑?离散型，连续型 (2)
进一步，注意到
()2
E E ξξ-=
()222E E E ξξξξ??-+??=()22E E ξξ- 即有
Var ξ=()2
2
E E ξξ-.
(3)
许多情况，用(3)式计算方差较方便些. 例1(续) 计算例1中的方差Var ξ与Var η. 解 利用(3)式
2
E ξ=
∑=i
i i x P x
)
(2
ξ=72×+82×+92×=,
Var ξ=
()2
2E E ξξ-=82=. 同理, Var η=
()2
2
E E ηη-= = > Var ξ, 所以η取值较ξ分散. 这说明甲的射击技术较好.
例2 试计算泊松分布P(λ)的方差.
解
2
2
01
!
(1)!k
k
k k E k
e
k
e k k λ
λ
λλξ∞
∞
--====-∑∑
1
1(1)
(1)!
(1)!k
k
k k k e
e k k λ
λ
λλ∞
∞
--===-+--∑∑
2
!
!
j
j
j j j
e
e j j λ
λ
λλλ
λ∞
∞
--===+∑∑
2
λλ=+
所以Var ξ=22
λλλλ+-=.
例3 设ξ服从[ a, b ]上的均匀分布U [a, b]，求Var ξ.
解
()22
2211
d 3b
a
E x x a ab b b a ξ==++-?,
Var ξ()()2
221132a ab b a b ??
=++-+????()2
112b a =-. 例4 设ξ服从正态分布(
)2
,N a σ
，求Var ξ.
解 此时用公式(2)，由于E a ξ=,
Var ξ2
()
E a ξ=
-222
()/2()d x a x a x σ+∞
---∞
=-?
2
2
2/2d z z e z
∞
--∞
=
222
/2/2z z ze e dz +∞+∞---∞-∞?=
-+???
2
2
2πσ=
=.
可见正态分布中参数2
σ就是它的方差, σ就是标准差. 方差也有若干简单而重要的性质. 先介绍一个不等式.
切贝雪夫(Chebyshev)不等式 若随机变量的方差存在，则对任意给定的正数ε，恒有
()2
Var P E ξξεξε-≥≤. (4)
证 设ξ的分布函数为()F x ，则
()P E ξξε-≥=?
≥-ε
ξ||)(E x x dF 2
2
||()d ()
x E x E F x ξε
ξε
-≥-≤?
22
1
()d ()
x E F x ξε
+∞
-∞
≤-?
=Var ξ/2
ε.
这就得(4)式.
切贝雪夫不等式无论从证明方法上还是从结论上都有一定意义. 事实上，
该式断言ξ落在(),E ξε-∞-与(),E ξε++∞内的概率小于等于Var ξ/2
ε，或
者说，ξ落在区间(),E E ξεξε-+内的概率大于1-Var ξ/ε2
，从而只用数学
期望和方差就可对上述概率进行估计. 例如，取
ε=3
((
2
1Var P E ξξξ
-≤≥-≈.
当然这个估计还是比较粗糙的（当ξ～()2
,N a σ
时，在第二章曾经指出,
P(|ξ-E ξ|≤ξ-a |≤3σ)≈ ）.
性质1 Var ξ=0的充要条件是P(ξ=c) =1，其中c 是常数.
证 显然条件充分. 反之，如果Var ξ= 0，记E ξ= c, 由切贝雪夫不等式, P(|ξ- E ξ|≥ε)=0 对一切正数ε成立. 从而
()P c ξ=()
10P c ξ=-->
()1lim 11
n P c n ξ→∞
=--≥=.
性质2 设c ,b 都是常数，则
Var(c ξ+b )=2
c Var ξ.
(5)
证 Var(c ξ+b )=E (c ξ+b -E (c ξ+b ))2=E (c ξ+b -c E ξ-b )2
=2
c 2()E E ξξ-=c 2Var ξ.
性质3 若c E ξ≠, 则()2
Var E c ξξ<-.
证 因 Var ξ=E 2ξ-2)(ξE , 而E (ξ-c )2=E ξ2-2c E ξ+2c ,
两边相减得()2Var E c ξξ--()2
0E c ξ=--<.这说明随机变量ξ对数学期望
E ξ的离散度最小.
性质4
1
Var()
n
i i ξ=∑=1
Var n
i
i ξ
=∑+2∑≤<≤--n
j i j j i i
E E E 1)
)((ξξξξ
(6)
特别若1,,n ξξ两两独立，则
1Var()
n
i i ξ=∑=
1
Var n
i
i ξ
=∑. (7)
证 Var()
1
∑=n
i i
ξ=E (∑=n
i i
1
ξ
-E ()1
∑=n
i i
ξ)
2
=E
∑=-n
i i i E 1
2
))((ξξ
= E
∑∑=≤<≤--+-n
i n
j i j j i i
i i E E E 1
12))
)((2
)((ξξξξ
ξξ
=1
Var n
i
i ξ
=∑+2∑≤<≤--n
j i j j i i
E E E 1)
)((ξξξξ
,
得证(6)式成立. 当1,,n ξξ两两独立时，对任何1,i j n ≤≤有i j i j E E E ξξξξ=， 故
E ))((j j i i E E ξξξξ--=E()j i i j j i j i E E E E ξξξξξξξξ+--
=E j i j i E E ξξξξ-=0, 这就得证(7)式成立.
利用这些性质，可简化某些随机变量方差的计算. 例5 设ξ服从二项分布B (n , p ), 求Var ξ.
解 如§1例12构造i ξ,1,,i n =, 它们相互独立同分布，此时
Var 2
222201)(p q p E E i i i -?+?=-=ξξξ=pq.
由于相互独立必是两两独立的，由性质4
Var ξ
1
Var()n
i i ξ==∑1
n
i
i Var ξ==∑npq =.
例6????????? 设随机变量1,,n ξξ相互独立同分布, i E a ξ=, Var i ξ=2σ,
(1,
,i n =). 记ξ=∑=n
i i n 11ξ, 求E ξ,Var ξ.
解 由§1性质2和本节性质2和4有
E ξ11n
i i E n ξ==∑a =, Var ξ2
11
Var n
i i n
ξ==∑221n n σ=2
n σ=. 这说明在独立同分布时，ξ作为各i ξ的算术平均，它的数学期望与各i ξ的数学期望相同，但方差只有i ξ的1/ n 倍. 这一事实在数理统计中有重要意义.
例7 设随机变量ξ的期望与方差都存在,Var 0ξ>. 令
*ξ=
,
称它为随机变量ξ的标准化. 求*E ξ与Var *ξ.
解 由均值与方差的性质可知
*0
E ξ=
=,
*Var()Var Var E ξξξξ-=
1
Var Var ξ
ξ==.
协方差
数学期望和方差反映了随机变量的分布特征. 对于随机向量1(,,)n ξξ', 除去各分量的期望和方差外，还有表示各分量间相互关系的数字特征—协方差.
定义2 记i ξ和j ξ的联合分布函数为),(y x F ij . 若
()()i i j j E E E ξξξξ--<+∞
，就称
()()i i j j E E E ξξξξ--()()d (,)
i j ij x E y E F x y ξξ+∞
+∞
-∞-∞
=--??
(8)
为,i j ξξ的协方差( covariance)，记作Cov(,i j ξξ).
显然，
()Cov ,i j ξξVar i
ξ=.公式(6)可改写为
Var(
∑=n
i i
1
ξ
)=
∑=n
i i
Var 1
ξ
+2
∑≤<≤n
j i j
i
Cov 1)
,(ξ
ξ.
')6(
容易验证，协方差有如下性质：
性质1 Cov(,ξη) = Cov(,ηξ)E E E ξηξη=-.
性质2 设,a b 是常数，则
Cov(,)a b ξηCov(,)ab ξη=.
性质3
1
1
Cov(,)Cov(,)
n
n
i i i i ξηξη===∑∑.
对于n 维随机向量ξ=1(,,)n ξξ'，可写出它的协方差阵
()()B E E E ξξξξ'=--=??
?
??
??
??nn n n n n b b b b b b b b b 2
122221112
11, (9)
其中Cov(,)ij i j b ξξ=.
由性质1可知B 是一个对称阵，且对任何实数j t ,1,,j n =, 二次型
∑=n
k j k
j jk t t b
1
,,1
()()n
j k
j
j k k j k t t E E E ξ
ξξξ==
--∑21
(())0
n
j j j j E t E ξξ==-≥∑,
即随机向量ξ的协方差阵B 是非负定的. 性质4 设
ξ=1(,,)n ξξ' ,
C =c c c c n m mn 1111
?? ????
,
则C ξ的协方差阵为CBC '，其中B 是ξ的协方差阵.
因为'
'''')(C CE C EC C EC ξξξξξξ==，所以CBC '的第(),i j 元素就是C ξ的第i
元素与第j 元素的协方差.
相关系数
协方差虽在某种意义上表示了两个随机变量间的关系，但()Cov ,ξη的取值大小与ξ,η的量纲有关. 为避免这一点，用ξ,η的标准化随机变量（见例7）来讨论. 定义3 称
r ξη=Cov(,)
ξη**=
(10)
为ξ, η的相关系数(correlation coefficient). 为了讨论相关系数的意义，先看一个重要的不等式.
柯西—许瓦茨(Cauchy —Schwarz)不等式 对任意随机变量ξ, η有
2
22E E E ξηξη≤.
(11)
等式成立当且仅当存在常数0t 使
()01P t ηξ==.
(12)
证 对任意实数t
2222 ()()2u t E t t E tE E ξηξξηη=-=-+
是t 的二次非负多项式，所以它的判别式
222
()0E E E ξηξη-≤,
证得(11)式成立. (11)式中等式成立当且仅当多项式 ()u t 有重根0t ，即
()200()0
u t E t ξη=-=.
又由(3)
()()
2
00Var t E t ξηξη-≤-,
故得()0Var 0t ξη-=,同时有()00E t ξη-=. 所以由方差的性质1就证得
()001P t ξη-==，此即 (12)式.
由此即可得相关系数的一个重要性质. 性质1 对相关系数ξηr 有
1
r ξη≤. (13)
ξη
r =1当且仅当
1
P ??==;
ξη
r =-1当且仅当
1
P ??==-.
(14)
证 由(11)式得
1
r E ξηξη**=≤==,
证得(13)式成立. 证明第二个结论. 由定义*
***ηξηξξηE r r ==. 由柯西-许
瓦兹不等式的证明可知,
1
||=ξηr 等价于)(t u =2
*
**2
*22ηηξξE tE E t +-有重根
)2/(22
***0ξηξe E t ==.**ηξE 因此由(12)式得1=ξηr 当且仅当1)(**==P ηξ；1
-=ξηr 当且仅当
**()1ξηP -=. 注 性质1表明相关系数1r ξη=±时，ξ与η以概率1存在着线性关系. 另一个极端是ξηr = 0，此时我们称ξ与η不相关(uncorrected). 性质2 对随机变量ξ和η, 下列事实等价： (1) Cov(ξ,η)=0;
(2) ξ与η不相关;
(3) E E E ξηξη=;
(4) ()Var Var Var ξηξη+=+.
证 显然(1)与(2)等价. 又由协方差的性质1得(1)与(3)等价. 再由
'
)6(式，得(1)与(4)等价.
性质3 若ξ与η独立，则ξ与η不相关.
显然, 由ξ与η独立知(3)成立，从而ξ与η不相关. 但其逆不真.
例8 设随机变量θ服从均匀分布U [0, 2π]，ξ=cos θ,sin ηθ=,显然
221ξη+=, 故ξ与η不独立. 但
cos
E E ξθ=201
cos d 02π
?
?π==?,
20
1
sin =sin d 02E E π
ηθ?
?π==?,
20
1
cos sin =cos sin d 02E E π
ξηθθ??
?π=?=?,
故()Cov ,=0 E E E ξηξηξη-=，即ξ与η不相关.
注 性质2不能推广到()3n ≥个随机变量情形. 事实上从()3n ≥个随机变
量两两不相关只能推得
1
1
Var()Var n
n
i i
i i ξξ===∑∑,不能推得1
1
n n E E E ξξξξ=.
反之，从这两个等式也不能推得1,,n ξξ两两不相关. 具体例子不列出了. 对于性质3, 在正态分布情形，独立与不相关是一致的，这将在下面进行讨论.
例9 设(ξ,η)服从二元正态分布()
22
12,;,,N a b r σσ, 试求()Cov ,ξη和ξηr .
解
()Cov ,()()(,)d d x a y b p x y x y
ξη+∞+∞
-∞
-∞
=--?
?
22221221()()()exp d d 2(1)2x a y b y b x a y b r x y r σσσ∞
∞
-∞-∞????---??
--?---?? ?-??????
?,
令
1
2x a
y b
z r
σσ--=
-,
2y b t σ-=
, 则1
x a
z rt
σ-=+,
12
(,)
(,)x y J z t ?σσ?=
=,
于是
()
Cov ,ξ
η222
/2(1)
2
/2()d d z r t zt rt e
e z t
--∞∞
--∞-∞
=
+??
=
2/2
12
d t t
e t
σσ∞
--∞
?
2
2/2(1)
d z
r z e z
∞
---∞
??
2
2
22/2/2(1)
d d t z
r t e t e z
∞
∞
----∞
-∞
?
= 0+r 21σσ. 故得
r r
ξη=
=.
这就是说二元正态分布中参数r 就是ξ,η的相关系数. 所以对二元正态分布，ξ、η不相关等价于r = 0. 但在第二章已证ξ与η相互独立等价于r = 0. 这样我们有
性质4 对二元正态分布，两个分量不相关与相互独立是等价的. 矩
矩(moment)是最广泛的一种数字特征，常用的矩有两种，一种是原点矩, 对正整数k ,
k k E m ξ=
称为ξ的k 阶原点矩. 数学期望就是一阶原点矩. 另一种是中心矩, 对正整数k ，称
k k E E c )(ξξ-=
为ξ的k 阶中心矩. 方差是二阶中心矩.除此以外，三阶与四阶中心矩也是常用的，它们分别表示随机变量的性状. 往往用他们的相对值.
峭.
例10 设ξ为服从正态分布N (02
,σ)
的随机变量，此时0E ξ=，且
2
2
2d x n
n n m c x e
x
σ-+∞
-∞
==
?
0,13(1),n n σ?=?
???-?
.2,
12k n k n =+=
特别 4
443σ==c m .故不论σ为多少，正态分布的偏态系数与峰态系数都
为0.
我们可以用原点矩来表示中心矩：
;)1(10r k r r
k
r k m m r k c -=-???? ??=∑
反过来，我们也可以用中心矩来表示原点矩：
.)1(10r k r r
k
r k c m r k m -=-???? ??=∑
我们也定义α阶绝对矩
,||αξE M k
= 其中α是实数.
对于例10中的随机变量ξ
21!,21||13(1),2k
k n
n k n k E n n k σξσ+=+=???-=?
利用上述结果，可以求出其他某些分布的矩. 如瑞利分布, 具有密度
2
2
22
(),0
x
x R x e x ααα
-=
>，那么
2
2
2
2
1
222
2
1d ||d 2x
x
n
n
x x
E x
e x x e
x
α
αξα
α
+∞
+∞
--+-∞
==
?
?
.
因此，
??????=k k n
n
k n E 2!2,312ααπξ .2,
12k n k n =+=
特别，
2π
α
ξ=E ，2
2
2αξ=E . 因此，方差
2
2)2
2(απ
σξ-=.
再如，马克斯威尔分布具有密度
2
2
2
2(),0
x
p x x e
x σ-=
>，那么
2
2
2
2
2
2
220
d ||d x
x
n
n n E x
e
x x e
x
σσξ+∞
+∞
--++-∞
=
=
?
因此，
21
13(1),(1)!,n n k
k n E k σξσ+????+=+ .12,2+==k n k n
特别，
,
2
2πσ
ξ=E 2
23σξ=E .
例11. 如果ξ服从参数为λ的指数分布，那么 对于1≥k ，
d k
k x
E x e
x λξλ+∞
-=?
1
k k
E ξλ
-=
.
根据递推关系得
!
k k k E ξλ=
.
即指数分布的任意阶矩存在.