概率论与数理统计总结
3、分布函数与概率的关系 ∞<<∞-≤=x x X P x F ),()(
)
()()
()()(a F b F a X P b X P b X a P -=≤-≤=≤<
4、离散型随机变量的分布函数 (1) 0 – 1 分布 1,0,)
1()(1=-==-k p p k X P k
k
(2) 二项分布 ),(p n B n k p p C k X P k
n k k n ,,1,0,)1()(Λ=-==-
泊松定理 0lim >=∞
→λn n np 有
Λ
,2,1,0!)
1(lim ==---∞
→k k e
p p C k
k
n n k n
k n n λλ
(3) 泊松分布 )(λP =Λ,2,1,0,!
)(===-k k e k X P k
λλ
（5）几何分布 p q k p q
k X P k -====-1,2,1}{1
Λ
dt t f x F x ?
∞
-=)()(则称X 为连续型随机变量，
其中函数f(x)称为随机变量X 的概率密度函数， 2、分布函数的性质：
（1）连续型随机变量的分布函数F(x )是连续函数。
（2）对于连续型随机变量X 来说，它取任一指定实数a 的概率均为零，即P{X=a }=0。 3、常见随机变量的分布函数 (1) 均匀分布 ),(b a U
???
??<<-=其他,0,1)(b x a a b x f ???
????--=1,,
0)(a b a x x F (2) 指数分布 )(λE
?????>=-其他,
00,)(x e x f x λλ ???≥-<=-0,10,0)(x e x x F x
λ (3) 正态分布 N (μ , σ 2 )
+∞<<∞-=
--
x e x f x 2
22)(21
)(σμσ
π ?
∞
---
=
x
t t e
x F d 21
)(2
22)(σμσ
π
N (0,1) — 标准正态分布
+∞<<∞-=
-
x e x x 2
221
)(π
? +∞<<∞-=
Φ?
∞
--
x t e
x x t d 21)(2
2π
2、连续型随机变量函数的分布： （1）分布函数法；(){
}?
?
<==
∈=y
x g X l X y Y dx x f dx x f l X P y F y
)()()(
（2）设随机变量X 具有概率密度f X (x )，又设函数g(x )处处可导且恒有g '(x )>0 (或恒有
g '(x )<0) ，则Y=g(X )的概率密度为()()[]()
??
?<<'=其他
β
αy y h y h f y f X Y 其中x =h(y )为
y =g(x )的反函数，()()()()()()∞+∞-=∞+∞-=g g g g ,m ax ,,m in βα 3、 二维连续型随机变量 （1）联合分布函数为dudv v u f y x F y x ??
∞-∞-=
),(),(函数 f (x ,y )称为二维向量(X ,Y )的(联合)
概率密度. 其中： 0),(≥y x f ，
??
∞
∞-∞
∞
-=1),(dxdy y x f
（2）基本二维连续型随机向量分布
均匀分布：???
??∈=其他
),(1),(G y x A
y x f
二维正态分布：
+∞
<<-∞+∞<<∞--=
-+------
y x e
y x f y y x x ,121
),(])())((2)([)1(21
2
2122
22212121212σμσσμμρσμρρ
σπσ
3、离散型边缘分布律：
4、 连续型边缘概率密度
,),()(dy y x f x f X ?∞+∞
-= dx y x f y f Y ?
∞+∞
-=),()(
F (x ，y )=F x (x )F Y (y ) 则称随机变量X 和Y 是相互独立的
3、连续型随机变量独立的等价条件 设(X ，Y )是连续型随机变量，f (x ，y )，f x (x )，f Y (y )分别为(X ，Y )的概率密度和边缘概率密度，则X 和Y 相互独立的充要条件是等式 f (x ，y ) = f x (x )f Y (y ) 对f (x ，y )，f x (x )，f Y (y )的所有连续点成立. 五、条件分布
1、离散型随机变量的条件分布律： （3）条件分布函数：
2、连续型随机变量的条件分布 （1）条件分布函数?
?∞
-∞
-==
x Y Y X Y x Y X du y f y u f y x F y f du y u f y x F )
()
,()|()
(),()|(||或写成， （2）条件概率密度
在Y=y 条件下X 的条件概率密度)()
,()|(|y f y x f y x f Y Y X =
同理 X=x 条件下X 的条件概率密度)
()
,()|(|x f y x f x y f X X Y =
六、多维随机函数的分布
1、离散型随机变量函数分布：
二项分布：设X 和Y 独立,分别服从二项分布b (n 1,p ), 和b (n 2,p )，则 Z=X+Y 的分布律：Z ～b (n 1+n 2,p ).
泊松分布：若X 和Y 相互独立,它们分别服从参数为21,λλ的泊松分布,则Z=X+Y 服从参数为
21λλ+的泊松分布。
2、连续型随机变量函数分布： （1）Z=X+Y ?
∞+∞
--=dy y y z f z f Z ),()(或?
∞+∞
--=dx x z x f z f Z ),()(
若X 和Y 相互独立时，
?
?
∞+∞
-∞+∞
--=-=dx x z f x f z f dy y f y z f z f Y X Z Y X Z )()()()()()(；
正态分布的特点：
a 设X,Y 相互独立且X ~N(μ1，σ12)，Y ~N(μ2，σ22经过计算知Z=X+Y 仍然服从正态分布,且有Z ~N(μ1+μ2，σ12+σ22).
b 若X ~N(μ,σ2)，则)1,0(~*
N X X σ
μ
-=
c 若X ~N(μ,σ2)，则()),(~2
12121σμk k k N k X k Y ++=
（2）M=max(X,Y) N=min(X,Y)的分布
设X,Y 是两个相互独立的随机变量,它们的分布函数分别为Fx(x )和F Y (y ) M=max(X,Y)：
)()()(max z F z F z F Y X =
N=min(X,Y)：)](1)][(1[1)(min z F z F z F Y X ---= (2)几种常见分布的数学期望
i. X 服从参数为p 的(0,1)分布：E (X )=0×(1-p )+1×p=p ii. 若X ~b (n,p ),则E (X )=np iii.若X ~π(λ)，则 E (X )=λ
2、连续型随机变量的数学期望
(1)定义：
.
d )()(.)(,d )(,d )(,)(?
?
?
∞
+∞
-∞+∞
-∞
+∞
-=
x x f x X E X E X x x f x x
x f x x f X 即
记为的数学期望的值为随机变量
则称积分绝对收敛积分
若
的概率密度为设连续型随机变量
(2)几个常见连续型随机变量的数学期望
i.若X ~U(a,b),则E(X)=(a+b)/2 ii. 若X ~N(μ,σ2)，则E(X)=μ
iii.若X 服从指数分布 ?
??≤>=-000
)(x x e x f x αα ，则E(X)=1/α
3、函数 Y = g (X ) 的数学期望
(1)离散型：离散型变量X 的概率分布为Λ,2,1,)(===i p x X P i i 若无穷级数
∑∞
=1
)(i i
i
p
x g 绝对收敛，则∑∞
==
1
)()(i i
i
p
x g Y E 。
(2)连续型：连续型随机变量X 的 概率密度为f (x )，若广义积分?
+∞
∞
-dx x f x g )()(绝对收敛，
则?
+∞
∞
-=
dx x f x g Y E )()()(。
4、数学期望的性质：
i C 为常数,则有E(C)=C ；
ii 设X 是一个随机变量，C 常数，则有E(CX)=CE(X)； iii 设X ，Y 是两个随机变量，则有 E(X+Y)=E(X)+E(Y)
这一性质可以推广到任意有限个随机变量之和的情况:
)()()()(2121n n X E X E X E X X X E +++=+++ΛΛ
iv 设X ，Y 是相互独立的随机变量，则有:E(XY)=E(X)E(Y)
这一性质可以推广到任意有限个相互独立的随机变量之积的情况
)()()()(2121n n X E X E X E X X X E ΛΛ=???
二、方差
1、定义：设X 是一个随机变量，若}])([{2
X E X E -存在，则称}])([{2
X E X E -为X 方差，记为D(X)或Var(X).称它的平方根为标准差，记作(X)
2、计算方法：
??
?≤>=-000)(x x e x f x αα
(1)用定义：离散型：,)]([)(1
2k k k
p X E x
X D ∑+∞
=-=
连续型：,d )()]([)(2x x f X E x X D ?
+∞
∞
--=
(2)用公式：.)]([)()(2
2
X E X E X D -=
3、方差的性质
(1) 设C 是常数，则D(C)=0；
(2) 设X 是随机变量，a 是常数，则D(a X)=a 2D(X),从而 D(a X+b)=a 2D(X)； (3) 设X ，Y 是两个相互独立的随机变量，则有D(X ±Y)=D(X)+D(Y)； (4) 对任意常数C, D (X ) ≤ E (X – C )2 , 当且仅当 C = E (X )时等号成立
(5) D (X ) = 0 则P (X = E (X ))=1称为X 依概率 1 等于常数 E (X ) 4、常见分布的方差
(1) (0-1)分布，其分布律为P{X=0}=1-p ，P{X=1}=p,则D(X)=p(1-p)
(2)二项分布 X ~b (n ,p ),，其分布律为.,....,2,1,0}{n k q
p C k X P k
n k k n ===-则
E(X)=n p ,D(X)=n pq
(3)泊松分布 X ~π(λ),其分布律为,.....2,1,0!
}{===-k k e k X P k λ
λ 则
E(X)=λ, D(X)=λ
(4)均匀分布 X 在区间(a ，b)均匀分布E(X)=(a+b)/2， .12
)()(2
a b X D -=
(5)正态分布X ~N(μ,σ2)，(),21
)(2
2
2σμσ
π--=x e
x f E(X)=μ，D(X)=σ2.
5、契比雪夫不等式：设随机变量X 的期望和方差都存在，且 E(X)=μ,D(X)=σ2，则对任意
的ε>0,有.}|{|22
ε
σεμ≤≥-X P
6、矩的概念：
(1)设X 和Y 是随机变量，若)(k
X E 存在，Λ,2,1=k 称为k 阶原点矩，简称k 阶矩。 (2)若Λ,3,2,})]({[=-k X E X E k
存在，称为k 阶中心矩。
(3)若Λ,2,1,,
)(=l k Y X E l
k
存在，称为k+l 阶混合矩。
(4)若Λ,2,1,,})]([)]({[=--l k Y E Y X E X E l
k
存在，称为k+l 阶混合中心矩。
7、标准化随机变量 设随机变量 X 的期望E (X )、方差D (X )都存在, 且D (X ) ≠ 0, 则称
)
()(X D X E X X -=
*为 X 的标准化随机变量，显然，1)(,0)(==*
*X D X E
三、协方差和相关系数 1、协方差
(1)定义：E{[X-E(X)][Y-E(Y)]}称为随机变量X 与Y 的协方差，记为Cov(X ，Y)，即 Cov(X ，Y)= E{[X-E(X)][Y-E(Y)]}。 离散型：ij
i
i j i
p
Y E y X E x Y X Cov ?--=
∑∑∞=∞
=)]([)]([),(11
连续型：ij
i
i j i
p
Y E y X E x Y X Cov ?--=
∑∑∞
=∞
=)]([)]([),(11
(2)关系公式:
i 协方差与方差的关系：D(X+Y)=D(X)+D(Y)+2Cov(X ，Y) ii 协方差与数学期望的关系：Cov(X ，Y)= E(XY)-E(X)E(Y) iii 若X ，Y 独立，则Cov(X ，Y)=0,但反之不成立。
(3)协方差的性质 Cov(X ，Y)= Cov(Y ，X)；Cov(a X ，b Y)= ab Cov(X ，Y)； Cov(X 1+X 2，Y)= Cov(X 1，Y)+ Cov(X 2，Y) 2、相关系数
(1)定义：若Cov(X ，Y)存在，并且D(X)、D(Y)存在且不为零，则称
)
()()
,(Y D X D Y X Cov XY ?=
ρ为随机变量X 与Y 的相关系数。
(2)性质：i |ρXY |≦1 ii |ρXY |=1 ? 存在常数a ,b 使P{Y=a X+b }=1. 3、利用相关系数计算协方差
)]()()([2
1
),(Y D X D Y X D Y X Cov --+=)()()(Y E X E XY E ?-=)()(Y D X D XY ??=ρ
4、不相关：若X 与Y 的相关系数ρXY =0，则称X 与Y 不相关。假设随机变量X ，Y 的相关系数ρXY 存在，当X 与Y 相互独立时,ρXY =0,即X 与Y 不相关，反之若X 与Y 不相关，X 与Y 却不一定相互独立。
5、协方差矩阵
i 定义：对于n 维随机向量(X 1,X 2,…,Xn),把向量(X 1,X 2,…,Xn)用列向量形式表示并记为X ，即X=(X 1,X 2,…,Xn)'设X=(X 1,X 2,…,Xn)' 为n 维随机向量,并记μi =E(X i )()n j i X X Cov C j i ij ,,2,1,)
,(Λ==
则称μ=(μ1,μ2,…,μn)'为向量X 的数学期望或均值，称矩阵 ????
??
?
??=nn n n n n C C C
C C C C C C C Λ
M ΛM M ΛΛ2
1222
21112
11为向量X 的协方差矩阵。 ii 性质：
(1)协方差矩阵对角线上的元素C ii 为X i 的方差即C ii =D(X i ) i =1，2…，n ； (2)协方差矩阵C 为对称矩阵,即C ij =C ji ,i ，j =1，2，…，n ；
(3)C 为非负定矩阵,即对于任意实向量t=(t 1，t 2，…，t n )',有t 'Ct ≥0； 6、多维正态分布及其性质
(1)定义：若n 维随机向量X=(X 1，…，Xn)的概率密度为
()()})(21exp{|
|21
),,,(12
/12/21μμπ-'--=
-x C x C x x x f n n Λ其中X=(X 1，…，Xn)',μ=(μ1，μ2，…，μn)'为n 维实向量，C 为n 阶正定对称矩阵，则称向量X=(X 1，…，Xn)'服从n 维正态分布，
记为X ～N(μ,C) .对于n 维正态分布X ～N(μ,C) ，X 的期望为μ，X 的协方差矩阵为C 。 (2) 性质 n 维正态分布具有下述性质：
I n 维随机向量(X 1，…，X n )服从n 维正态分布的充要条件是X 1，…，Xn 的任意线性组合 l 1X 1+l 2X 2+…+l n X n (l 1,l 2,…,l n 不全为0 )服从一维正态分布。 Ii 若X=(X 1,…,Xn)'～N(μ,C)，设Y=(Y 1,Y 2,…,Ym)'=AX,即Y i 为X j (j=1，2，…，n)的线性函数,i =1，2，…，m ，则Y ～N(A ?μ，ACA ')，其中A 为－m 行n 列且秩为m 的矩阵。
iii 设(X 1，…，Xn)服从n 维正态分布，则“X 1，…，Xn 相互独立”与“X 1，…，Xn 两两不相关”是等价的。
第五章 大数定律与中心极限定理 一、大数定律： 1、定义1：设X 1,X 2,…,X n ,…为一随机变量序列,如果对于任意正整数k(k ≥2)及任意k 个随机变量k i i i X X X Λ,,21相互独立，则称随机变量序列X 1,X 2,…,X n ,…相互独立。 定义2：设{X n }是一随机变量序列，若对任意ε>0，有{}lim 1,
n n P X X ε→+∞-<=则称随机变量序列{X n }
依概率收敛于随机变量X 。常记为
.
P
n X X ??→
定义3设{X n }为一随机变量序列,E(X n
)存在，若
()11111,2,n n
i
i i i X E X n n n ==-=???
∑∑依概率收敛
于零，即对任意ε> 0，有 ()1111lim 1,n n
i i n i i P X E X n n ε→+∞==??-<=????∑∑则称
随机变量序列{X n }服从（弱）大数定律。
2、几个常见的大数定理： 定理1（契比雪夫大数定律）设 X 1,X 2, …是相互独立的随机变量序列，且有常数C ，使得即 D (X i )
≤C ，i =1,2, …，则{X n }服从大数定律。即对任意ε> 0，有 ∑∑==∞→=<-n i n i i i n X E n X n P 11
1}|)(11{|lim ε
推论（契比雪夫大数定律的特殊情况）设X 1,X 2, …X n ， … 独立同分布，且E (X i ) =
μ，D (X i )=
2
σ， i =1,2,…, 则对任给 ε >0,
1}|1{|lim 1=<-∑=∞→εμn
i i n X n P
定理2 贝努利大数定律 (贝努利定理) 设n A 是n 重贝努利试验中事件A 发生的次数，p 是事件A 发生的概率，则对任给的ε> 0，有 贝努利大数定律表明，当重复试验次数n 充分大时，事件A 发生的频率n A /n 与事件A 的概率p 有较大偏差的概率很小。
lim 1.A n n P p n ε→+∞??
-<=????
二、中心极限定理
定理1（独立同分布下的中心极限定理/ Levy-Lindberg ）
设X1,X2, …是独立同分布的随机变量序列，且E(X i)= μ，D(X i)= 2σ，i=1,2,…，则
2
2
1
lim
x
n x
n
i
P x e dx
-
-∞
→+∞
=
??
≤=
??
??
?
dt
e
x
t
?∞--
=2
2
2
1
π
定理2 (棣莫佛－拉普拉斯定理）设随机变量
n
Y服从参数n, p(0 x，有} ) 1( { lim x p np np Y P n n ≤ - - ∞ → dt e x t ?∞-- =2 2 2 1 π 中心极限定理中典型的问题 (1)设随机变量X1，X2，…,相互独立同分布，E(X k)=μ，D(X k)=σ2≠0,(k=1,2,…),由定理1，当n 充分大时， σ μ n n X n k k - ∑ =1近似服从标准正态分布。 (2)设ηn~b(n,p), 由定理2, 当n充分大时，() p np np n - - 1 η 近似服从标准正态分布。