??=∈D
dxdy y x f D Y X P ,),(}),{(
则称ξ为连续型随机向量；并称f(x,y)为ξ=（X ，Y ）的分布密度或称为X 和Y 的联合分布密度。
分布密度f(x,y)具有下面两个性质： （1） f(x,y)≥0; （2）
??
+∞∞-+∞
∞
-=.1),(dxdy y x f
（2）二维随机变量的本质 )(),(y Y x X y Y x X =====I ξξ
（3）联合分布函数
设（X ，Y ）为二维随机变量，对于任意实数x,y,二元函数
},{),(y Y x X P y x F ≤≤=
称为二维随机向量（X ，Y ）的分布函数，或称为随机变量X 和Y 的联合分布函数。
分布函数是一个以全平面为其定义域，以事件
})(,)(|),{(2121y Y x X ≤<-∞≤<-∞ωωωω的概率为函数值的一个实值函
数。分布函数F(x,y)具有以下的基本性质： （1）;1),(0≤≤y x F
（2）F （x,y ）分别对x 和y 是非减的，即
当x 2>x 1时，有F （x 2,y ）≥F(x 1,y);当y 2>y 1时，有F(x,y 2) ≥F(x,y 1); （3）F （x,y ）分别对x 和y 是右连续的，即
);0,(),(),,0(),(+=+=y x F y x F y x F y x F
（4）.1),(,0),(),(),(=+∞+∞=-∞=-∞=-∞-∞F x F y F F （5）对于，，2121y y x x <<
0)()()()(11211222≥+--y x F y x F y x F y x F ，，，，.
（4）离散
型与连续型的关系
dxdy y x f dy y Y y dx x X x P y Y x X P )()()(，，，≈+≤<+≤<≈==
（5）边缘分布
离散型 X 的边缘分布为
),2,1,()(Λ====∑?j i p x X P P ij j
i i ；
Y 的边缘分布为
),2,1,()(Λ====∑?j i p y Y P P ij i
j j 。
连续型 X 的边缘分布密度为
?+∞
∞
-=；dy y x f x f X ),()(
Y 的边缘分布密度为
.),()(?
+∞∞
-=dx y x f y f Y
（6）条件分布
离散型
在已知X=x i 的条件下，Y 取值的条件分布为
；
?=
==i ij i j p p x X y Y P )|( 在已知Y=y j 的条件下，X 取值的条件分布为
,)|(j
ij j i p p y Y x X P ?=
==
连续型
在已知Y=y 的条件下，X 的条件分布密度为
)
()
,()|(y f y x f y x f Y =
； 在已知X=x 的条件下，Y 的条件分布密度为
)
()
,()|(x f y x f x y f X =
（7）独立性
一般型 F(X,Y)=F X (x)F Y (y)
离散型
j i ij p p p ??=
有零不独立
连续型
f(x,y)=f X (x)f Y (y) 直接判断，充要条件： ①可分离变量
②正概率密度区间为矩形
二维正态分布
,121
),(2222121211221))((2)1(21
2
???
?
???????
?
?
?-+---???? ??---
-=
σμ
σσμμρσμρρ
σπσy y x x e
y x f
ρ＝0
随机变量的函数
若X 1,X 2,…X m ,X m+1,…X n 相互独立， h,g 为连续函数，则： h （X 1，X 2,…X m ）和g （X m+1,…X n ）相互独立。
特例：若X 与Y 独立，则：h （X ）和g （Y ）独立。 例如：若X 与Y 独立，则：3X+1和5Y-2独立。
均匀分布
???
???
?∈=其他
,0),(1),(D
y x S y x f D
其中S D 为区域D 的面积，则称（X ，Y ）服从D 上的均匀分布，记为（X ，Y ）～U （D ）。
例如图3.1、图3.2和图3.3。
y
1
D 1 O 1
x
图3.1
y
1
O
2 x
图3.2
y d
c
O a b x
图3.3
D 2
1
D 3
正态分布
,121
),(2222121211221))((2)1(21
2
???
?
???????
?
?
?-+---???? ??---
-=
σμ
σσμμρσμρρ
σπσy y x x e
y x f
其中1||,0,0,21,21<>>ρσσμμ是5个参数，则称（X ，Y ）服从二维正态分布，
记为（X ，Y ）～N （).,,,2
221,21ρσσμμ
由边缘密度的计算公式，可以推出二维正态分布的两个边缘分布仍为正态分布，
即X ～N （).(~),,2
2,2211σμσμN Y
但是若X ～N （)(~),,22,2211σμσμN Y ，(X ，Y)未必是二维正态分布。
（10）函数
分布
Z=X+Y
根据定义计算：)()()(z Y X P z Z P z F Z ≤+=≤=
对于连续型，f Z (z)＝
dx x z x f ?+∞
∞
--),(
两个独立的正态分布的和仍为正态分布（2
22
121,σσμμ++）。 n 个相互独立的正态分布的线性组合，仍服从正态分布。
∑=i
i i C μμ， ∑=i
i i C 222σσ
Z=max,min(
X 1,X 2,…X n )
若n X X X Λ21,相互独立，其分布函数分别为
)()()(21x F x F x F n x x x Λ，，则Z=max,min(X 1,X 2,…X n )的分布
函数为：
)()()()(21max x F x F x F x F n x x x Λ?=
)](1[)](1[)](1[1)(21min x F x F x F x F n x x x --?--=Λ
2χ分布 设n 个随机变量n X X X ,,,21Λ相互独立，且服从标准正态分布，可以证明它们的平方和
∑==n
i i X W 1
2
的分布密度为
???????<≥??? ??Γ=--.
0,
0,
0221
)(2122u u e u n u f u n n
我们称随机变量W 服从自由度为n 的2
χ分布，记为W ～)(2
n χ，
其中
.20
12dx e x n x
n
-∞+-?=??? ??Γ 所谓自由度是指独立正态随机变量的个数，它是随机变量分布中的一个重要参数。
2χ分布满足可加性：设
),(2i i n Y χ-
则
).(~211
2k k
i i n n n Y Z +++=∑=Λχ
t 分布 设X ，Y 是两个相互独立的随机变量，且
),(~),1,0(~2n Y N X χ
可以证明函数
n
Y X T /=
的概率密度为
2
121221)(+-
???
? ?
?+??
?
??Γ?
?? ??+Γ=n n t n n n t f π
).(+∞<<-∞t
我们称随机变量T 服从自由度为n 的t 分布，记为T ～t(n)。
)()(1n t n t αα-=-
F 分布
设)(~),(~22
12n Y n X χχ，且X 与Y 独立，可以证明
2
1
//n Y n X F =
的概率密度函数为 ???
?
?
????<≥???
? ??+???
?
????? ??Γ??? ??Γ???
??+Γ=+-
-0
,00
,1222)(2
2112
2
2
121212
111y y y n n y n n n n n n y f n n n n
我们称随机变量F 服从第一个自由度为n 1，第二个自由度为n 2的F 分布，记为F ～f(n 1, n 2).
)
,(1
),(12211n n F n n F αα=
-
第四章 随机变量的数字特征
（1）一维随机变量的数字特征
离散型
连续型
期望
期望就是平均值
设X 是离散型随机变量，其分布律为P(k x X =)＝p k ，k=1,2,…,n ，
∑==n
k k k p x X E 1
)(
（要求绝对收敛）
设X 是连续型随机变量，其概率密
度为f(x)，
?+∞
∞
-=
dx x xf X E )()(
（要求绝对收敛）
函数的期望
Y=g(X)
∑==n
k k k p x g Y E 1
)()(
Y=g(X)
?+∞
∞
-=
dx x f x g Y E )()()(
方差
D(X)=E[X-E(X)]2
， 标准差
)()(X D X =σ，
∑-=k
k k p X E x X D 2)]([)(
?+∞
∞
--=dx x f X E x X D )()]([)(2
矩
①对于正整数k ，称随机变量X 的k 次幂的数学期望为X 的k 阶原点矩，记为v k ,即
νk =E(X k
)=
∑i
i k i
p x
,
k=1,2, ….
②对于正整数k ，称随机变量X 与E （X ）差的k 次幂的数学期望为X 的k 阶中心矩，记为k μ，即
.
))((k
k X E X E -=μ
=
∑-i
i
k i
p X E x
))((，
k=1,2, ….
①对于正整数k ，称随机变量X 的k 次幂的数学期望为X 的k 阶原点矩，记为v k ,即 νk =E(X k
)=
?
+∞
∞
-,)(dx x f x k
k=1,2, ….
②对于正整数k ，称随机变量X 与E （X ）差的k 次幂的数学期望为X
的k 阶中心矩，记为k μ，即 .
))((k
k X E X E -=μ
=
?
+∞
∞
--,)())((dx x f X E x k
k=1,2, ….
切比雪夫不等式
设随机变量X 具有数学期望E （X ）=μ，方差D （X ）=σ2
，则对于任意正数ε，有下列切比雪夫不等式
22
)(ε
σεμ≤≥-X P
切比雪夫不等式给出了在未知X 的分布的情况下，对概率
)(εμ≥-X P
的一种估计，它在理论上有重要意义。
（2）期望的性质
（1） E(C)=C
（2） E(CX)=CE(X)
（3） E(X+Y)=E(X)+E(Y)，∑∑===n
i n
i i i i
i X E C X
C E 1
1
)()(
（4） E(XY)=E(X) E(Y)，充分条件：X 和Y 独立； 充要条件：X 和Y 不相关。
（3）方差的性质
（1） D(C)=0；E(C)=C
（2） D(aX)=a 2
D(X)； E(aX)=aE(X)
（3） D(aX+b)= a 2
D(X)； E(aX+b)=aE(X)+b
（4） D(X)=E(X 2)-E 2
(X)
（5） D(X ±Y)=D(X)+D(Y)，充分条件：X 和Y 独立； 充要条件：X 和Y 不相关。
D(X ±Y)=D(X)+D(Y) ±2E[(X-E(X))(Y-E(Y))]，无条件成立。
而E(X+Y)=E(X)+E(Y)，无条件成立。 （4）常见分布
期望
方差
0-1分布),1(p B
p
)1(p p -
的期望和方差
二项分布)
,
(p
n
B np )
1(p
np-泊松分布)
(λ
Pλλ几何分布)
(p
G
p
1
2
1
p
p
-
超几何分布)
,
,
(N
M
n
H
N
nM
?
?
?
?
?
-
-
?
?
?
?
?
-
1
1
N
n
N
N
M
N
nM 均匀分布)
,
(b
a
U
2
b
a+
12
)
(2
a
b-指数分布)
(λ
e
λ
1
2
1
λ
正态分布)
,
(2
σ
μ
Nμ2σ
分布
2
χn 2n
t分布0
2
-
n
n
(n>2)
（5）二维随机变量的数字特征期望
∑
=
?
=
n
i
i
i
p
x
X
E
1
)
(
∑
=
?
=
n
j
j
j
p
y
Y
E
1
)
(
?+∞
∞
-
=dx
x
xf
X
E
X
)
(
)
(
?+∞
∞
-
=dy
y
yf
Y
E
Y
)
(
)
(
函数的期望
)]
,
(
[Y
X
G
E＝
∑∑
i j
ij
j
i
p
y
x
G)
,
(
)]
,
(
[Y
X
G
E＝
??
+∞
∞
+∞
∞
－－
dxdy
y
x
f
y
x
G)
,
(
)
,
(
方差
∑?
-
=
i
i
i
p
X
E
x
X
D2)]
(
[
)
(
∑?
-
=
j
j
j
p
Y
E
x
Y
D2)]
(
[
)
(
?+∞
∞
-
-
=dx
x
f
X
E
x
X
D
X
)
(
)]
(
[
)
(2
?+∞
∞
-
-
=dy
y
f
Y
E
y
Y
D
Y
)
(
)]
(
[
)
(2
协方差
对于随机变量X 与Y ，称它们的二阶混合中心矩11μ为X 与Y 的协方差或相关矩，记为),cov(Y X XY 或σ，即
))].())(([(11Y E Y X E X E XY --==μσ
与记号XY σ相对应，X 与Y 的方差D （X ）与D （Y ）也可分别记为XX σ与YY σ。
相关系数
对于随机变量X 与Y ，如果D （X ）>0, D(Y)>0，则称
)
()(Y D X D XY
σ
为X 与Y 的相关系数，记作XY ρ（有时可简记为ρ）。
|ρ|≤1，当|ρ|=1时，称X 与Y 完全相关：1)(=+=b aY X P
完全相关??
?<-=>=，
时负相关，当，
时正相关，当)0(1)0(1a a ρρ
而当0=ρ时，称X 与Y 不相关。 以下五个命题是等价的： ①0=XY ρ； ②cov(X,Y)=0; ③E(XY)=E(X)E(Y); ④D(X+Y)=D(X)+D(Y); ⑤D(X-Y)=D(X)+D(Y).
协方差矩阵
???
?
??YY YX XY XX σσσσ 混合矩
对于随机变量X 与Y ，如果有)(l
k
Y X E 存在，则称之为X 与Y 的
k+l 阶混合原点矩，记为kl ν；k+l 阶混合中心矩记为：
].))(())([(l k kl Y E Y X E X E u --=
（6）
协方差的性质
(i) cov (X, Y)=cov (Y, X); (ii) cov(aX,bY)=ab cov(X,Y);
(iii) cov(X 1+X 2, Y)=cov(X 1,Y)+cov(X 2,Y); (iv)
cov(X,Y)=E(XY)-E(X)E(Y).
（7）独立和不相关（i）若随机变量X与Y相互独立，则0
=
XY
ρ；反之不真。（ii）若（X，Y）～N（ρ
σ
σ
μ
μ,
,
,
,2
2
2
1
2
1
），
则X与Y相互独立的充要条件是X和Y不相关。
第五章大数定律和中心极限定理
（1）大数定律
μ
→
X 切比雪
夫大数
定律
设随机变量X1，X2，…相互独立，均具有有限方差，且被同一
常数C所界：D（X i）.1
)
(
1
1
lim
1
1
=
??
?
?
?
?
<
-∑
∑
=
=
∞
→
ε
n
i
i
n
i
i
n
X
E
n
X
n
P
特殊情形：若X1，X2，…具有相同的数学期望E（X I）=μ，则上式成为
.1
1
lim
1
=
??
?
?
?
?
<
-
∑
=
∞
→
ε
μ
n
i
i
n
X
n
P
伯努利
大数定
律
设μ是n次独立试验中事件A发生的次数，p是事件A在每次试验中发生的概率，则对于任意的正数ε，有
.1
lim=
??
?
?
?
?
<
-
∞
→
ε
μ
p
n
P
n
伯努利大数定律说明，当试验次数n很大时，事件A发生的频率与概率有较大判别的可能性很小，即
.0
lim=
??
?
?
?
?
≥
-
∞
→
ε
μ
p
n
P
n
这就以严格的数学形式描述了频率的稳定性。
辛钦大
数定律
设X1，X2，…，X n，…是相互独立同分布的随机变量序列，且E
（X n）=μ，则对于任意的正数ε有
.1
1
lim
1
=
??
?
?
?
?
<
-
∑
=
∞
→
ε
μ
n
i
i
n
X
n
P
（2）中心极限定理
),
(2
n
N X σμ→
列维－林德伯格定理
设随机变量X 1，X 2，…相互独立，服从同一分布，且具有相同的数学期望和方差：),2,1(0)(,)(2Λ=≠==k X D X E k k σμ，则随机变量
σ
μ
n n X
Y n
k k
n ∑=-=
1
的分布函数F n (x )对任意的实数x ，有
?
∑∞
--
=∞
→∞→=???
?
???
???????≤-=x
t n k k n n n dt e
x n n X P x F .21lim )(lim 2
12πσμ
此定理也称为独立同分布的中心极限定理。
棣莫弗
－拉普拉斯定理
设随机变量n X 为具有参数n, p(0?
∞
--
∞
→=??
?
???????≤--=x
t n n dt e
x p np np X P .21)1(lim 2
2
π
（3）二项定理
若当),(,
不变时k n p N
M
N →∞→，则 k n k k n n
N
k n M
N k M p p C C C C ----→)1( ).(∞→N
超几何分布的极限分布为二项分布。
（4）泊松定理
若当0,>→∞→λnp n 时，则
λλ--→
-e k p p C k
k
n k k n
!
)
1(
).(∞→n
其中k=0，1，2，…，n ，…。 二项分布的极限分布为泊松分布。
第六章 样本及抽样分布
（1）数理统计的基本概念
总体
在数理统计中，常把被考察对象的某一个（或多个）指标的全体称为总体（或母体）。我们总是把总体看成一个具有分布的随机变量（或随机向量）。 个体
总体中的每一个单元称为样品（或个体）。
样本
我们把从总体中抽取的部分样品n x x x ,,,21Λ称为样本。样本中所含的样品数称为样本容量，一般用n 表示。在一般情况下，总是把样本看成是n 个相互独立的且与总体有相同分布的随机变量，这样的样本称为简单随机样本。在泛指任一次抽取的结果时，n x x x ,,,21Λ表示n 个随机变量（样本）；在具体的一次抽取之后，n x x x ,,,21Λ表示n 个具体的数值（样本值）。我们称之为样本的两重性。
样本函数和
统计量
设n x x x ,,,21Λ为总体的一个样本，称
??= （n x x x ,,,21Λ）
为样本函数，其中?为一个连续函数。如果?中不包含任何未知参数，则称?（n x x x ,,,21Λ）为一个统计量。
常见统计量及其性质
样本均值
.11
∑==n
i i x n x
样本方差
∑=--=n
i i
x x n S 1
2
2.)(11 样本标准差
.)(111
2∑=--=n
i i x x n S 样本k 阶原点矩
∑===n i k
i k k x n M 1
.,2,1,1Λ
样本k 阶中心矩
∑==-='n
i k i k
k x x n M 1.,3,2,)(1Λ μ=)(X E ，n
X D 2
)(σ=
，
22)(σ=S E ，2
21)*(σn
n S E -=
, 其中∑=-=n i i X X n S 1
2
2
)(1*，为二阶中心矩。
（2）正态总体下的四大分布正态分布
设
n
x
x
x,
,
,
2
1
Λ为来自正态总体)
,
(2
σ
μ
N的一个样本，则样本函数
).1,0(
~
/
N
n
x
u def
σ
μ
-
t分布
设
n
x
x
x,
,
,
2
1
Λ为来自正态总体)
,
(2
σ
μ
N的一个样本，则样本函数
),1
(
~
/
-
-
n
t
n
s
x
t def
μ
其中t(n-1)表示自由度为n-1的t分布。
分布
2
χ设
n
x
x
x,
,
,
2
1
Λ为来自正态总体)
,
(2
σ
μ
N的一个样本，则样本函数
),1
(
~
)1
(
2
2
2
-
-
n
S
n
w defχ
σ
其中)1
(2-
n
χ表示自由度为n-1的2χ分布。
F分布
设
n
x
x
x,
,
,
2
1
Λ为来自正态总体)
,
(2
1
σ
μ
N的一个样本，而
n
y
y
y,
,
,
2
1
Λ为来自正态总体)
,
(2
2
σ
μ
N的一个样本，则样本函数
),1
,1
(
~
/
/
2
1
2
2
2
2
2
1
2
1-
-n
n
F
S
S
F def
σ
σ
其中
,
)
(
1
1
2
1
1
2
1
1
∑
=
-
-
=
n
i
i
x
x
n
S;
)
(
1
1
2
1
2
2
2
2
∑
=
-
-
=
n
i
i
y
y
n
S
)1
,1
(
2
1
-
-n
n
F表示第一自由度为1
1
-
n，第二自由度为
1
2
-
n的F分布。
（3）正态
总体下分
布的性质
X与2S独立。
第七章参数估计
（1）点估计矩估计
设总体X的分布中包含有未知数
m
θ
θ
θ,
,
,
2
1
Λ，则其分布函数可以表成
).
,
,
,
;
(
2
1m
x
Fθ
θ
θΛ它的k阶原点矩)
,
,2,1
)(
(m
k
X
E
v k
k
Λ
=
=中也
包含了未知参数
m
θ
θ
θ,
,
,
2
1
Λ，即)
,
,
,
(
2
1m
k
k
v
vθ
θ
θΛ
=。又设
n
x
x
x,
,
,
2
1
Λ为总体X的n个样本值，其样本的k阶原点矩为
∑
=
n
i
k
i
x
n1
1
).
,
,2,1
(m
kΛ
=
这样，我们按照“当参数等于其估计量时，总体矩等于相应的样本矩”
的原则建立方程，即有
?
?
?
?
?
?
?
??
?
?
?
?
?
?
=
=
=
∑
∑
∑
=
∧
∧
∧
=
∧
∧
∧
=
∧
∧
∧
n
i
m
i
m
m
n
i
i
m
n
i
i
m
x
n
v
x
n
v
x
n
v
1
2
1
1
2
2
1
2
1
2
1
1
.
1
)
,
,
,
(
,
1
)
,
,
,
(
,
1
)
,
,
,
(
θ
θ
θ
θ
θ
θ
θ
θ
θ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
Λ
由上面的m个方程中，解出的m个未知参数)
,
,
,
(
2
1
∧
∧
∧
m
θ
θ
θΛ即为参数
（
m
θ
θ
θ,
,
,
2
1
Λ）的矩估计量。
若
∧
θ为θ的矩估计，)
(x
g为连续函数，则)?(θ
g为)
(θ
g的矩估计。
极大似然估计
当总体X为连续型随机变量时，设其分布密度为
)
,
,
,
;
(2
1m
x
fθ
θ
θΛ，其中
m
θ
θ
θ,
,
,2
1
Λ为未知参数。又设n
x
x
x,
,
,2
1
Λ为总体的一个样本，称
)
,
,
,
;
(
)
,
,
,
(
1
1
12
2∏==
n
i
m
i
m
x
f
Lθ
θ
θ
θ
θ
θΛ
Λ
为样本的似然函数，简记为L n.
当总体X为离型随机变量时，设其分布律为
)
,
,
,
;
(
}
{2
1m
x
p
x
X
Pθ
θ
θΛ
=
=，则称
)
,
,
,
;
(
)
,
,
,
;
,
,
,
(
1
1
1
12
2
2∏==
n
i
m
i
m
n
x
p
x
x
x
Lθ
θ
θ
θ
θ
θΛ
Λ
Λ
为样本的似然函数。
若似然函数)
,
,
,
;
,
,
,
(
2
21
1m
n
x
x
x
Lθ
θ
θΛ
Λ在m
∧
∧
∧
θ
θ
θ,
,
,2
1Λ处取到最大值，则称m
∧
∧
∧
θ
θ
θ,
,
,2
1Λ分别为mθ
θ
θ,
,
,2
1
Λ的最大似然估计值，相应的统计量称为最大似然估计量。
m
i
L
i
i
i
n,
,2,1
,0
ln
Λ
=
=
?
?
∧
=θ
θ
θ
若
∧
θ为θ的极大似然估计，)
(x
g为单调函数，则)?(θ
g为)
(θ
g的极大似然估计。
（2）估计量的评选标准无偏性
设)
,
,
,
(
2
1n
x
x
xΛ
∧
∧
=θ
θ为未知参数θ的估计量。若E （∧θ）=θ，则称
∧
θ为θ的无偏估计量。
E（X）=E（X）， E（S2）=D（X）
有效性
设)
,
,
,
,
(
2
1
1
1n
x
x
xΛ
∧
∧
=θ
θ和)
,
,
,
,
(
2
1
2
2n
x
x
xΛ
∧
∧
=θ
θ是未知参数θ的两个无偏估计量。若)
(
)
(2
1
∧
∧
<θ
θD
D，则称2
1
∧
∧
θ
θ比有效。
