第八章(第一节矩估计法)

第八章 参数估计

第一节 参数的点估计

在研究总体X 的性质时，如果知道总体X 的概率分布，那是再好不过了。然而，在许多情况下，对总体的情况知道甚少或只知道部分信息。

在实际问题中遇到的许多总体，根据以往的经验和理论分析可以知道总体X 的分布函数的形式，但分布中的一个或几个参数未知，一旦这些参数确定以后，总体X 的概率分布就完全确定了。例如，总体),(~2

σμN X ，但不知道其中参数μ和2

σ的具体数值，我们要想法确定

参数2

,μσ 。

设总体X 的分布函数(;)F x θ形式已知，其中θ是未知参数（也可以是未知向量1

2

(,,,)m

θθθθ=???）。

试问怎样由样本n

X X X ,,,2

1

???提供的 信息，建立样本的函数即统计量来 对未知参数作出估计？

这类问题，称为参数的估计问题。

参数估计主要有参数的点估计和参数的区间估计。

现从总体X 中抽得一个样本 n

X X X ,,,2

1

???,

相应的一个样本值观察值为 n

x x x ,,,2

1

???；

点估计的问题就是要构造一个适当的统计量12?(,,,)n X X X θ???，用它的观察值12?(,,,)n

x x x θ???来估计未知参数θ。

统计量12?(,,,)n X X X θ???称为θ的估计量，12?(,,,)n x x x θ???称为θ的估计值。

在不致混淆的情况下，估计量与估计值统称为估计，并都简记为?θ。

下面介绍参数点估计的两种方法： 矩估计法和极大似然估计。

一、 矩估计法

矩估计是由英国统计学家Pearson,K.于1900年提出的一种参数估计方法，在统计学中有广泛的应用。

例1 若要考察成人的身高分

布情况。

（人类学、遗传变异学、社会学要用。）

每一个人的身高是一个体，全体人的身高构成一个总体。

由于随机因素的影响，不同人的身高一般是不一样的。 由中心极限定理和实际经验知道，人体身高),(~2

σμN X 。

但不知道其中参数μ和2

σ的具体数值。（知道之后，有实践和检验理论的多种用途。）

为了确定一个国家或一个地区内人体的身高总的情况,

自然需要估计一个地区人的平均身高以及身高的差异程度,即要求估计μ和2

σ的值.

为了对参数μ和2

σ进行估计，

我们从一个地区中随机的抽取一批人，进行身高测量。

我们从总体中抽取样本n

X X X ,,,2

1

???（对于一次具体的抽取，它就是具体的数值n

x x x ,,,2

1

???,在不致引起混淆的情况下，今后也用n

x x x ,,,2

1

???表示随机变量），根据样本矩在一定程度上反映了总体矩的特

征，自然想到用样本矩作为总体矩的估计。

于是，我们分别用样本均值和样本方差作为总体均值μ和总体方差2

σ的估计，记为μ?和2

?σ，

即有

X X n

n i i

==∑=1

1

?μ , (8.1)

∑==--=n

i i

S X X n 1

2

2

2

)(1

1?σ ,(8.2)

显然，μ?和2

?σ都是样本n

X X X ,,,2

1

???的函数，是统计量，分别称为μ和2σ的矩估计量。

若n

x x x ,,,2

1

???为样本值（一批次的测量值）, 则把

x x n

n i i

==∑=1

1?μ,

∑==--=n

i i

s x x n 1

2

2

2

)(1

1?σ,

分别作为μ和2

σ的估计值.

对于不同的样本值，估计值也是不同的。实际中，需要进行多批次、分组次、多年代的测量。

通过观测记录，对不同年代、不同地区，人身高的分布和差别都记录下来，得出客观结果，分析其原因，构成科学记载资料数据，积累人类智慧，可被当代人或后代人借鉴引用。

这种用样本矩来估计相应的总体矩的方法，称为矩估计法。

矩估计的一般问题、 理论根据和方法：

设总体X 的分布函数为

),,,;(2

1

m

x F θθθ???,未知参数m

θθθ,,,2

1

???; 问题：试给出参数m

θθθ,,,2

1

???的估计值。

解决办法如下

首先求出总体矩:

12(,,,)k

k k m EX μμθθθ==???,

m k ,,2,1???=；

或 12()(,,,)k

k

k m E X EX ββθθθ=-=???, m k ,,2,1???=;

其次，对总体进行随机抽样，

设n

X X X ,,,2

1

???为来自于总体X 的样本,

n

x x x ,,,2

1

???为样本值(观察值,抽样结果,具体记录下来的一组数).

构造样本矩:

∑==n

i k

i

k

X n

A 1

1

,

k

i

n

i k

X X n

B )(1

1

-=∑=,

2

1

2

)(1

1X X n S i

n

i --=∑= 。

理论上已知，在一定条件下 成立

1

1n P

k k k i k

i A X EX n μ==??→=∑, (∞→n )

或

1

1()()n P

k k k i k

i B X X E X EX n β==-??→-=∑，(∞→n )

于是，

可把 ∑==n

i k

i

k

X n

A 1

1 作为 k

k EX μ=的

近似值,k k A μ≈ ；

即令(人为作出方程组)

12(,,,)k m k A μθθθ???=, m k ,,2,1???=, 或令

1

2

(,,,)k

m

k

B βθθθ???=, m k ,,2,1???=,

得到含m 个未知数的m 个方程式;

解这m 个联列方程组可得到m

θθθ,,,2

1

???的一组解(记为):

12?(,,,)i i m A A A θ?=???,m i ,,2,1???=

则把这组解m

θθθ?,,?,?21???就称作为m

θθθ,,,21???的矩估计量,其观察值称为矩估计值.

矩估计的另一种观点:

首先在方程组

12(,,,)k m k μθθθμ???=,m k ,,2,1???=, 中,求解出解

12(,,,)i i m

θ?μμμ=L ,m i ,,2,1???=;

然后将其中的k μ用k

A 替换,得到

12?(,,,)i i m

A A A θ

?=???, (m i ,,2,1???=) 称12?(,,,)i i m

A A A θ?=??? (m i ,,2,1???=)为i θ(m i ,,2,1???=)的矩估计量;将样本值代入得矩估计值.

根据依概率收敛的随机变量的性质，可知

1212?(,,,)(,,,)P i i m

i m i A A A θ??μμμθ=?????→=L ，(∞→n )。(m i ,,2,1???=)。

(或从方程组

1

2

(,,,)k

m

k

βθθθβ???=, m k ,,2,1???=, 中,求解出解

1

2

(,,,)i

i

m

θψβββ=???,m i ,,2,1???=; 将其中的k

β用k B 替换,得到

12?(,,,)i i m B B B θψ=???, (m i ,,2,1???=) 称12?(,,,)i i m B B B θψ=???

(m i ,,2,1???=)为i θ(m i ,,2,1???=)的矩估计量;将样本值代入得矩估计值.)

例2

设总体X 的概率密度为

???<<=-其它

,

01

0,);(1

x x x f θθθ ,

n

X X X ,,,2

1

???为来自于总体X 的样本,

n

x x x ,,,2

1

???为样本值,

求θ的矩估计。

解 先求总体矩

1

110

(;)EX x f x dx x x dx θμθθ+∞

--∞

==?=???

1

1

10

1

1x dx x

θ

θθθ

θθθ+==

=

++?，

然后令 111

1n

i i A X X n μ====∑,

即得

X =+1

θθ,

即有 X )1(+=θθ,

解之得 X

X -=1?θ，

把X

X -=1?θ作为θ的矩估计量,

x

x -=1?θ作为θ的矩估计值. 例3

有一批零件，

其长度),(~2

σμN X ， 现从中任取4件，

测得长度（单位：mm ）分别为12.6,13.4,12.8,13.2 。

试估计μ和2

σ的值。

解 由于),(~2

σμN X ，

总体矩1,EX μμ== 222()E X EX DX βσ=-==，

令 111

1n

i i A X X n μ====∑，

22S β=，

则得 X μ=，

22S σ=，

于是11?n i i X X n μ===∑，2221

1?()1n i

i S X X n σ===--∑ 分别为μ和2σ的矩估计量；

将样本值代入

1

?(12.613.412.813.2)134

x μ

==+++= , 22?s σ

= 22221

[(12.613)(13.413)(12.813)(13.213)]0.13341

=

-+-+-+-=- 得μ和2

σ的估计值分别为13(mm)和0.133(mm)2

。

对于由总体矩和样本矩作等式的原则，总体矩和样本矩都有多种，要用同样种类的矩列出等式。多个参数时，列等式的方式不唯一，因此，矩估计的方式不是唯一的.

例如 两个参数21,θθ情形的矩估计,

可有如下几种方式:

??

???===221A EX X A EX , 或??

???=-==22

1)(B EX X E X A EX ,

或??

???=-==2

21)(S EX X E X A EX .

例4 设总体X 的概率密度为

θ

θ

θx

e x

f -=21

),( ,

（+∞<<∞-x ），0>θ， 求θ的矩估计量θ? .

解法一 虽然),(θx f 中仅含有一个参数θ，但因

1(;)EX x f x dx μθ+∞

-∞==??

102x

x e dx θθ

-+∞-∞

==?

， 不含θ，不能由此解出θ， 需继续求总体的二阶原点矩

22221(;)2x

EX x f x dx x e dx θμθθ

-

+∞

+∞-∞-∞

==?=??

2

1

x

x e dx θθ

-

+∞

=

?

2

20

t

t e dt θ

+∞

-=?

22(3)2θθ=Γ= ,

令2

2A μ=，

2221

1

2n i i A X n θ===∑,

解之得θ的矩估计量为

?θ==0>θ

解法二

1||(;)||2x

E X x f x dx x e dx

θ

θθ

-+∞

+∞

-∞-∞=?=??

1

x

xe dx θθ

-

+∞

=

?

t

te dt θ+∞

-=? (2)θθ=Γ=，

即 ||X E =θ, 用

∑=n

i i X n 1

1替换X E ，

即得θ的另一矩估计量为

∑==n

i i X n 1

^

1θ .

此外还需比较估计的优劣性，这一点将在下一节将会介绍，这里不再多说。

矩估计

3.矩估计法 矩估计法是求估计量的最古老的也是最直观的方法.它的基本思想就是用样本的平均值去估计总体的数学期望E(X),用样本的统计量 去估计总体的方差D(X), 如下图所示： 构成矩估计法 样本(X 1, X2,…, X n) （统计量：样本均值（总体数学期望的估计 量）构成矩估计法 样本(X 1, X2,…, X n) （统计量：样本方差）（总体方差的估计量）例3.7.1根据抽样调查,以下是某班10名同学”高等数学”考试成绩,试用矩估计法估计总体的均值和标准差. 63 82 94 71 63 73 92 79 84 85 解.设全班的”高等数学”的成绩为X，则其平均成绩为E(X),标准差为. 由矩估计法公式有 =(63+82+94+71+63+73+92+79+84+85)/10=78.6, ,

. 例3.7.2设总体X在[μ-ρ, μ+ρ]上服从均匀分布, μ、ρ未知, （X1,X2,…,X n）是一个样本,试估计参数μ和ρ. 解.因为总体X服从[μ-ρ, μ+ρ]上的均匀分布, 而均匀分布的数学期望 E(X)=(μ+ρ+μ-ρ)/2=μ , 方差D(X)=( μ+ρ-μ+ρ)2/12=ρ2/3. 由上述公式估计:

4.极大似然估计法 在讲解极大似然估计法之前，我们从一个例子入手，了解极大似然估计法的直观想法:设甲箱中有99个白球，1个黑球；乙箱中有1个白球，99个黑球．现随机取出一箱，再从中随机取出一球，结果是黑球，这时我们自然更多地相信这个黑球是取自乙箱的．因此极大似然估计法就是要选取这样的数值作为参数的估计值，使所选取的样本在被选的总体中出现的可能性为最大. 定义.若总体X的密度函数为p(x; θ1, θ2,…, θk)，其中θ1, θ2,…,θk是未知参数，(X1, X2,…, X n)是来自总体X的样本，称 为θ1,θ2,…,θk的似然函数．其中x1,x2,…,x n为样本观测值． 若有使得 成立, 则称为θj极大似然估计值(j=1,2,…,k). 特别地,当k=1时,似然函数为: 根据微积分中函数极值的原理，要求使得上式成立，只要令 其中L(θ)=L(x1,x2,…,x n;θ). 解之，所得解为极大似然估计，上式称为似然方程. 又由于与的极值点相同,所以根据情况,也可以求出 的解作为极大似然估计. 若总体X为离散型随机变量，其概率分布为:

矩法估计

矩法估计 1.什么是矩法估计 对于随机变量来说，矩是其最广泛，最常用的数字特征，母体ξ的各阶矩一般与ξ的分布中所含的未知参数有关，有的甚至就等于未知参数。由辛钦大数定律知，简单随机子样的子样原点矩依概率收敛到相应的母体原点矩Eξr,r= 1,2,Λ。这就启发我们想到用子样矩替换母体矩（今后称之为替换原则），进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。用矩法求得的估计称为矩法估计，简称矩估计。它是由英国统计学家皮尔逊Pearson于1894年提出的。 ２.矩法估计的理论依据 由辛钦大数定律知： 即对，有 或 矩法估计的具体步骤 设母体ξ的概率函数为f(x,θ1,Λ,θk),其中是k个未知参,Λ,ξn是取自这一母体的一个子样。设ξ的k阶矩v k = Eξk存在，则数，ξ 1 v ,j < k都存在，并且是θ1,Λ,θk的函数v j(θ1,Λ,θk)，又子样ξ1,Λ,θk j 的j阶矩为。我们设

(1) ,Λ,θk的k个方程，解由这k个方程联这样我们就得到含k个未知参数θ 1 列所构成的方程组就可以得到theta1,Λ,θk的一组解： (2) 用(2)中的解来估计参数θi就是矩法估计。 一般我们考察的情形。 在数理统计学中，我们一般用表示θ的估计量。 下面我们举一个与实际问题有关的多参数的矩法估计问题。 例:已知大学生英语四级考试成绩ξ~N(μ,σ2)，均值μ,方差σ2均未知，ξ1,Λ,ξn为取自母体ξ的一个子样，(x1,Λ,x n)是子样的一组观测值,求μ与σ2的矩法估计。 解：注意到有两个未知参数，由矩法估计知需两个方程，按照(1)式得方程组 解这一方程组得μ与σ的矩法估计量

矩法估计的分析及应用

矩法估计的分析及应用 金融数学10本 黄小听 17 摘要：矩法估计就是根据子样所提供的信息，对母体的分布或分布的数字特征等作出合理的统计推断的一种方法。它不仅在数学领域应用广泛，对于解决实际问题(比如预测股市行情，教育统计学等），也有很大的用途。 关键字：矩法估计；应用；评选标准；优缺点 一 什么是矩法估计 对于随机变量来说，矩是其最广泛，最常用的数字特征，母体ξ的各阶矩一般与ξ的分布中所含的未知参数有关，有的甚至就等于未知参数。由辛钦大数定律知，简单随机子样的子样原点矩依概率收敛于相应的母体原点矩E ξr ,r = 1,2，…。这就启发我们想到用子样矩替换母体矩（替换原则），进而找出未知参数的估计，基于这种思想求估计量的方法称为矩法。用矩法求得的估计称为矩法估计，简称矩估计。它是由英国统计学家皮尔逊Pearson 于1894年提出的。 二 矩法估计的理论依据 由辛钦大数定律知： … 即对任意 ，有 或 三 如何求解矩法估计 设母体ξ具有已知类型的概率函数),,,;(21n x f θθθ ， (1θ，2θ，…，k θ)∈Θ

是k 个未知参数。1ξ，…，n ξ是取自母体ξ的一个子样，假设ξ的k 阶矩k υ=E ξk 存在，显然j υ，j

第八章(第一节矩估计法)

第八章 参数估计 第一节 参数的点估计 在研究总体X 的性质时，如果知道总体X 的概率分布，那是再好不过了。然而，在许多情况下，对总体的情况知道甚少或只知道部分信息。 在实际问题中遇到的许多总体，根据以往的经验和理论分析可以知道总体X 的分布函数的形式，但分布中的一个或几个参数未知，一旦这些参数确定以后，总体X 的概率分布就完全确定了。例如，总体),(~2σμN X ，但不知道其中参数μ和2 σ的具体数值，我们要想法确定参数2 ,μσ 。 为了寻求总体的这些参数的值，我们可对总体进行调查，很自然的会想到用从总体X 中抽取得的样本值n x x x ,,,21???，对总体中的未知参数作

出来估计，这类问题就是参数估计。 参数估计主要有参数的点估计和参数的区间估计。 设总体X 的分布函数(;)F x θ形式已知，其中θ是未知参数（也可以是未知向量12(,,,)m θθθθ=???）。 现从总体X 中抽得一个样本n X X X ,,,21???, 相应的一个样本值观察值为 n x x x ,,,21???； 点估计的问题就是要构造一个 适当的统计量12?(,,,)n X X X θ???，用它的观察值12?(,,,)n x x x θ???来估计未知参数θ。 统计量12?(,,,)n X X X θ???称为θ的估计量，12?(,,,)n x x x θ???称为θ的估计值。 在不致混淆的情况下，估计量与估计值统称为估计，并都简记为?θ。 下面介绍参数点估计的两种方法： 矩估计法和极大似然估计。

一、 矩估计法 矩估计是由英国统计学家Pearson,K.于1900年提出的一种参数估计方法，在统计学中有广泛的应用。 例1 某灯泡厂生产一批灯泡，由于随机因素的影响，每个灯泡的使用寿命是不一样的。由中心极限定理和实际经验知道，灯泡的使用寿命),(~2σμN X ，但不知道其中参数μ和2σ的具体数值。为了确定该批灯泡的质量,自然要求估计这批灯泡的平均寿命以及寿命的差异程度,即要求估计μ和2σ的值. 为了对参数μ和2σ进行估计， 我们从总体中抽取样本n X X X ,,,21???（对于一次具体的抽取，他就是具体的数值n x x x ,,,21???,在不致引起混淆的情况下，今后也用n x x x ,,,21???表示随机变量），根据样本矩在一定程度上

第八章(第一节矩估计法)

第八章 参数估计 第一节 参数的点估计 在研究总体X 的性质时，如果知道总体X 的概率分布，那是再好不过了。然而，在许多情况下，对总体的情况知道甚少或只知道部分信息。 在实际问题中遇到的许多总体，根据以往的经验和理论分析可以知道总体X 的分布函数的形式，但分布中的一个或几个参数未知，一旦这些参数确定以后，总体X 的概率分布就完全确定了。例如，总体),(~2 σμN X ，但不知道其中参数μ和2 σ的具体数值，我们要想法确定 参数2 ,μσ 。 设总体X 的分布函数(;)F x θ形式已知，其中θ是未知参数（也可以是未知向量1 2 (,,,)m θθθθ=???）。

试问怎样由样本n X X X ,,,2 1 ???提供的 信息，建立样本的函数即统计量来 对未知参数作出估计？ 这类问题，称为参数的估计问题。 参数估计主要有参数的点估计和参数的区间估计。 现从总体X 中抽得一个样本 n X X X ,,,2 1 ???, 相应的一个样本值观察值为 n x x x ,,,2 1 ???； 点估计的问题就是要构造一个适当的统计量12?(,,,)n X X X θ???，用它的观察值12?(,,,)n x x x θ???来估计未知参数θ。 统计量12?(,,,)n X X X θ???称为θ的估计量，12?(,,,)n x x x θ???称为θ的估计值。 在不致混淆的情况下，估计量与估计值统称为估计，并都简记为?θ。

下面介绍参数点估计的两种方法： 矩估计法和极大似然估计。 一、 矩估计法 矩估计是由英国统计学家Pearson,K.于1900年提出的一种参数估计方法，在统计学中有广泛的应用。 例1 若要考察成人的身高分 布情况。 （人类学、遗传变异学、社会学要用。） 每一个人的身高是一个体，全体人的身高构成一个总体。 由于随机因素的影响，不同人的身高一般是不一样的。 由中心极限定理和实际经验知道，人体身高),(~2 σμN X 。

矩法与极大似然法的合理性及比较分析

矩法与极大似然法的合理性及比较分析

矩法与极大似然法的合理性及比较分析摘要:皮尔逊所引入的矩法是较早提出的求参数点估计的方法。我们从辛钦大数定律知道，若总体ξ的数学期望E(ξ)有限，则样本的平均值依概率收敛于E（ξ）。这就启示我们想到，在利用样本所提供的信息来对总体ξ的分布函数中未知参数作估计时，可以用样 本矩作为总体矩的估计。 费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体ξ的分布函数F（x；）的表达式及样本所提供 的信息，建立未知参数的估计量（）。 极大似然法的想法同矩法一样也是直观的。今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。 1、参数估计 1.1、极大似然法 一、基本概念： 求未知参数点估计的一种重要方法。思路是设一随机试验已知有若干个结果Ａ，Ｂ，Ｃ，…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。 对总体参数的估计分两种——点估计和区间估计。在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。从矩估计法公式我们得到,对正态总体N(μ, σ2)，未知参数μ的矩估计,σ2的矩估计为sn2；μ, σ2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价．除此之外，亦可以根据问题的实际意义进行判定. 二、极大似然思想