当前位置：文档库 › 第三节最小二乘估计量的性质

第三节最小二乘估计量的性质

三大性质：线性特性、无偏性和最小偏差性一、线性特性的含义

线性特性是指参数估计值1?β和2?β分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。 1、2?β的线性特征证明（1）由2?β的计算公式可得：

2()?t t

t t

x y

x Y x Y x

x x

x x x

β--==

=??=

? ??

∑∑∑∑∑∑∑∑∑

∑∑Y Y Y

需要指出的是，这里用到了

因为t x 不全为零，可设

t t

x b x

∑，从而，t b 不全为零，故2?t t b β=∑Y 。这说明2?β是t Y 的线性组

合。（2）因为12t

t t

Y X ββμ=++，所以有

()

b b X b b X b b βββμββμ

βμ

==++=++=+∑∑∑∑∑∑Y 这说明2?β是t μ的线性组合。需要指出的是，这里用到了

t t

x x b x x

=∑∑∑

∑∑以及

(

2222201

t t t

t t t t

x x X x b X

X x x x

x X

x x

??+

???

+=∑∑

∑

∑∑∑∑∑∑∑∑∑

2、1?β的线性特征证明（1）因为12

??Y

X ββ=-，所以有

()

121??1

t t Y X Y

b n

X b n ββ=-=-??=

- ???

∑∑∑

Y Y

这里，令1a X b

n =

-，则有1?t a β=∑Y

这说明1?β是t Y 的线性组合。（2）因为回归模型为12t

t t

Y X ββμ=++，所以

()11

a a X a a X a βββμββμ

==++=++∑∑∑∑∑Y 因为111t t t

a X

b X

=-=-= ??

∑∑∑∑。而

t t t t

t t

a X X

b X X X

b X n n X X ??=

-=- ???

-=∑

∑

所以，11?t t a ββμ=+∑ 这说明1?β是t μ的线性组合。至此，参数的线性特性证明完毕。

问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、

随机扰动项和的随机性来理解。二、无偏性的含义

所谓无偏性是指估计值的均值等于真实值。在这里，无偏性是指参数估计值1?β和2?β的期望值分别等于总体参数1β和2β。其数学上要求是

()11?E ββ=和()

?E ββ=。证明：根据参数估计值的线性特征，我们推导出：

?t t a ββμ=+∑，所以有： ()

()()()

()()()()()()()

1?t

E E a E E a E E a E E a E E ββμβμβμβμβ=+=+=+=+?=∑∑∑∑

相似地，2

2?t t

b ββμ=+∑，所以有

()

()()()

()()()()()()()

2?t

E E b E E b E E b E E b E E ββμβμβμβμβ=+=+=+=+?=∑∑∑∑

三、最优性（有的书本上直接称之为最小方差性）的含义最优性是指用最小二乘法得到的参数估计值1?β和2?β在各种线性无偏估计中得到的方差最小。

根据上述的定义，我们可以任意假设2?β*是用其他方法得到的总体参数

?β的一个线性无偏估计。因为2?β*具有线性特性，我们可以得到：

()

2?t

t t c c X ββ

βμ*

++∑∑Y

，

()

()()

()

()()()21

?0t t t t t

t t

E E c E

c X c E X c c E X c E c c E X c c X

ββ

βμββμββμββββ*==++=

++=++=++=+∑∑∑∑∑∑∑∑∑∑Y

又因为2?β*是用其他方法得到的总体参数2?β的一个无偏估计，所以有

()

?E ββ*= 所以由上述两个结果，可以得到：

122t t t c c X βββ+=∑∑

上述式子要成立，必须同时满足两个条件，即

=∑和1t t c X =∑

现在求2?β*的方差：

()

()()()()()()

()()

()()2

222

11222

11221

1133223322?var var ??t t t t t t t t t t t t t t t t t t t t t

t t t t t t c E c E c E c E c E c c E E c c E c E c E c c c E c c c c c c c c c c βμμμμμμμμμ

μμμμμ*??

==-??

????

=-=-????

????=-

=-?

???

??==++???+??=++???++++???++∑∑∑

∑∑

∑∑∑∑

∑∑Y Y Y Y Y Y Y Y Y Y Y ()()()()

4422

c c

E c E μμμμμ?

+???+?????

+∑∑∑因为根据假设条件（常数方差和非自相关，即

()2

2var()(())t t t t

E E E μμμμσ=-==和

[][]cov(,)(())(())(0)(0)()0

t s t t s s t s t s E E E E E μμμμμμμμμμ=--=--==

所以，有

()

()()()22

2222

22?var 2u t u t t t u

t u

t c c b b c

b b

b c

b βσσσ

*==-+????

=-++-????

∑∑∑∑∑

2?β*

方差的最后一项为

()()

()

222

22111(1)

t t t

t t

t t t t t

b c

b b

c b

x x c x

c x

x c X X x c X

x -=-??????

??=

- ? ? ? ???

--=

--=∑∑∑∑∑

∑∑∑∑∑∑∑∑∑

这是因为0t c =∑和1t t c X =∑

因此，有()()2

22?var u t t u

c b b βσσ*=-+∑∑

很明显，当t

c b =时，2?β*方差最小，此时，最小值为()222?var u t b βσ*=∑。

而在此时，有22

??t t t t c b ββ*===∑∑Y Y 即两个估计值相等。

因为2?β*的最小方差等于2?β的方差，即()()22??var var ββ*≥，因此，我们说，

2?β在所有线性无偏估计中的方差最小，且最小方差为： ()

?var u

x σβσ==

∑∑

同理，我们可以证明，1?β在所有线性无偏估计中的方差最小，且参数估计值的方差为：

()

?var u

t t

X n x σβ=∑∑。

由此，说明，最小二乘估计具有BLUE(best linear unbiased estimation)性质。从而在统计学和计量经济学中得到广泛应用。

第四节系数的显著性检验

一、系数估计值的特性：

1、根据系数估计值的线性特性，我们知道系数估计值是t Y 和t μ的线性组合。又因为t Y 和t μ都服从正态分布，所以，我们可以自然得到两点：一是系数估计值是随机变量（这里是在数学上再次予以证明）；二是系数估计值服从正态分布。从而，可以用随机变量的一些数字特征来表示。通常，我们采用的是均值与方差。系数估计值的均值是多少呢？

根据系数估计值的无偏性，我们知道，()11?E ββ=，()22?E ββ=。这说明系数估计值1

?β和

?β这两个随机变量的数学期望（均值）分别等

于总体参数（实际值）。

系数估计值的方差又是多少呢？

根据系数估计值的最小方差性的证明，我们得到了其方差，即有

()

2?var u

t t

X n x

σβ=∑∑ ，

()

?var u

x σβσ==

∑∑。

至此，我们可以用随机变量的数学期望和方差来刻画1

?β和2

?β这两个随机变量的分布，即有：1

?β服从均值为1

β、方差为()

t t

X n x σ∑∑的

正态分布；而2?β服从均值为2β、方差为

σ∑

的分布。用数学的语言

可以描述为：()22

11,2?u t t

X N n x σββ?? ? ???

∑∑ 和222,2?u t N x σββ?? ? ???∑ 。可以明显看出的是，在系数的描述中，方差中含有随机扰动项的方差，其他我们可以得到。随机扰动项是总体回归模型中的误差项，

无法得到，只能对其估计。二、随机误差项方差的估计因为总体回归模型为：12t

t t

Y X ββμ=++

而样本回归模型为：12??t

t t

X e ββ=++ 从形式上看，样本回归模型中的残差t

e 可以看作随机扰动项t μ的估计值。进一步，残差t e 的方差可以作为随机扰动项t μ的

方差2

σ的估计值。

样本回归模型为：12??t

t t Y

X e ββ=++ 样本回归直线为：12???

X ββ=+Y 样本回归模型的左右两边减去样本回归直线的左右两边，可得：

?t t t

Y e -=Y ，把这个式子重新安排一下，可以得到： ()()??t t t t t

e Y Y Y Y =-=---Y Y

现在，重点要求的是t

e 的两个部分，即()?t

-Y 和()t

-。这两

部分知道之后，才能求t

e 的方差。

对样本回归模型12??t

t t

Y X e ββ=++两边分别对t 求和，再除以n,

有：

121

212

????

111

??1

??1??t t t t

t t

t t t

Y X e Y

X e

Y X e n n n

n Y X e n

Y X e

ββββββββββ=++?=

?=++?

+?+

?=++∑∑∑∑∑∑∑∑∑∑∑∑∑

由前边的正规方程组，我们曾经知道，点(),X Y 在样本回归直线上，用数学的语言来讲，就有：12

??Y

X ββ=+，因此，有

1212

?????t t X Y X ββββ=+=+Y ，进而，有

()22

???t t

Y X X x ββ-=-=Y

对总体回归模型12t

t t

Y X ββμ=++两边分别对t 求和，再除以n,

有：

121

12121

1212111

t t t t

t t

t t t

n t Y X Y

X Y X n n n

Y X n

Y X Y X n

μμββμβ

ββμββμββμββμ

=++?=

?=+

+∑?=++

????→=++∑∑∑∑∑∑∑∑∑∑∑∑∑

所以，由

1212t t t Y X Y X ββμββμ

=++=++，可得，

()()()22t t t t t Y Y X X x βμμβμμ

-=-+-=+-

将两部分结合起来，现在，我们可以得到：

()()

(

)

22????t t t t t t t

t t t e Y Y Y Y Y x Y Y x ββμμ

=-=----=-=+-Y Y Y

可以得到：()()2

2?t

t t

e x β

βμμ=-+-，

（从这个式子我们可以看出什么呢？）至此，已经将残差与扰动项联系起来了。由此，我们可以得到：

(

)(

)()

(

)()(

)

()()

2222

222

???2??2t

t t

t t t

x x x x x ββμμββμμ

βμμββμμ

ββμ

-+-=

-+-+-?-=-+

-+--∑∑∑∑∑∑∑∑

进一步，有：

()

(

)(

)

()()()

()

()()()()()

222

??2??2t t t t

E e E

x x x

E E

E x ββμμ

ββμ

ββμμβ

βμ

=-+

-+--=

-+-+--∑∑

∑∑∑∑∑

在这三项当中，有：

()

()()

()

?????var u

E E E E x σβββββββ-=-=-==∑

所以，第一项为()2

222

x E x

σββσ-=?

=∑∑∑

第二项为：

()()()()()

()(

)

()()

222

2122

2122221

121111t

t t

t t t u t

u t u t u t u t E E E

E E n n E n n n n E n n

n E n n E

n n E n n E n n μμμ

μμμμμμμμσ

μμμσμμσμσμσμμμσμμμσ-=+

+-=+-????

=+-? ?

? ???

??=+-

???

??=-

=-=-++???+=-++???+=∑∑∑∑∑

∑

∑∑

∑∑∑

∑∑∑∑

∑

()()()()()()

()

()2222

12121323242222

111

11u t u t

u u t

E n n E

E n

n n E n

n μμμμμμμμμμμσμμμσσμμσ??

-++???++++???++???+????

?=-

-=--=-∑∑∑∑∑

第三项为：

()()()()(

)

()()()()()()()()()()

()()()()

()2

111122

111112211?222222222t

t t t t t t t

t t t t t t t t t t t t

t t t E

x E b x E b x x E b x b x E b x E b x E b b x x E

b E x E b x b x b x b β

βμ

μμμμμμμμμμμμμμμμμμμμμμμμμ--??=-????=-?

??=-?

????=-????=+???+???-????=+???+++???+∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑()()()

()()()()

()()2

2222220

222t t t t t

t t t t

t t t t x E b E x E b x E b x b E E x b x E b x E b x b x μ

μμ

μμμμμμμμμμμσσσ??+???-??

=+-=+-===∑∑∑∑∑∑∑∑∑∑∑∑

故有()22

222

(1)2(2)t

E e n n μ

μμμ

σσσ=+--=-∑，也就是说

()

1(2)

(2)t t

e E e E n n μσ??

? ?--??

∑∑

如令2

(2)

e S

n =

-∑，则意味着()2

E S μσ=。这说明2

S 是2

σ的无偏估

计量。前面，我们已经求得

()22

11,2?u t t X N n x σββ?? ? ???

∑∑ 和222,2?u t N x σββ?? ? ???∑ 。在1?β和2

?β的方差中都含

有未知量2

σ。这里，我们证明了2

S 是2μ

σ的无偏估计量，因此，

可以用2

(2)

e S

n =

-∑作为2

μσ的估计值，这样，代入得到1

?β和2

?β的方差的估计值分别为：

?2t

X S

n x

∑∑和2

x β

∑

S =

，1

S β=

分别称为回归模型的标准差、参数

估计值1

?β

和2

?β的标准差。知道了估计值的方差估计值，就可以对参数进行显著性检验，也可以估计总体参数的置信区间。二参数估计的显著性检验

以上一节家庭消费支出和收入之间的关系的例子来说明，通过选取样本，我们得到了总体参数1

β和2

β的估计值分

别为1

?β和2

?β。通过这个估计值，我们知道了家庭消费支出和

收入的具体数量关系。现在，需要知道的是，通过样本得到的估计值能够正确地反映总体参数吗？这需要通过假设检验来做出判断。 1、关于假设检验

假设检验指利用样本得到的信息来判断总体是否具有某种制定的特征。例如：某药品生产线上规定，每片药片的净重是400毫克，标准差是4毫克。今连续检查20片药片，平均药片重量为395.4毫克。问药片的重量是否已经偏离了额定净重值？

假设：对总体分布特征的假设

假设检验：根据样本信息来判断总体分布是否具有指定的特征，这个过程叫假设检验。

就家庭消费支出而言，我们关注的是家庭消费支出与收入之间是否真的存在回归关系，也就是说我们关注总体参数

1β和2β是否不等于零。因此，我们这里的假设是对总体参数

的假设，我们这里的检验是对总体参数的假设检验，我们要运用的假设检验的工具是用样本工具得到的与1

?β和2

?β有关的

检验的工具。这就是用样本信息来推断总体。

1、对总体均值的假设检验

因为我们关注的是解释变量和被解释变量之间的关系是否真实存在，因此，我们需要检验的是总体均值是否为零。对总体均值的假设检验可分三种情况：

(1) 总体服从正态分布，总体方差已知，样本大小无限制 (2) 总体总体分布未知，总体方差未知，大样本 (3) 总体服从正态分布，总体方差未知，小样本

我们这里符合的是总体服从正态分布，总体方差未知，小样本。

2、用什么来检验？（检验工具，统计量）我们已经知道，参数估计值满足：

()22

11,2?u t t X N n x σββ?? ? ???

∑∑ 和222,2?u t N x σββ?? ? ???∑ ，要尽可能利用关于1?β和2?β的信息。将1

?β和2

?β由正态分布转化为标准正态分布统计量：

(),?01Z N =

和(),?01Z N =

在这两个统计量中，()1

?var β和()2

?var β我们都不知道，原因在于

未知。但我们前边已经证明2

(2)

e S

n =

-∑是2u

σ的无偏估计量。

因此，对于大样本情况，我们可以用2

(2)

e S

n =

-∑代替2u

σ，进而

求得()1

?var β和()2

?var β

以及1

β=

S β=

。

这样，

(),?01Z N =

和

()

,?01Z N =

可以进一步转化

为：()1

?01Z

N S βββ-≈

和()2

?01Z N S βββ-≈

。

从而可以利用这两个统计量对总体参数1

β和2

β进行检验。（什

么含义）就是说，我们可以对比如2

进行检验。如何检验

呢？就是考察我们算出来的统计量??Z

是否服从

正态分布。对于一元线性回归模型而言，我们关心的是解释变量能否解释被解释变量，在数学上这表现为2

β≠是否成

立。

因此，我们可以进行下假设：零假设 0

2:0H β= 备择假设 1

2:0H

β≠

在零假设条件下，??Z

≈

服从标准正态分布，我们用

这个统计量进行检验。

在一般情况下，样本容量不满足大样本条件，这时要用t 统计量，所做的检验称之为t 分布检验。这时

t 统计量为：

???t --=

，其服从自由度为（n-2）的t 分布。

关于t 分布

t 分布的含义是随机变量落入一定区域的概率。给定显著性水平α和自由度（n-2）,则t 落入区间()2

2(2),(2)t n t n αα---

内的概率为：{}2

(2)(2)1P t n t t n ααα

--<<-=-

t 落在()2

2(2),(2)t

n t n αα---区域之外的概率为α

，也可以写作：

{}2(2)P t t n αα>-=，此式子等价于{}2(2)2

P t t n αα

>-=

和

{}2(2)2

P t t n αα

<--=

。见下图。

-t α (n-2) 0 t α (n-2)

很显然，如果计算出来的这时t 统计量为：

2(2)t t n α=

<-（即

t 统计量小于临界值），则可以认为原

假设成立，即2

=。

反之，如果计算出来的这时t

统计量为：(2)t t n α=

>-，

则可以认为备择假设成立，即2

0β

≠。

因此，我们通常的希望是t 统计量值大于临界值。t 统计量值我们可以根据样本计算出来，而临界值可以通过查表得

到。

问题：t 值与P 值的关系是什么？

相应地，我们可以对总体参数值1

β进行检验。过程为：

零假设为：0

1:0H

β=

备择假设为： 1

2:0H β≠

计算统计量?t =

查t 分布表，得出临界值(2)

t n α-。

若2(2)t

t n α>-，则拒绝零假设，接受备择假设，即认为20

β≠。

三、总体参数的置信区间 1、1

β的置信区间

由{}2

2(2)(2)1P t n t t n ααα

--<<-=-，将1

?t S βββ-=

代入概率公式，可

得：

{

}{}{}11

22?

??2112??12

??1

112

?(2)(2)1?(2)(2)1??(2)(2)1??(2)(2)1P t n t n S P t n S t n S P t n S t n S P t n S t n S ααβααββ

ααββαα

ββββα

ββαβββαβ

ββα

??-??--<<-=-??????

?--<-<-=-?---<-<-+-=-?--<<+-=-

用概率表述为：总体参数1

在区间()()11??1

212??(2),(2)t n S t n S ααββββ??--+-?

内的概率为1α-。

统计表述：区间()(

)11??1

212??(2),(2)t n S t n S ααββββ??--+-?

包含总体参数

1β的概率为1α-。

通常说，总体参数1

β的1α-置信区间为：

()()11??1212??(2),(2)t n S t n S ααβββ

β??--+-??

2、相似地，总体参数2

β的1α-置信区间为：

()(

)22??222??(2),(2)t n S t n S ααββββ??--+-??

由这两个区间，可以推断总体回归线所处的区域。四、决定系数（可决系数）

评价回归直线对观察值拟合的好坏，拟合优度是一个重要的指标。显然，若观测点离回归直线近，则拟合程度好，反之，则拟合程度差。测量拟合优度的统计量是可决系数（决定系数）

现由一个恒等式开始。

??()()t t t t

Y Y Y Y -=-+-Y Y 这个式子把解释变量的总偏差t

Y Y

-分解成两部分：回归偏差

或者叫可解释偏差（?

Y -Y 和残差?()t t

Y -Y 两部分之和。可解释偏差是由样本回归直线决定的，残差则是随机的。显然，由样本回归直线解释的部分越大，则残差越小，样本回归直线与样本值的拟合优度就越好。而要从总体上反映样本回归方程对所有样本点的拟合的好坏，必须求和，考虑到正负抵消的问题，可以求平方和。总离差平方和：()2

TSS Y Y

=-∑

回归平方和：()2

?t ESS Y =-∑Y 残差平方和：(

?t RSS Y =-∑Y

现在推导三者之间的关系：

(

)()()(

)(

)

222

??()()??()()????()()2()()????2

()()??t

t t

t t t t t t t t t t t t t t

t Y Y Y Y Y Y

Y Y Y Y Y Y Y Y Y Y Y Y -=-+-???-=

-+-????=-+-+--??=-+-+--=

-+-∑∑

∑∑∑∑∑∑Y

Y Y Y Y Y Y Y Y Y Y Y Y Y

这里有：

()

1212??2()()??2??2220t t t t t

t t t t

Y Y X Y e e e X Y e ββββ--=+-=+-=∑∑∑∑∑（会议正规方程组）

Y Y

所以有()(

)(

??t

t Y

Y Y -=-+-∑∑∑Y Y

。即：

总离差平方和=回归平方和+残差平方和。

用公式表示为：=+T SS E SS R SS ，E SS 表示可以由解释变量说明的偏差部分，R SS 表示可以由残差说明的偏差部分。显然，E SS 在TSS 中所占的比例越大，R SS 所占的比例越小，则参数估计值的显著性越强，样本回归直线与样本观测值拟合得越好。因此，可以用E SS 在TSS 中所占的比例说明回归直线与样本观测值的拟合程度。也即总离差中可以由回归方程说明的部分。可决系数或拟合优度可以定义为：

(

)

()

Y ESS R TSS

Y Y --∑∑Y

可决系数的取值范围为：[]2

0,1R

变化的含义是什么？

四、相关分析

1、回归分析和相关分析的区别回归分析：性质、变量要求

相关分析：相关关系，不是因果关系。变量要求不同 2、相关分析的分类:

线性相关：直观上讲，样本点集中分布在一条直线附近。直线斜率为正，为正相关。直线斜率为负，则为负相关。非线性相关：样本点分布在一条曲线周围。 3、相关程度的度量

一般用相关系数表示X 和Y 的相关程度。总体相关系数定义为

cov ,Y =

X ρ

。

总体相关系数的取值范围：

总体相关系数与样本相关系数之间的关系。样本相关系数一般用X Y

r 来表示，且定义：

cov ,Y =

XY x

y E X X Y Y x y X r --∑这里有：

==t t x X X y Y Y

4、相关分析与回归分析的关系

这里特指在一元线性回归分析和简单相关分析中的关系。这里可决系数与相关系数有如下关系：

=X Y r R

，即=r ±

5、计量回归分析的规范表达

第五节预测和预测区间

关于预测

预测对两种样本数据的作用。对于时间序列数据的估计的目的是预测。对截面数据估计的目的是为了推测未知数据。预测是计量经济学的一项主要任务。一、预测的点估计首先回顾四个方程式总体回归模型：12t

t t

X ββμ=++

总体回归直线：()1

t E Y X ββ=+

样本回归模型：01??t

t t Y

X e ββ=++ 样本回归直线：01???

X ββ=+Y 对于样本外的符合假定条件的一点0

X 而言，代入总体回归模型和总体回归直线，我们可以得到：

01200Y X ββμ=++和()0120E Y X ββ=+

然而，由于1

β和2

β我们并不知道，因此，无从获得0

Y 和

()0E Y 。

但是，利用样本回归直线，我们可以得到0

Y 的估计值0

?Y ，

即0

???

X ββ=+Y ，求期望有：

()

()()()

()

()0120

??????E E X E E X

E X E Y ββββ

ββββ=+=+=+=+=Y

这说明0

?Y 是 ()0

E Y 的无偏估计量。

2动态过程数学模型参数估计的最小二乘方法

第二章参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归）一、什么是最小二乘估计系统辨识三要素：模型，数据，准则。例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。使准则 J 为最小：令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J

二、多元线性回归线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3）其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J

(整理)计量经济学第三章多元线性回归与最小二乘估计

第三章多元线性回归与最小二乘估计 3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理 1、多元线性回归模型： y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ……….. y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T 经济意义：x t j 是y t 的重要解释变量。代数意义：y t 与x t j 存在线性关系。几何意义：y t 表示一个多维平面。此时y t 与x t i 已知，βj 与 u t 未知。 ) 1(21)1(110)(11 1222111111)1(21111??-?---?? ????? ??????+??????????????????????? ???=? ? ?? ?? ??????T T k k k T k T Tj T k j k j T T u u u x x x x x x x x x y y y βββ (3.3) Y = X β + u (3.4) 2假定条件为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即

第三节最小二乘估计量的性质

第三节最小二乘估计量的性质三大性质：线性特性、无偏性和最小偏差性一、线性特性的含义线性特性是指参数估计值1?β和2?β分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。 1、2?β的线性特征证明（1）由2?β的计算公式可得： 2 22 2 2 2()?t t t t t t t t t t t t t t t t x y x Y x Y x x x x x x x x β--== =??= = ? ?? ? ∑∑∑∑∑∑∑∑∑ ∑∑Y Y Y Y 需要指出的是，这里用到了因为t x 不全为零，可设 2t t t x b x = ∑，从而，t b 不全为零，故2?t t b β=∑Y 。这说明2?β是t Y 的线性组合。（2）因为12t t t Y X ββμ=++，所以有 () 21 2 12 2 ?t t t t t t t t t t t t b b X b b X b b βββμββμ βμ ==++=++=+∑∑∑∑∑∑Y 这说明2?β是t μ的线性组合。需要指出的是，这里用到了

2 2 t t t t t x x b x x == =∑∑∑ ∑∑以及 ( )2 2 2 2222201 t t t t t t t t t t t t t t t t x x X x b X X x x x x X x X x x x x x ??+ ? = = ??? + += = +=∑∑ ∑ ∑ ∑∑∑∑∑∑∑∑∑ 2、1?β的线性特征证明（1）因为12 ??Y X ββ=-，所以有 () 121??1 t t t t t Y X Y X b n X b n ββ=-=-??= - ??? ∑∑∑ Y Y 这里，令1a X b n = -，则有1?t a β=∑Y 这说明1?β是t Y 的线性组合。（2）因为回归模型为12t t t Y X ββμ=++，所以 ()11 2 1 2 ?t t t t t t t t t t a a X a a X a βββμββμ ==++=++∑∑∑∑∑Y 因为111t t t a X b X b n n ?? =-=-= ?? ? ∑∑∑∑。而 1 10 t t t t t t t a X X b X X X b X n n X X ??= -=- ??? -=∑ ∑ ∑ ∑ 所以，11?t t a ββμ=+∑ 这说明1?β是t μ的线性组合。至此，参数的线性特性证明完毕。问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、

普通最小二乘法(OLS)

普通最小二乘法（OLS ）普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下（见图中的散点），假如模型（）的参数估计量已经求得到，为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即

0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （）所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （）于是得到了符合最小二乘原则的参数估计量。为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成

最小二乘法参数估计

【2-1】设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果：在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数

用matlab实现最小二乘递推算法辨识系统参数

用matlab实现最小二乘递推算法辨识系统参数自动化系统仿真实验室指导教师：学生姓名班级计082-2 班学号撰写时间：全文结束》》-3-1 成绩评定：一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t-

2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。

最小二乘法基本原理

该方程的参数估计步骤如下：取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3）对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4）那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5）根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6）的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7）

多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8）其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。

系统辨识最小二乘参数估计matlab

最小二乘参数估计摘要：最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。这种算法在使用时，占用内存大，离线辨识，观测被辨识对象获得的新数据往往是逐次补充到观测数据集合中去的。在应用一次完成算法时，如果要求在每次新增观测数据后，接着就估计出系统模型的参数，则需要每次新增数据后要重新求解矩阵方程()Z l T l l T l ΦΦΦ-∧=1θ。最小二乘辩识方法在系统辩识领域中先应用上已相当普及，方法上相当完善，可以有效的用于系统的状态估计，参数估计以及自适应控制及其他方面。关键词：最小二乘（Least-squares ），系统辨识（System Identification ）目录： 1.目的 (1) 2.设备 (1) 3引言 (1) 3.1 课题背景 (1) 4数学模型的结构辨识 (2) 5 程序 (3) 5.1 M 序列子函数 ................................................................................. 错误！未定义书签。 5.2主程序............................................................................................... 错误！未定义书签。 6实验结果： ................................................................................................................................... 3 7参考文献： ................................................................................................. 错误！未定义书签。 1.目的 1.1掌握系统辨识的理论、方法及应用 1.2熟练Matlab 下最小二乘法编程 1.3掌握M 序列产生方法 2.设备 PC 机1台（含Matlab 软件） 3引言 3.1 课题背景最小二乘理论是有高斯（K.F.Gauss ）在1795年提出：“未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。”这就是最小二乘法的最早思想。最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最

第四章参数的最小二乘法估计

精心整理第四章最小二乘法与组合测量 §1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则再用微分法，得最可信赖值x

11 n i i i n i i w x x w 即加权算术平均值这里为了与概率符号区别，以i 表示权因子。特别是等权测量条件下，有：以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。

(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211

参数的最小二乘法估计

第四章最小二乘法与组合测量 §1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即

权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值这里为了与概率符号区别，以i ω表示权因子。特别是等权测量条件下，有：以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。为从一组测量数据中求得最佳结果，还可使用其它原理。例如（1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5

系统辨识之最小二乘法

方法一、最小二乘一次性算法：首先对最小二乘法的一次性辨识算法做简要介绍如下：过程的黑箱模型如图所示：其中u(k)和z(k)分别是过程的输入输出，)(1-z G 描述输入输出关系的模型，成为过程模型。过程的输入输出关系可以描述成以下最小二乘格式： )()()(k n k h k z T +=θ （1）其中z(k)为系统输出，θ是待辨识的参数，h(k)是观测数据向量，n(k) 是均值为0的随机噪声。利用数据序列{z （k ）}和{h （k ）}极小化下列准则函数： ∑=-=L k T k h k z J 12])()([)(θθ （2）使J 最小的θ的估计值^ θ，成为最小二乘估计值。具体的对于时不变SISO 动态过程的数学模型为 )()()()()(11k n k u z B k z z A +=-- （3）应该利用过程的输入、输出数据确定)(1-z A 和 )(1-Z B 的系数。对于求解θ的估计值^θ，一般对模型的阶次 a n ， b n 已定，且b a n n >；其次将（3）模型写成最小二乘格式 )()()(k n k h k z T +=θ （4）式中 ?????=------=T n n T b a b a b b b a a a n k u k u n k z k z k h ],,,,,,,[)](,),1(),(,),1([)(2121 θ （5）

L k ,,2,1 = 因此结合式（4）（5）可以得到一个线性方程组 L L L n H Z +=θ （6）其中 ???==T L T L L n n n n L z z z z )](),2(),1([)](),2(),1([ （7）对此可以分析得出，L H 矩阵的行数为),max(b a n n L -，列数b a n n +。在过程的输入为2n 阶次，噪声为方差为1，均值为0的随机序列，数据长度)(b a n n L +>的情况下，取加权矩阵L Λ为正定的单位矩阵I ，可以得出： L T L L T L z H H H 1^ )(-=θ （8）其次，利用在Matlab 中编写M 文件，实现上述算法。此次算法的实现，采用6阶M 序作为过程黑箱的输入；噪声采用方差为1，均值为0的随机数序列；黑箱模型假设为：y(k)-1.5y(k-1)+0.7y(k-2)=2u(k-1)+0.5u(k-2)，则系统输出为Z(k)-1.5Z(k-1)+0.7Z(k-2)=2U(k-1)+0.5U(k-2)+n （k ）；模型的阶次2,2==b a n n ；数据长度取L=200。程序清单如下见附录：最小二乘一次性算法Matlab 程序运行结果如下：图1 最小二乘一次性算法参数真值与估计值其中re 为真值，ans 为估计值^ θ 结果发现辨识出的参数与真值之间存在细微误差，这是由于系统噪声以及数据长度L 的限制引起的，最小二乘辨识法是一种无偏估计方法。方法二、最小二乘递推算法：最小二乘一次性算法计算量大，并且浪费存储空间，不利于在线应用，由此引出最小

最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)

---------------------------------------------------------------最新资料推荐------------------------------------------------------ 最小二乘法估计量的性质（高斯—马尔可夫定理的初步证明）高斯马尔可夫定理: 若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS) 是最小方差的线性无偏估计。（BLUE) 最小二乘法估计量 OLS 的性质（高斯马尔可夫定理的初步证明） 1．线性性： 0 和1 都是iy的线性函数证明：；令=j=njiixxxxk12)()( 则有 iniiyk==11 ，且有0=ik， 1=iixk，=i=niixxk122)(1 从而1 是iy的线性函数；同理， 0 ＝令iikxnw=1，则有： iiyw=0，即0 也是iy的线性函数。另有： 1=i w，0=iixw 2. 无偏性： 0 和1 都是0 、1 的无偏估计量；即有： ( )=,00=E ( )11=E 证明：先证 ( )11E ，又， 1=iixk ()=i=++==iiiiinikuxkyk01011+1 +iiiiukxk ==+iiuk1 ( )(因为: ( )u1101=++=i0iiiiiEkxkkE =ik，1ixk) 同理，利用 1=i w和0=iixw可证得 ( ),00=E 3. 最优性或最小方差性：在所有的线性无偏估计中，0 和1 分别是0 、1 的方差最小的 1 / 2

有效估计量证明：若1~ 是原值1 的一个线性无偏估计（方差条件不限），且记=iiyc1~（∵线性估计），再根据无偏估计的特性，有：再记P==111==1, 0iiixcc。 ()iiiykc~，则有11~+= P ( )Cov(+)),(2)()(),(2),(),(),(~,~~1111111111PCovDPDPCovCovP PPPCovCovD++=+=++== 如果能证明0),(1=PCov，则利用方差不小于 0 的性质，判定)()()()~(111DDPDD+=，1 即为所有无偏的线性估计中方差最小的。 ∵2u2i2u1)())((),)((),(iiiiiiiiiikkckkcykykcCovPCov=== 又∵=j=njiixxxxk12)()( 且有： 0=ik，1=iixk，=i=niixxk122)(1 所以0)(1)(1212112i===j=j=i=injnjnniiiiixxxxxcxckkc，0),~((1 =PCov, 有： )()()()111DDPDD+=，命题得证。（此处利用了==1, 0iiixcc）。

基于最小二乘法的系统参数辨识

基于最小二乘法的系统参数辨识吴令红，熊晓燕，张涛太原理工大学机械电子研究所，太原 (030024) E-mail lhwu0818@https://www.wendangku.net/doc/1e9711138.html, 摘要：系统辨识是自动控制学科的一个重要分支，由于其特殊作用，已经广泛应用于各种领域，尤其是复杂系统或参数不容易确定的系统的建模。过去，系统辨识主要用于线性系统的建模，经过多年的研究，已经形成成熟的理论。但随着社会、科学的发展，非线性系统越来越受到人们的关注，其控制与模型之间的矛盾越来越明显，因而非线性系统的辨识问题也越来越受到重视，其辨识理论不断发展和完善本。文重点介绍了系统参数辨识中最小二乘法的基本原理，并通过悬臂梁模型的辨识实例，具体说明了基于最小二乘法参数辨识在Matlab 中的实现方法。结果表明基于最小二乘法具有算法简单、精度较高等优点。关键词：系统辨识；参数辨识；滑动平均模型(ARX)；最小二乘法；Matlab 中图分类号：TH-9 1. 引言所谓辨识就是通过测取研究对象在人为输入作用下的输出响应，或正常运行时的输入输出数据记录，加以必要的数据处理和数学计算，估计出对象的数学模型。这是因为对象的动态特性被认为必然表现在它的变化着的输入输出数据之中，辨识只不过是利用数学的方法从数据序列中提炼出对象的数学模型而已[1]。最小二乘法是系统参数辨识中最基本最常用的方法。最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统参数辨识中。本文基于悬臂梁的实测数据，介绍了最小二乘法的参数辨识在Matlab中的实现。 2. 系统辨识一般而言，建立系统的数学模型有两种方法：激励分析法和系统辨识法。前者是按照系统所遵循的物化（或社会、经济等）规律分析推导出模型。后者则是从实际系统运行和实验数据处理获得模型。如图1所示，系统辨识就是从系统的输入输出数据测算系统数学模型的理论和方法。更进一步的定义是L.A.Zadeh曾经与1962年给出的，即“系统辨识是在输入和输出的基础上，从系统的一类系统范围内，确立一个与所实验系统等价的系统”。另外，系统辨识还应该具有3个基本要素，即模型类、数据和准则[5]。被辨识系统模型根据模型形式可分为参数模型和非参数模型两大类。所谓参数模型是指微分方程、差分方程、状态方程等形式的数学模型；而非参数模型是指频率响应、脉冲响应、传递函数等隐含参数的数学模型。在辨识工程中，模型的确定主要根据经验对实际对象的特性进行一定程度上的假设，如对象的模型是线性的还是非线性的、是参数模型还是非参数模型等。在模型确定之后，就可以根据对象的输入输出数据，按照一定的辨识算法确定模型的参数[4]。 y 图1 被研究的动态系统

§2 回归系数的最小二乘估计

§2 回归系数的最小二乘估计设分别为的最小二乘估计值, 于是的观测值 , , (2.1) 其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有 , (2.2) , , (2.3) (2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组 , (2.4) 即 , (2.5) 整理并化简则得以下正规方程组: , (2.6)

如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有 , (2.7) , (2.8) 因此正规方程(2.6)的矩阵形式为 , (2.9) 或 , (2.10) 其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有 , (2.11) (2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。正规方程组(2.6)亦可表达为下述另一种形式, 如果记 , , ,

则由(2.6)式中第一等式可解出 , (2.12) 再将(2.12)代入到(2.6)其它各式中并经化简整理可得 , (2.13) 又由 , , , , 如果记 , , (2.14) , , (2.15) 则(2.13)式可以表示为 , (2.16) (2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程 , (2.17) (2.17)式称为回归超平面方程。

如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则 , , 且记, 则正规方程组(2.16)的矩阵形式为 , (2.18) 解(2.18)得 , (2.19) 再代回到(2.12), 则得到。以下是一对多线性回归分析的两个例子。例2.1某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。表2.1 经计算: , , , ,

最小二乘法

第3章线性动态模型参数辨识－最小二乘法 3.1 辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类： ① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： min )()? (?== ∑=θ θL k k J 1 2ε 其中)(k ε代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二乘法等。 ② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 ③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度)|(θz p 最大限度地逼近条件0θ下的概率密度)|(0θz p ，即 )|()?|(0m a x θθz p z p ??→?。典型的方法是极大似然法。 3.2 最小二乘法的基本概念 ● 两种算法形式 ① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。 ② 递推算法：在上次模型参数估计值)(? 1-k θ的基础上，根据当前获得的数据提出修正，进而获得本次模型参数估计值)(? k θ，广泛采用的递推算法形式为 () ()()()~()θθk k k k d z k =-+-1K h 其中)(? k θ表示k 时刻的模型参数估计值，K (k )为算法的增益，h (k -d ) 是由观测数据组成的输入数据向量，d 为整数，)(~k z 表示新息。 ● 最小二乘原理

定义：设一个随机序列)},,,(),({L k k z 21∈的均值是参数θ 的线性函数 E{()}()T z k k θ=h 其中h (k )是可测的数据向量，那么利用随机序列的一个实现，使准则函数 21 ()[()()]L T k J z k k θθ==-∑h 达到极小的参数估计值θ? 称作θ的最小二乘估计。 ● 最小二乘原理表明，未知参数估计问题，就是求参数估计值θ? ，使序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 ● 如果系统的输入输出关系可以描述成如下的最小二乘格式 ()()()T z k k e k θ=+h 式中z (k )为模型输出变量，h (k )为输入数据向量，θ为模型参数向量，e (k )为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序列)}({k z 和)}({k h ，极小化下列准则函数 21()[()()]L T k J z k k θθ==-∑h 即可求得模型参数的最小二乘估计值θ? 。 ● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 3.3 最小二乘问题的描述 (1) 考虑模型 )()()()()(11k e k u z B k z z A +=-- 式中u (k )和z (k ) 分别为过程的输入和输出变量，e (k )是均值为零、方差为2 n σ的随机噪声，)(1-z A 和)(1-z B 为迟延算子多项式，写成 A z a z a z a z B z b z b z b z n n n n a a b b ()()--------=++++=+++?????11122111221 (2) 假定模型阶次n a 和n b 为已知，且有b a n n ≥，也可设n n n b a ==, 并定义

最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)

高斯—马尔可夫定理: 若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。（BLUE ) 最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明） 1．线性性：0 ?β和1?β都是i y 的线性函数证明： i n i n j j i n j j n i i i y x x x x x x y x x ∑ ∑∑∑====--=--=1 12 1 2 1 1 )() ()()(?βΘ ；令 ∑=--= n j j i i x x x x k 1 2) () ( 则有 i n i i y k ∑==1 1 ?β ，且有 =∑i k ， 1 =∑i i x k ， ∑∑=-= n i i i x x k 1 2 2) (1 从而1? β是i y 的线性函数；同理， 0?β＝=-x y 1?βi i i i n i i y k x n y k x y n ∑∑∑?? ? ??-=-=111

令i i k x n w ?-=1 ，则有：i i y w ∑=0 ?β，即0 ?β也是i y 的线性函数。另有：1=∑i w ， 0=∑i i x w 2. 无偏性：0 ?β和1?β都是0β、1β的无偏估计量；即有：(),?0 ββ=E ()1 1 ?ββ=E 证明：先证()1 1 ?ββ=E Θ ()i i i i n i i u x k y k ++==∑∑=101 1 ?βββ，又Θ 0=∑i k ，1=∑i i x k ()∑∑∑=++===i i i i i n i i k u x k y k 0101 1 ?ββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β () ()1101?ββββ=++?=∑∑∑i i i i i u E k x k k E (因为: 0=∑i k ，1=∑i i x k ) 同理，利用1=∑i w 和0=∑i i x w 可证得() ,?0 0ββ=E 3. 最优性或最小方差性：在所有的线性无偏估计中，0 ?β和1?β分别是0β、1β的方差最小的有效估计量证明：若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵

第四章参数的最小二乘法估计分解

第四章最小二乘法与组合测量 §1概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 dx v P i i i i )2exp(21 22 σπ σ-= 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为

n i i i n i i dx v P P )]()(21exp[)2(12∑- ∏= ∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 ∑=i i i Min v 2 2 σ 权因子：22o i i w σσ=即权因子i w ∝21 i σ，则 2 []i i wvv wv Min ==∑ 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑ 即加权算术平均值这里为了与概率符号区别，以i ω表示权因子。特别是等权测量条件下，有： ∑===Min v vv i 2][ 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。为从一组测量数据中求得最佳结果，还可使用其它原理。例如（1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，

第三节 最小二乘估计量的性质

2动态过程数学模型参数估计的最小二乘方法

(整理)计量经济学 第三章 多元线性回归与最小二乘估计

第三节 最小二乘估计量的性质

普通最小二乘法(OLS)

最小二乘法参数估计

用matlab实现最小二乘递推算法辨识系统参数

最小二乘法基本原理

系统辨识最小二乘参数估计matlab

第四章参数的最小二乘法估计

参数的最小二乘法估计

系统辨识之最小二乘法

最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)

基于最小二乘法的系统参数辨识

§2 回归系数的最小二乘估计

最小二乘法

最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)

第四章参数的最小二乘法估计分解

第三节最小二乘估计量的性质

(整理)计量经济学第三章多元线性回归与最小二乘估计

第三节最小二乘估计量的性质