计量经济学中相关证明

计量经济学中相关证明文档编制序号：[KKIDT-LLE0828-LLETD298-POI08]

课本中相关章节的证明过程

第2章有关的证明过程

一元线性回归模型

有一元线性回归模型为：y t = 0 + 1 x t + u t

上式表示变量y t 和x t之间的真实关系。其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，0称常数项，1称回归系数（通常未知）。上模型可以分为两部分。（1）回归函数部分，E(y t) = 0 + 1 x t,

（2）随机部分，u t。

图真实的回归直线

这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以，在经济问题上“控制其他因素不变”实际是不可能的。

回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。

回归模型存在两个特点。（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。

通常，线性回归函数E(y t) = 0 + 1 x t是观察不到的，利用样本得到的只是对E(y t) = 0 +

x t 的估计，即对0和1的估计。

1

在对回归函数进行估计之前应该对随机误差项u t做出如下假定。

(1) u t 是一个随机变量，u t 的取值服从概率分布。

(2) E(u t) = 0。

(3) D(u t) = E[u t - E(u t) ]2 = E(u t)2 = 2。称u i 具有同方差性。

(4) u t 为正态分布（根据中心极限定理）。以上四个假定可作如下表达：u t N

(0,)。

(5) Cov(u i, u j) = E[(u i - E(u i) ) ( u j - E(u j) )] = E(u i, u j) = 0, (i j )。含义是不同观测值所对应的随机项相互独立。称为u i 的非自相关性。

(6) x i是非随机的。

(7) Cov(u i, x i) = E[(u i - E(u i) ) (x i - E(x i) )] = E[u i (x i - E(x i) ] = E[u i x i - u i E(x i) ] = E(u i x i)

= 0.

u i与x i相互独立。否则，分不清是谁对y t的贡献。

(8) 对于多元线性回归模型，解释变量之间不能完全相关或高度相关（非多重共线性）。

在假定（1），（2）成立条件下有E(y t) = E(0+ 1 x t+ u t) = 0+ 1 x t。

最小二乘估计（OLS ）

对于所研究的经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。

图

怎样估计这条直线呢显然综合起来看，这条直线处于样本数据的中心位置最合理。怎样用数学语言描述“处于样本数据的中心位置”设估计的直线用

t y ? =0?β+1

?β x t 表示。其中t y ?称y t 的拟合值（fitted value ），0?β和1

?β分别是 0 和1的估计量。观测值到这条直线的纵向距离用t u

?表示，称为残差。 y t =t y ?+t u ?=0?β+1

?β x t +t u ? 称为估计的模型。假定样本容量为T 。（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性（这种方法对异常值非常敏感）。设残差平方和用Q 表示，

Q = ∑=T

i t u 12?= ∑=-T

i t t y y 12

)?(= ∑=--T

i t

t x y 1

210)??(ββ， 则通过Q 最小确定这条直线，即确定0?β和1?β的估计值。以0?β和1

?β为变量，把Q 看作是0?β和1?β的函数，这是一个求极值的问题。求Q 对0?β和1?β的偏导数并令其为零，得正规方程，

?β

??Q

= 2∑=--T

i t

t x y 110)??(ββ(-1) = 0

1

?β

??Q

= 2∑=--T

i t

t x y 1

10)??(ββ(- x t ) = 0 下面用代数和矩阵两种形式推导计算结果。 首先用代数形式推导。由（）、（）式得，

∑=--T

i t

t x y 110)??(ββ= 0 ∑=--T

i t

t x y 1

10)??(ββx t = 0 （）式两侧用除T ，并整理得，

0?β= x y 1

?β- 把（）式代入（）式并整理，得，

])(?)[(11∑=---T

i t

t

x x y y

βx t = 0 ∑∑

==---T

i t t

T

i t t x x x

x y y 1

1

1

)(?)(β= 0

1

?β= ∑∑--t t

t t

x

x x y y x )()( 因为∑=-T

i t y y x 1

)(= 0，∑=-T

i t x x x 1

)(= 0，[采用离差和为零的结论：∑==-T

i t x x 1

0)(，

0)(1

=-∑=T

i t

y y

]。

所以，通过配方法，分别在（）式的分子和分母上减∑=-T

i t y y x 1

)(和∑=-T

i t x x x 1

)(得，

1

?β= ∑∑∑∑-----

-)

()()()(x x

x x x x

y y

x y y x t

t

t

t

t t

= ∑

∑---2

)())((x x y y x x t

t

t

即有结果：

1

?β= ∑∑---2

)()

)((x x y y x x t t t t t （）

0?β= x y 1

?β- 这是观测值形式。如果以离差形式表示，就更加简洁好记。

1

?β= ∑∑2t

t

t x

y

x

0?β= x y 1

?β- 矩阵形式推导计算结果：

由正规方程，

?β

??Q

= 2∑=--T

i t

t x y 110)??(ββ(-1) = 0

1

?β

??Q

= 2∑=--T i t

t x y 1

10)??(ββ(- x t ) = 0 0?βT +1

?β (∑=T

i t x 1

) = ∑=T

i t y 1

?β∑

=T

i t x 1

+1

?β (∑=T

i t

x 1

2

) = ∑=T

i t t y x 1

??

??

??∑∑∑2

t

t

t x

x x

T

???

?????10??ββ=???

?

??

??

∑∑t t t y x y ??

?

?????10??ββ

=1

2-???

?

????∑∑

∑t t

t x x x T

???

?

???

?

∑∑t t t y x y =

2

2

)

(1

∑∑-t t x x T ???

?

????--∑∑∑T x x x t

t t 2???

?????∑∑t t t y x y = ?????

??

?

?

?

?

----∑∑∑∑∑∑∑∑∑∑∑2

22

22)()(t t t t t t t t t t t t t x x T y x y x T

x x T y x x y x 注意：关键是求逆矩阵1

2-???

???

??∑

∑

∑

t t

t x x x T

。它等于其伴随阵除以其行列式，伴随阵是其行

列式对应的代数余子式构成的方阵的转置。 写成观测值形式。

1

?β= ∑∑---2

)()

)((x x y y x x t t t t t

0?β= x y 1

?β-

如果，以离式形式表示更为简洁：

1

?β= ∑∑2t

t

t x

y

x

0?β= x y 1

?β-

一元线性回归模型的特性

1．线性特性（将结果离差转化为观测值表现形式） 2．无偏性

其中：0)2

22=-===∑∑∑∑∑∑∑i i i i i i

i x X X x x x x K （ 故有：∑+=i i u K 22?ββ

3． 有效性

首先讨论参数估计量的方差。

即： ∑

=2

2

2)?(i x Var οβ

同理有：

显然各自的标准误差为：

∑

=2

2)?(i x se ο

β

，

∑∑

=2

2

1)?(i i x n X se οβ

标准差的作用：衡量估计值的精度。 由于σ为总体方差，也需要用样本进行估计。 证明过程如下： 因此有： u X Y ++=21ββ

那么：

)()()(2121u X u X y Y Y i i i i ++-++==-ββββ

根据定义：i i i x y e 2?β-=，

（实际观测值与样本回归线的差值） 则有：

两边平方，再求和： 对上式两边取期望有：

其中：

2

2

2

2

οο==

∑

∑

i i x x A

故有：

22)1(ο-=∑n e E i

即有：

????

??

??-=∑

222n e E i ο， 令2

?2

2-=∑

n e i ο

，则问题得证。

关于

∑

2i e 的计算：

关于2

2R R ≤的证明：

(

)()

222

111

11R a k n n R

R -?-=----=，其中：1≥a 。

当 11=?=a k

当11>?>a k ，当

102≤≤R 时，有： 关于2

R 可能小于0的证明。 设：

t t t u X Y +=2β

则有：

那么 0?2=??βJ

但：0≠∑t e ，因为没有0?1=??βJ

存在。

同时，还有：

其中：

()01=-=-=-∑∑∑∑t t t t e n

n

e e n e e e

，

和 0=∑t t e X

则：

考虑到： 若定义

可能小于0。 参考书：

Dennis J. Aigner Basic Econometrics, Prentice-Hall, Englewood Cliffs, N. J. 1971,pp85-88

第二章

简单线性回归最小二乘估计最小方差性质的证明

对于OLS 估计式^1β和^

2β,已知其方差为

这里只证明^2()Var β最小，^

1()Var β最小的证明可以类似得出。

设2β的另一个线性无偏估计为*2β，即

其中

2,i i i i i

x w k k x ≠=

∑

因为*2β也是2β的无偏估计，即

*

22()E ββ=，必须有 0i w =∑，1i i w X =∑

同时

*

2()()i i Var Var wY β=∑ 22i w σ=∑ [因为2

()i Var Y σ=]

上式最后一项中

22

222()

i i i i i

i

i

i

w x x w k k x x -=-

∑∑∑∑

∑∑

0= （因为0i w =∑，1i i w X =∑）

所以

2

*

2

2

2

2

22

()()[]()i i i i x Var w k x βσσ=-+∑∑∑ 而2

0σ≥，因为i i w k ≠，则有2()0i i w k -≥，为此

只有i i w k =时，^

*

22()()Var Var ββ=，由于*2β是任意设定的2β的线性无偏估计式，这表明

2β的OLS 估计式具有最小方差性。

2

σ最小二乘估计的证明

用离差形式表示模型时 而且 ^^

i i y Y Y =-

因此 ^

^

22()()i i i i i e y y u u x ββ=-=---

则有 ^22

2

2[()()]i

i

i e u u x β

β=---∑

∑

取2i

e

∑的期望

式中 (1)

222

[()][()]i i E u u E u n u -=-∑∑ (2)

2

^22

22

2

22()i i

i

x E x

x

σβ

βσ-==∑∑∑

(3)

^

2222[()()]2[

()]i i

i i i i

i

i

x u E u u x E x u u x x ββ---=--∑∑∑∑∑

所以 22222

()(1)2(2)i E e n n σσσσ=-+-=-∑

如果定义

2^

2

2i

e n σ

=

-∑

其期望值为

2^

2

2

()[

]2

i

e E E n σσ==-∑

这说明

2^

2

2i

e

n σ

=

-∑是2σ的无偏估计。

第三章

多元线性回归最小二乘估计无偏性的证明

因为 ''''^

-1-1

β=(X X)X Y =(X X)X (Xβ+U)

对两边取期望,

[]E E ''^-1(β)=β+(X X)X (U) =β [由假定1:E (U)=0] 即^

β是β的无偏估计。

多元线性回归最小二乘估计最小方差性的证明 设*

β为β的另一个关于Y 的线性无偏估计式，可知

*

β=AY （A 为常数矩阵） 由无偏性可得 E E E *

(β)=(AY)=[A(Xβ+U)]

所以必须有 AX =I

要证明最小二乘法估计式的方差^

()Var β小于其他线性去偏估计式的方差

*

()Var β，只要证明协方差矩阵之差

为半正定矩阵，则称最小二乘估计^

β是β的最小方差线性无偏估计式。

因为 *

β-β=AY -β=A(Xβ+U)-β

所以

[[]()E E E ''''==**

(β-β)(β-β)](AU)(AU)AUU A 由于 ''''^

-1-1

β=(X X)X Y =β+(X X)X U

所以 22

[][E E σσ''''--^

^

**

-1(β-β)(β-β)(β-β)(β-β)]=AA (X X)

由于

由线性代数知，对任一非奇异矩阵C ，'CC 为半正定矩阵。如果令[]''-1A -(X X)X =C 则 ''''''''-1-1-1

CC =[A -(X X)X ][A -(X X)X ]=AA -(X X) 由于半正定矩阵对角线元素非负，因此有

''≥-1

AA -(X X)0

即 ^

*2

()()0j

j j j E E ββββ---≥ （1,2,

j k =）

这证明了

j

β的最小二乘估计

^

j

β在

j

β的所有无偏估计中是方差最小的估计式。

残差平方和2i e ∑的均值为2()n k σ-的证明

由残差向量的定义及参数的最小二乘估计式，有

可以记''-1

P =I -X(X X)X ，则

容易验证，P 为对称等幂矩阵，即 残差向量的协方差矩阵为 利用矩阵迹的性质，有 两边取期望得 第五章

在异方差性条件下参数估计统计性质的证明 1、参数估计的无偏性仍然成立

设模型为 n i v X Y i i i ,,2,1,

21 =++=ββ （1）

用离差形式表示 i i i u x y +=2β (其中v v u i i -=) （2）

参数2β的估计量2?

β为

在证明中仅用到了假定0)(=i i u x E 。 2、参数估计的有效性不成立

假设（1）式存在异方差，且222)var(i i i X u σσ==，则参数2β的估计2?

β的方差为

∑∑∑∑∑∑∑∑∑?

==

=

=

==22222

22

2222222222)()

()

()

(i

i

i

i

i i i i

j

i i

i i

j

i i

i x

X

x x x X x x x x u E x σ

σσ (5)

在上述推导中用了假定

j

i u u E j i ≠=,0)(。

下面对（2）式运用加权最小二乘法（WLS ）。设权数为

i i z w 1

=

，对（2）式变换为

i i

i i i

i z u z x z y +=2β （6）

可求得参数的估计2?

β，根据本章第四节变量变换法的讨论，这时新的随机误差项i i

z u 为同方差，即2

)var(σ=i

i z u

，而 2?β的方差为

∑?

???

??=2

2

2)?var(i i wls

z x σβ （7）

为了便于区别，用(2?β)wls 表示加权最小二乘法估计的2β，用(2?

β)ols 表示OLS 法估计的

2β。

比较（5）式与（7）式，即在异方差下用OLS 法得到参数估计的方差与用WLS 法得到参数估计的方差相比较为

()

()

()

()

∑∑∑∑∑∑∑∑∑???

? ??=????

??=?

???

??=222

22222

222

2

22222

2

22)?var()?var(i

i i

i i

i

i i i i i

i

i i i ols

wls z x z x x x z x z x x x z x σσσσββ （8）

令i i i i i i

b x z a z x ==,，由初等数学知识有()12

22

≤∑∑∑b a ab ，因此（10）式右端有

()

()

1

222

22≤???

? ??∑∑∑i

i i

i

i

z x z x x （9）

从而，有

这就证明了在异方差下，仍然用普通最小二乘法所得到的参数估计值的方差不再最小。 对数变换后残差为相对误差的证明

事实上，设样本回归函数为

i i i e X Y ++=21?

?ββ （10） 其中Y Y e i i ?

-=为残差，取对数后的样本回归函数为

*

21ln ??ln e X Y ++=αα （11）

其中残差为Y

Y e ?ln ln *-=，因此 )

??1ln()???ln()?ln(?ln ln *

Y Y Y Y Y Y Y Y Y Y Y e -+=-+==-= （12）

对（12）式的右端，依据泰勒展式

+-++-+-=+-n X X X X X X n

n 1432)1(432)1ln( （13）

将（13）式中的X 用Y

Y

Y ??-替换，则*e 可近似地表示为 Y

Y Y e ??*

-≈

（14） 即表明（11）式中的误差项为相对误差。 第六章：

: 存在自相关时参数估计值方差的证明

+)] (21131312121n n n n u u x x u u x x u u x x --+++

+[])()()(21131312121n n n n u u E x x u u E x x u u E x x --+++

第九章

2α概率极限性质的证明

其中：2

21i x n ∑为X 2的样本方差，231i i

x x n ∑为X 2和X 3的样本协方差， 21()i i x u u n -∑为

X 2和i u 的样本协方差。 参数2α一致性的证明

同理，可证11)?(βα=E ，0)?(33==βαE ；11lim n p αβ→∞=和33lim 0n p αβ→∞==。

有测量误差模型参数估计结果的推导

因此，有测量误差模型参数估计的概率极限为

第11章

联立方程偏倚的证明

例如，设联立方程模型为 对(1)式1β的OLS 估计为：

∑∑∑∑∑∑∑∑+

=++==

=21210

2

2

1

)(?t

t

t t

t

t

t t

t

t t

t

t y

y u y

y u Y y y C y

y c ββββ （3）

其中利用了∑=0t

y 和12=∑∑t

t

t y

y Y 。对上式两边取期望，得

这里的()02≠∑∑t

t

t y y u E ，则1

1

)?(ββ≠E ，1

?β是1

β

的有偏估计。

对（3）式取概率极限，得

)lim()lim()?lim(211∑∑+=t t t y y u p p p ββ∑∑+=)lim()1

lim(

)lim(21t t t y p y u n

p p β （4）

其中：y u t t ∑)(是Y 与u 的样本协方差，其总体协方差为

y t ∑)(2是Y 的样本方差，其总体方差为 因此

因为022

≠Y σσ，则11)?lim(ββ≠p ，这说明1?

β不是1β的一致估计。