第4讲 相关分析与回归分析

应用回归分析

第五章 自变量选择对回归参数的估计有何影响 答：全模型正确而误用选模型时，我们舍去了m-p 个自变量，用剩下的p 个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计。选模型正确而误用全模型时，参数估计值是选模型相应参数的有偏估计。 自变量选择对回归预测有何影响 （一）全模型正确而误用选模型的情况 估计系数有偏，选模型的预测是有偏的，选模型的参数估计有较小的方差，选模型的预测残差有较小的方差,选模型预测的均方误差比全模型预测的方差更小。 （二）选模型正确而误用全模型的情况 全模型的预测值是有偏的，全模型的预测方差的选模型的大，全模型的预测误差将更大。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣 答：应该用自由度调整复决定系数达到最大的准则。当给模型增加自变量时，复决定系数也随之增大，然而复决定系数的增大代价是残差自由度的减小，自由度小意味着估计和预测的可靠性低。应用自由度调整复决定系数达到最大的准则可以克服样本决定系数的这一缺点,把2 R 给予适当的修正，使得只有加入“有意义”的变量时，经过修正的样本决定系数才会增加，从而提高预测的精度。 试述前进法的思想方法。 解：主要是变量由少到多，每次增加一个，直至没有可引入的变量为止。 具体做法是：首先将全部m 个自变量，分别对因变量y 建立m 个一元线性回归方程，并分别计算这m 个一元回归方程的m 个回归系数的F 检验值，记为 111 12{,,,} m F F F ，选其最大者 1111 12max{,, ,} j m F F F F =，给定显著性水平α，若 1(1,2) j F F n α≥-，则首先将 j x 引入回 归方程，假设 1 j x x =。其次，将 12131(,),(,),,(,)m y x x x x x x 分别与建立m-1个二元线性 回归方程，对这m-1个回归方程中 23,, ,m x x x 的回归系数进行F 检验，计算F 值，记为 222 23{,, ,} m F F F ，选其最大的记为 2222 23max{,, ,} j m F F F F =，若 2(1,3) j F F n α≥-，则 接着将j x 引入回归方程。以上述方法做下去。直至所有未被引入方程的自变量的F 值均小

应用回归分析第章课后习题答案

第6章 6.1 试举一个产生多重共线性的经济实例。 答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。 6.2多重共线性对回归参数的估计有何影响？ 答：1、完全共线性下参数估计量不存在； 2、参数估计量经济含义不合理； 3、变量的显著性检验失去意义； 4、模型的预测功能失效。 6.3 具有严重多重共线性的回归方程能不能用来做经济预测？ 答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。 6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？ 答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。 6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。将所得结果与逐步回归法所得的选元结果相比较。 5.9 在研究国家财政收入时，我们把财政收入按收入形式分为：各项税收收入、企业收入、债务收入、国家能源交通重点建设收入、基本建设贷款归还收入、国家预算调节基金收入、其他收入等。为了建立国家财政收入回归模型，我们以财政收入y（亿元）为因变量，自变量如下：x1为农业增加值（亿元），x2为工业增加值（亿元），x3为建筑业增加值（亿元），x4为人口数（万人），x5为社

应用回归分析课后习题第7章第6题

7.6一家大型商业银行有多家分行，近年来，该银行的贷款额平稳增长，但不良贷款额也有较大比例的提高。为弄清楚不良贷款形成的原因，希望利用银行业务的有关数据做定量分析，以便找出控制不良贷款的方法。表7-5是该银行所属25家分行2002年的有关业务数据。 （1）计算y 与其余4个变量的简单相关系数。 由系数表可知，y 与其余4个变量的简单相关系数分别为0.844,0.732,0.700，0.519. （2）建立不良贷款对4个自变量的线性回归方程，所得的回归系数是否合理？ 由上表可知，回归方程为为： 022.1029.0015.0148.04.0?4321--++=x x x x y 从上表可看出，方程的自变量2x 、3x 、4x 未通过t 检验，说明回归方程不显著，而且由实际意义出发，4x 的系数不能是负的，所以所得的回归系数不合理。 （3）分析回归模型的共线性。

由上表可知，所有自变量对应的VIF 全部小于10，所以自变量之间不存在共线性。但进行特征根检验见下表： 由这个表可以看出来，第5行中1x 、3x 的系数分别为0.87和0.63，可以说明这两个变量之间有共线性。 （4）采用后退法和逐步回归法选择变量，所得的回归系数是否合理？是否还存在共线性？ 采用后退法（见上表），所得回归方程为972.0029.0149.0041.0y ?421--+=x x x 采用逐步回归法（见上表），所得回归方程为443.0032.005.0?41--=x x y 所得4x 的系数不合理（为负），说明存在共线性. （5）建立不良贷款y 对4个变量的岭回归。

应用回归分析,第4章课后习题参考答案

第4章违背基本假设的情况 思考与练习参考答案 试举例说明产生异方差的原因。 答：例：截面资料下研究居民家庭的储蓄行为 Y i=β0+β1X i+εi 其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。 由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。 例：以某一行业的企业为样本建立企业生产函数模型 Y i=A iβ1K iβ2L iβ3eεi 被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。异方差带来的后果有哪些 答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果： 1、参数估计量非有效 2、变量的显著性检验失去意义 3、回归方程的应用效果极不理想 总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差

的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。 加权最小二乘法的方法： 简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。 答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： ∑=----=n i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ （2） 加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw w w βββ?,,?,?10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做 p pw w w w x x y βββ????110+++= （3） 22011 1 ???()()N N w i i i i i i i i Q w y y w y x ββ===-=--∑∑22 __ 1 _ 2 _ _ 02 222 ()() ?()?1 11 1 ,i i N w i i i w i w i w w w w w kx i i i i m i i i m i w x x y y x x y x w kx x kx w x σβββσσ==---=-= = ===∑∑1N i =1 1表示=或

应用回归分析,第7章课后习题参考答案

第7章岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X｜≈0，回归系数估计的方差就很大，估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（X’X）-1为奇异时，给X’X加上一个正常数矩阵 D, 那么X’X+D接近奇异的程度就会比X′X接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k有哪几种方法？ 答：最优 是依赖于未知参数 和 的，几种常见的选择方法是： 岭迹法：选择 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多；

方差扩大因子法： ，其对角线元 是岭估计的方差扩大因子。要让 ； 残差平方和：满足 成立的最大的 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随着k的增加迅速趋近于零。像这样岭回归系数不稳定、震动趋于零的自变量，我们也可以予以剔除； 3. 去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉那几个，要根据去掉某个变量后重新进行岭回归分析的效果来确定。

应用数理统计吴翊李永乐第四章回归分析课后作业参考答案

第四章 回归分析 课后作业参考答案 炼铝厂测得铝的硬度x 与抗张强度y 的数据如下： i x 68 53 70 84 60 72 51 83 70 64 i y 288 298 349 343 290 354 283 324 340 286 (1)求y 对x 的回归方程 (2)检验回归方程的显著性(05.0=α) (3)求y 在x =65处的预测区间(置信度为 解：(1) 1、计算结果 一元线性回归模型εββ++=x y 10只有一个解释变量 其中：x 为解释变量，y 为被解释变量，10,ββ为待估参数，ε位随机干扰项。 ( )()() ( )685.222 ,959.4116,541.35555 .76725 .19745 .109610 ,5.3151,5.6712 2 1 21 2 1 12 1 2 12 11=-= =-=== =-=-==-=--==-=-======∑∑∑∑∑∑∑∑========n Q U L Q L L U y n y y y L y x n y x y y x x L x n x x x L n y n y x n x e e yy e xx xy n i i n i i yy n i i i n i i i xy n i i n i i xx n i i n i i σ 使用普通最小二乘法估计参数10,ββ 上述参数估计可写为95.193??,80.1?1 01 =-===x y L L xx xy βββ 所求得的回归方程为：x y 80.195.193?+= 实际意义为：当铝的硬度每增加一个单位，抗张强度增加个单位。 2、软件运行结果 根据所给数据画散点图

应用回归分析 课后答案 浙江万里学院

2.1 一元线性回归有哪些基本假定? 答： 假设1、解释变量X 是确定性变量，Y 是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n 误差εi （i=1,2, …,n ）仍满足基本假定。求β1的最小二乘估计 解： 得： 2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。 证明： 其中： 即： ∑e i =0 ，∑e i X i =0 2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什么条件下等价?给出证明。 ∑∑+-=-=n i i i n i X Y Y Y Q 1 21021 ))??(()?(ββ211 1 2 )?()?(i n i i n i i i e X Y Y Y Q β∑∑==-=-= 01????i i i i i Y X e Y Y ββ=+=-0 1 00??Q Q β β ??==??

答：由于εi ~N(0, σ2 ) i=1,2, …,n 所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2 ) 最大似然函数： 使得Ln （L ）最大的0 ?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小， 上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N(0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。 所以在εi ~N(0, σ2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。 2.5 证明0 ?β是β0的无偏估计。 证明：)1[)?()?(111 0∑∑==--=-=n i i xx i n i i Y L X X X Y n E X Y E E ββ )] )(1 ([])1([1011i i xx i n i i xx i n i X L X X X n E Y L X X X n E εββ++--=--=∑∑== 1010)()1 (])1([βεβεβ=--+=--+=∑∑==i xx i n i i xx i n i E L X X X n L X X X n E 2.6 证明 证明： )] ()1([])1([)?(102110i i xx i n i i xx i n i X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== 2 2221 2]1[])(2)1[(σσxx xx i xx i n i L X n L X X X nL X X X n +=-+--=∑= 2.7 证明平方和分解公式：SST=SSE+SSR ∑∑+-=-=n i i i n i X Y Y Y Q 1 2102 1 ))??(()?(ββ() ) 1()1()?(2 2 2 1 2 2 xx n i i L X n X X X n Var +=-+=∑=σσβ

应用回归分析第4章课后习题参考答案

应用回归分析第4章课后习题参考答案 第4章违背基本假设的情况 思考与练习参考答案 试举例说明产生异方差的原因。 答：例：截面资料下研究居民家庭的储蓄行为 Y i=0+1X i+εi 其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。 由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。 例：以某一行业的企业为样本建立企业生产函数模型 Y i=A i1K i2L i3eεi 被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。异方差带来的后果有哪些 答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果： 1、参数估计量非有效 2、变量的显著性检验失去意义

3、回归方程的应用效果极不理想 总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。加权最小二乘法的方法： 简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。 答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和

应用回归分析,第7章课后习题参考答案

第7章 岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X ｜≈0，回归系数估计的方差就很大， 估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其 统计思想是对于（X ’X ）-1为奇异时，给X’X 加上一个正常数矩阵D, 那么X’X+D 接近奇异的程度就会比X ′X 接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue 。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k 有哪几种方法？ 答：最优k 是依赖于未知参数β和2σ的，几种常见的选择方法是： ○ 1岭迹法：选择0k 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多； ○ 2方差扩大因子法：11()()()c k X X kI X X X X kI --'''=++，其对角线元()jj c k 是岭估计的方差扩大因子。要让()10jj c k ≤； ○ 3残差平方和：满足()SSE k cSSE <成立的最大的k 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这 样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k 值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随

应用回归分析,第5章课后习题参考答案

第5章自变量选择与逐步回归 思考与练习参考答案 自变量选择对回归参数的估计有何影响 答：回归自变量的选择是建立回归模型得一个极为重要的问题。如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。 自变量选择对回归预测有何影响 答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣 C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用 p 归方程的优劣。 试述前进法的思想方法。 答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m 个一元线性回归方程, 并计算F检验值，选择偏回归平方和显着的变量（F值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的两变量变量（F 值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏回归平方和显着的三个变量（F值最大）进入回归方程。不断重复这一过程，直到无法再引入新的自变量时，即所有未被引入的自变量的F检验值均小于F检验临界值

应用回归分析课后习题第4章第9题

4.9 1） 由上表可知，普通最小二乘法所建立的回归方程为831.0004.0?-=x y 残差散点图为 （1）诊断该问题是否存在异方差。 第一步，由残差图可以知道，残差图中53个散点并不是随机的，残差e 随y 值得增大而增大，具有明显的规律，所以可以认为模型的随机误差项i ε的方差是非齐性的，可以初步认为该问题中存在异方差。 第二步，用等级相关系数法进一步的检验 首先，用Excel 计算出残差绝对值|i e |，然后利用SPSS 软件，用斯皮尔曼等级相关法进行计算与i x 的等级相关系数，输出结果如表： 可以得到等级相关系数为0.318，p=0.021所以可以认为残差绝对值与i x 之间相关，存在异

方差。 综上两种方法，可以知道，该问题存在异方差。 （2）如果存在异方差，用幂指数型的权函数建立加权最小二乘回归方程。 由SPSS 软件中的权重估计可以得到当m=1.5,似然函数的值达到最大， 由系数表可以知道，此时，加权最小二乘幂指数m 的最优取值为1.5的时候的，回归方程 为：683.0004.0?-=x y （3）用方差稳定变换y y = ’ 消除异方差。 首先计算：用Excel 计算出y y =’ ，然后用SPSS 软件计算出结果中系数表为： 由系数表可以知道此时回归方程为582.0001.0?+=x y 下面将普通最小二乘估计与做变换后的结果进行比较：首先，由残差图可以知

由上图可知道，此时，残差图完全随机分布在0的上方。 另外，由SPSS计算出此时的残差绝对值与x的等级相关系数表如下： 此时等级相关系数为0.318，P值为0.021此时说明已消除了异方差的影响，但由于此时的决定系数R方为0.648小于最小二乘估计的R方0.705。说明此时回归效果并不比最小二乘估计有效。 4.13 （1）由普通最小二乘法建立y与x的回归方程。 由上表可知y与x的回归方程为：435 .1 176 .0 ?- =x y 由回归系数的显著性知道，t=107.928 p=0说明自变量对因变量的线性显著影响。（2）用残差图及DW检验诊断序列的自相关性。

应用回归分析-第6章课后习题参考答案

第6章多重共线性的情形及其处理 思考与练习参考答案 6.1 试举一个产生多重共线性的经济实例。 答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。 6.2多重共线性对回归参数的估计有何影响？ 答：1、完全共线性下参数估计量不存在； 2、近似共线性下OLS估计量非有效； 3、参数估计量经济含义不合理； 4、变量的显著性检验失去意义； 5、模型的预测功能失效。 6.3 具有严重多重共线性的回归方程能不能用来做经济预测？ 答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。 6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？ 答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。 6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？ 答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量

应用回归分析_整理课后习题参考答案

第二章 一元线性回归分析 思考与练习参考答案 2.1 一元线性回归有哪些基本假定? 答： 假设1、解释变量X 是确定性变量，Y 是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=σ2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, σ2 ) i=1,2, …,n 2.2 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n 误差εi （i=1,2, …,n ）仍满足基本假定。求β1的最小二乘估计 解： 得： 2.3 证明（2.27式），∑e i =0 ，∑e i X i =0 。 证明： 其中： 即： ∑e i =0 ，∑e i X i =0 ∑∑+-=-=n i i i n i X Y Y Y Q 1 2102 1 ))??(()?(ββ211 1 2)?()?(i n i i n i i i e X Y Y Y Q β∑∑==-=-= 01????i i i i i Y X e Y Y ββ=+=-0 1 00??Q Q β β ??==??

2.4回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什 么条件下等价?给出证明。 答：由于εi ~N(0, σ2 ) i=1,2, …,n 所以Y i =β0 + β1X i + εi ~N （β0+β1X i , σ2 ) 最大似然函数： 使得Ln （L ）最大的0 ?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小， 上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N (0, σ2 )的假设下求得，最小二乘估计则不要求分布假设。 所以在εi ~N(0, σ2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。 2.5 证明0 ?β是β0的无偏估计。 证明：)1[)?()?(1 110∑∑==--=-=n i i xx i n i i Y L X X X Y n E X Y E E ββ )] )(1 ([])1([1011i i xx i n i i xx i n i X L X X X n E Y L X X X n E εββ++--=--=∑∑== 1010)()1 (])1([βεβεβ=--+=--+=∑∑==i xx i n i i xx i n i E L X X X n L X X X n E 2.6 证明 证明： )] ()1([])1([)?(102110i i xx i n i i xx i n i X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== ∑∑+-=-=n i i i n i X Y Y Y Q 1 21021 ))??(()?(ββ() ) 1()1()?(2 2 2 1 2 2 xx n i i L X n X X X n Var +=-+=∑=σσβ

应用回归分析第四版课后知识题目解析全何晓群刘文卿

实用回归分析第四版 第一章回归分析概述 1.3回归模型中随机误差项ε的意义是什么？ 答：ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y与x1,x2…..xp的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。 1.4 线性回归模型的基本假设是什么？ 答：线性回归模型的基本假设有：1.解释变量x1.x2….xp是非随机的，观测值xi1.xi2…..xip是常数。2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=｛σ^2 3.正态分布的假定条件为相互独立。 4.样本容量的个数要多于解释变量的个数，即n>p. 第二章一元线性回归分析 思考与练习参考答案 2.1一元线性回归有哪些基本假定? 答：假设1、解释变量X是确定性变量，Y是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi)=0 i=1,2, …,n

Var (εi)=σ2i=1,2, …,n Cov(εi,εj)=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X之间不相关： Cov(X i, εi)=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 εi~N(0, σ2 ) i=1,2, …,n 2.3 证明（2.27式），∑e i =0 ，∑e i X i=0 。 证明： 其中： 即：∑e i =0 ，∑e i X i=0 2.5 证明 ?β是β0的无偏估计。 证明：) 1 [ ) ? ( ) ?( 1 1 1 0∑ ∑ = = - - = - = n i i xx i n i i Y L X X X Y n E X Y E Eβ β )] )( 1 ( [ ] ) 1 ( [ 1 1 1 i i xx i n i i xx i n i X L X X X n E Y L X X X n Eε β β+ + - - = - - =∑ ∑ = = 1 1 ) ( ) 1 ( ] ) 1 ( [β ε β ε β= - - + = - - + =∑ ∑ = = i xx i n i i xx i n i E L X X X n L X X X n E 2.6证明 证明： ∑ ∑+ - = - = n i i i n i X Y Y Y Q 1 2 1 2 1 )) ? ?( ( )? (β β 01 ?? ?? i i i i i Y X e Y Y ββ =+=- () ) 1 ( ) 1 ( ) ?(2 2 2 1 2 2 xx n i i L X n X X X n Var+ = - + = ∑ = σ σ β 01 00 ?? Q Q ββ ?? == ??

第四章 回归分析

§4.2 回归变量的选择与逐步回归 二、逐步回归（stepwise ） 逐步回归分三种： 向前选择法，从模型中无自变量开始，根据给定的条件，每次将 一个最符合条件的变量进入模型，直至所有符合条件的变量都进 入模型为止。 向后剔除法，先建立全模型，根据给定的条件，每次剔除一个最 不符合条件的自变量，直到回归方程不在含有不符合条件的自变 量为止。 Stepwise 法，即前面两种方法的结合，从含有某几个变量或没有 自变量开始，根据给定的条件，将一个最符合条件的变量进入模 型，再剔除新老变量中不符合条件的变量，接着再选入符合条件 的变量，再剔除新老变量不符合条件的变量。如此反复选入变、 剔除变量，直到没有一个变量可选入和剔除为止。 命令：stepwise(X,y) stepwise(X,y,inmode) stepwise(X,y,inmodel,penter,premove) stepwise(X,y) X 为不包括全为1列向量n ×m ，n 为样本容量，m 为自变量个数。y 为因变量n ×1列向量。 stepwise(X,y,inmode) Inmode 为逐步回归时，最初所包括的自变量。如果n=4， 如果inmode 为[1,3]，则表明最初所包括的自变量为X 矩阵第1列和第3列所对应的自变量。Inmode 缺失时，表明最初没有包括自变量，只包括n ×1全为1的列向量。 stepwise(X,y,inmodel,penter,premove) 逐步回归时，为了了解增加和剔除变量的原则,以增加一个变量为例：1 新模型中的参数个数） （增加的变量个数，新模型中的参数个数） ）－（增加的变量个数）－（＝新模型中的参数个数） 新模型残差平方和增加的变量个数老模型的回归平方和）新模型的回归平方和－新老新---=n n n F F ~F /(R 1/R R /(/(222 相应的P 值：()值F F p p >= 当相应的P 值小于等于penter 时，新的变量将被引进时。 同理，删除一个变量x 时： 1 可参见《计量经济学基础》上册，[美]达摩达尔·N ·古扎拉蒂 中国人民大学出版社 p240-p243

第四版应用回归分析课后习题第八章

第8章 非线性回归 思考与练习参考答案 8.1 在非线性回归线性化时，对因变量作变换应注意什么问题？ 答：在对非线性回归模型线性化时，对因变量作变换时不仅要注意回归函数的形式， 还要注意误差项的形式。如： (1) 乘性误差项，模型形式为 ， (2) 加性误差项，模型形式为 。 对乘法误差项模型（1）可通过两边取对数转化成线性模型，（2）不能线性化。 一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式，为了方便通常省去误差项，仅考虑回归函数的形式。 8.2为了研究生产率与废料率之间的关系，记录了如表8.15所示的数据，请画出散点图，根据散点图的趋势拟合适当的回归模型。 表8.15 生产率x （单位/周） 100 2000 3000 3500 4000 4500 5000 废品率y （%） 5.2 6.5 6.8 8.1 10.2 10.3 13.0 解：先画出散点图如下图： e y AK L αβε =y AK L αβε=+

从散点图大致可以判断出x和y之间呈抛物线或指数曲线，由此采用二次方程式和指数函数进行曲线回归。 （1）二次曲线 SPSS输出结果如下：

从上表可以得到回归方程为：72? 5.8430.087 4.4710y x x -=-+? 由x 的系数检验P 值大于0.05，得到x 的系数未通过显著性检验。 由x 2的系数检验P 值小于0.05，得到x 2 的系数通过了显著性检验。 （2）指数曲线 从上表可以得到回归方程为：0.0002t ? 4.003y e = 由参数检验P 值≈0<0.05，得到回归方程的参数都非常显著。

R软件公式：第四章回归分析【回归检验】

例、在一系列不同温度 x （单位：?C ）下，观测硝酸钠在100ml 水中溶解的重量 η（单位：g ），得数据如下： 设有 i i i bx a εη++= ，i ε～),0(2σN ，9,,2,1 =i ，921,,,εεε 相互独立。 (1) 建立η关于x 的一元线性回归方程； (2) 检验线性回归方程是否显著（05.0=α）； (3) 若回归效果显著，求在0x =32时，求0η的95%的预测区间。 R 程序 x<-c(0,4,10,15,21,29,36,51,68) y<-c(66.7,71.0,76.3,80.6,85.7,92.9,99.4,113.6,125.1) xx<-data.frame(matrix(c(y,x),nr=9,nc=2)) lm(y~x,xx) ->hg summary(hg) confint(hg) x0<-data.frame(x=32) lm.pred<-predict(hg,x0,interval="prediction",level=0.95) lm.pred 结果及说明：

> x<-c(0,4,10,15,21,29,36,51,68) > y<-c(66.7,71.0,76.3,80.6,85.7,92.9,99.4,113.6,125.1) > xx<-data.frame(matrix(c(y,x),nr=9,nc=2)) > lm(y~x,xx) ->hg > summary(hg) Call: lm(formula = y ~ x, data = xx) Residuals: Min 1Q Median 3Q Max -1.61134 -0.09124 0.03260 0.14363 1.68955 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 67.507790.50548 133.55 3.48e-13 ***a的值（截距） x 0.870640.01506 57.83 1.21e-10 ***b的值（斜率）t检验值p值--- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 σ西格玛星值 Residual standard error: 0.9594 on 7 degrees of freedom * Multiple R-squared: 0.9979, Adjusted R-squared: 0.9976 F-statistic: 3344 on 1 and 7 DF, p-value: 1.214e-10 F检验值p值 > confint(hg) 2.5 % 97.5 % (Intercept) 66.312534 68.7030548 x 0.835038 0.9062428 > x0<-data.frame(x=32) > lm.pred<-predict(hg,x0,interval="prediction",level=0.95) > lm.pred fit lwr upr η的95%的预测区间 1 95.36829 92.96754 97.76904 P92,4.6,4.7,4.8题，解法相同

应用回归分析 第三章课后习题整理

3.1=??????? ??yn y y 21 ??111 12111xn x x 22212xn x x ???????xnp p x p x 21 ??????? ??p βββ 10 +?????? ? ??n εεε 21即y=x β+ε 基本假定 （1）解释变量x1,x2...,xp 是确定性变量，不是随机变量，且要求rank(X)=p+1

1 )())1((11)1(11)1(11)(11]))(()([11)(11)(11)11()(21)(1 2221112112 1 12 1 2 22222 +===?+-?--=---=---=--=+--=--=--=--=++=-=∑∑∑∑∑∑∑∑∑========∧=∧ p h H tr p n p n h p n h p n e D p n e E e D p n e E p n e E p n SSE p n E E en e e y y SSE n n n n n n n n n τττττττττττττττττττττσσσσσ注 3.4不能断定这个方程一定很理想，因为样本决定系数与回归方程中自变量的数目以及样本量n 有关，当样本量个数n 太小，而自变量又较多，使样本量与自变量的个数接近时，2R 易接近1，其中隐藏一些虚假成分。 3.5当接受H 0时，认定在给定的显著性水平α下，自变量x1,x2, xp 对因变量y 无显著影响，于是通过x1,x2, xp 去推断y 也就无多大意义，在这种情况下，一方面可能这个问题本来应该用非线性模型去描述，而误用了线性模型，使得自变量对因变量无显著影响；另一方面可能是在考虑自变量时，把影响因变量y 的自变量漏掉了，可以重新考虑建模问题。 当拒绝H 0时，我们也不能过于相信这个检验，认为这个回归模型已经完美了，当拒绝H 0时，我们只能认为这个模型在一定程度上说明了自变量x1,x2, xp 与自变量y 的线性关系，这时仍不能排除排除我们漏掉了一些重要的自变量。 3.6中心化经验回归方程的常数项为0，回归方程只包含p 个参数估计值p ∧ ∧ ∧ βββ ,,21比一般的经验回归方程减少了一个未知参数，在变量较