第十二章 其他回归方法

第十二章 其他回归方法

本章讨论加权最小二乘估计，异方差性和自相关一致协方差估计，两阶段最小二乘估计（TSLS ），非线性最小二乘估计和广义矩估计（GMM ）。这里的大多数方法在第十八章的方程系统中也适用。

§12.1 加权最小二乘估计

假设有已知形式的异方差性，并且有序列W ，其值与误差标准差的倒数成比例。这时可以采用权数序列为W 的加权最小二乘估计来修正异方差性。加权最小二乘估计量为：

W y W X W X W X b WLS ''''=-1)(

要使用加权最小二乘法估计方程，首先到主菜单中选Quick/Estimate Equation …,然后选择LS-Least Squares(NLS and ARMA), 然后按Options 钮。接着，单击Weighted LS/TSLS 选项在Weighted 项后填写权数序列名，单击OK, 再选OK 接受对话框并估计方程。

§12.2 异方差性和自相关一致协方差（HAC ）

当异方差性形式未知时，使用加权最小二乘法不能得到参数的有效估计。使用White 异方差一致协方差或Newey-West HAC 一致协方差估计不会改变参数的点估计，只改变参数的估计标准差。可以把加权最小二乘估计与White 或Newey-West 协方差矩阵估计相结合来计算异方差和序列相关。

一、异方差一致协方差估计（White ）

White 协方差矩阵假设被估计方程的残差是序列不相关的。

1121)()(?-=-'??

? ??''-=∑∑X X x x u X X k T T T t t t t W EViews 在标准OLS 公式中提供White 协方差估计选项。打开方程对话框，说明方程，然后按Options 钮。接着，单击异方差一致协方差(Heteroskedasticity Consistent Covariance),选择White 钮，接受选项估计方程。

在输出结果中，EViews 会包含一行文字说明使用了White 估计量。

二、HAC 一致协方差（Newey-West ）

Newey 和West (1987) 提出了一个更一般的估计量，在有未知形式的异方差和自相关存在时仍保持一致。Newey-West 估计量为：

11)(?)(?--'Ω'-=∑

X X X X k

T T NW 其中 ??

???????????? ??'+'???? ??+-+'-=Ω∑∑∑==+=----T t q v T v t t t v t v t v t v t t t t t t x u u x x u u x q x x u k T T 1112))(11?ν 要使用Newey-West 方法，在估计对话框中按Options 钮。在异方差一致协方差项中选Newey-West 钮。

§12.3 二阶段最小二乘估计

一、EViews 中进行TSLS 估计

二阶段最小二乘（TSLS ）是工具变量回归的特例。在二阶段最小二乘估计中有两个独立的阶段。在第一个阶段中，TSLS 找到可用于工具变量的内生和外生变量。这个阶段包括估计模型中每个变量关于工具

变量的最小二乘回归。第二个阶段是对原始方程的回归，所有变量用第一个阶段回归得到的拟合值来代替。这个回归的系数就是TSLS 估计。两阶段最小二乘估计的系数由下式计算出来：

y Z Z Z Z X X Z Z Z Z X b TSLS '111)())((---'''''=

要使用两阶段最小二乘估计，打开方程说明对话框，选择Object/New Object/Equation …或Quick/Estimate Equation …然后选择Method 中的TSLS 估计。

二、加权TSLS

三、有AR 误差项的TSLS

a) 一阶AR 误差

b) 高阶AR 误差

c) 带有MA 误差的TSLS 估计

§12.4 非线性最小二乘估计

假设回归方程为：

t t t x f y εβ+=),(

其中f 是解释变量t x 和参数β的非线性函数。

对于任何系数非线性的方程EViews 自动应用非线性最小二乘估计。只要选择Object/New Object/Equation, 然后输入方程并单击OK 。EViews 会使用迭代算法估计模型。

迭代估计要求模型系数有初始值。选择参数初始值没有通用的法则。越接近于真值越好。在你开始迭代估计时，EViews 使用系数向量中的值。很容易检查并改变系数的初始值。要察看初始值，双击系数向量。如果想改变初始值，首先确定系数表使处于编辑状态，然后输入系数值。也可以从命令窗口使用PARAM 命令设定初始系数值。只需输入关键词PARAM ，然后是每个系数和想要的初值：

param c(1) 153 c(2) .68 c(3) .15

§12.5 广义矩方法（GMM ）

GMM 估计的初始值是参数应满足的一种理论关系。其思想是选择参数估计尽可能接近理论上关系。把理论关系用样本近似值代替；并且估计量的选择就是要最小化理论值和实际值之间加权距离。参数要满足的理论关系通常是参数函数)(θf 与工具变量t z 之间的正则条件：

0])([='Z f E θ θ是被估计参数

GMM 估计量选择参数估计的标准是使工具变量与函数f 之间的样本相关性越接近于0越好。用函数表示为：

())()()(θθθAm m J '

=

其中Z f m )()('=θθ,A 是加权矩阵；任何对阵正定阵A 都是θ的一致估计。

要用GMM 法估计方程，或者用Object/New Object/Equation 创建新方程，或者在已有的方程基础上选Estimate 钮。从说明对话框中选择估计方法：GMM 。要得到GMM 估计，应该写出矩条件作为参数表达式和工具变量之间的正交条件。

线性回归推导及实例

数据点基本落在一条直线附近。这告诉我们，变量X与Y的关系大致可看作是线性关系，即它们之间的相互关系可以用线性关系来描述。但是由于并非所有的数据点完全落在一条直线上，因此X与Y的关系并没有确切到可以唯一地由一个X值确定一个Y值的程度。其它因素，诸如其它微量元素的含量以及测试误差等都会影响Y的测试结果。如果我们要研究X与Y的关系，可以作线性拟合 （2-1-1） 我们称（2-1-1）式为回归方程，a与b是待定常数，称为回归系数。从理论上讲，（2-1-1）式有无穷多组解，回归分析的任务是求出其最佳的线性拟合。 二、最小二乘法原理 如果把用回归方程计算得到的i值(i=1,2,…n)称为回归值，那么实际测量值y i与回归值i之间存在着偏差，我们把这种偏差称为残差，记为e i(i=1,2,3,…,n)。这样，我们就可以用残差平方和来度量测量值与回归直线的接近或偏差程度。残差平方和定义为: (2-1-2) 所谓最小二乘法，就是选择a和b使Q(a,b)最小，即用最小二乘法得到的回归直线是在所 有直线中与测量值残差平方和Q最小的一条。由(2-1-2)式可知Q是关于a,b的二次函数，所以它的最小值总是存在的。下面讨论的a和b的求法。 三、正规方程组 根据微分中求极值的方法可知，Q(a,b)取得最小值应满足 (2-1-3) 由(2-1-2)式，并考虑上述条件，则 (2-1-4) (2-1-4)式称为正规方程组。解这一方程组可得 (2-1-5) 其中 (2-1-6)

(2-1-7) 式中，L xy称为xy的协方差之和，L xx称为x的平方差之和。 如果改写(2-1-1)式，可得 (2-1-8) 或 (2-1-9) 由此可见，回归直线是通过点的，即通过由所有实验测量值的平均值组成的点。从力学观点看， 即是N个散点的重心位置。 现在我们来建立关于例1的回归关系式。将表2-1-1的结果代入(2-1-5)式至(2-1-7)式，得出 a=1231.65 b=-2236.63 因此，在例1中灰铸铁初生奥氏体析出温度(y)与氮含量(x)的回归关系式为 y=1231.65-2236.63x 四、一元线性回归的统计学原理 如果X和Y都是相关的随机变量，在确定x的条件下，对应的y值并不确定，而是形成一个分布。当X 取确定的值时，Y的数学期望值也就确定了，因此Y的数学期望是x的函数，即 E(Y|X=x)=f(x) (2-1-10) 这里方程f(x)称为Y对X的回归方程。如果回归方程是线性的，则 E(Y|X=x)=α+βx (2-1-11) 或 Y=α+βx+ε(2-1-12) 其中 ε―随机误差 从样本中我们只能得到关于特征数的估计，并不能精确地求出特征数。因此只能用f(x)的估计 式来取代（2-1-11）式，用参数a和b分别作为α和β的估计量。那么，这两个估计量是否能够满足要求呢？ 1. 无偏性 把(x,y)的n组观测值作为一个样本，由样本只能得到总体参数α和β的估计值。可以证明，当满足下列条件： (1)(x i,y i)是n个相互独立的观测值 (2)εi是服从分布的随机变量 则由最小二乘法得到的a与b分别是总体参数α和β的无偏估计，即 E(a)= α E(b)=β 由此可推知 E()=E(y)

门限分位数自回归模型及在股市收益自相关分析中的应用

门限分位数自回归模型及在股市收益自相关分析中的应用 摘要：门限分位数自然回归模型是一种非限行分位数回归模型，其可以应用讨论系统之中的门限效应。并且在该模型之中，自然回归阶数以及门限值的确定等都将会为模型的分析效果带来直接的影响。本文主要对门限分位数自然回归模型以及其在股市收益中的相关应用做出分析，希望能够给予同行业的工作人员提供一定参考价值。 关键词：门限分位数；回归模型；股市收益；分析 股市收益的自相关性是金融市场研究中的一个重要问题，研究人员针对于理性预定理论提出了有效的市场假说，奠定了传统的金融学基础。有效的市场假说理论认为在一个有效的市场之中，股市的价格或者收益直接地反映了所有可能会获得的信息，过去的收益以及未来的收益并不相关，股市的收益则是不可以预测的，反而言之如果股市的收益在时间上是自相关的，那么历史收益是可以影响当前的收益的，这也直接表明了有效市场假说是难以成立的，可以采取序列自相关分析的方法，对其有效市场假说做出相应验证。 一、门限分位数自然回归模型的分析 1. 模型的表示分析 主要是记{ yt }作为其1 维响应的变量，然而x =(1,yt -1,yy

-2,…,yt -p)T 主要是为p+1为向量组成的解释变量，然而{ yt }则是为1维门限的白能量，其自然回归模型之中的门限变量通常情况下是需要相应变量{ yt }的滞后项，而γ则表示为门限，其模型如下所示： 和均值自激励门限自然回归的模型进行对比，门限分位数自回归模型存在着下述的优点：一是信息刻画更加全面，回归系数估计在不同的分位点可能存在着不同的表型，同时不同阶段的变量之间关系更加细致。二是具有比较强的稳健性，和均值自激励门限自回归模型要求误差项服从特定分布的不同，其允许误差项服从一般的非对称的分布。 2. 模型的定阶 在门限分位数自然回归之中，最优滞后阶数p的选择是十分重要的，可以通过AIC的准确去进行实现，然而定义AIC的准则则是如下所示： 可以看出，AIC主要由两个部分所组成，一是可以反映出模型的拟合程度，主要是为前半段进行表示。二是反映出模型的复杂城市，则是经过后半段进行表示。 3. 门限效应的诊断检验分析 针对于门限效应而言，其诊断检验主要是包括了以下方面的内容：第一，门限效应存在性检验，主要检验两个阶段的门限效应

回归分析方法

第八章 回归分析方法 当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。 变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下： （1）收集一组包含因变量和自变量的数据； （2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数； （3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型； （4）判断得到的模型是否适合于这组数据； （5）利用模型对因变量作出预测或解释。 应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MATLAB 等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MATLAB 统计工具箱，我们可以十分方便地在计算机上进行计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。在此基础上再介绍在建模过程中如何有效地使用MATLAB 软件。没有学过这部分数学知识的读者可以不深究其数学原理，只要知道回归分析的目的，按照相应方法通过软件显示的图形或计算所得结果表示什么意思，那么，仍然可以学到用回归模型解决实际问题的基本方法。包括：一元线性回归、多元线性回归、非线性回归、逐步回归等方法以及如何利用MATLAB 软件建立初步的数学模型，如何透过输出结果对模型进行分析和改进，回归模型的应用等。 8.1 一元线性回归分析 回归模型可分为线性回归模型和非线性回归模型。非线性回归模型是回归函数关于未知参数具有非线性结构的回归模型。某些非线性回归模型可以化为线性回归模型处理；如果知道函数形式只是要确定其中的参数则是拟合问题，可以使用MATLAB 软件的curvefit 命令或nlinfit 命令拟合得到参数的估计并进行统计分析。本节主要考察线性回归模型。 8.1.1 一元线性回归模型的建立及其MATLAB 实现 其中01ββ，是待定系数，对于不同的,x y 是相互独立的随机变量。 假设对于x 的n 个值i x ，得到 y 的n 个相应的值i y ，确定01ββ，的方法是根据最小二乘准则，要使 取最小值。利用极值必要条件令 01 0,0Q Q ββ??==??，求01ββ，的估计值01??ββ，，从而得到回归直线01 ??y x ββ=+。只不过这个过程可以由软件通过直线拟合完成，而无须进行繁杂的运算。

应用回归分析

第五章 自变量选择对回归参数的估计有何影响 答：全模型正确而误用选模型时，我们舍去了m-p 个自变量，用剩下的p 个自变量去建立选模型，参数估计值是全模型相应参数的有偏估计。选模型正确而误用全模型时，参数估计值是选模型相应参数的有偏估计。 自变量选择对回归预测有何影响 （一）全模型正确而误用选模型的情况 估计系数有偏，选模型的预测是有偏的，选模型的参数估计有较小的方差，选模型的预测残差有较小的方差,选模型预测的均方误差比全模型预测的方差更小。 （二）选模型正确而误用全模型的情况 全模型的预测值是有偏的，全模型的预测方差的选模型的大，全模型的预测误差将更大。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣 答：应该用自由度调整复决定系数达到最大的准则。当给模型增加自变量时，复决定系数也随之增大，然而复决定系数的增大代价是残差自由度的减小，自由度小意味着估计和预测的可靠性低。应用自由度调整复决定系数达到最大的准则可以克服样本决定系数的这一缺点,把2 R 给予适当的修正，使得只有加入“有意义”的变量时，经过修正的样本决定系数才会增加，从而提高预测的精度。 试述前进法的思想方法。 解：主要是变量由少到多，每次增加一个，直至没有可引入的变量为止。 具体做法是：首先将全部m 个自变量，分别对因变量y 建立m 个一元线性回归方程，并分别计算这m 个一元回归方程的m 个回归系数的F 检验值，记为 111 12{,,,} m F F F ，选其最大者 1111 12max{,, ,} j m F F F F =，给定显著性水平α，若 1(1,2) j F F n α≥-，则首先将 j x 引入回 归方程，假设 1 j x x =。其次，将 12131(,),(,),,(,)m y x x x x x x 分别与建立m-1个二元线性 回归方程，对这m-1个回归方程中 23,, ,m x x x 的回归系数进行F 检验，计算F 值，记为 222 23{,, ,} m F F F ，选其最大的记为 2222 23max{,, ,} j m F F F F =，若 2(1,3) j F F n α≥-，则 接着将j x 引入回归方程。以上述方法做下去。直至所有未被引入方程的自变量的F 值均小

Stata门限模型的操作和结果详细解读

一、门限面板模型概览 如果你不愿意看下面一堆堆的文字，更不想看计量模型的估计和检验原理，那就去《数量经济技术经济研究》上，找一篇标题带有“双门槛（或者双门限）”的文章，浏览一遍，看看文章计量部分列示的统计量和检验结果。这样，在软件操作时，你就知道每一步得到的结果有什么意义，怎么解释了，起码心里会有点印象。 一般情况下，一个研究生花费在研究上的时间越多，他的成果越丰富，也就是说，研究成果和研究时间存在某种正向关联。但是，这种关联是线性的吗？在最初阶段，他可能看了两三年的文献，也没有写出一篇优秀的文章，但是一旦过了这个基础期，他的能量和成果将如火山爆发一样喷涌出来，此时，他投入少量的时间，就能产出大量优质文章。再过几年，他可能会进入另外一种境界，虽然比以前有了极大提高，但是研究进入新的瓶颈期，文章发表的数量减少。由此可以看出，研究成果与研究年限存在一种阶段性的线性关系。这个基础期的结点、瓶颈期的起点就像“门槛”一样把研究阶段分成三个部分，在不同部分，成果和时间的线性关系都不同。这个效应被称为门槛效应或门限效应。 门限效应，是指当一个经济参数达到特定的数值后，引起另外一个经济参数发生突然转向其它发展形式的现象。作为原因现象的临界

值称为门限值。在上面的例子中，成果和时间存在非线性关系，但是在每个阶段是线性关系。有些人将这样的模型称为门槛模型，或者门限模型。如果模型的研究对象包含多个个体多个年度，那么就是门限面板模型。 汉森（Bruce E. Hansen）在门限回归模型上做出了很多贡献。了解门限模型最好的办法，首先就要阅读他的文章。他的文章很有特点：条理很清晰，推导过程详细，语言简练，语法不复杂。有关他的论文、程序、数据可以参考Hansen的个人网站： https://www.wendangku.net/doc/de8726686.html,/~bhansen/progs/progs_subject.htm。 Hansen于1996年在《Econometrica》上发表文章《Inference when a nuisance parameter is not identified under the null hypothesis》，提出了时间序列门限自回归模型（TAR）的估计和检验。之后，他在门限模型上连续追踪，发表了几篇经典文章，尤其是1999年的《Threshold effects in non-dynamic panels: Estimation, testing and inference》，2000年的《Sample splitting and threshold estimation》和2004年与他人合作的《Instrumental Variable Estimation of a Threshold Model》。 在这些文章中，Hansen介绍了包含个体固定效应的静态平衡面板数据门限回归模型，阐述了计量分析方法。方法方面，首先要通过减去时间均值方程，消除个体固定效应，然后再利用OLS（最小二乘法）进行系数估计。如果样本数量有限，那么可以使用自举法

eviews教程 第14章 其他回归方法

第十四章其他回归方法 本章讨论加权最小二乘估计，异方差性和自相关一致协方差估计，两阶段最小二乘估计（TSLS），非线性最小二乘估计和广义矩估计（GMM）。这里的大多数方法在“联立方程系统”一章中也适用。

线性回归模型的基本假设 i ki k i i t u x x x y +++++=ββββ 22110i = 1 , 2 , … , n 在普通最小二乘法中，为保证参数估计量具有良好的性质，通常对模型提出若干基本假设： 1．解释变量之间互不相关； 2．随机误差项具有0均值和同方差。即 0)(=i u E 2)(σ=i u Var i = 1 , 2 , … , n 即随机误差项的方差是与观测时点t 无关的常数； 3．不同时点的随机误差项互不相关（序列不相关），即 ),(=-s i i u u Cov 4．随机误差项与解释变量之间互不相关。即 ),(=i ji u x Cov 5．随机误差项服从0均值、同方差的正态分布。即 i u ~) ,0(2σN 当随机误差项满足假定1 ~ 4时，将回归模型称为“标准回归模型”，当随机j = 1 , 2 , … , k , i = 1 , 2 , … , n i = 1 , 2 , … , n s ≠ 0, i = 1 , 2 , … , n

古典线性回归模型的一个重要假设是总体回归方程的随机扰动项同方差，即他们具有相同的方差。如果随机扰动项的方差随观测值不同而异，即的方差为，就是异方差。用符号 表示异方差为。 异方差性在许多应用中都存在，但主要出现在截面数据分析中。例如我们调查不同规模公司的利润，会发现大公司的利润变化幅度要比小公司的利润变化幅度大，即大公司利润的方差比小公司利润的方差大。利润方差的大小取决于公司的规模、产业特点、研究开发支出多少等因素。又如在分析家庭支出模式时，我们会发现高收入家庭通常比低收入家庭对某些商品的支出有更大的方差。 i u 2σ2i σ22)(i i u E σ=i u §14.1 加权最小二乘估计

一元线性回归分析法

一元线性回归分析法 一元线性回归分析法是根据过去若干时期的产量和成本资料，利用最小二乘法“偏差平方和最小”的原理确定回归直线方程，从而推算出a(截距)和b(斜率)，再通过y ＝a+bx 这个数学模型来预测计划产量下的产品总成本及单位成本的方法。 方程y ＝a+bx 中，参数a 与b 的计算如下： y b x a y bx n -==-∑∑ 222 n xy x y xy x y b n x (x)x x x --==--∑∑∑∑∑∑∑∑∑ 上式中，x 与y 分别是i x 与i y 的算术平均值，即 x =n x ∑ y =n y ∑ 为了保证预测模型的可靠性，必须对所建立的模型进行统计检验，以检查自变量与因变量之间线性关系的强弱程度。检验是通过计算方程的相关系数r 进行的。计算公式为： 22xy-x y r= (x x x)(y y y) --∑∑∑∑∑∑ 当r 的绝对值越接近于1时，表明自变量与因变量之间的线性关系越强，所建立的预测模型越可靠；当r ＝l 时，说明自变量与因变量成正相关，二者之间存在正比例关系；当r ＝—1时，说明白变量与因变量成负相关，二者之间存在反比例关系。反之，如果r 的绝对值越接近于0，情况刚好相反。 [例]以表1中的数据为例来具体说明一元线性回归分析法的运用。 表1： 根据表1计算出有关数据，如表2所示： 表2：

将表2中的有关数据代入公式计算可得： 1256750x == （件） 2256 1350y ==（元） 1750 9500613507501705006b 2=-??-?=（元/件） 100675011350a =?-=（元/件） 所建立的预测模型为： y ＝100+X 相关系数为： 9.011638 10500])1350(3059006[])750(955006[1350 750-1705006r 22==-??-???= 计算表明，相关系数r 接近于l ，说明产量与成本有较显著的线性关系，所建立的回归预测方程较为可靠。如果计划期预计产量为200件，则预计产品总成本为： y ＝100+1×200＝300(元)

Stata门限模型的操作和结果详细解读(完整资料).doc

【最新整理，下载后即可编辑】 一、门限面板模型概览 如果你不愿意看下面一堆堆的文字，更不想看计量模型的估计和检验原理，那就去《数量经济技术经济研究》上，找一篇标题带有“双门槛（或者双门限）”的文章，浏览一遍，看看文章计量部分列示的统计量和检验结果。这样，在软件操作时，你就知道每一步得到的结果有什么意义，怎么解释了，起码心里会有点印象。 一般情况下，一个研究生花费在研究上的时间越多，他的成果越丰富，也就是说，研究成果和研究时间存在某种正向关联。但是，这种关联是线性的吗？在最初阶段，他可能看了两三年的文献，也没有写出一篇优秀的文章，但是一旦过了这个基础期，他的能量和成果将如火山爆发一样喷涌出来，此时，他投入少量的时间，就能产出大量优质文章。再过几年，他可能会进入另外一种境界，虽然比以前有了极大提高，但是研究进入新的瓶颈期，文章发表的数量减少。由此可以看出，研究成果与研究年限存在一种阶段性的线性关系。这个基础期的结点、瓶颈期的起点就像“门槛”一样把研究阶段分成三个部分，在不同部分，成果和时间的线性关系都不同。这个效应被称为门槛效应或门限效应。 门限效应，是指当一个经济参数达到特定的数值后，引起另外一个经济参数发生突然转向其它发展形式的现象。作为原因现象的临界值称为门限值。在上面的例子中，成果和时间存在非线性关系，但是在每个阶段是线性关系。有些人将这样的模型称为门槛模型，或者门限模型。如果模型的研究对象包含多个个体多个年度，那么就是门限面板模型。 汉森（Bruce E. Hansen）在门限回归模型上做出了很多贡献。了解门限模型最好的办法，首先就要阅读他的文章。他的文章很有特点：条理很清晰，推导过程详细，语言简练，语法不复杂。有关他的论文、程序、数据可以参考Hansen的个人网站：

你应该要掌握的7种回归分析方法

你应该要掌握的7种回归分析方法 标签：机器学习回归分析 2015-08-24 11:29 4749人阅读评论(0) 收藏举报 分类： 机器学习（5） 目录(?)[+]转载：原文链接：7 Types of Regression Techniques you should know!（译者/刘帝伟审校/刘翔宇、朱正贵责编/周建丁） 什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。 我们为什么使用回归分析？ 如上所述，回归分析估计了两个或多个变量之间的关系。下面，让我们举一个简单的例子来理解它： 比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。 使用回归分析的好处良多。具体如下： 1.它表明自变量和因变量之间的显著关系；

2.它表明多个自变量对一个因变量的影响强度。 回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。 我们有多少种回归技术？ 有各种各样的回归技术用于预测。这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。我们将在下面的部分详细讨论它们。 对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。但在你开始之前，先了解如下最常用的回归方法： 1. Linear Regression线性回归 它是最为人熟知的建模技术之一。线性回归通常是人们在学习预测模型时首选的技术之一。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。 线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。 用一个方程式来表示它，即Y=a+b*X + e，其中a表示截距，b表示直线的斜率，e是误差项。这个方程可以根据给定的预测变量（s）来预测目标变量的值。

第五章 回归分析

第五章回归分析 §1.回归分析的数学模型 1.1.线性统计模型 1．线性回归方程 从一个简单的例子谈起。个人的消费水平Y与他的收入水平X间的关系，大体上可以描述：收入水平高，一般消费水平也高。但Y 和X绝不是简单的线性关系，这从常识便能判别；而且也不是一种确定的数学关系，两个收入水平完全一样的个人，他们的消费水平可能有很大的差异。比较合理的看法是：个人的消费水平Y是一个随机变量，从平均的意义上看，应与收入水平成正比。因此，我们可以给出以下模型： Y = b0 + b1X +ε (1) 其中b0，b1是待定常数，ε是随机变量，且有E(ε)=0，这样就能保证 E(Y) = b0 + b1X (2) 即从平均意义上Y和X线性相关。等式(2)称为变量Y对于变量X的线性回归方程。一般情况下，一个随机变量Y与变量X1,X2,…,X p有关系

Y = b0 + b1X1 + b2X2 + … + b p X p +ε (3) 随机变量ε的期望E(ε)=0,即有： E(Y) = b0+ b1X1 + b2X2+ … + b p X p (4) 从平均意义上，Y与X1,X2,…,X p呈线性关系。（4）式称为变量Y对于变量X1,X2,…,X p的线性回归方程，p=1时，称方程是一元的；p≥2时，称方程是多元的；b0,b1,…,b p称为回归系数。 2．统计模型的假设 设变量Y与X1,X2,…,X p之间有关系(3)，对（X1,X2,…,X p,Y）做n 次观察，得到一个容量为n的样本：（x i1,x i2, …,x i p,y i）i=1,2,…,n，按（4）式给出的关系，这些样本观察值应有： y1= b0+ b1x11+ b2x12 + … + b p x1p+ε1 y2= b0+ b1x21+ b2x22 + … + b p x2p+ε2 (5) ………………………………… y n= b0+ b1x n1+ b2x n2 + … + b p x n p+εn 其中的εi, i=1,2,…,n是随机误差，出于数学上推导的需要，假设：1）E(εi)=0，i=1,2,…,n.即观察结果没有系统误差； 2）Var(εi)=σ2，i=1,2,…,n.这个性质叫做方差齐性；

S门限模型的操作和结果详细解读

一、门限面板模型概览? 如果你不愿意看下面一堆堆的文字，更不想看计量模型的估计和检验原理，那就去《数量经济技术经济研究》上，找一篇标题带有“双门槛（或者双门限）”的文章，浏览一遍，看看文章计量部分列示的统计量和检验结果。这样，在软件操作时，你就知道每一步得到的结果有什么意义，怎么解释了，起码心里会有点印象。 一般情况下，一个研究生花费在研究上的时间越多，他的成果越丰富，也就是说，研究成果和研究时间存在某种正向关联。但是，这种关联是线性的吗？在最初阶段，他可能看了两三年的文献，也没有写出一篇优秀的文章，但是一旦过了这个基础期，他的能量和成果将如火山爆发一样喷涌出来，此时，他投入少量的时间，就能产出大量优质文章。再过几年，他可能会进入另外一种境界，虽然比以前有了极大提高，但是研究进入新的瓶颈期，文章发表的数量减少。由此可以看出，研究成果与研究年限存在一种阶段性的线性关系。这个基础期的结点、瓶颈期的起点就像“门槛”一样把研究阶段分成三个部分，在不同部分，成果和时间的线性关系都不同。这个效应被称为门槛效应或门限效应。 门限效应，是指当一个经济参数达到特定的数值后，引起另外一个经济参数发生突然转向其它发展形式的现象。作为原因现象的临界值称为门限值。在上面

的例子中，成果和时间存在非线性关系，但是在每个阶段是线性关系。有些人将这样的模型称为门槛模型，或者门限模型。如果模型的研究对象包含多个个体多个年度，那么就是门限面板模型。 汉森（Bruce E. Hansen）在门限回归模型上做出了很多贡献。了解门限模型最好的办法，首先就要阅读他的文章。他的文章很有特点：条理很清晰，推导过程详细，语言简练，语法不复杂。有关他的论文、程序、数据可以参考Hansen的个人网站： 。 Hansen于1996年在《Econometrica》上发表文章《Inference when a nuisance parameter is not identified under the null hypothesis》，提出了时间序列门限自回归模型（TAR）的估计和检验。之后，他在门限模型上连续追踪，发表了几篇经典文章，尤其是1999年的《Threshold effects in non-dynamic panels: Estimation, testing and inference》，2000年的《Sample splitting and threshold estimation》和2004年与他人合作的《Instrumental Variable Estimation of a Threshold Model》。 在这些文章中，Hansen介绍了包含个体固定效应的静态平衡面板数据门限回归模型，阐述了计量分析方法。方法方面，首先要通过减去时间均值方程，消除个体固定效应，然后再利用OLS（最小二乘法）进行系数估计。如果样本数量有限，那么可以使用自举法（Bootstrap）重复抽取样本，提高门限效应的显著性检验效率。 在Hansen（1999）的模型中，解释变量中不能包含内生解释变量，无法扩展

多元线性回归的计算方法

多元线性回归的计算方法 摘要 在实际经济问题中，一个变量往往受到多个变量的影响。例如，家庭 消费支出，除了受家庭可支配收入的影响外，还受诸如家庭所有的财富、物价水平、金融机构存款利息等多种因素的影响，表现在线性回归模型中的解释变量有多个。这样的模型被称为多元线性回归模型。 多元线性回归的基本原理和基本计算过程与一元线性回归相同，但由 于自变量个数多，计算相当麻烦，一般在实际中应用时都要借助统计软件。这里只介绍多元线性回归的一些基本问题。 但由于各个自变量的单位可能不一样，比如说一个消费水平的关系式中，工资水平、受教育程度、职业、地区、家庭负担等等因素都会影响到消费水平，而这些影响因素（自变量）的单位显然是不同的，因此自变量前系数的大小并不能说明该因素的重要程度，更简单地来说，同样工资收入，如果用元为单位就比用百元为单位所得的回归系数要小，但是工资水平对消费的影响程度并没有变，所以得想办法将各个自变量化到统一的单位上来。前面学到的标准分就有这个功能，具体到这里来说，就是将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。这时的回归方程称为标准回归方程，回归系数称为标准回归系数，表示如下： Zy=β1Zx1+β2Zx2+…+βkZxk 注意，由于都化成了标准分，所以就不再有常数项a 了，因为各自变量都取平均水平时，因变量也应该取平均水平，而平均水平正好对应标准分0，当等式两端的变量都取0时，常数项也就为0了。 多元线性回归模型的建立 多元线性回归模型的一般形式为 Yi=β0+β1X1i+β2X2i+…+i i i i h x υβ+ =1,2,…,n 其中 k 为解释变量的数目，j β=（j=1,2,…,k)称为回归系数 （regression coefficient)。上式也被称为总体回归函数的随机表达式。它的非随机表达式为 E(Y∣X1i,X2i,…Xki,)=β0+β1X1i+β2X2i+…+βkXki βj 也被称为偏回归系数（partial regression coefficient) 多元线性回归的计算模型

回归分析方法及其应用中的例子

3.1.2 虚拟变量的应用 例3.1.2.1：为研究美国住房面积的需求，选用3120户家庭为建模样本，回归模型为： 123log log P Y βββ++logQ= 其中：Q ——3120个样本家庭的年住房面积（平方英尺） 横截面数据 P ——家庭所在地的住房单位价格 Y ——家庭收入 经计算：0.247log 0.96log P Y -+logy=4.17 2 0.371R = （）（） （） 上式中2β=0.247-的价格弹性系数，3β=0.96的收入弹性系数，均符合经济学的常识，即价格上升，住房需求下降，收入上升，住房需求也上升。 但白人家庭与黑人家庭对住房的需求量是不一样的，引进虚拟变量D ： 01i D ?=?? 黑人家庭 白人家庭或其他家庭 模型为：112233log log log log D P D P Y D Y βαβαβα+++++logQ= 例3.1.2.2：某省农业生产资料购买力和农民货币收入数据如下：（单位：十亿元） ①根据上述数据建立一元线性回归方程：

? 1.01610.09357y x =+ 20.8821R = 0.2531y S = 67.3266F = ②带虚拟变量的回归模型，因1979年中国农村政策发生重大变化，引入虚拟变量来反映农村政策的变化。 01i D ?=?? 19791979i i <≥年 年 建立回归方程为： ?0.98550.06920.4945y x D =++ （）（） （） 20.9498R = 0.1751y S = 75.6895F = 虽然上述两个模型都可通过显着性水平检验，但可明显看出带虚拟变量的回归模型其方差解释系数更高，回归的估计误差（y S ）更小，说明模型的拟合程度更高，代表性更好。 3.5.4 岭回归的举例说明 企业为用户提供的服务多种多样，那么在这些服务中哪些因素更为重要，各因素之间的重要性差异到底有多大，这些都是满意度研究需要首先解决的问题。国际上比较流行并被实践所验证，比较科学的方法就是利用回归分析确定客户对不同服务因素的需求程度，具体方法如下： 假设某电信运营商的服务界面包括了A1……Am 共M 个界面，那么各界面对总体服务满意度A 的影响可以通过以A 为因变量，以A1……Am 为自变量的回归分析，得出不同界面服务对总体A 的影响系数，从而确定各服务界面对A 的影响大小。 同样，A1服务界面可能会有A11……A1n 共N 个因素的影响，那么利用上述方法也可以计算出A11……A1n 对A1的不同影响系数，由此确定A1界面中的重要因素。 通过两个层次的分析，我们不仅得出各大服务界面对客户总体满意度影响的大小以及不同服务界面上各因素的影响程度，同时也可综合得出某一界面某一因素对总体满意度的影响大小，由此再结合用户满意度评价、与竞争对手的比较等因素来确定每个界面细分因素在以后工作改进中的轻重缓急、重要性差异等，从而起到事半功倍的作用。 例 3.5.4：对某地移动通信公司的服务满意度研究中，利用回归方法分析各服务界面对总体满意度的影响。 a. 直接进入法 显然，这种方法计算的结果中，C 界面不能通过显着性检验，直接利用分析结果是错误

第五章相关分析作业(试题及标准答案)

第五章相关分析 一、判断题 1.若变量X的值增加时，变量Y的值也增加，说明X与Y之间存在正相关关系；若变量X的值减 少时，Y变量的值也减少，说明X与Y之间存在负相关关系。（） 2.回归系数和相关系数都可以用来判断现象之间相关的密切程度（） 3.回归系数既可以用来判断两个变量相关的方向，也可以用来说明两个变量相关的密切程度。（） 4.计算相关系数的两个变量，要求一个是随机变量，另一个是可控制的量。（） 5.完全相关即是函数关系，其相关系数为±1。（） 1、× 2、× 3、× 4、× 5、√. 二、单项选择题 1.当自变量的数值确定后，因变量的数值也随之完全确定，这种关系属于（）。 A.相关关系 B.函数关系 C.回归关系 D.随机关系 2.现象之间的相互关系可以归纳为两种类型，即（）。 A.相关关系和函数关系 B.相关关系和因果关系 C.相关关系和随机关系 D.函数关系 和因果关系 3.在相关分析中，要求相关的两变量（）。 A.都是随机的 B.都不是随机变量 C.因变量是随机变量 D.自变量是随机变量 4.现象之间线性依存关系的程度越低,则相关系数( ) 。 A.越接近于-1 B. 越接近于1 C. 越接近于0 D. 在0.5和0.8 之间 5.若物价上涨,商品的需求量相应减少,则物价与商品需求量之间的关系为( )。 A.不相关 B. 负相关 C. 正相关 D. 复相关 6.能够测定变量之间相关关系密切程度的主要方法是( ) 。 A.相关表 B.相关图 C.相关系数 D.定性分析 7.下列哪两个变量之间的相关程度高（）。 A.商品销售额和商品销售量的相关系数是0.9 B.商品销售额与商业利润率的相关系数是0.84 C.平均流通费用率与商业利润率的相关系数是-0.94 D.商品销售价格与销售量的相关系数是-0.91 8.回归分析中的两个变量（）。 A、都是随机变量 B、关系是对等的 C、都是给定的量 D、一个是自变量，一个是因变量 9.当所有的观察值y都落在直线上时,则x与y之间的相关系数为( )。 A.r = 0 B.| r | = 1 C.-1

门限回归(门槛)

门槛回归模型（阈值回归模型） （1）模型设置 Hansen(2000) 将“门槛回归”模型的基本形式定义为: i i i e x y +='1θ, q i ≤γ (1) i i i e x y +='2θ, q i >γ (2) 其中，作为解释变量的x i 是一个m 维的列向量。q i 被称为“门槛变量”，Hansen(2000)认为门槛变量既可以是解释变量x i 中的一个回归元 ,也可以作为一个独立的门槛变量。根据其相应的“门槛值”γ,可将样本分成“两类”(two regimes)。 将模型 (1) (2) 的形式改写成单一方程形式时,首先需要定义一个虚拟变量d i (γ)={q i ≤γ} ,此处{g}是一个指示函数( indicator function)，令集合x i (γ ) = x i d i (γ)。因此，模型(1) (2)可写成： i i n i i e x x y ++=)(''γδθ (3) 通过这种添加虚拟变量的方式,可知θ=θ2 ,δn =θ2-θ1。将式(3)进一步改写成矩阵形式: e +=n δX +X Y γθ (4) 此时模型中的回归参数为 (θ,δn ,γ) 。在γ给定的前提下，式(4)中的θ和δn 是线性关系。因此,根据条件最小二乘估计方法，用X γ* = [X X r ]对Y 回归，得到相应的残差平方和函数如下： Y X X X X Y Y Y S S n n ')'('')),(),(()(*1***γγγγγγδγθγ--== 估计得到的门槛值就是使S n (γ)最小的γ?。被定义为: )(min arg ?γγγn S n Γ∈= (5) 其中，Γn =Γ∩{ q 1,…,q n }。Hansen(2000) 将门槛变量中的每一观测值均作为了可能的门槛值，将满足式(5)的观测值确定为门槛值。当门槛估计值确定之后,那么其他参数值也就能够相应地确定。 2. 显著性检验 门槛回归模型显著性检验的目的是，检验以门槛值划分的两组样本其模型估计参数是否显著不同。因此，不存在门槛值的零假设为: H0:θ1 =θ2。同时构造LM 统计量： )?()?(0γ γn n S S S n L -= (6) 其中，S 0是在零假设下的残差平方和。由于LM 统计量并不服从标准的分布。因此，Hansen(2000)提出了通过“自举法”(Bootstrap )来获得渐进分布的想法，进而得出相应的概率p 值，也称为Bootstrap P 值。这种方法的基本思想是：在解释变量和门槛值给定的前提 下，模拟(Simulate) 产生一组因变量序列，并使其满足N (0 ,2 ?e )，其中e ?是式(4)的残差项。每得到一个自抽样样本，就可以计算出一个模拟的LM 统计量。将这一过程重复1000次，Hansen(1996)认为模拟产生的LM 统计量大于式(6)的次数占总模拟次数的百分比就是“自举

S门限模型的操作和结果详细解读

S门限模型的操作和结果详细解读 文件编码（008-TTIG-UTITD-GKBTT-PUUTI-WYTUI-8256）

一、门限面板模型概览？ 如果你不愿意看下面一堆堆的文字，更不想看计量模型的估计和检验原理，那就去《数量经济技术经济研究》上，找一篇标题带有“双门槛（或者双门限）”的文章，浏览一遍，看看文章计量部分列示的统计量和检验结果。这样，在软件操作时，你就知道每一步得到的结果有什么意义，怎么解释了，起码心里会有点印象。？ 一般情况下，一个研究生花费在研究上的时间越多，他的成果越丰富，也就是说，研究成果和研究时间存在某种正向关联。但是，这种关联是线性的吗在最初阶段，他可能看了两三年的文献，也没有写出一篇优秀的文章，但是一旦过了这个基础期，他的能量和成果将如火山爆发一样喷涌出来，此时，他投入少量的时间，就能产出大量优质文章。再过几年，他可能会进入另外一种境界，虽然比以前有了极大提高，但是研究进入新的瓶颈期，文章发表的数量减少。由此可以看出，研究成果与研究年限存在一种阶段性的线性关系。这个基础期的结点、瓶颈期的起点就像“门槛”一样把研究阶段分成三个部分，在不同部分，成果和时间的线性关系都不同。这个效应被称为门槛效应或门限效应。？ 门限效应，是指当一个经济参数达到特定的数值后，引起另外一个经济参数发生突然转向其它发展形式的现象。作为原因现象的临界值称为门限值。在上面的例

子中，成果和时间存在非线性关系，但是在每个阶段是线性关系。有些人将这样的模型称为门槛模型，或者门限模型。如果模型的研究对象包含多个个体多个年度，那么就是门限面板模型。？ 汉森（Bruce E. Hansen）在门限回归模型上做出了很多贡献。了解门限模型最好的办法，首先就要阅读他的文章。他的文章很有特点：条理很清晰，推导过程详细，语言简练，语法不复杂。有关他的论文、程序、数据可以参考Hansen的个人网站：。？ Hansen于1996年在《Econometrica》上发表文章《Inference when a nuisance parameter is not identified under the null hypothesis》，提出了时间序列门限自回归模型（TAR）的估计和检验。之后，他在门限模型上连续追踪，发表了几篇经典文章，尤其是1999年的《Threshold effects in non-dynamic panels: Estimation, testing and inference》，2000年的《Sample splitting and threshold estimation》和2004年与他人合作的《Instrumental Variable E s t i m a t i o n o f a T h r e s h o l d M o d e l》。？ 在这些文章中，Hansen介绍了包含个体固定效应的静态平衡面板数据门限回归模型，阐述了计量分析方法。方法方面，首先要通过减去时间均值方程，消除个体固定效应，然后再利用OLS（最小二乘法）进行系数估计。如果样本数量有限，那么可以使用自举法（Bootstrap）重复抽取样本，提高门限效应的显着性检验效率。？

回归分析方法应用实例

4、回归分析方法应用实例 在制定运动员选材标准时，理论上要求先对不同年龄的运动员，各测试一个较大的样本，然后，计算出各年龄的平均数、标准差，再来制定标准。 但是，在实际工作中，有时某些年龄组不能测到较大的样本。这时能不能使用统计的方法，进行处理呢？ 我们遇到一个实例。测得45名11至18岁男田径运动员的立定三级跳远数据。其各年龄组人数分布如表一。由于受到许多客观因素的限制，一时无法再扩大样本，因此决定使用统计方法进行处理。 第一步，首先用原始数据做散点图，并通过添加趋势线，看数据的变化趋势是否符合随年龄增长而变化的趋势，决定能否使用回归方程制定标准。如果趋势线不符合随年龄增长而变化的趋势，或者相关程度很差就不能用了。 本例作出的散点图如图1，图上用一元回归方法添加趋势线，并计算出年龄和立定三级跳远的： 一元回归方程：Y＝2.5836＋0.3392 X 相关系数 r＝0.7945（P<0.01） 由于从趋势线可以看出，立定三级跳远的成绩是随年龄增加而逐渐增加，符合青少年的发育特点。而且, 相关系数r＝0.7945，呈高度相关。因此，可以认为计算出的一元回归方程，反映了11至18岁男运动员年龄和立定三级跳远成绩的线性关系。决定用一元回归方程来制定各年龄组的标准。 第二步，用一元回归方程：Y＝2.5836＋0.3392 X 推算出各年龄的立定三级跳远回归值，作为各年龄组的第2等标准。 第三步，用45人的立定三级跳远数据计算出标准差为：0.8271。由于在正态分布下，如把平均数作为标准约有50%的人可达到标准，用平均数-0.25标准差制定标准则约有60%的人可达到，用平均数+0.25、+0.52、+0.84标准差制定标准约有40%、30%、20%的人可达到标准。本例用各年龄组回归值-0.25标准差、+0.25标准差、+0.52标准差、+0.84标准差计算出1至5等标准如表2、图2。