第八章 一般线性模型――General Linear Model菜单详解
第八章一般线性模型――General Linear Model菜单详解
请注意，本章的标题用了一些修辞手法，一般线性模型可不是用一章就可以说清楚的，因为它包括的内容实在太多了。
那么，究竟我们用到的哪些分析会包含在其中呢？简而言之：凡是和方差分析粘边的都可以用他来做。比如成组设计的方差分析（即单因素方差分析）、配伍设计的方差分析（即两因素方差分析）、交叉设计的方差分析、析因设计的方差分析、重复测量的方差分析、协方差分析等等。因此，能真正掌握GLM菜单的用法，会使大家的统计分析能力有极大地提高。
实际上一般线性模型包括的统计模型还不止这些，我这里举出来的只是从用SPSS作统计分析的角度而言的一些。
好了，既然一般线性模型的能力如此强大，那么下属的四个子菜单各自的功能是什么呢？请看：
?Univariate子菜单：四个菜单中的大哥大，绝大部分的方法分析都在这里面进行。
?Multivariate子菜单：当结果变量（应变量）不止一个时，当然要用他来分析啦！
?Repeted Measures子菜单：顾名思义，重复测量的数据就要用他来分析，这一点我可能要强调一下，用前两个菜单似乎都可以分析出来结果，但在
许多情况下该结果是不正确的，应该用重复测量的分析方法才对（不能再
讲了，再讲下去就会扯到多水平模型去了）。
?Variance Components子菜单：用于作方差成份模型的，这个模型实在
太深，不是一时半会说的请的，所以我在这里就干脆不讲了。
出于模型复杂性、篇幅、应用范围及乱七八糟一系列的理由，当然主要是我懒得一一解释，我决定本章采用举例讲解的方式，及讲解一些常见的分析实例，通过这种方法来熟悉那些最为常用的分析方法。
对统计分析的数据格式不太熟悉的朋友，请一定先去看看统计软件第一课：论统计软件中的数据录入格式，会大有帮助的。
§8.1两因素方差分析
下面的这个例子来自《卫生统计学》第四版，书还没有出来，大家先尝尝鲜。
例8.1 对小白鼠喂以A、B、C三种不同的营养素，目的是了解不同营养素增重的效果。采用随机区组设计方法，以窝别作为划分区组的特征，以消除遗传因素对体重增长的影响。现将同品系同体重的24只小白鼠分为8个区组，每个区组3只小白鼠。三周后体重增量结果(克)列于下表，问小白鼠经三种不同营养素喂养后所增体重有无差别？
区组号A营养素B营养素C营养素
1 50.10 58.20 64.50
2 47.80 48.50 62.40
3 53.10 53.80 58.60
4 63.50 64.20 72.50
5 71.20 68.40 79.30
6 41.40 45.70 38.40
7 61.90 53.00 51.20
8 42.20 39.80 46.20
根据统计分析的要求，我们建立了三个变量来包括上述信息，即group 表示区组，food代表使用的营养素，weight表示最终的重量，即：
group food weight
1 1 50.01
1 2 58.20
依此类推。
8.1.1 univarate对话框界面说明
这里只有一个结果变量weight，要采用univarate对话框，如下所示：
在上面的这些框框钮钮中，最常用的有：Dependent Variable框、Fixed Factors框、Model钮、Post Hoc钮，下面我们来一一解释。
【Dependent Variable框】
选入需要分析的变量（应变量），只能选入一个。这里我们的应变量为weight，将他选入即可。
【Fixed Factors框】
即固定因素，说的通俗一些，就是－－哎呀，我都不知道怎么解释好了，这样，如果你搞不明白，那么绝大多数要分析的因素都应该往里面选。这里我们要分析的是group和food两个变量，把他们全都给我抓进去！
固定因素指的是在样本中它所有可能的取值都出现了，比如例中的food，只可能有1、2、3这三个值，并且都出现了，就被称作固定效应；而相对应的随机效应的因素指的是所有可能的取值在样本中没有都出现，或不可能都出现，如本例中的group，实际上总体中当然不可能只有这8窝，因此要用样本中group 的情况来推论总体中group未出现的那些取值的情况时就会存在误差，因此被称为随机因素。我这里让group也选入固定框是基于下面的事实：这样做统计分析的结论是完全相同的。不同的只是推论的那部分。
【Random Factors框】
用于选入随机因素，如果你弄不明白，假装没看见他就是了。
【Covariate框】
用于选入协方差分析时的协变量，现在还用不到，不过下一个例子我们就要给他送礼了。
【WLS Weight框】
即用于选入最小二乘法权重系数。别理他，根据我的理解，只有统计分析的变态狂才会想起来用他（如有雷同，纯属巧合）！
【Model钮】
单击后出现一个对话框，用于设置在模型中包含哪些主效应和交互因子，默认情况为Full factorial，即分析所有的主效应和交互作用。我们这里没有交互作用可分析，所以要改一下，否则将作不出结果来。将按钮切换到右侧的custum，这时中部的Build Term下拉列表框就变黑可用，该框用于选择进入模型的因素交互作用级别，即是分析主效应、两阶交互、三阶交互、还是全部分析。这里我们只能分析主效应：选择main，再用黑色箭头将group和food选入右侧的model框中，如果对这段叙述不太清楚，请参考下面的动画。
该对话框中还有两个元素：左下方的Sum of squares框用于选择方差分析模型类别，有1型到4型四种，如果你搞不清他们之间的区别，使用默认的3型即可；中下部有个Include intercept in model复选框，用于选择是否在模型中包括截距，不用改动，默认即可。
【Contrast钮】
弹出Contrast对话框，用于对精细趋势检验和精确两两比较的选项进行定义，在这里，该对话框比单因素方差分析的时候还要专业，使用频率也更少，反正我都没用过，就干脆就不介绍了。
【Plots钮】
用于指定用模型的某些参数作图，比如用food和group来作图，用的也比较少（指国内，因为它主要是用来做模型诊断用的）。
【Post Hoc钮】
该按钮弹出的两两比较对话框和第7章单因素方差分析中的一模一样，不再重复。本题对food作两两比较，方法为SNK法。
【Save钮】
将模型拟合时产生的中间结果或参数保存为新变量供继续分析时用，可保存的东东有预测值、残差、诊断用指标等。
【Options钮】
当然是定义选项啦！可以定义输出哪些指标的估计均数、并做所选择的两两比较，还有其他一些输出，如常用描述指标、方差齐性检验等。
好了，都解释完了，再重复以下，我们所作的操作为：
1.Analyze==>General Lineal model==>Univariate
2.Dependent Variable框：选入weight
3.Fixed Factors框：选入group和food
4.Model钮：单击
5. Custom单选钮：选中
6. Model框：选入group和food
7.单击OK
8.Post Hoc钮：单击
9. Post Hoc test for框：选入food
10. SNK复选框：选中
11. 单击OK
12.单击OK
8.1.2 结果解释
按照上题的操作，结果输出如下：
Univariate Analysis of Variance
这是一个所分析因素的取值情况列表，没有什么不好懂的。
现在大家看到的是一个典型的方差分析表，只不过是两因素的而已，我来解释一下：首先是所用方差分析模型的检验，F值为00.517，P小于0.05，因此所用的模型有统计学意义，可以用它来判断模型中系数有无统计学意义；第二行是截距，它在我们的分析中没有实际意义，忽略即可；第三行是变量GROUP，可见它也有统计学意义，不过我们关心的也不是他；第四行是我们真正要分析的FOOD，非常遗憾，它的P值为0.084，还没有统计学意义。尽管不太愿意，我们的结论也只能是：尚不能认为三种营养素喂养的小白鼠体重增量有差别。
上表的标题内容翻译如下：
Post Hoc Tests
FOOD
Homogeneous Subsets
现在是两两比较的结果，方法为SNK法，由于前面总的比较无差异，所以这里三种食物均在一个亚组内，检验无差异，P值为0.121。
前面方差分析FOOD的P值不是0.084吗？这里又是0.121，究竟哪个为准？
两两比较只是近似的比较结果，应以前面方差分析的P为准，不过这两个P值不会在检验结果上发生质的冲突，一般只是大小不同而已。
好了，上面是正确的结果，如果model选择是采用Full factor又如何呢？会得出方差分析表如下：
看到了吗？由于所谓的交互作用将自由度给全部“吃”掉了，没有误差可用于统计分析，什么结果也做不出来。
§8.2协方差分析
例8.2 某医生欲了解成年人体重正常者与超重者的血清胆固醇是否不同。而胆固醇含量与年龄有关，资料见下表。
正常组超重组
年龄(X1) 胆固醇(Y1) 年龄(X2) 胆固醇(Y2)
48 3.5 58 7.3
33 4.6 41 4.7
51 5.8 71 8.4
43 5.8 76 8.8
44 4.9 49 5.1
63 8.7 33 4.9
49 3.6 54 6.7
42 5.5 65 6.4
40 4.9 39 6.0
47 5.1 52 7.5
41 4.1 45 6.4
41 4.6 58 6.8
56 5.1 67 9.2
该题选自《医学统计学》第二版第七章。考虑到统计分析对数据格式的要求，我们这里建立三个变量：GROUP表示组别，AGE代表年龄，CHOL则表示胆固醇。
8.2.1 分析步骤
由于协方差分析涉及到许多较深的统计理论，这里我只好采用照本宣科的方法，告诉大家如何作，而不作过多解释，欲进一步了解原理的朋友请参考《医学统计学》原书。
首先应进行预分析，了解资料是否符合协方差分析的要求，最重要的一点就是看age的影响在两组中是否相同，这可以用age与group是否存在交互作用来表示。对该问题，粗糙的方法可以是作分组散点图，差不多就可以，也可以进行预分析，看交互作用有无统计学意义，这里用后一种方法中最为精确的步骤来讲解。
预分析步骤：
1.Analyze==>General Lineal model==>Univariate
2.Dependent Variable框：选入chol
3.Fixed Factors框：选入group
4.Model钮：单击
5. Custom单选钮：选中
6. Model框：选入group、age和group*age(后者用interaction方法就
可选入)
7. Sum of squares列表框：改为Model I
8.单击OK
9.单击OK
该步骤用于判断group和age间是否存在交互作用，如存在，则协方差分析的条件不满足，分析不能继续。注意这里选择了Model I，从而拟合结果和模型中变量的引入顺序有关，即侧重点在group对chol的影响大小和交互作用上。
8.2.2 结果解释
预分析步骤的结果如下：
Univariate Analysis of Variance
上表显示交互作用无统计学意义，而且P值非常大，因此交换group和age 多半交互作用也无统计学意义，因此可以不继续作预分析了，当然，严格的步骤应当交换两者的顺序继续进行预分析。
正式分析步骤：
1.Analyze==>General Lineal model==>Univariate
2.Dependent Variable框：选入chol
3.Fixed Factors框：选入group
4.Model钮：单击
5. Custom单选钮：选中
6. Model框：选入group、age
7. Sum of squares列表框：改为Model III
8.单击OK
9.Options钮：单击
10. Displsy means for框：选入group
11. Compare mean effects复选框：选中（下面的区间调整方法就用LSD(none)
即可）
12. 单击OK
13.单击OK
Univariate Analysis of Variance
这是正式的统计分析结果，显示group和age都对胆固醇含量有影响，P值分别为0.038和小于0.001。
Estimated Marginal Means
这是两组的修正均数及相应的可信区间，显然超重组的胆固醇均值较高。下方的提示表明该修正均数是按年龄为50.2308岁的情形计算的。
§8.3其他较简单的方差分析问题
其他各种不太复杂的方差分析，如交叉设计的方差分析、析因设计的方差分析等的菜单选择和统计结果的解释我就不一一详细讲解了，大家举一反三，类似上面的方法就可以作出来。这里只是列举对于初学者来说可能有用的几个问题：
?需要分析的影响因素可以都选入fixed factor框，如果不是复杂的模型，一般分析结果不会有误。
?方差分析模型多数情况下要选model III，但这在数据存在缺失值、设
计不平衡等情况下要慎重考虑，因为此时往往会要求模型进行详细的设
置。
?model的设置对分析是非常重要的，如果设置不正确，可能什么都做不
出来，比如无重复数据的方差分析纳入了交互作用、析因设计的方差分析纳入了设计中不存在的因素，就会做不出结果。
一般线性模型的复杂性是超出大家想象的，实际上这几个敲门就有误人子弟之嫌。千万不要以为读懂了以上内容就可以打遍天下了，一但有存在疑问的内容，一定要查阅有关统计书籍，并在必要时请教专业统计分析人员。
§8.4多元方差分析
所谓的多元方差分析，就是说存在着不止一个应变量，而是两个以上的应变量共同反映了自变量的影响程度。比如要研究某些因素对儿童生长的影响程度，则身高、体重等都可以作为生长程度的测量因子，即都应作为应变量。
8.4.1 分析步骤
为了方便起见，我们这里直接利用SPSS自带的数据集plastic.sav，假设tear_res、gloss和opacity都使反应橡胶质量的指标（不要笑，是假设），现在要研究extrusn和additive对橡胶的质量影响如何，则应采用多元方差分析。
选择Analyze==>General Linear Model==>Multivariate，则弹出Multivariate对话框，请注意，除了没有random effect外，它的所有元素都是和univariate对话框相同的，里面的内容也相同，因此我们这里就不再重复了。
按照我们的分析要求，对话框操作步骤如下：
1.Analyze==>General Lineal model==>Multivariate
2.Dependent Variable框：选入tear_res、gloss和opacity
3.Fixed Factors框：选入extrusn和additive
4.单击OK
此处两个自变量均是二分类变量，故无需选择两两比较方法。
8.4.2 结果解释
按上面的选择，分析结果如下：
General Linear Model
这是引入模型的自变量的取值情况列表。
上表是针对模型中的自变量间及其交互作用所做的检验，采用的是四种多元检验方法。一般他们的结果都是相同的，如果不同，一般以Hotelling's Trace 方法的结果为准。可见在所用的模型中，extrusn和additive对结果变量是有统计学意义的，但交互作用无统计学意义。
上表实际上是四个一元方差分析表的合并，即分别考虑四个应变量时的方差分析结果。上面的多元方差分析已经得知两自变量对应变量有影响，从现在的分析表就可以更清楚的知道是对那些自变量影响较大。对照可知，extrusn和additive对tear resistance和gloss都有较大影响，而他们的交互作用对gloss 有影响，他们（及交互作用）对Opacity都没有影响。
§8.5重复测量的方差分析
重复测量的方差分析指的是一个应变量被重复测量好几次，从而同一个个体的几次观察结果间存在相关，这样就不满足普通分析的要求，需要用重复测量的方差分析模型来解决。
8.5.1 Repeated measures对话框界面说明
实际上，如果对普通方差分析模型作出正确的设置，两者的分析结果是完全相同的，即都正确，那么，重复测量的方差分析过程有何优势呢？我们通过下面的例子来看看：
例8.3 在数据集anxity2.sav中判断：anxiety和tension对实验结果（即trial1~trial4）有无影响；四次试验间有无差异；试验次数和两个变量有无交互作用。
anxity2.sav和anxity.sav实际上是同一个数据，但根据不同的分析目的采用了不同的数据排列方式。如果采用anxity.sav进行分析，我们可以分析四次试验间有无差异的问题，但对另两个问题就无能为力了，因为用普通的方差分析模型，anxity和tension的影响被合并到了subject中，根本就无法分解出来进行分析，这时，我们就只能求助于重复测量的方差分析模型。
在菜单中选择Analyze==>General Lineal model==>Repeated measures，系统首先会弹出一个重复测量因子定义对话框如下：
因为是重复测量的模型，应变量被重复测量了几次，分别存放在几个变量中，所以我们这里要自行定义应变量。默认的名称为factor1，我们将其改为trail，下面的因素等级数填入4(因一共测量了四次)。单击Add钮，则该变量被加入，我们就完成了模型设置的第一步：应变量名称和测量次数定义。单击define，我们开始进行下一个步骤：具体重复测量变量定义及模型设置，对话框如下：
这个对话框和我们以前看到的方差分析对话框不太一样：它没有应变量框，而是改为了组内效应框，实际上是一回事，上面我们定义了trial有四次测量，此处就给出了四个空让你填入相应代表四次测量的变量，选中trial1~trial4，将其选入；然后要选择自变量了（这里又将其称为了between subjects factor），将剩下的三个都选入即可。最后，根据题意，不需要检验anxity与tension的交互作用对试验次数有无交互作用，所以要在model中作相应设置，把那个东东拉出来。
详细的操作步骤如下：
1.Analyze==>General Lineal model==>Repeated measures
2.Within-subject factor name框：键选入trial
3.number of levels框：键入4
4.单击ADD钮
5.单击DEFINE钮
6.Within-subject variables (trial)框：选入trial1~trial4
7.between subjects factor框：选入subject、anxity和tension
8.单击MODEL钮
9. Custom单选钮：选中
10. Within-subject Model框：选入trial
11. between subjects Model框：选入anxity和tension
12. 单击CONTINUE
13.单击OK
请注意，这里没有选入变量subject，因为它实际上在这里成为了一个记录ID，要是将它选入，则什么都检验不了了。
8.5.2 结果解释
本题的分析结果如下：
General Linear Model
上表给出了所定义的4次测量的变量名，在模型中它们都代表一个应变量trial，只是测量的次数不同而已。
这是引入模型的其它自变量的情况列表。
上表是针对所检验的结果变量trial，以及他和另两个引入模型的自变量间的交互作用是否存在统计学意义，采用的是四种多元检验方法。一般他们的结果都是相同的，如果不同，我一般以Hotelling's Trace方法的结果为准。可见在所用的模型中，trial的四次测量间的确是存在着统计学差异的，但它和另两个变量间的交互作用无统计学意义。
上表是球形检验，因为重复测量的方差分析模型要求所检验的应变量服从一种叫做球形分布的东东。上面可能有些内容不好懂，不过没关系，只要看到近
似卡方为9.383，自由度为5，P值为0.097就可以了。因此trial是勉强服从球形分布的，可以进行重复测量的方差分析。
上面又用方差分析的方法对组内因素进行了检验，注意第一种为球形分布假设成立时的结果，就是我们所要看的。如果该假设不成立，则根据不同的情况可能看下面三种检验结果之一，或放弃该检验方法。
上表是非常重要的一部分：各次重复测量间变化趋势的模型分析，这里要求检验没有统计学意义，否则说明变化趋势不服从该曲线。以trial为例，对Linear的检验P值小于千分之一，Quadratic的P值略大于0.05。只有Cubic 的P值在0.5附近，因此最佳的拟合曲线应为Cubic（三次方曲线）；但由于一共才四次测量，三次方曲线显然太奢侈了，因此如果没有任何其它提示或专业上的知识，最终的拟和曲线应为Quadratic（二次方曲线）。
上表为最后一张，为组间效应的方差分析结果，可见anxiety和tension 均无统计学意义。
最后，为了再确认一下几次测量间的变化趋势，我们另外用plots子菜单作出模型估计的四次测量均数值如下图：
可见四次测量均数实际上还是近似于直线趋势的，因此前面的模型应为线性最佳。
第5章 列联表分析与对数线性模型
第5章列联表分析与对数线性模型 实验5-1 列联表分析 一、列联表 若总体中的个体可按两个属性A与B分类，A有r个等级，B有c个等级，从总体中抽取大小为N的样本，每种属性的样本数如下表所示： 称上表为r×c列联表。 当r=2=c时，称上表为2×2列联表或四格表。 本节仅涉及四格表检验。 例1 对肺癌患者和对照组的调查结果： 问是否患肺癌与是否吸烟独立与否？
例2 1976年至1977年美国佛罗里达州29个区的凶杀案件中凶手的肤色和是否被判死刑的326个犯人的情况如下，问是否存在种族歧视与审判不公？ 二、实验内容 数据来源：wushujiance.sav 某防疫站观察当地一个污水排放口在高温和低温季节中伤寒病菌检出情况。 其中高温和低温季节各观测12次，数据有24个观测样本，有两个属性变量degree 和test，degree有1（高温季节）和2（低温季节）两个等级；test有1（+）和2（-）两个等级。问：两个季节的伤寒菌检出率有无差别？ 数据如下图所示：
意为： 设A ：高温季节；A ：低温季节；B ：检出；B ：没有检出。 记)|(1A B P p =，2p =)|(A B P 此处欲检验 0H ：21p p =1H ?：21p p ≠ 检验统计量： Pearson 卡方统计量=2 1212211222112 )(++++-=n n n n n n n n n χ ～） （12 χ （渐进） 称此检验为卡方检验。
此外，可以证明：卡方检验等价于独立性检验（A 属性与B 属性独立），即： 0H ：21p p =1H ?：21p p ≠等价于0H ：j i ij p p p ??=1H ?：j i ij p p p ??≠，.2,1,=j i 其中n n p ij ij =，n n p i i + ?= ，n n p j j +?=，.2,1,=j i 实验过程： （1）打开数据文件； （2）分析->描述统计->交叉表；
一般线性回归分析案例
一般线性回归分析案例 1、案例 为了研究钙、铁、铜等人体必需元素对婴幼儿身体健康的影响，随机抽取了30个观测数据，基于多员线性回归分析的理论方法，对儿童体内几种必需元素与血红蛋白浓度的关系进行分析研究。这里，被解释变量为血红蛋白浓度（y）,解释变量为钙(ca)、铁(fe)、铜(cu)。 表一血红蛋白与钙、铁、铜必需元素含量 (血红蛋白单位为g；钙、铁、铜元素单位为ug) case y（g）ca fe cu 17.0076.90295.300.840 27.2573.99313.00 1.154 37.7566.50350.400.700 48.0055.99284.00 1.400 58.2565.49313.00 1.034 68.2550.40293.00 1.044 78.5053.76293.10 1.322 88.7560.99260.00 1.197 98.7550.00331.210.900 109.2552.34388.60 1.023 119.5052.30326.400.823 129.7549.15343.000.926 1310.0063.43384.480.869 1410.2570.16410.00 1.190 1510.5055.33446.00 1.192 1610.7572.46440.01 1.210 1711.0069.76420.06 1.361 1811.2560.34383.310.915 1911.5061.45449.01 1.380 2011.7555.10406.02 1.300 2112.0061.42395.68 1.142 2212.2587.35454.26 1.771 2312.5055.08450.06 1.012 2412.7545.02410.630.899 2513.0073.52470.12 1.652 2613.2563.43446.58 1.230
SPSS第八课：征服一般线性模型GeneralLinearModel菜单详解(上)
SPSS第八课：征服一般线性模型 ――General Linear Model菜单详解（上） （武汉兆联投资管理顾问有限公司） 上次更新日期：2009年06月02日 8.1 两因素方差分析 8.1.1 univarate对话框界面说明 8.1.2 结果解释 8.2 协方差分析 8.2.1 分析步骤 8.2.2 结果解释 8.3 其他较简单的方差分析问题 8.4 多元方差分析 8.4.1 分析步骤 8.4.2 结果解释 8.5 重复测量的方差分析 8.5.1 Repeated measures对话框界面说明 8.5.2 结果解释 请注意，本章的标题用了一些修辞手法，一般线性模型可不是用一章就可以说清楚的，因为它包括的内容实在太多了。
那么，究竟我们用到的哪些分析会包含在其中呢？简而言之：凡是和方差分析粘边的都可以用他来做。比如成组设计的方差分析（即单因素方差分析）、配伍设计的方差分析（即两因素方差分析）、交叉设计的方差分析、析因设计的方差分析、重复测量的方差分析、协方差分析等等。因此，能真正掌握GLM菜单的用法，会使大家的统计分析能力有极大地提高。 实际上一般线性模型包括的统计模型还不止这些，我这里举出来的只是从用SPSS作统计分析的角度而言的一些。 好了，既然一般线性模型的能力如此强大，那么下属的四个子菜单各自的功能是什么呢？请看： ?Univariate子菜单：四个菜单中的大哥大，绝大部分的方法分析都在这里面进行。 ?Multivariate子菜单：当结果变量（应变量）不止一个时，当然要用他来分析啦！ ?Repeted Measures子菜单：顾名思义，重复测量的数据就要用他来分析，这一点我可能要强调一下，用前两个菜单似乎都可以分析出来结果，但在许多情况下该结果是不正确的，应该用重复测量的分析方法才对（不能再讲了，再讲下去就会扯到多水平模型去了）。
线性回归模型
线性回归模型 1.回归分析 回归分析研究的主要对象是客观事物变量之间的统计关系，它是建立在对客观事物进行大量试验和观察的基础上，用来寻找隐藏在那些看上去是不确定的现象中的统计规律性的方法。回归分析方法是通过建立模型研究变量间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。 2.回归模型的一般形式 如果变量x_1,x_2,…,x_p与随机变量y之间存在着相关关系，通常就意味着每当x_1,x_2,…,x_p取定值后，y便有相应的概率分布与之对应。随机变量y与相关变量x_1,x_2,…,x_p之间的概率模型为 y = f(x_1, x_2,…,x_p) + ε（1） f(x_1, x_2,…,x_p)为变量x_1,x_2,…,x_p的确定性关系，ε为随机误差项。由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。 当概率模型（1）式中回归函数为线性函数时，即有 y = beta_0 + beta_1*x_1 + beta_2*x_2 + …+ beta_p*x_p +ε (2) 其中，beta_0，…,beta_p为未知参数，常称它们为回归系数。当变量x个数为1时，为简单线性回归模型，当变量x个数大于1时，为多元线性回归模型。 3.回归建模的过程 在实际问题的回归分析中，模型的建立和分析有几个重要的阶段，以经济模型的建立为例：
（1）根据研究的目的设置指标变量 回归分析模型主要是揭示事物间相关变量的数量关系。首先要根据所研究问题的目的设置因变量y，然后再选取与y有关的一些变量作为自变量。通常情况下，我们希望因变量与自变量之间具有因果关系。尤其是在研究某种经济活动或经济现象时，必须根据具体的经济现象的研究目的，利用经济学理论，从定性角度来确定某种经济问题中各因素之间的因果关系。（2）收集、整理统计数据 回归模型的建立是基于回归变量的样本统计数据。当确定好回归模型的变量之后，就要对这些变量收集、整理统计数据。数据的收集是建立经济问题回归模型的重要一环，是一项基础性工作，样本数据的质量如何，对回归模型的水平有至关重要的影响。 （3）确定理论回归模型的数学形式 当收集到所设置的变量的数据之后，就要确定适当的数学形式来描述这些变量之间的关系。绘制变量y_i与x_i（i = 1,2,…,n）的样本散点图是选择数学模型形式的重要手段。一般我们把（x_i,y_i）所对应的点在坐标系上画出来，观察散点图的分布状况。如果n个样本点大致分布在一条直线的周围，可考虑用线性回归模型去拟合这条直线。 （4）模型参数的估计 回归理论模型确定之后，利用收集、整理的样本数据对模型的未知参数给出估计是回归分析的重要内容。未知参数的估计方法最常用的是普通最小二乘法。普通最小二乘法通过最小化模型的残差平方和而得到参数的估计值。即 Min RSS = ∑（y_i – hat(y_i）)^2 = 其中，hat(y_i)为因变量估计值，hat(beta_i)为参数估计值。 （5）模型的检验与修改 当模型的未知参数估计出来后，就初步建立了一个回归模型。建立回归模型的目的是应用它来研究经济问题，但如果直接用这个模型去做预测、控制和分析，是不够慎重的。因为这个模型是否真正揭示了被解释变量与解释变量之间的关系，必须通过对模型的检验才能决定。统计检验通常是对回归方程的显著性检验，以及回归系数的显著性检验，还有拟合优度的检验，随机误差项的序列相关检验，异方差性检验，解释变量的多重共线性检验等。 如果一个回归模型没有通过某种统计检验，或者通过了统计检验而没有合理的经济意义，就需要对回归模型进行修改。 （6）回归模型的运用 当一个经济问题的回归模型通过了各种统计检验，且具有合理的经济意义时，就可以运用这个模型来进一步研究经济问题。例如，经济变量的因素分析。应用回归模型对经济变量之间的关系作出了度量，从模型的回归系数可发现经济变量的结构性关系，给出相关评价的一些量化依据。 在回归模型的运用中，应将定性分析和定量分析有机结合。这是因为数理统计方法只是从事物的数量表面去研究问题，不涉及事物的规定性。单纯的表面上的数量关系是否反映事物的本质这本质究竟如何必须依靠专门学科的研究才能下定论。 Lasso 在多元线性回归中，当变量x_1,x_2,…,x_3之间有较强的线性相关性，即解释变量间出现严重的多重共线性。这种情况下，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘的效果变得很不理想。为了解决这一问题，可以采用子集选择、压缩估计或降维法，Lasso即为压缩估计的一种。Lasso可以将一些增加了模型复杂性但与模型无关的
各种对数线性模型
第九章对数线性模型 第一节 General过程 9.1.1 主要功能 9.1.2 实例操作 第二节 Hierarchical过程 9.2.1 主要功能 9.2.2 实例操作 第三节 Logit过程 9.3.1 主要功能 9.3.2 实例操作 对数线性模型是用于离散型数据或整理成列联表格式的计数资料的统计分析工具。在对数线性模型中，所有用作的分类的因素均为独立变量，列联表各单元中的例数为应变量。对于列联表资料，通常作χ 2 检验，但χ 2 检验无法系统地评价变量间的联系，也无法估计变量间相互作用的大小，而对数线性模型是处理这些问题的最佳方法。 第一节 General过程 9.1.1 主要功能 调用该过程可对一个或多个二维列联表资料进行非层次对数线性分析。它只能拟合全饱和模型，即分类变量各自效应及其相互间效应均包含在对数线性模型中。 返回目录返回全书目录 9.1.2 实例操作
[例9-1]在住院病人中，研究其受教育程度与对保健服务满意程度的关系，资料整理成列联表后如下所示。 按一般情形作χ2检验，结果显示不同受教育程度的住院病人其对保健服务满意程度无差别。但从百分比分析中可见，随受教育程度的提高，满意程度有下降的趋势；且我们还想了解受教育程度与满意程度有无交互作用和交互作用的大小。对此，必须采用对数线性模型加以分析。 9.1.2.1 数据准备 激活数据管理窗口，定义变量名：实际观察频数的变量名为freq，受教育程度和满意程度作为行、列分类变量（即独立变量），变量名分别为educ、care。输入原始数据，结果如图9.1所示。如同第四章Crosstab过程中所述，为使列联表的频数有效，应选Data 菜单的Weight Cases...项，弹出Weight Cases对话框（图9.2），激活Weight cases by 项，从变量列表中选freq点击 钮使之进入Frequency Variable框，点击OK钮即可。 图9.1 原始数据的输入
常见非线性回归模型
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 εβα+=L AK y 其中 L 和 K 分别是劳力投入和资金投入, y 是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型, 只要其中有一个方程是不能通过代换转化为线性, 那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 εβββ+=),,,;,,,(2121p k x x x f y ΛΛ 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）εββ++=x e y 10 （2）εββββ+++++=p p x x x y Λ2210 （3）ε+=bx ae y (4)y=alnx+b 对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y Λ22110 对与（3）式，对等式两边同时去自然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的一元线性回归模型： εββ++='x y 10。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为t y 本身是异方差的，而t y ln 是等方差的。加性误差项模型认为t y 是等方差的。从统计性质看两者的差异，前者淡化了t y 值大的项（近期数据）的作用，强化了t y 值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用加权最小二乘。
对数线性模型
对数线性模型 第一节 General过程 9.1.1 主要功能 9.1.2 实例操作 第二节 Hierarchical过程 9.2.1 主要功能 9.2.2 实例操作 第三节 Logit过程 9.3.1 主要功能 9.3.2 实例操作 对数线性模型是用于离散型数据或整理成列联表格式的计数资料的统计分析工具。在对数线性模型中，所有用作的分类的因素均为独立变量，列联表各单元中的例数为应变量。对于列联表资料，通常作χ2 检验，但χ2 检验无法系统地评价变量间的联系，也无法估计变量间相互作用的大小，而对数线性模型是处理这些问题的最佳方法。 第一节 General过程 9.1.1 主要功能 调用该过程可对一个或多个二维列联表资料进行非层次对数线性分析。它只能拟合全饱和模型，即分类变量各自效应及其相互间效应均包含在对数线性模型中。 返回目录返回全书目录 9.1.2 实例操作
[例9-1]在住院病人中，研究其受教育程度与对保健服务满意程度的关系，资料整理成列联表后如下所示。 按一般情形作χ2检验，结果显示不同受教育程度的住院病人其对保健服务满意程度无差别。但从百分比分析中可见，随受教育程度的提高，满意程度有下降的趋势；且我们还想了解受教育程度与满意程度有无交互作用和交互作用的大小。对此，必须采用对数线性模型加以分析。 9.1.2.1 数据准备 激活数据管理窗口，定义变量名：实际观察频数的变量名为freq，受教育程度和满意程度作为行、列分类变量（即独立变量），变量名分别为educ、care。输入原始数据，结果如图9.1所示。如同第四章Crosstab过程中所述，为使列联表的频数有效，应选Data菜单的Weight Cases...项，弹出Weight Cases对话框（图9.2），激活Weight cases by项，从变量列表中选freq点击?钮使之进入Frequency Variable框，点击OK钮即可。 图9.1 原始数据的输入
各种线性回归模型原理
一元线性回归 一元线性回归模型的一般形式：εββ++=x y 10 一元线性回归方程为：x y E 10)(ββ+= 当对Y 与X 进行n 次独立观测后,可取得n 对观测值 ,,,2,1),,(n i y x i i =则有i i i x y εββ++=10 回归分析的主要任务是通过n 组样本观测值,,,2,1),,(n i y x i i =对 10,ββ进行估计。一般用∧ ∧ 10,ββ分别表示10,ββ的估计值。 称x y ∧ ∧∧+=10ββ为y 关于x 的一元线性回归方程（简称为回归直线方程），∧ 0β为截距，∧ 1β为经验回归直线的斜率。 引进矩阵的形式： 设 ????????????=n y y y y 21，????????????=n x x x X 11121 ，????? ? ??????=n εεεε 21，??????=10βββ 则一元线性回归模型可表示为：εβ+=X y 其中n I 为n 阶单位阵。 为了得到∧ ∧ 10,ββ更好的性质，我们对ε给出进一步的假设（强假设） 设n εεε,,,21 相互独立，且),,2,1(),,0(~2n i N i =σε，由此可得： n y y y ,,,21 相互独立，且),,2,1(),,(~210n i x N y i =+σββ 程序代码： x=[]; y=[]; plot(x,y,’b*’) 多元线性回归 实际问题中的随机变量Y 通常与多个普通变量)1(,,21>p x x x p 有
关。 对于自变量p x x x ,,21的一组确定值，Y 具有一定的分布，若Y 的数学期望值存在，则它是Y 关于p x x x ,,21的函数。 12(,,,)p x x x μ是p x x x ,,21的线性函数。 212,, ,p b b b σ是与p x x x ,,21无关的未知参数。 逐步回归分析 逐步回归分析的数学模型是指仅包含对因变量Y 有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。 一、变量重新编号 1、新编号数学模型 令k x y αα=，自变量个数为1k -，则其数学模型为： 式中，1,2,3,,n α= （其中n 为样本个数） j x 的偏回归平方和为： k x ：为k x α的算术平均值 j b ：j x 的偏回归系数 jj c ：为逆矩阵1-L 对角线对应元素 2 回归数学模型 新编号的回归数学模型为： 二、标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差
对数线性模型
对于分类数据的分析，最简单也是最广泛使用的是卡方检验，但卡方检验在处理分类数据时，有两个局限： 1.卡方检验只能简单描述变量间的相关关系，而无法分析出具体的因果关系或变量间相互作用（效应）大小 2.卡方检验通常用于2*2列联表，而对于高维列联表，则无法系统的评价变量间的关系，而对数线性模型则是分析高维列联表的常用方法。 基于以上问题，我们除了可以使用Logistic模型之外，还可以使用对数线性模型进行分析。 对数线性模型的结构类似于方差分析，思想也和方差分析一样，不同的是方差分析用于连续变量，而对数线性模型用于分类变量。在方差分析中，观测值y的变异由各因素的主效应、各因素之间的交互效应、随机误差三者之和组成。而对于分类变量也可以采用这种方法进行分解，只不过此时的观测值y为频数而不是实际的观测值，最终观测值变异的组成也不是相加关系，而是乘积关系。以两个分类变量α、β为例: M ij代表第i行第j列的频数 αi代表变量α的主效应 βj代表变量β的主效应 (αβ)ij代表变量αβ的交互作用 εij代表随机误差 分类数据的频数分布一般分为多项式分布、二项式分布、泊松分布，取值在0—+∞之间，因此等式两边都取其对数ln，这样可以使期望频数取值在 -∞—+∞，这就是所谓的对数线性模型。 模型的独立参数和自由度： 独立参数个数=分类数-限制条件数 数据提供的信息量=列联表中网格的数量 模型自由度=信息量-独立参数个数 对数线性模型的一个假设前提是：每个分类变量各水平的效应之和等于0 ========================================== === 对数线性模型的统计检验：
第二章(简单线性回归模型)2-3答案
拟合优度的度量 一、判断题 1.当 ()∑-2i y y 确定时，()∑-2 i y y ?越小，表明模型的拟合优度越好。（F ） 2.可以证明，可决系数2R 高意味着每个回归系数都是可信任的。（F ） 3.可决系数2R 的大小不受到回归模型中所包含的解释变量个数的影响。（F ） 4.任何两个计量经济模型的2R 都是可以比较的。（F ） 5.拟合优度2R 的值越大，说明样本回归模型对数据的拟合程度越高。（ T ） 6.结构分析是2R 高就足够了，作预测分析时仅要求可决系数高还不够。（ F ） 7.通过2R 的高低可以进行显著性判断。（F ） 8.2R 是非随机变量。（F ） 二、单项选择题 1．已知某一直线回归方程的可决系数为，则解释变量与被解释变量间的线性相关系数为（ B ）。 A ．± B ．± C ．± D ．± 2．可决系数2R 的取值范围是（ C ）。 A ．2R ≤-1 B ．2R ≥1 C ．0≤2R ≤1 D ．－1≤2R ≤1 3.下列说法中正确的是：（ D ） A 如果模型的2R 很高，我们可以认为此模型的质量较好 B 如果模型的2R 较低，我们可以认为此模型的质量较差 C 如果某一参数不能通过显著性检验，我们应该剔除该解释变量 D 如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量 三、多项选择题 1．反映回归直线拟合优度的指标有（ ACDE ）。 A ．相关系数 B ．回归系数 C ．样本可决系数 D ．回归方程的标准差 E ．剩余变差（或残差平方和） 2．对于样本回归直线i 01i ???Y X ββ+＝，回归变差可以表示为（ ABCDE ）。 A ．2 2i i i i ?Y Y -Y Y ∑ ∑ （－） （－） B ．2 2 1 i i ?X X β∑ （－） C ．2 2 i i R Y Y ∑ （－） D ．2 i i ?Y Y ∑（－） E ．1 i i i i ?X X Y Y β∑ （－（）－） 3．对于样本回归直线i 01i ???Y X ββ+＝，?σ为估计标准差，下列可决系数的算式中，正确的有（ ABCDE ）。 A ．2i i 2 i i ?Y Y Y Y ∑∑（－）（－） B ．2i i 2 i i ?Y Y 1Y Y ∑∑ （－）－（－）
线性回归分析的基本步骤
步骤一、建立模型 知识点： 1、总体回归模型、总体回归方程、样本回归模型、样本回归方程 ①总体回归模型：研究总体之中自变量和因变量之间某种非确定依赖关系的计量模型。Y X U β=+ 特点：由于随机误差项U 的存在，使得Y 和X 不在一条直线/平面上。 例1：某镇共有60个家庭，经普查，60个家庭的每周收入（X ）与每周消费（Y ）数据如下： 作出其散点图如下： ②总体回归方程（线）：由于假定0EU =，因此因变量的均值与自变量
总处于一条直线上，这条直线()|E Y X X β=就称为总体回归线（方程）。 总体回归方程的求法：以例1的数据为例 由于01|i i i E Y X X ββ=+，因此任意带入两个X i 和其对应的E (Y |X i )值，即可求出01ββ和，并进而得到总体回归方程。 如将()()2227 77100,|77200,|137X E Y X X E Y X ====和代入 ()01|i i i E Y X X ββ=+可得：0100117710017 1372000.6ββββββ=+=?????=+=?? 以上求出01ββ和反映了E (Y |X i )和X i 之间的真实关系，即所求的总体回归方程为：()|170.6i i i E Y X X =+，其图形为： ③样本回归模型：总体通常难以得到，因此只能通过抽样得到样本数据。
如在例1中，通过抽样考察，我们得到了20个家庭的样本数据： 那么描述样本数据中因变量Y 和自变量X 之间非确定依赖关系的模型 ?Y X e β =+就称为样本回归模型。 ④样本回归方程（线）：通过样本数据估计出?β ，得到样本观测值的拟合值与解释变量之间的关系方程??Y X β=称为样本回归方程。如下图所示： ⑤四者之间的关系： ⅰ：总体回归模型建立在总体数据之上，它描述的是因变量Y 和自变量X 之间的真实的非确定型依赖关系；样本回归模型建立在抽样数据基础之上，它描述的是因变量Y 和自变量X 之间的近似于真实的非确定型依赖
第八章 一般线性模型――General Linear Model菜单详解
第八章一般线性模型――General Linear Model菜单详解 请注意，本章的标题用了一些修辞手法，一般线性模型可不是用一章就可以说清楚的，因为它包括的内容实在太多了。 那么，究竟我们用到的哪些分析会包含在其中呢？简而言之：凡是和方差分析粘边的都可以用他来做。比如成组设计的方差分析（即单因素方差分析）、配伍设计的方差分析（即两因素方差分析）、交叉设计的方差分析、析因设计的方差分析、重复测量的方差分析、协方差分析等等。因此，能真正掌握GLM菜单的用法，会使大家的统计分析能力有极大地提高。 实际上一般线性模型包括的统计模型还不止这些，我这里举出来的只是从用SPSS作统计分析的角度而言的一些。 好了，既然一般线性模型的能力如此强大，那么下属的四个子菜单各自的功能是什么呢？请看： ?Univariate子菜单：四个菜单中的大哥大，绝大部分的方法分析都在这里面进行。 ?Multivariate子菜单：当结果变量（应变量）不止一个时，当然要用他来分析啦！ ?Repeted Measures子菜单：顾名思义，重复测量的数据就要用他来分析，这一点我可能要强调一下，用前两个菜单似乎都可以分析出来结果，但在 许多情况下该结果是不正确的，应该用重复测量的分析方法才对（不能再 讲了，再讲下去就会扯到多水平模型去了）。 ?Variance Components子菜单：用于作方差成份模型的，这个模型实在 太深，不是一时半会说的请的，所以我在这里就干脆不讲了。 出于模型复杂性、篇幅、应用范围及乱七八糟一系列的理由，当然主要是我懒得一一解释，我决定本章采用举例讲解的方式，及讲解一些常见的分析实例，通过这种方法来熟悉那些最为常用的分析方法。 对统计分析的数据格式不太熟悉的朋友，请一定先去看看统计软件第一课：论统计软件中的数据录入格式，会大有帮助的。 §8.1两因素方差分析 下面的这个例子来自《卫生统计学》第四版，书还没有出来，大家先尝尝鲜。
(完整版)第二章(简单线性回归模型)2-2答案
2.2简单线性回归模型参数的估计 、判断题 1. 使用普通最小二乘法估计模型时， 所选择的回归线使得所有观察值的残差和达到最小。 （F ） 2. 随机扰动项u i 和残差项e i 是一回事。（F ） 3. 在任何情况下 OLS 估计量都是待估参数的最优线性无偏估计。 （F ） 4. 满足基本假设条件下，随机误差项 i 服从正态分布，但被解释变量 Y 不一定服从正态分 布。 5. 如果观测值X i 近似相等，也不会影响回归系数的估计量。 二、单项选择题 D )。 丫? 一 Y 5.以Y 表示实际观测值，丫？表示OLS 估计回归值，则用 OLS 得到的样本回归直线 丫?一 ?） 满足（A ）。 A. （Y i — 丫i ） 一 0 B . （Y i — Y ）2 - 0 C. （Y i — 丫）2-0 D . （丫— Y ） - 0 6. 按经典假设，线性回归模型中的解释变量应是非随机变量，且（ 1. 设样本回归模型为 Y i =^0 ? X i +e i ， 则普通最小二乘法确定的 ?的公式中, 错误的是 A. ?= 1— X i X Y i -Y X i X c. ?一 X i Y i -nXY X i 2-nX 2 ?_ 1 一 n X i Y i - X i Y i i n X i 2- X i 2 n X i Y i - X i Y i i 2 ?以Y 表示实际观测值, Y?表示回归估计值， 则普通最小二乘法估计参数的准则是使 (D )。 A. (Y i — Y i )=o c. (Y — ￡)=最小 3. Y 表示实际观测值, 丫？表示OLS 估计回归值，则下列哪项成立（ D A. 4. 用OLS 估计经典线性模型 Y i 一 0 i X i + u i ，则样本回归直线通过点（ D )。 A . (X, 丫) .(X , Y?) 2 x ?一
线性回归分析的数学模型
线性回归分析的数学模型 摘要 在实际问题中常常遇到简单的变量之间的关系，我们会遇到多个变量同处于一个过程之中，它们之间互相联系、互相制约．这些问题中最简单的是线性回归．线性回归分析是对客观事物数量关系的分析，是一种重要的统计分析方法，被广泛的应用于社会经济现象变量之间的影响因素和关联的研究．由于客观事物的联系错综复杂经济现象的变化往往用一个变量无法描述，故本篇论文在深入分析一元线性回归及数学模型的情况下，又详细地介绍了多元线性回归方程的参数估计和其显著性检验等．全面揭示了这种复杂的依存关系，准确测定现象之间的数量变动．以提高预测和控制的准确度． 本文中详细的阐述了线性回归的定义及其线性模型的简单分析并应用了最小二乘法原理．具体介绍了线性回归分析方程参数估计办法和其显著性检验．并充分利用回归方程进行点预测和区间预测． 但复杂的计算给分析方法推广带来了困难，需要相应的操作软件来计算回归分析求解操作过程中的数据．以提高预测和控制的准确度．从而为工农业生产及研究起到强有力的推动作用． 关键词：线性回归；最小二乘法；数学模型 目录 第一章前言 (1)
第二章线性模型 (2) 第一节一元线性模型 (2) 第二节多元线性模型 (4) 第三章参数估计 (5) 第一节一元线性回归方程中的未知参数的估计 (5) 第二节多元线性回归模型的参数估计 (8) 第四章显著性检验 (13) 第一节一元线性回归方程的显著性检验 (13) 第二节多元线性回归方程的显著性检验 (20) 第五章利用回归方程进行点预测和区间预测 (21) 第六章总结 (26) 致谢 (27) 参考文献………………………………………………………………………… 第一章前言 回归分析是对客观事物数量依存关系的分析．是数理统计中的一个常用的方法．是处理多个变量之间相互关系的一种数学方法． 在现实世界中，我们常与各种变量打交道，在解决实际问题过程中，我们常常会遇到多个变量同处于一个过程之中，它们之间互相联系、互相制约．常见的关系有两种：一类为“确定的关系”即变量间有确定性关系，其关系可用函数表达式表示．例如：路程s,时间t,与速度v之间有关系式：s=vt 在圆体给与半径r之间有关系式v= 另外还有一些变量．他们之间也有一定的关系，然而这种关系并不完全确定，不能用函数的形式来表达，在这种
经典线性回归模型自变量选择
§ 自变量选择 信息时代的一个重要特征是数据便宜信息值钱，我们经常要从海量数据中挖掘有用信息。比如影响产品质量的因素，从生产过程、员工培训过程到原材料供应过程，可能多达几百个，甚至上千个。对这些质量指标和影响因素制造商在日常生产管理过程中都有记录。现在的问题是如何从这众多的影响因素中找出影响产品质量的重要因素。有时只需判断一个自变量对因变量是否有重要影响，而不需要了解它们之间的精确定量关系。比如判断原材料供应对产品质量是否有重要影响比了解它们之间的精确定量关系更重要。线性回归模型的自变量选择就是用于有众多自变量时识别重要自变量的方法。用于线性回归模型自变量选择的方法可分为两类：全局择优法和逐步回归法。 一、全局择优法 全局择优法就是用衡量回归模型与数据拟合程度的准则，从全部可能的回归模型中选择对数据拟合最优的回归模型。对于一个包含P 个自变量的回归问题，全部 可能的回归模型有01 2P P P P P C C C +++=个，全局择优法要求出每个回归模型的准则 值，然后找出最优的回归模型。 回归模型对数据的拟合程度可用残差平方和来表示。残差平方和越小，模型拟合的越好。但残差平方和的大小与因变量的计量单位有关，因此我们定义了决定系数。决定系数越大，模型拟合的越好。决定系数不仅与因变量的计量单位无关，而且能说明在因变量的变异中，归功于自变量变化的部分所占比例。但不论是用残差平方和还是用决定系数来度量线性拟合模型拟合程度，都会得出模型中包含越多自变量拟合就越好的结论。但在样本容量给定的情况下，自变量越多，模型就越复杂，
模型参数估计就越不精确，导致模型应用的效果就越差。因此我们需要能综合用残差平方和表示的模型拟合精度和用模型中包含的自变量个数表示的模型复杂程度的准则，以便选择出最优的回归模型。回归分析中用于选择自变量的准则很多。由于残差平方和RSS p 和决定系数R 2只考虑模型拟合精度，因而只能作为自变量个数相 同时自变量选择的准则。残差均方s 2和修正决定系数2 adj R 是一个综合模型拟合精度 和模型复杂程度的准则。综合性准则除了残差均方和修正决定系数外，还有如下一些准则： ·Mallows C p 准则 )1(22 ++-= p n s RSS C p p 其中，s 2为包含全部自变量的拟合模型的残差均方，RSS p 为当前拟合模型的残差平方和，p 为当前拟合模型的自变量个数。 ·信息准则 信息准则根据公式 npar *k +logLik *2- 计算，其中logLik= -n{log(RSS/n)+log(2π)+1}/2为当前拟合模型的对数似然函数，npar 为当前拟合模型的参数个数，当k=2时称为AIC 准则，当k=log(n)时称为BIC 准则。在小样本情况下，AIC 准则的表现不太好，为此人们提出的修正AIC 准则AICc ，其计算公式为 1 -npar -n n npar *2 +logLik *-2AICc = ()()1/1*2--++=napr n npar npar AIC
第九章 非线性模型的线性化
第九章 非线性模型的线性化 标准线性模型：因变量与自变量以及参数均呈线性关系。 非标准线性模型：因变量与自变量不呈线性关系，但与参数呈线性关系。 非线性模型：因变量与参数都不呈线性关系。 §5.1 非标准线性模型的线性化 因变量与自变量不呈线性关系，但与参数呈线性关系。 一． 多项式函数模型： 形如2012k k y x x x u ββββ=+++?????++的模型可通过代换 s z x s =， 1,2,,s k =???? 线性化（标准化）后，得 01122k k y z z z u ββββ=+++?????++ 二． 双曲函数模型： 形如011y u x ββ=++的模型可通过代换1z x =线性化，得 01y z u ββ=++ 三． 半对数函数模型和双对数函数模型： 形如01ln y x u ββ=++或01ln y x u ββ=++的模型称为半对数模型； 形如01ln ln y x u ββ=++的模型称为双对数模型。可分别采用变换 ln y y *=或ln x x *=进行标准化， 01y x u ββ*=++；01y x u ββ*=++；01y x u ββ**=++ §5.2 非线性模型的标准化 一． 非线性模型的变换（间接代换）： 对某些非线性模型施以适当的变换，可化为标准线性模型。研究柯布-道格拉斯生产函数模型： 1． 柯布-道格拉斯生产函数模型： u Q AL K e βα=
其中Q 代表产出，L 表示劳动力投入，K 表示资本的投入。L 和K 是生产要素； u 是随机干扰项，A ，α和β是参数。 对于道格拉斯生产函数，一般要求满足“规模报酬不变”。所谓规模报酬是指： 在一定技术水平条件下，由生产规模的变动（要素投入量的变动）引起的产出量变动。“规模报酬不变”是所有要素投入量按同比例变动，产出量也按相同比例变动。 一般， 设生产函数(,)Q f L K = ，0λ> (,)f L K λλ(,)f L K λ= 不变规模报酬（又称为一阶齐次性） (,)f L K λλ(,)f L K λ> 递增规模报酬 (,)f L K λλ(,)f L K λ< 递减规模报酬 对于柯布-道格拉斯生产函数模型，有 ()()u u Q A L K AL K e e βαββααλλλλ+== 所以，当 1αβ+= 不变规模报酬 （1βα=-） 1αβ+> 递增规模报酬 1αβ+< 递减规模报酬 2．标准化： 模型 u Q AL K e βα= 首先，两边取对数 ln ln ln ln Q A L K u αβ=+++ 然后作如下变换 ln y Q =，1ln L x =，2ln x K =，ln a A =（要求u 满足假定，且1x ， 2x 无多重共线性） 则，12y a x x u αβ=+++，并且可用OLS 估计其参数，这样原模型的样本 回归方程为Q A L K αβ∧∧∧∧=，其中，α∧和β∧是参数α和β的无偏估计量；y Q e ∧ ∧=，a A e ∧ ∧=，不是无偏估计量。 书227页例9.2.1 二． 不可线性化模型的处理： 在实际工作中所建立的非线性模型，有些无法通过变量变换（初等数学的方法）
经典经济计量模型线性回归模型
计量经济学（Ⅰ） 南开大学经济学院教授、数量经济学专业博士生导师张晓峒 一元线性回归模型 1．一元线性回归模型 有一元线性回归模型（统计模型）如下， y t = β0 + β1 x t + u t 上式表示变量y t 和x t之间的真实关系。其中y t 称被解释变量（因变量），x t称解释变量（自变量），u t称随机误差项，β0称常数项，β1称回归系数（通常未知）。上模型可以分为两部分。（1）回归函数部分，E(y t) = β0 + β1 x t,（2）随机部分，u t。 图2.1 真实的回归直线 这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。 以收入与支出的关系为例。假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。随机误差项u t中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以在经济问题上“控制其他因素不变”是不可能的。 回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。 回归模型存在两个特点。（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。 通常线性回归函数E(y t) = β0 + β1 x t是观察不到的，利用样本得到的只是对E(y t) = β0 + β1 x t 的估计，即对β0和β1的估计。 在对回归函数进行估计之前应该对随机误差项u t做出如下假定。 (1) u t 是一个随机变量，u t 的取值服从概率分布。 (2) E(u t) = 0。 (3) D(u t) = E[u t - E(u t) ]2 = E(u t)2 = σ2。称u i 具有同方差性。
一般线性模型
第七章：一般线性模型 两因素方差分析 univarate对话框界面说明 结果解释 协方差分析 分析步骤 结果解释 多元方差分析 分析步骤 结果解释 一般线性模型包括的内容非常多，究竟我们用到的哪些分析会包含在其中呢简而言之：凡是和方差分析粘边的都可以用他来做。比如成组设计的方差分析（即单因素方差分析）、配伍设计的方差分析（即两因素方差分析）、交叉设计的方差分析、析因设计的方差分析、重复测量的方差分析、协方差分析等等。因此，能真正掌握GLM菜单的用法，会使大家的统计分析能力有极大地提高。 一般线性模型的能力如此强大，下属的四个子菜单各自的功能如下： U nivariate子菜单：四个菜单中的大哥大，绝大部分的方法分析都在这里面进行。 Multivariate子菜单：当结果变量（应变量）不止一个时，当然要用他来分析啦！ Repeted Measures子菜单：顾名思义，重复测量的数据就要用他来分析，这一点我可能要强调一下，用前两个菜单似乎都可以分析出来结果，但在许多情况下该结果是不正确的，应该用重复测量的分析方法才对（不能再讲了，再讲下去就会扯到多水平模型去了）。 Variance Components子菜单：用于作方差成份模型的，这个模型实在太深，不是一时半会说的请的，所以我在这里就干脆不讲了。 §两因素方差分析 例对小白鼠喂以A、B、C三种不同的营养素，目的是了解不同营养素增重的效果。采用随机区组设计方法，以窝别作为划分区组的特征，以消除遗传因素对体重增长的影响。现将同品系同体重的24只小白鼠分为8个区组，每个区组3只小白鼠。三周后体重增量结果(克)列于下表，问小白鼠经三种不同营养素喂养后所增体重有无差别