logistic回归模型总结
[转载]logistic回归模型总结
logistic回归模型是最成熟也是应用最广泛的分类模型，通过学习和实践拟通过从入门、进阶到高级的过程对其进行总结，以便加深自己的理解也为对此有兴趣者提供学习的便利。
一、有关logistic的基本概念
logistic回归主要用来预测离散因变量与一组解释变量之间的关系
最常用的是二值型logistic。即因变量的取值只包含两个类别例如：好、坏；发生、不发生；常用Y=1或Y=0表示X 表示解释变量则
P（Y=1|X）表示在X的条件下Y=1的概率，logistic回归的数学表达式为：
log（p/1-p）=A+BX ＝Ｌ其中p/1-p称为优势比（ＯＤＤＳ）即发生与不发生的概率之比
可以根据上式反求出P（Y=1|X）＝１/（１＋ｅ＾-L）
根据样本资料可以通过最大似然估计计算出模型的参数
然后根据求出的模型进行预测
下面介绍logistic回归在ＳＡＳ中的实现以及输出结果的解释
二、logistic回归模型初步
ＳＡＳ中ｌｏｇｉｓｔｉｃ回归输出结果主要包括预测模
型的评价以及模型的参数
预测模型的评价与多元线性回归模型的评价类似主要从以
下几个层次进行
（１）模型的整体拟合优度
主要评价预测值与观测值之间的总体一致性。可以通过以下两个指标来进行检验
１、Ｈosmer-Lemeshowz指标
HL统计量的原假设Ho是预测值和观测值之间无显著差异，因此HL指标的P-Value的值越大，越不能拒绝原假设，即说明模型很好的拟合了数据。
在ＳＡＳ中这个指标可以用LACKFIT选项进行调用
２、AIC和SC指标即池雷准则和施瓦茨准则
与线性回归类似AIC和SC越小说明模型拟合的越好
（2）从整体上看解释变量对因变量有无解释作用
相当于多元回归中的F检验在logistic回归中可以通过似然比（likelihood ratio
test）进行检验
（3）解释变量解释在多大程度上解释了因变量
与线性回归中的R^2作用类似
在logistic回归中可以通过Rsquare和C统计量进行度量在SAS中通过RSQ来调用Rsquare，C统计量自动输出(4)
模型评价指标汇总
统计量
趋势
拟合
作用
SAS调用命令
备注AIC、SC
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越小
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越好
style="width:117.9pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
类似与多元回归中的残差平方和
style="width:106.3pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
模型自动输出
style="width:73.75pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
似然比卡方
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越大
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越好
style="width:117.9pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
类似与多元回归中的回归平方和
style="width:106.3pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
自动输出
style="width:73.75pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
P值越小越好RSQUARE
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越大
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越好
style="width:117.9pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
类似与多元回归中的R^2
style="width:106.3pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
用RSQ选项调用
style="width:73.75pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
C统计量
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越大
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">
越好
style="width:117.9pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
度量观测值和条件预测的相对一致性
style="width:106.3pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
自动输出
style="width:73.75pt;border-top:none;border-left:
none;border-bottom:solid windowtext
1.0pt;border-right:solid windowtext 1.0pt;
mso-border-top-alt:solid
windowtext .5pt;mso-border-left-alt:solid windowtext .5pt; mso-border-alt:solid windowtext .5pt;padding:0cm 5.4pt 0cm 5.4pt">
HL统计量
style="border-top:none;border-left:none;border-bottom:soli d windowtext 1.0pt;
border-right:solid windowtext
1.0pt;mso-border-top-alt:solid windowtext .5pt;
mso-border-left-alt:solid
windowtext .5pt;mso-border-alt:solid windowtext .5pt; padding:0cm 5.4pt 0cm 5.4pt">