分类与回归分析
回归分析法概念及原理
回归分析法概念及原理回归分析法概念及原理回归分析定义：利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的分析方法。
分类：1.根据因变量和自变量的个数来分类：一元回归分析；多元回归分析；2. 根据因变量和自变量的函数表达式来分类：线性回归分析；非线性回归分析；几点说明：1.通常情况下，线性回归分析是回归分析法中最基本的方法，当遇到非线性回归分析时，可以借助数学手段将其化为线性回归；因此，主要研究线性回归问题，一点线性回归问题得到解决，非线性回归也就迎刃而解了，例如，取对数使得乘法变成加法等；当然，有些非线性回归也可以直接进行，如多项式回归等；2.在社会经济现象中，很难确定因变量和自变量之间的关系，它们大多是随机性的，只有通过大量统计观察才能找出其中的规律。
随机分析是利用统计学原理来描述随机变量相关关系的一种方法；3.由回归分析法的定义知道，回归分析可以简单的理解为信息分析与预测。
信息即统计数据，分析即对信息进行数学处理，预测就是加以外推，也就是适当扩大已有自变量取值范围，并承认该回归方程在该扩大的定义域内成立，然后就可以在该定义域上取值进行“未来预测”。
当然，还可以对回归方程进行有效控制；4.相关关系可以分为确定关系和不确定关系。
但是不论是确定关系或者不确定关系，只要有相关关系，都可以选择一适当的数学关系式，用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况。
回归分析主要解决的问题：回归分析主要解决方面的问题；1.确定变量之间是否存在相关关系，若存在，则找出数学表达式；2.根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测可以达到何种精确度。
回归模型：回归分析步骤：1. 根据自变量与因变量的现有数据以及关系，初步设定回归方程；2. 求出合理的回归系数；3. 进行相关性检验，确定相关系数；4. 在符合相关性要求后，即可根据已得的回归方程与具体条件相结合，来确定事物的未来状况，并计算预测值的置信区间；回归分析的有效性和注意事项：有效性：用回归分析法进行预测首先要对各个自变量做出预测。
概率论与数理统计(回归分析)
调整R方值 考虑到自变量数量的R方值，用 于比较不同模型之间的拟合优度。 调整R方值越接近于1，说明模型 拟合优度越好。
残差图 通过观察残差与实际观测值之间 的关系，判断模型是否符合线性 关系、是否存在异方差性等。
05
逻辑回归分析
逻辑回归模型
01
逻辑回归模型是一种用于解决 二分类问题的统计方法，基于 逻辑函数将线性回归的预测值 转换为概率形式。
多元非线性回归模型
在多个自变量X1, X2, ..., Xp的条件下，预测因变量Y的非线性数 学模型。模型形式为Y = f(β0, β1*X1, β2*X2, ... , βp*Xp)，其
中f表示非线性函数。
多元逻辑回归模型
用于预测分类结果的多元回归模型，适用于因变量Y为二分 类或多分类的情况。
多重共线性问题
非线性回归模型是指因变量和自 变量之间的关系不是线性的，需 要通过变换或参数调整来拟合数 据。
形式
非线性回归模型通常采用指数函 数对数函数、多项式函数等形 式来表达。
适用范围
非线性回归模型适用于因变量和 自变量之间存在非线性关系的情 况，例如生物医学、经济学、社 会学等领域。
常用非线性回归模型
指数回归模型
线性回归模型假设因变量和自变 量之间存在一种线性关系，即当 一个自变量增加或减少时，因变 量也会以一种恒定的方式增加或 减少。
最小二乘法
01
02
03
最小二乘法是一种数学 优化技术，用于估计线
性回归模型的参数。
最小二乘法的目标是找 到一组参数，使得因变 量的观测值与预测值之
间的平方和最小。
最小二乘法的数学公式为： β=(XTX)^(-1)XTY，其中 X是自变量的数据矩阵，Y 是因变量的数据向量，β
多分类Logistic回归教程与结果解读
Logistic回归分析（logit回归）一般可分为3类，分别是二元Logistic回归分析、多分类Logistic回归分析和有序Logistic回归分析。
logistic回归分析类型如下所示。
Logistic回归分析用于研究X对Y的影响，并且对X的数据类型没有要求，X可以为定类数据，也可以为定量数据，但要求Y必须为定类数据，并且根据Y的选项数，使用相应的数据分析方法。
如果Y有两个选项，如愿意和不愿意、是和否，那么应该使用二元Logistic回归分析(SPSSAU【进阶方法->二元logit】)；如果Y有多个选项，并且各个选项之间可以对比大小，例如，1代表“不愿意”，2代表“无所谓”，3代表“愿意”，这3个选项具有对比意义，数值越高，代表样本的愿意程度越高，那么应该使用多元有序Logistic回归分析(SPSSAU【进阶方法->有序logit】)；如果Y有多个选项，并且各个选项之间不具有对比意义，例如，1代表“淘宝”，2代表“天猫”，3代表“京东”，4代表“亚马逊中国”，数值仅代表不同类别，数值大小不具有对比意义，那么应该使用多元无序Logistic回归分析(SPSSAU 【进阶方法->多分类logit】)。
1、多分类logistic回归分析基本说明只要是logistic回归，都是研究X对于Y的影响，区别在于因变量Y上，logistic回归时，因变量Y是看成定类数据的，如果为二元（即选项只有2个），那么就是二元logistic回归； 如果Y是多个类别且类别之间无法进行对比程度或者大小，则为多分类logistic 回归；如果Y是多个类别且类别之间可以对比程度大小（也称为定量数据，或者有序定类数据），此时则使用有序logistic回归。
多分类logistic回归的难点在于：因变量为类别数据，研究X对Y的影响时，如果为类别数据，那么不能说越如何越如何，比如不能说越满意越愿意购买；而只能说相对小米手机来说，对于手机外观越满意越愿意购买苹果手机。
(整理)多项分类Logistic回归分析的功能与意义1.
多项分类Logistic回归分析的功能与意义我们经常会遇到因变量有多个取值而且无大小顺序的情况，比如职业、婚姻情况等等，这时一般的线性回归分析无法准确地刻画变量之间的因果关系，需要用其它回归分析方法来进行拟合模型。
SPSS的多项分类Logistic回归便是一种简便的处理该类因变量问题的分析方法。
例子：下表给出了对山东省某中学20名视力低下学生视力监测的结果数据。
试用多项分类Logistic回归分析方法分析视力低下程度（由轻到重共3级）与年龄、性别（1代表男性，2代表女性）之间的关系。
并单击向右的箭头按钮使之进入“因变量”列表框，选择“性别”使之进入“因子”列表框，选择“年龄”使之进入“协变量”列表框。
还是以教程“blankloan.sav"数据为例，研究银行客户贷款是否违约（拖欠）的问题，数据如下所示：上面的数据是大约700个申请贷款的客户，我们需要进行随机抽样，来进行二元Logistic 回归分析，上图中的“0”表示没有拖欠贷款，“1”表示拖欠贷款，接下来，步骤如下：1：设置随机抽样的随机种子，如下图所示：选择“设置起点”选择“固定值”即可，本人感觉200万的容量已经足够了，就采用的默认值，点击确定，返回原界面、2：进行“转换”—计算变量“生成一个变量（validate)，进入如下界面：在数字表达式中，输入公式：rv.bernoulli（0.7），这个表达式的意思为：返回概率为0.7的bernoulli分布随机值如果在0.7的概率下能够成功，那么就为1，失败的话，就为"0"为了保持数据分析的有效性，对于样本中“违约”变量取缺失值的部分，validate变量也取缺失值，所以，需要设置一个“选择条件”点击“如果”按钮，进入如下界面：如果“违约”变量中，确实存在缺失值，那么当使用"missing”函数的时候，它的返回值应该为“1”或者为“true"，为了剔除”缺失值“所以，结果必须等于“0“也就是不存在缺失值的现象点击”继续“按钮，返回原界面，如下所示：将是“是否曾经违约”作为“因变量”拖入因变量选框，分别将其他8个变量拖入“协变量”选框内，在方法中，选择：forward.LR方法将生成的新变量“validate" 拖入"选择变量“框内，并点击”规则“设置相应的规则内容，如下所示：设置validate 值为1，此处我们只将取值为1的记录纳入模型建立过程，其它值（例如：0）将用来做结论的验证或者预测分析，当然你可以反推，采用0作为取值记录点击继续，返回，再点击“分类”按钮，进入如下页面在所有的8个自变量中，只有“教育水平”这个变量能够作为“分类协变量” 因为其它变量都没有做分类，本例中，教育水平分为：初中，高中，大专，本科，研究生等等, 参考类别选择：“最后一个”在对比中选择“指示符”点击继续按钮，返回再点击—“保存”按钮，进入界面：在“预测值"中选择”概率，在“影响”中选择“Cook距离” 在“残差”中选择“学生化”点击继续，返回，再点击“选项”按钮，进入如下界面：分析结果如下：1：在“案例处理汇总”中可以看出：选定的案例489个，未选定的案例361个，这个结果是根据设定的validate = 1得到的，在“因变量编码”中可以看出“违约”的两种结果“是”或者“否” 分别用值“1“和“0”代替，在“分类变量编码”中教育水平分为5类，如果选中“为完成高中，高中，大专，大学等，其中的任何一个，那么就取值为1，未选中的为0，如果四个都未被选中，那么就是”研究生“ 频率分别代表了处在某个教育水平的个数，总和应该为489个1：在“分类表”中可以看出：预测有360个是“否”（未违约）有129个是“是”（违约）2：在“方程中的变量”表中可以看出：最初是对“常数项”记性赋值，B为-1.026，标准误差为：0.103那么wald =( B/S.E)²=(-1.026/0.103)² = 99.2248, 跟表中的“100.029几乎接近，是因为我对数据进行的向下舍入的关系，所以数据会稍微偏小，B和Exp(B) 是对数关系，将B进行对数抓换后，可以得到：Exp(B) = e^-1.026 = 0.358, 其中自由度为1，sig为0.000，非常显著1：从“不在方程中的变量”可以看出，最初模型，只有“常数项”被纳入了模型，其它变量都不在最初模型内表中分别给出了，得分，df , Sig三个值, 而其中得分（Score)计算公式如下：（公式中（Xi- X¯) 少了一个平方）下面来举例说明这个计算过程：(“年龄”自变量的得分为例）从“分类表”中可以看出：有129人违约，违约记为“1”则违约总和为129，选定案例总和为489那么：y¯ = 129/489 = 0.2638036809816x¯ = 16951 / 489 = 34.664621676892所以：∑(Xi-x¯)² = 30074.9979y¯（1-y¯）=0.2638036809816 *（1-0.2638036809816 ）=0.19421129888216 则：y¯（1-y¯）* ∑(Xi-x¯)² =0.19421129888216 * 30074.9979 = 5 840.9044060372 则：[∑Xi(yi - y¯）]^2 = 43570.8所以：=43570.8 / 5 840.9044060372 =7.4595982010876 = 7.46 （四舍五入）计算过程采用的是在EXCEL 里面计算出来的，截图如下所示：从“不在方程的变量中”可以看出，年龄的“得分”为7.46，刚好跟计算结果吻合！！答案得到验证~1:从“块1” 中可以看出：采用的是：向前步进的方法，在“模型系数的综合检验”表中可以看出：所有的SIG 几乎都为“0”而且随着模型的逐渐步进，卡方值越来越大，说明模型越来越显著，在第4步后，终止，根据设定的显著性值和自由度，可以算出卡方临界值，公式为：=CHIINV(显著性值,自由度) ，放入excel就可以得到结果2：在“模型汇总“中可以看出：Cox&SnellR方和Nagelkerke R方拟合效果都不太理想，最终理想模型也才：0.305 和0.446，最大似然平方的对数值都比较大，明显是显著的似然数对数计算公式为：计算过程太费时间了，我就不举例说明计算过程了Cox&SnellR方的计算值是根据：1：先拟合不包含待检验因素的Logistic模型，求对数似然函数值INL0 （指只包含“常数项”的检验）2：再拟合包含待检验因素的Logistic模型，求新的对数似然函数值InLB （包含自变量的检验）再根据公式：即可算出：Cox&SnellR方的值！提示：将Hosmer 和Lemeshow 检验和“随机性表” 结合一起来分析1：从 Hosmer 和Lemeshow 检验表中，可以看出：经过4次迭代后，最终的卡方统计量为：11.919，而临界值为：CHINV(0.05,8) = 15.507卡方统计量< 临界值，从SIG 角度来看：0.155 > 0.05 , 说明模型能够很好的拟合整体，不存在显著的差异。
回归分析的分类
目录
因子分析（Factor analysis）
因子分析的关键点 因子分析应用的领域和解决的典型问题 问卷设计形式 案例演示
聚类分析（Cluster analysis） 对应分析（Correspondence analysis） 联合分析（Conjoint analysis） 多元回归分析（ Multiple Linear regressions
因子分析＋知觉图 研究
品牌
因子分析可以从研究品牌形象的诸多软性和硬性的特性中浓缩和 提炼的出少数几个综合因素，使得品牌形象更加鲜明、独树一帜
因子分析的结果可以用定位图的方式呈现
在品牌形象研究方面，定性研究的方法应用的比较早也相对成熟， 但是随着统计学的发展同时也为了适应市场研究领域不断提出的 更新要求，定量研究的方法越来越多的应用在了品牌研究方面
因子4 14%
因子5 14%
因子1 33%
因子2 18%
因子3 21%
案例演示
主要的影响因子
通过因子分析还可以进行地区 间的比较，如左图
F(1) 0.4
0.2
从图中可以看出，广告和促销、 医生及报销手段对上海人的影 响明显高于对北京人的影响
0
F(5)
-0.2
-0.4
相应的，周围人和朋友及疾病
应用领域和解决的典型问题
因子分析在市场研究领域应用的越来越广泛。作 为一种比较高级的统计分析技术，因子分析的结果不但可 以直接揭示某些隐含的信息，还可以为其他很多分析提供 支持
因子分析＋聚类分析
市场细分
通过对提取的因子做聚类分析将受访者分成不同的人群
线性回归分析
表：小区超市的年销售额（百万元）与小区常住人口数（万人）统计表
24
10
01-03 回归分析的应用
分析步骤：(一)
11
01-03 回归分析的应用
分析步骤：（二）
反映模型的拟合度
12
01-03 回归分析的应用
分析步骤：（三） • 一元线性回归 y=kx+b
第三组数据的第1个数据（301.665）是回归直线的截距b，第2个数据（ 44.797）也叫回归系数，其实就是回归直线的斜率k。
某一类回归方程的总称回归分析的概念50102?分类1回归分析按照涉及的变量多少分为一一元回归分析多元回归分析2按照自变量和因变量之间的关系类型可分为线性回归分析非线性回归分析回归分析的概念60102?步骤回归分析的概念1
Contents 内 容
01 回归分析的起源 02 回归分析的概念 03 回归分析的应用
22
01-03 回归分析的应用
想一想 做一做：
已 知 2009 — 2015 年 淘 宝 “ 双 11 ” 当天销量统计如图所示，请利用散 点图进行回归分析，模拟淘宝“双 11 ” 的 销 量 变 化 规 律 ， 并 预 测 2016年的销量。
23
01-03 回归分析的应用
两种回归分析工具使用总结： • 利用回归分析工具进行线性回归的优缺点如下： ① 优点：可以进行一元线性回归，也可以进行多元线性回归。 ② 缺点：只能进行线性回归，不能直接进行非线性回归。 • 利用散点图和趋势线进行回归分析的优缺点如下： ① 优点：不仅能进行线性回归，还能进行非线性回归。 ② 缺点：只能进行一元回归，不能进行多元回归。
logistic回归分析
队列研究(cohort study)：也称前瞻性研究、随访研究等。是一种由因及果的研
究，在研究开始时，根据以往有无暴露经历，将研究人群分为暴露人群和非暴 露人群，在一定时期内，随访观察和比较两组人群的发病率或死亡率。如果两 组人群发病率或死亡率差别有统计学意义，则认为暴露和疾病间存在联系。队 列研究验证的暴露因素在研究开始前已存在，研究者知道每个研究对象的暴露 情况。
调查方向：追踪收集资料 暴露 疾病 +
人数
比较
aபைடு நூலகம்
b c
+
研究人群
a/(a+b)
+ -
-
c/(c+d)
d
队列研究原理示意图
暴露组 非暴露组
病例 a c
非病例 b d
合计 n1=a+b n0=c+d
发病率 a/ n1 c/ n0
相对危险度（relative risk， RR）也称危险比（risk ratio） 或率比（rate ratio） RR I e a / n1 、 I e a / n1 、 I 0 c / n2 。
研究，先按疾病状态确定调查对象，分为病例(case)和对照 (control)两组，然后利用已有的记录、或采用询问、填写调查表 等方式，了解其发病前的暴露情况，并进行比较，推测疾病与 暴露间的关系。
调查方向：收集回顾性资料
比较 a/(a+b)
人数 a b c
暴露 +
疾病 病例
+ 对照 -
c/(c+d) d
二、 logistic回归模型的参数估计
logistic 回归模型的参数估计常采用最大似然估计。 其基本思想是先建立似然函数与对数似然函数， 求使对数似然函数最大时的参数值，其估计值即 为最大似然估计值。 建立样本似然函数：
医学统计学课件：回归分析
03
信息提取
从回归模型中提取有意义的自变量组合和系数，为研究提供新的思路和方向。
多元回归模型的应用
01
预测
利用已建立的多元回归模型，预测新数据或未来数据的因变量值。
02
分类
结合回归模型和分类算法，将因变量进行分类，实现对数据的深度挖掘。
05
其他回归分析方法
总结词
岭回归分析是一种用于处理共线性数据的线性回归方法，通过引入一个惩罚项来改善模型的稳定性和预测精度。
通过线性回归模型，可以估计自变量对因变量的影响程度和方向。
在线性回归模型中，可以考察自变量之间的交互作用，以及自变量与因变量的交互作用。
03
逻辑回归分析
逻辑回归模型的建立
确定自变量和因变量
首先需要确定影响因变量哪些因素作为自变量，并明确因变量和自变量的关系。
数据的正态性检验
对各变量进行正态性检验，以确保数据满足正态分布的要求。
逻辑回归模型的检验
逻辑回归模型的应用
分层分析
根据预测结果，将研究对象分成不同的层，针对不同层进行差异性分析。
风险评估
根据预测结果，对研究对象进行风险评估，以更好地进行临床决策。
预测
利用训练好的模型，输入自变量的值，得到预测的概率值。
04
多元回归分析
多元回归模型的建立
确定自变量
根据研究目的和已有知识，选择与因变量相关的多个自变量。
线性回归分析
假设自变量和因变量之间存在非线性关系，通过建立非线性回归模型来预测因变量的取值。
非线性回归分析
回归分析的分类
回归分析的基本步骤
数据清洗
对收集到的数据进行清洗，包括处理缺失值、异常值、重复数据等。
相关分析、回归分析、时间序列分析
1.2 相关分析类型和运用
1.2.1 皮尔逊相关（Pearson）直线相关
1. 定义： Pearson相关 (积差相关)是英国统计学家皮尔逊于20世纪初提出的一 种计算相关的方法。是一种运用较为普遍的计算相关系数的方法，也 是揭示两个变量线性相关方向和程度最常用和最基本的方法。
1.2.3 肯得尔相关（Kendall）等级相关
分析两个变量之间的相关，也可以用Kendall等级相关分析法。用一 个统计量来衡量以一个变量的等级为标准时，另一个变量的等级与它 不一致的情况。
不仅可以对两个变量作等级相关分析，还可以对多个变量作等级相关 分析。
Kendall等级相关系数也在-1与1之间变动。当 =0时，表示两变
(Pi P )(Qi Q ) (Pi P )2 (Qi Q )2
1.2 相关分析类型和运用 1.2.2 斯皮尔曼相关（Spearman）秩相关
4. Spearman相关系数ρ的假设检验： （1）当n≤50时，查“rs界值表” （2）当n＞50时，用 t 检验
t检验法
1.2 相关分析类型和运用
1.1 认识相关关系 1.1.4 研究相关关系的工具：
1.1 认识相关关系 1.1.4 研究相关关系的工具：
散点图
（a）完全正相 （b）完全负相关 （c）无相关关系 关
（d）非线性关系 （e）正相关
（f）负相关
对不同类型的变量应采用不同的相关系数来度量。
双变量关系强度测量的主要指标 定类
定序
定类
Classical Statistical Analysis Method I
Correlation analysis,analysis of regression,analysis of time series
LOGISTIC回归
一、回归分析的分类logistic回归（logistic regression）是研究因变量为二分类或多分类观察结果与影响因素（自变量）之间关系的一种多变量分析方法，属概率型非线性回归。
根据1个因变量与多个因变量之分，有以下区分：①一个因变量y：I连续形因变量（y）——线性回归分析II分类型因变量（y）——Logistic 回归分析III 生存时间因变量（y）——生存风险回归分析IV时间序列因变量（y）——时间序列分析②多个因变量（y1,y2,……yn）：I 路径分析II 结构方程模型分析在流行病学研究中，常需要分析疾病与各种危险因素间的定量关系，同时为了能真实反映暴露因素与观察结果间的关系，需要控制混杂因素的影响。
（1）Mantel-Haenszel分层分析：适用于样本量大、分析因素较少的情况。
当分层较多时，由于要求各格子中例数不能太少，所需样本较大，往往难以做到；当混杂因素较多时，分层数也呈几何倍数增长，这将导致部分层中某个格子的频数为零，无法利用其信息。
（2）线性回归分析：由于因变量是分类变量，不能满足其正态性要求；有些自变量对因变量的影响并非线性。
（3）logistic回归:不仅适用于病因学分析，也可用于其他方面的研究，研究某个二分类（或无序及有序多分类）目标变量与有关因素的关系。
二、logistic回归分析（一）logistic回归的分类（1）二分类资料logistic回归：因变量为两分类变量的资料，可用非条件logistic回归和条件logistic回归进行分析。
非条件logistic回归多用于非配比病例-对照研究或队列研究资料，条件logistic回归多用于配对或配比资料。
（2）多分类资料logistic回归：因变量为多项分类的资料，可用多项分类logistic回归模型或有序分类logistic回归模型进行分析。
队列研究(cohort study)：也称前瞻性研究、随访研究等。
是一种由因及果的研究，在研究开始时，根据以往有无暴露经历，将研究人群分为暴露人群和非暴露人群，在一定时期内，随访观察和比较两组人群的发病率或死亡率。
分类资料的回归分析
第十一章分类资料的回归分析――Regression菜单详解（下）（医学统计之星：张文彤）在很久很久以前，地球上还是一个阴森恐怖的黑暗时代，大地上恐龙横行，我们的老祖先－－类人猿惊恐的睁大了双眼，围坐在仅剩的火堆旁，担心着无边的黑暗中不知何时会出现的妖魔鬼怪，没有电视可看，没有网可上...我是疯了，还是在说梦话？都不是，类人猿自然不会有机会和恐龙同时代，只不过是我开机准备写这一部分的时候，心里忽然想到，在10年前，国内的统计学应用上还是卡方检验横行，分层的M-H卡方简直就是超级武器，在流行病学中称王称霸，更有那些1：M的配对卡方，N：M的配对卡方，含失访数据的N：M 配对卡方之类的，简直象恐龙一般，搞得我头都大了。
其实恐龙我还能讲出十多种来，可上面这些东西我现在还没彻底弄明白，好在社会进步迅速，没等这些恐龙完全统制地球，Logistic模型就已经飞速进化到了现代人的阶段，各种各样的Logistic模型不断地在蚕食着恐龙爷爷们的领地，也许还象贪吃的人类一样贪婪的享用着恐龙的身体。
好，这是好事，这里不能讲动物保护，现在我们就远离那些恐龙，来看看现代白领的生活方式。
特别声明：我上面的话并非有贬低流行病学的意思，实际上我一直都在做流行病学，我这样写只是想说明近些年来统计方法的普及速度之快而已。
据我一位学数学的师兄讲，Logistic模型和卡方在原理上是不一样的，在公式推演上也不可能划等号，只是一般来说两者的检验结果会非常接近而已，多数情况下可忽略其不同。
§10.3 Binary Logistic过程所谓Logistic模型，或者说Logistic回归模型，就是人们想为两分类的应变量作一个回归方程出来，可概率的取值在0~1之间，回归方程的应变量取值可是在实数集中，直接做会出现0~1范围之外的不可能结果，因此就有人耍小聪明，将率做了一个Logit变换，这样取值区间就变成了整个实数集，作出来的结果就不会有问题了，从而该方法就被叫做了Logistic回归。
你应该要掌握的7种回归分析方法
你应该要掌握的7种回归分析方法回归分析是一种常用的数据分析方法，用于研究自变量与因变量之间的关系。
在实际应用中，有许多不同的回归分析方法可供选择。
以下是应该掌握的7种回归分析方法：1. 简单线性回归分析(Simple Linear Regression)：简单线性回归是回归分析中最简单的方法之一、它是一种用于研究两个变量之间关系的方法，其中一个变量是自变量，另一个变量是因变量。
简单线性回归可以用来预测因变量的值，基于自变量的值。
2. 多元线性回归分析(Multiple Linear Regression)：多元线性回归是在简单线性回归的基础上发展起来的一种方法。
它可以用来研究多个自变量与一个因变量之间的关系。
多元线性回归分析可以帮助我们确定哪些自变量对于因变量的解释最为重要。
3. 逻辑回归(Logistic Regression)：逻辑回归是一种用于预测二分类变量的回归分析方法。
逻辑回归可以用来预测一个事件发生的概率。
它的输出是一个介于0和1之间的概率值，可以使用阈值来进行分类。
4. 多项式回归(Polynomial Regression)：多项式回归是回归分析的一种扩展方法。
它可以用来研究变量之间的非线性关系。
多项式回归可以将自变量的幂次作为额外的变量添加到回归模型中。
5. 岭回归(Ridge Regression)：岭回归是一种用于处理多重共线性问题的回归分析方法。
多重共线性是指自变量之间存在高度相关性的情况。
岭回归通过对回归系数进行惩罚来减少共线性的影响。
6. Lasso回归(Lasso Regression)：Lasso回归是另一种可以处理多重共线性问题的回归分析方法。
与岭回归不同的是，Lasso回归通过对回归系数进行惩罚，并使用L1正则化来选择最重要的自变量。
7. Elastic Net回归(Elastic Net Regression)：Elastic Net回归是岭回归和Lasso回归的结合方法。
统计学中常用的数据分析方法5相关分析方差分析与回归分析
距离法 C 共线性诊断：
• 诊断方式：容忍度、方差扩大因子法(又称膨胀系数 VIF)、特 征根判定法、条件指针 CI、方差比例
统计学中常用的数据分析方法
相关分析 研究现象之间是否存在某种依存关系，对具体有依存关系的现象
探讨相关方向及相关程度。 1、单相关： 两个因素之间的相关关系叫单相关，即研究时只涉
及一个自变量和一个因变量； 2、复相关 ：三个或三个以上因素的相关关系叫复相关，即研究
时涉及两个或两个以上的自变量和因变量相关； 3、偏相关：在某一现象与多种现象相关的场合，当假定其他变量
不变时，其中两个变量之间的相关关系称为偏相关。
方差分析 使用条件：各样本须是相互独立的随机样本；各样本来自正态分
布总体；各总体方差相等。 分类 1、单因素方差分析：一项试验只有一个影响因素，或者存在多个
影响因素时，只分析一个因素与响应变量的关系 2、多因素有交互方差分析：一顼实验有多个影响因素，分析多个
影响因素与响应变量的关系，同时考虑多个影响因素之间的关系 3、多因素无交互方差分析：分析多个影响因素与响应变量的关
系，但是影响因素之间没有影响关系或忽略影响关系 4、协方差分祈：传统的方差分析存在明显的弊端，无法控制分析
中存在的某些随机因素，使之影响了分祈结果的准确度。协方差分析 主要是在排除了协变量的影响后再对修正后的主效应进行方差分析， 是将线性回归与方差分析结合起来的一种分析方法，
• 处理方法：增加样本容量或选取另外的回归如主成分回归、岭 回归等
分类和回归问题的例子
分类和回归问题的例子
1、回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。
一个比较常见的回归算法是线性回归算法（LR）。
另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。
回归是对真实值的一种逼近预测。
2、分类问题是用于将事物打上一个标签，通常结果为离散值。
例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。
分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。
最常见的分类方法是逻辑回归，或者叫逻辑分类。
多项分类Logistic回归分析的功能与意义 (1)
多项分类Logistic回归分析的功能与意义我们经常会遇到因变量有多个取值而且无大小顺序的情况，比如职业、婚姻情况等等，这时一般的线性回归分析无法准确地刻画变量之间的因果关系，需要用其它回归分析方法来进行拟合模型。
SPSS的多项分类Logistic回归便是一种简便的处理该类因变量问题的分析方法。
例子：下表给出了对山东省某中学20名视力低下学生视力监测的结果数据。
试用多项分类Logistic回归分析方法分析视力低下程度（由轻到重共3级）与年龄、性别（1代表男性，2代表女性）之间的关系。
并单击向右的箭头按钮使之进入“因变量”列表框，选择“性别”使之进入“因子”列表框，选择“年龄”使之进入“协变量”列表框。
还是以教程“blankloan.sav"数据为例，研究银行客户贷款是否违约（拖欠）的问题，数据如下所示：上面的数据是大约700个申请贷款的客户，我们需要进行随机抽样，来进行二元Logistic回归分析，上图中的“0”表示没有拖欠贷款，“1”表示拖欠贷款，接下来，步骤如下：1：设置随机抽样的随机种子，如下图所示：选择“设置起点”选择“固定值”即可，本人感觉200万的容量已经足够了，就采用的默认值，点击确定，返回原界面、2：进行“转换”—计算变量“生成一个变量（validate)，进入如下界面：在数字表达式中，输入公式：rv.bernoulli（0.7），这个表达式的意思为：返回概率为0.7的bernoulli分布随机值如果在0.7的概率下能够成功，那么就为1，失败的话，就为"0"为了保持数据分析的有效性，对于样本中“违约”变量取缺失值的部分，validate变量也取缺失值，所以，需要设置一个“选择条件”点击“如果”按钮，进入如下界面：如果“违约”变量中，确实存在缺失值，那么当使用"missing”函数的时候，它的返回值应该为“1”或者为“true"，为了剔除”缺失值“所以，结果必须等于“0“也就是不存在缺失值的现象点击”继续“按钮，返回原界面，如下所示：将是“是否曾经违约”作为“因变量”拖入因变量选框，分别将其他8个变量拖入“协变量”选框内，在方法中，选择：forward.LR方法将生成的新变量“validate" 拖入"选择变量“框内，并点击”规则“设置相应的规则内容，如下所示：设置validate 值为1，此处我们只将取值为1的记录纳入模型建立过程，其它值（例如：0）将用来做结论的验证或者预测分析，当然你可以反推，采用0作为取值记录点击继续，返回，再点击“分类”按钮，进入如下页面在所有的8个自变量中，只有“教育水平”这个变量能够作为“分类协变量” 因为其它变量都没有做分类，本例中，教育水平分为：初中，高中，大专，本科，研究生等等, 参考类别选择：“最后一个”在对比中选择“指示符”点击继续按钮，返回再点击—“保存”按钮，进入界面：在“预测值"中选择”概率，在“影响”中选择“Cook距离” 在“残差”中选择“学生化”点击继续，返回，再点击“选项”按钮，进入如下界面：分析结果如下：1：在“案例处理汇总”中可以看出：选定的案例489个，未选定的案例361个，这个结果是根据设定的validate = 1得到的，在“因变量编码”中可以看出“违约”的两种结果“是”或者“否” 分别用值“1“和“0”代替，在“分类变量编码”中教育水平分为5类，如果选中“为完成高中，高中，大专，大学等，其中的任何一个，那么就取值为1，未选中的为0，如果四个都未被选中，那么就是”研究生“ 频率分别代表了处在某个教育水平的个数，总和应该为489个1：在“分类表”中可以看出：预测有360个是“否”（未违约）有129个是“是”（违约）2：在“方程中的变量”表中可以看出：最初是对“常数项”记性赋值，B为-1.026，标准误差为：0.103那么wald =( B/S.E)²=(-1.026/0.103)² = 99.2248, 跟表中的“100.029几乎接近，是因为我对数据进行的向下舍入的关系，所以数据会稍微偏小，B和Exp(B) 是对数关系，将B进行对数抓换后，可以得到：Exp(B) = e^-1.026 = 0.358, 其中自由度为1，sig为0.000，非常显著1：从“不在方程中的变量”可以看出，最初模型，只有“常数项”被纳入了模型，其它变量都不在最初模型内表中分别给出了，得分，df , Sig三个值, 而其中得分（Score)计算公式如下：（公式中（Xi- X¯) 少了一个平方）下面来举例说明这个计算过程：(“年龄”自变量的得分为例）从“分类表”中可以看出：有129人违约，违约记为“1”则违约总和为129，选定案例总和为489那么：y¯ = 129/489 = 0.2638036809816x¯ = 16951 / 489 = 34.664621676892所以：∑(Xi-x¯)² = 30074.9979y¯（1-y¯）=0.2638036809816 *（1-0.2638036809816 ）=0.19421129888216 则：y¯（1-y¯）* ∑(Xi-x¯)² =0.19421129888216 * 30074.9979 = 5 840.9044060372 则：[∑Xi(yi - y¯）]^2 = 43570.8所以：=43570.8 / 5 840.9044060372 =7.4595982010876 = 7.46 （四舍五入）计算过程采用的是在EXCEL 里面计算出来的，截图如下所示：从“不在方程的变量中”可以看出，年龄的“得分”为7.46，刚好跟计算结果吻合！！答案得到验证~1:从“块1” 中可以看出：采用的是：向前步进的方法，在“模型系数的综合检验”表中可以看出：所有的SIG 几乎都为“0”而且随着模型的逐渐步进，卡方值越来越大，说明模型越来越显著，在第4步后，终止，根据设定的显著性值和自由度，可以算出卡方临界值，公式为：=CHIINV(显著性值,自由度) ，放入excel就可以得到结果2：在“模型汇总“中可以看出：Cox&SnellR方和Nagelkerke R方拟合效果都不太理想，最终理想模型也才：0.305 和0.446，最大似然平方的对数值都比较大，明显是显著的似然数对数计算公式为：计算过程太费时间了，我就不举例说明计算过程了Cox&SnellR方的计算值是根据：1：先拟合不包含待检验因素的Logistic模型，求对数似然函数值INL0 （指只包含“常数项”的检验）2：再拟合包含待检验因素的Logistic模型，求新的对数似然函数值InLB （包含自变量的检验）再根据公式：即可算出：Cox&SnellR方的值！提示：将Hosmer 和Lemeshow 检验和“随机性表” 结合一起来分析1：从 Hosmer 和Lemeshow 检验表中，可以看出：经过4次迭代后，最终的卡方统计量为：11.919，而临界值为：CHINV(0.05,8) = 15.507卡方统计量< 临界值，从SIG 角度来看：0.155 > 0.05 , 说明模型能够很好的拟合整体，不存在显著的差异。
医学统计学课件：回归分析
《医学统计学课件：回归分析》xx年xx月xx日CATALOGUE目录•回归分析概述•线性回归分析•逻辑回归分析•多重回归分析•回归分析的软件实现•回归分析的应用场景与实例01回归分析概述回归分析是一种统计学方法，研究因变量与自变量之间的关系，并预测因变量在给定自变量值下的值。
定义回归分析旨在找出一个或多个自变量与因变量之间的定量关系，以便根据自变量的值预测因变量的值，或者评估因变量在自变量变化时的稳定性。
目的定义与目的线性回归研究因变量与一个或多个自变量之间的线性关系。
多重回归研究因变量与多个自变量之间的关系，同时考虑它们之间的相互作用。
逻辑回归研究分类因变量与一个或多个自变量之间的关系，主要用于二元分类问题。
非线性回归研究因变量与一个或多个自变量之间的非线性关系，如曲线、曲面等。
回归分析的种类0102确定研究问题和研究设计明确要研究的问题和设计实验或收集数据的方式。
数据收集和整理收集与问题相关的数据，并进行整理和清洗。
选择合适的回归模型根据数据的特征和问题的需求选择合适的回归模型。
拟合模型使用选定的模型对数据进行拟合，得到回归系数。
模型评估评估模型的性能和预测能力，通常使用统计指标如R²、均方误差等。
回归分析的基本步骤03040502线性回归分析线性回归分析是一种预测性的统计方法，它通过研究自变量（通常是多个）与因变量（我们想要预测或解释的变量）之间的关系，建立它们之间的线性关系模型。
模型线性回归模型通常表示为 y = β0 +β1*x1 + β2*x2 + ... + βn*xn + ε，其中 y 是因变量，x1, x2, ..., xn 是自变量，β0, β1, ..., βn 是模型参数，ε 是误差项。
定义定义与模型VS参数估计线性回归分析的参数通常通过最小二乘法进行估计，这种方法试图找到最适合数据的一组参数值，使得因变量的观察值与预测值之间的平方误差最小。
假设检验在检验自变量与因变量之间是否存在显著线性关系时，通常会使用 F 检验或 t 检验。
数据挖掘——回归分析
数据挖掘——回归分析回归分析（Regerssion Analysis）——研究⾃变量与因变量之间关系形式的分析⽅法，它主要是通过建⽴因变量y 与影响他的⾃变量X i 之间的回归模型，来预测因变量y 的发展趋势。
⼀、回归分析的分类线性回归分析1. 简单线性回归分析2. 多重线性回归分析⾮线性回归分析1. 逻辑回归2. 神经⽹络⼆、回归分析的步骤：根据预测⽬标，确定⾃变量与因变量绘制散点图，确定回归模型类型估计模型参数，建⽴回归模型对回归模型进⾏检验利⽤回归模型进⾏预测简单线性回归模型： y = a + bx + e （e为随机误差，∑e i2为残差，是判断模型拟合好坏的重要指标），使⽤最⼩⼆乘法获得模型参数 回归⽅程的精度就是⽤来表⽰实际观测点和回归⽅程的拟合程度的指标，使⽤判定系数来度量。
判定系数 = 相关系数R2 = ESS/TSS = 1- (RSS/TSS) ，其中TSS 为总离差平⽅和，ESS 为回归平⽅和，RSS 为残差平⽅和#绘制散点图和相关系数plt.scatter(data.⼴告投⼊,data.销售额)data.corr()#估计模型参数，建⽴回归模型lrmodel = LinearRegression()x = data[['⼴告投⼊']]y = data[['销售额']]#训练模型lrmodel.fit(x,y)#对模型进⾏检验,得到模型评分lrmodel.score(x,y)#利⽤模型进⾏预测，⾃变量需要⽤数组进⾏传⼊lrmodel.predict([[50]])#查看参数a = lrmodel.intercept_[0]b = lrmodel.coef_[0][0]多重线性回归模型（Multiple Linear Regression）： y = a + b1x1 + b2x2+ b3x3 + ……+ b n x n+ e （e为随机误差，∑e i2为残差，是判断模型拟合好坏的重要指标），使⽤最⼩⼆乘法获得模型参数 回归⽅程的精度就是⽤来表⽰实际观测点和回归⽅程的拟合程度的指标，使⽤判定系数来度量。
回归分类区别
回归分类区别
回归分析和分类分析是统计学中两种常见的数据分析方法，它们的主要区别在于数据处理方式和目标不同。
分类分析主要是指将一组数据划分为两个或多个类别，例如使用决策树或逻辑回归等方法进行的分类预测。
分类分析的目标是预测新数据属于哪个类别，因此分类分析主要用于预测未来的结果。
回归分析则主要是指预测一个或多个自变量和一个因变量之间的关系，例如使用线性回归或逻辑回归等方法进行回归预测。
回归分析的目标是预测因变量的值，给定自变量的值。
回归分析通常用于分析历史数据或预测未来趋势。
因此，回归分析和分类分析的主要区别在于数据处理方式和目标不同。
分类分析主要用于预测未来的结果，而回归分析主要用于分析历史数据或预测未来趋势。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
疾病名 肠道传染病
ICD-9 001-009
分类结点 1 （年龄） 0～20 岁 21～40 岁 ≥41 岁
分类结点 2 （费用类别）
结点 3 （…）
…
新组合 的编码 001 002
自 费 公费及其它 …
003 004
从上表可以看出，经过CHAID分析，最后将肠道传染病重新组合为4个组，分别为： 年龄为0～20岁的病人、年龄为20～40岁的病人、年龄为四十岁以上且费用类别为自 费的病人、年龄为40岁以上且费用类别为非自费的病人
Variables in the Equation 95.0% C.I.for EXP(B) Lower Upper 1.655 17.304 2.307 1.072 850.488 1.797
Step a 1 Step b 2
drink Constant drink age Constant
B 1.677 -4.039 3.791 .328 -18.077
S.E. .599 1.237 1.508 .132 6.815
Wald 7.848 10.662 6.323 6.171 7.036
df 1 1 1 1 1
Sig . .005 .001 .012 .013 .008
Exp(B) 5.352 .018 44.299 1.388 .000
分类树与回归树分析
——决策树分类
浙江大学医学院流行病与卫生统计学教研室
沈毅
饮酒与产妇年龄发生早产的风险：
高风险 低风险
浙江大学医学院流行病与卫生统计学教研室
沈毅
决策树的基本概念：
分类：决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对 连续变量做决策树。一般的数据挖掘工具，允许选择分裂条件和修剪规则，以及控 制参数（最小节点的大小，最大树的深度等等）来限制决策树的过拟合（overfiting)。
预测变量引起的偏倚的算法。目标变量仅限于nominal型，
且其最后生成的是二叉树。
浙江大学医学院流行病与卫生统计学教研室
沈毅
二、模型定义
在这一步可以选择并定义目标变量和预测变量，如果选择 了QUEST法，则目标变量只能为nominal型。要改变变量的类 型，可以对变量类型进行重定义（define variables）。（注意： 目标变量类型的不同，树枝修剪的规则也不同）
可以有多个子结点。
浙江大学医学院流行病与卫生统计学教研室
沈毅
③C&RT（Classification and Regression Trees），由Breiman
等于1984年首次提出，CART在计算过程中充分利用二叉树的结构， 即根结点包含所有样本，对预测变量应用多种统计方法反复运算，
将根结点分割为两个子结点，这个过程又在子结点上重复进行，成
变 量 目标变量 住院总费用 预测变量 年龄 婚否 性别 手术 护理 抢救 伴随病 费用类别 入院情况 转归情况 1：0～20 岁 2：21～40 岁 3：41～60 岁 4：≥61 岁 1：未婚 2：已婚 3：离婚 4：丧偶 1：男 2：女 0：无 1：有 0：无 1：有 0：无 1：有 0：无 1：有 1：自费 2：公费 3：其它 1：一般 2：急 3：危 1：有效 2：死亡 3：其他 （元） 量化方法或单位
为一个回归过程，直至不可再分成为子结点为止，最后产生同质的 与目标变量有关的子集。其目标是以尽量小的树将目标变量分入同
质的组中。目标变量也可以为nominal、ordinal、continuous三种
类型，其最终生成一个二叉树。
浙江大学医学院流行病与卫生统计学教研室
沈毅
④QUEST（Quick, Unbiased, Efficient Statistical Tree）， 由Loh和Shih于1997年提出，是一种快速且可避免由多分类
Risk 统计量 平均估计误差的标准误 0.0990 0.1528
训练样本和检验样本的误差率估计值均较小，说明分类 结果较为合理。通过以上分析我们可以得出结论： 肠道传染病的住院总费用经过CHAID分析后，得到两个 分类点，分别为年龄和费用类别，从而得到四个病例组合， 其中年龄为40岁以上且费用类别为非自费的病人住院总费用 最高，并且回代检验和Risk统计量的结果表明分析较为合理。
浙江大学医学院流行病与卫生统计学教研室
沈毅
七、决策树的优缺点
优点： 1、不受缺省值的影响，可充分利用缺省值。 2、对异常值不敏感。 3、树结构、判断规则呈现结果‘ 4、目标变量可以是多种类型的变量。 5、变量间存在非线性、交互效应等同样适用。 缺点： 不稳定（不同的随机种子、不同的结点划分、 不同的算法可能获得十分不同的结果）。
浙江大学医学院流行病与卫生统计学教研室
沈毅
四、修剪树枝
在这一步中可以通过设置树状图的最大层数（Maximum Tree Depth）、根结点（Parent Node）及子结点（Child Node） 的最小例数（Minimum Number of Cases）来确定生成树的终止 规则（Stoping Rules）；终止规则会随着所选定算法的不同而不 同；当目标变量是nominal型时，还可以估计对错误分类造成的费 用（costs）；总之，这一部分比较复杂也较难掌握。
过程：通过递归分割的过程构建决策树。
寻找初始分裂：整个训练集作为产生决策树的集合，训练集每个记录必须是已
经分好类的。决定哪个属性（Field）域作为目前最好的分类指标。一般的做法是穷
尽所有的属性域，对每个属性域分裂的好坏做出量化，计算出最好的一个分裂。量 化的标准是计算每个分裂的多样性（diversity）指标GINI指标。 生成一棵完整的树：重复第一步，直至每个叶节点内的记录都属于同一类。 数据的修剪：不同的算法有不同修剪规则（修剪成大小合适的树）。
础上继续使用分类指标对目标变量进行分类，重复上述过程直到P大
于设定的有统计意义的α值时则分类停止。目标变量可以为nominal、 ordinal、continuous三种类型，每个拆分点可以有多个子结点。
浙江大学医学院流行病与卫生统计教研室
沈毅
②Exhaustive CHAID，由Biggs于1991年提出，通过 连续合并相近的对子反复检测来选择最佳拆分点，相对 于CHAID法需要花费较长的时间。目标变量可以为 nominal、ordinal、continuous三种类型，其每个拆分点
浙江大学医学院流行病与卫生统计学教研室
沈毅
八、Logistic模型和多元线性回归模型与决策树比较
（一）Logistic回归与分类树比较
比较内容 目标变量 解释变量 Logistic 分类变量 分类树 分量变量
分类变量（最佳） 分类或连续变量
分布
参数估计 Y与X的关系 异常值的影响 预测 分类
二项或多项分布
浙江大学医学院流行病与卫生统计学教研室
沈毅
一、方法选择
①CHAID（Chi-squared Automatic Interaction Detector），由
Kass于1980年提出，其核心思想是：根据给定的结果变量（即目标变 量）和经过筛选的特征指标（即预测变量）对样本进行最优分割，按 照卡方检验的显著性进行多元列联表的自动判断分组。其分类过程是： 首先选定分类的目标变量，然后用分类指标与结果变量进行交叉分类， 产生一系列二维分类表，分别计算二维分类表的χ2值，比较P值的大 小，以P值最小的二维表作为最佳初始分类表，在最佳二维分类的基
浙江大学医学院流行病与卫生统计学教研室
沈毅
六、注意事项
（1）熟悉欲分析资料的变量特征，合理地选择目标变量及预测变量。 如上例中目标变量除住院总费用外，还可选用平均住院天数； （2）必须准确编码预测变量，并对其变量类型进行正确的设定；目 标变量是连续变量时，须符合正态性的要求； （3）选用的算法不同会直接影响到模型的建立，因此，一定要根 据实际情况，考虑目标变量及预测变量的类型， 对树的算法作出合 理的选择。对于可以同时选用几种算法的情形，可以对每种算法的结 果进行分析，最后找出最佳的模型。 （4）对于大样本的资料，可以选用模型验证的第二种方式进行回代 检验，当样本量较小时，则应该选用第三种方式（Cross-validation） 进行模型检验。 （5）可以使用传统的统计模型与Tree模型的分析结果作一对 比分析。
浙江大学医学院流行病与卫生统计学教研室
沈毅
五、实例分析
分类决策树（回归树）在病例组合中的应用
根据医疗资源消耗相近的原则，选取每个病例的住院总费用为分组轴心（即目标变量）， 以年龄、婚否、性别、手术、护理、抢救、伴随病、费用类别、入院情况、转归情况为分 类结点（即预测变量），并对目标变量和预测变量进行重新编码 。
浙江大学医学院流行病与卫生统计学教研室
沈毅
三、模型验证
设定合适的验证模型的方式： ①Do not validate the tree：不另外建立数据集对模型进行验证，模型的建立 和检验都基于整个数据集。 ②Partition my data into subsamples：整个数据文件成两部分，即训练样 本（training sample）和检验样本（testing sample），如果通过训练样本 生成的模型能够较好地拟合检验样本，则表明生成的决策树对类似于当 前数据集结构的更大的数据集具有较好的通用性。 在生成满意的训练样本的决策树后，对样本进行检验，决策树即变为应用 检验样本后的结果，接着通过考察估计误差、gain系数，可以决定生成的 决策树的通用程度。当样本量较大时可以选择该法。 ③Cross-validation：该法将整个数据集拆分成数个相等大小的部分，分别以 每一部分作为检验样本，其余部分作为训练样本，生成数个决策树，并计 算各个决策树的危险估计（risk estimates）的平均值。该法适用于样本量较 小的情形。