第九讲定类或定序因变量回归分析
七种回归分析方法个个经典
七种回归分析方法个个经典什么是回归分析？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。
这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。
例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。
回归分析是建模和分析数据的重要工具。
在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。
我会在接下来的部分详细解释这一点。
我们为什么使用回归分析？如上所述，回归分析估计了两个或多个变量之间的关系。
下面，让我们举一个简单的例子来理解它：比如说，在当前的经济条件下，你要估计一家公司的销售额增长情况。
现在，你有公司最新的数据，这些数据显示出销售额增长大约是经济增长的2.5倍。
那么使用回归分析，我们就可以根据当前和过去的信息来预测未来公司的销售情况。
使用回归分析的好处良多。
具体如下：1.它表明自变量和因变量之间的显著关系；2.它表明多个自变量对一个因变量的影响强度。
回归分析也允许我们去比较那些衡量不同尺度的变量之间的相互影响，如价格变动与促销活动数量之间联系。
这些有利于帮助市场研究人员，数据分析人员以及数据科学家排除并估计出一组最佳的变量，用来构建预测模型。
我们有多少种回归技术？有各种各样的回归技术用于预测。
这些技术主要有三个度量（自变量的个数，因变量的类型以及回归线的形状）。
我们将在下面的部分详细讨论它们。
对于那些有创意的人，如果你觉得有必要使用上面这些参数的一个组合，你甚至可以创造出一个没有被使用过的回归模型。
但在你开始之前，先了解如下最常用的回归方法：1.Linear Regression线性回归它是最为人熟知的建模技术之一。
线性回归通常是人们在学习预测模型时首选的技术之一。
在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。
线性回归使用最佳的拟合直线（也就是回归线）在因变量（Y）和一个或多个自变量（X）之间建立一种关系。
回归分析法概念及原理
回归分析法概念及原理回归分析法概念及原理回归分析定义：利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的分析方法。
分类：1.根据因变量和自变量的个数来分类：一元回归分析；多元回归分析；2. 根据因变量和自变量的函数表达式来分类：线性回归分析；非线性回归分析；几点说明：1.通常情况下，线性回归分析是回归分析法中最基本的方法，当遇到非线性回归分析时，可以借助数学手段将其化为线性回归；因此，主要研究线性回归问题，一点线性回归问题得到解决，非线性回归也就迎刃而解了，例如，取对数使得乘法变成加法等；当然，有些非线性回归也可以直接进行，如多项式回归等；2.在社会经济现象中，很难确定因变量和自变量之间的关系，它们大多是随机性的，只有通过大量统计观察才能找出其中的规律。
随机分析是利用统计学原理来描述随机变量相关关系的一种方法；3.由回归分析法的定义知道，回归分析可以简单的理解为信息分析与预测。
信息即统计数据，分析即对信息进行数学处理，预测就是加以外推，也就是适当扩大已有自变量取值范围，并承认该回归方程在该扩大的定义域内成立，然后就可以在该定义域上取值进行“未来预测”。
当然，还可以对回归方程进行有效控制；4.相关关系可以分为确定关系和不确定关系。
但是不论是确定关系或者不确定关系，只要有相关关系，都可以选择一适当的数学关系式，用以说明一个或几个变量变动时，另一变量或几个变量平均变动的情况。
回归分析主要解决的问题：回归分析主要解决方面的问题；1.确定变量之间是否存在相关关系，若存在，则找出数学表达式；2.根据一个或几个变量的值，预测或控制另一个或几个变量的值，且要估计这种控制或预测可以达到何种精确度。
回归模型：回归分析步骤：1. 根据自变量与因变量的现有数据以及关系，初步设定回归方程；2. 求出合理的回归系数；3. 进行相关性检验，确定相关系数；4. 在符合相关性要求后，即可根据已得的回归方程与具体条件相结合，来确定事物的未来状况，并计算预测值的置信区间；回归分析的有效性和注意事项：有效性：用回归分析法进行预测首先要对各个自变量做出预测。
教你区分定类定序定距定比变量
教你区分定类定序定距定比变量It was last revised on January 2, 2021定类变量定序变量定距变量定比变量定类变量变量的一种，根据定性的原则区分总体各个案类别的变量。
定类变量的值只能把研究对象分类，也即只能决定研究对象是同类抑或不同类，具有＝与≠的数学性质。
例如性别区分为男性和女性两类；出生地区分为农村、城市、城镇三类；民族背景区分为汉、蒙、回、苗、壮、藏、维吾尔等；婚姻状况区分为未婚、已婚、分居、离婚、丧偶等类。
这些变量的值，只能区别异同，属于定类层次。
设计定类变量的各个类别时，要注意两个原则。
一个是类与类之间要互相排斥，也即每个研究对象只能归入一类；另一个是所有研究对象均有归属，不可遗漏。
例如性别分为男女两类，它既概括了人的性别的全部类别，同时类别之间又具有排斥性。
定序变量变量的一种，区别同一类别个案中等级次序的变量。
定序变量能决定次序，也即变量的值能把研究对象排列高低或大小，具有＞与＜的数学特质。
它是比定类变量层次更高的变量，因此也具有定类变量的特质，即区分类别（＝，≠）。
例如文化程度可以分为大学、高中、初中、小学、文盲；工厂规模可以分为大、中、小；年龄可以分为老、中、青。
这些变量的值，既可以区分异同，也可以区别研究对象的高低或大小。
但是，各个定序变量的值之间没有确切的间隔距离。
比如大学究竟比高中高出多少，大学与高中之间的距离和初中与小学之间的距离是否相等，通常是没有确切的尺度来测量的。
定序变量在各个案上所取的变量值只具有大于或小于的性质，只能排列出它们的顺序，而不能反映出大于或小于的数量或距离。
定距变量也是变量的一种，区别同一类别个案中等级次序及其距离的变量。
它除了包括定序变量的特性外，还能确切测量同一类别各个案高低、大小次序之间的距离，因而具有加与减的数学特质。
但是，定距变量没有一个真正的零点。
例如，摄氏温度这一定距变量说明，摄氏40度比30度高10度，摄氏30度比20度又高10度，它们之间高出的距离相等，而摄氏零度并不是没有温度。
stata定序选择变量回归
stata定序选择变量回归
在Stata中进行定序选择变量回归，通常可以使用oprobit命令。
oprobit命令可以用于有序Logistic回归模型，它可以处理因
变量是有序分类变量的情况。
下面我将介绍具体的步骤。
首先，你需要打开Stata并加载你的数据集。
假设你的有序选
择变量是Y，解释变量是X1、X2等等。
接下来，你可以使用oprobit命令进行有序Logistic回归分析。
命令的基本语法如下：
stata.
oprobit Y X1 X2。
其中，Y是你的有序选择变量，X1、X2是你的解释变量。
你可
以根据实际情况添加更多的解释变量。
在运行oprobit命令后，Stata将会输出有序Logistic回归的
结果，包括系数估计、标准误、z值、p值等等。
除了基本的oprobit命令，你还可以使用如margins、marginsplot等命令来进一步分析和可视化回归结果。
在进行有序选择变量回归时，你需要考虑模型的拟合优度、解释变量的选择、模型假设的检验等等。
此外，还需要注意变量之间的共线性、残差的独立性等问题。
总的来说，在Stata中进行定序选择变量回归，你可以使用oprobit命令来拟合有序Logistic回归模型，并结合其他命令进行进一步的分析和解释。
希望这些信息能够帮助你进行相关的数据分析工作。
回归分析
图 2-11-1 销售收入与广告费用散点 从散点图可以看出，随着广告费用的增加，销售收入也随之增加，二者的数 据点分布在一条直线的附近，因此二者之间具有正的线性相关关系。 通过散点图观察可以判断两个变量之间有无相关关系， 并对关系形态做出大 致描述，但要准确度量变量间的关系强度，则需要计算相关系数。 Step2 计算相关系数度量关系强度并对相关系数的可靠性进行检验 （显著性 检验） 相关系数（Correlation Coefficient）是度量两个随机变量之间线性关系 强度的统计量，计算相关系数时，假定两个变量是线性关系。样本相关系数记为
p 2.7415E 09 0.05 ，双尾检验的p值接近于0，拒绝 H 0 ，说明销售收入
与广告费用之间存在显著线性相关关系。 Step3 求销售收入与广告费用的估计的回归方程 回归模型中的参数 0 和 1 是未知的，需要利用样本数据去估计它们。当用
ˆ 和 ˆ 估计模型中的参数 和 时，就得到了估计的回归方程 样本统计量 0 1 0 1
显著的线性关系。从表 3-2知 F 116.396 ， p 值接近于0，表明销售收入与广告 费用之间的线性关系显著。 回归系数检验（ t 检验）：它用于检验自变量对因变量的影响是否显著。在 一元线性回归中，由于只有一个自变量，故回归系数检验与线性关系检验等价。 检验统计量是基于回归系数 1 的抽样分布来构造的 t 统计量。从表2-11-2知 1 的 95%的置信区间为 （4.132,6.130） ， 0 的95%的置信区间为 （-4.913,554.013） 。 其中 1 的置信区间表示： 广告费用每变动1万元， 销售收入的平均变动量为4.132 万 6.130万元。 实验2 多元线性回归 一家高技术公司人事部为研究软件开发人员的薪金与他们的资历、 管理水平、 教育水平等因素之间的关系， 要建立一个数学模型，以便分析公司人事策略的合 理性， 并作为新聘用人员薪金的参考。他们认为目前公司人员的薪金总体上是合 理的，可以作为建模的依据，于是调查了46名软件开发人员的档案资料，见表 2-11-3， 其中资历一列指从事专业工作的年数， 管理水平一列中1表示管理人员， 0表示非管理人员，教育水平一列中1表示中学水平，2表示大学水平，3表示研究 生水平。 表2-11-3
回归分析线性回归Logistic回归对数线性模型
逻辑回归的模型为 (P(Y=1) = frac{1}{1+e^{-z}})，其中 (z = beta_0 + beta_1X_1 + beta_2X_2 + ... + beta_nX_n)。
逻辑斯蒂函数
பைடு நூலகம்
定义
逻辑斯蒂函数是逻辑回归模型中用来描述自变量与因变量之 间关系的函数，其形式为 (f(x) = frac{1}{1+e^{-x}})。
。
在样本量较小的情况下， logistic回归的预测精度可能高 于线性回归。
线性回归的系数解释较为直观 ，而logistic回归的系数解释相 对较为复杂。
对数线性模型与其他模型的比较
对数线性模型假设因变量和自变量之间存在对 数关系，而其他模型的假设条件各不相同。
对数线性模型的解释性较强，可以用于探索自变量之 间的交互作用和效应大小。
THANKS
感谢您的观看
预测市场细分中的消费者行为等。
对数线性模型还可以用于探索性数据分析，以发现数 据中的模式和关联。
Part
04
比较与选择
线性回归与logistic回归的比较
线性回归适用于因变量和自变 量之间存在线性关系的场景， 而logistic回归适用于因变量为
二分类或多分类的场景。
线性回归的假设条件较为严格 ，要求因变量和自变量之间存 在严格的线性关系，而logistic 回归的假设条件相对较为宽松
最小二乘法
最小二乘法是一种数学优化技术，用于最小化预测值与实际观测值之间的平方误差总和。
通过最小二乘法，可以估计回归系数，使得预测值与实际观测值之间的差距最小化。
最小二乘法的数学公式为：最小化 Σ(Yi - (β0 + β1X1i + β2X2i + ...))^2，其中Yi是实际观 测值，X1i, X2i, ...是自变量的观测值。
第9章 一元线性回归分析
9.1.2相关关系的类型
从涉及的变量数量看
简单相关 多重相关（复相关）
从变量相关关系的表现形式看
线性相关——散点图接近一条直线(左图) 非线性相关——散点图接近一条曲线(右图)
25 20 15 10 5 0 0 2 4 6 8 10 12
11.2
11
10.8 10.6 10.4 10.2 10
若在定距变量分布不满足正态性的条件，可将定距变 量降级为定序变量
如要研究考试中学生交卷的名次是否与成绩有关，
交卷名次与考试名次之间的关系
交卷名 次
1 2 3 4
5
6
7
8
9
10
11
12
考试成 绩
94 74 74 60 68 86 92 60 78 74
78
64
参阅《统计学在经济和管理中的应用》
2 i i 2 i i
__
^
__
^
2
总离差平方和
回归平方和
残差平方和
判定系数定义：
r
2
(Y Y ) (Y Y )
i i
^
2 2
判定系数的特点
判定系数是非负的统计量； 判定系数取值范围： 0 r 2 在一元线性回归中，判定系数在数值上是
独立性意味着对于一个特定的 x 值，它所对应的ε与其他 x 值所对应的ε不相关 对于一个特定的 x 值，它所对应的 y 值与其他 x 所对应的 y 值也不相关
回归方程
描述因变量y的期望值如何依赖于自变量x的方程称为回归方程。
E( y) b0 b1 x
估计的回归方程
(estimated regression equation)
logistic回归分析
队列研究(cohort study)：也称前瞻性研究、随访研究等。是一种由因及果的研
究，在研究开始时，根据以往有无暴露经历，将研究人群分为暴露人群和非暴 露人群，在一定时期内，随访观察和比较两组人群的发病率或死亡率。如果两 组人群发病率或死亡率差别有统计学意义，则认为暴露和疾病间存在联系。队 列研究验证的暴露因素在研究开始前已存在，研究者知道每个研究对象的暴露 情况。
调查方向：追踪收集资料 暴露 疾病 +
人数
比较
aபைடு நூலகம்
b c
+
研究人群
a/(a+b)
+ -
-
c/(c+d)
d
队列研究原理示意图
暴露组 非暴露组
病例 a c
非病例 b d
合计 n1=a+b n0=c+d
发病率 a/ n1 c/ n0
相对危险度（relative risk， RR）也称危险比（risk ratio） 或率比（rate ratio） RR I e a / n1 、 I e a / n1 、 I 0 c / n2 。
研究，先按疾病状态确定调查对象，分为病例(case)和对照 (control)两组，然后利用已有的记录、或采用询问、填写调查表 等方式，了解其发病前的暴露情况，并进行比较，推测疾病与 暴露间的关系。
调查方向：收集回顾性资料
比较 a/(a+b)
人数 a b c
暴露 +
疾病 病例
+ 对照 -
c/(c+d) d
二、 logistic回归模型的参数估计
logistic 回归模型的参数估计常采用最大似然估计。 其基本思想是先建立似然函数与对数似然函数， 求使对数似然函数最大时的参数值，其估计值即 为最大似然估计值。 建立样本似然函数：
logit定序回归模型
logit定序回归模型
Logit定序回归模型是一种用于分析有序分类因变量的统计模型。
在这种模型中，因变量被分为有序的类别，例如低、中、高。
Logit定序回归模型基于Logistic函数，它可以用来估计因变量落
入每个类别的概率。
这种模型的核心假设是因变量的类别之间存在
顺序关系，并且不同类别之间的距离是相等的。
在Logit定序回归模型中，自变量的系数被用来解释因变量类
别的变化。
这些系数可以告诉我们自变量的变化如何影响向更高类
别转变的概率。
通过估计这些系数，我们可以了解自变量对于因变
量的影响程度。
在实际应用中，Logit定序回归模型常常用于分析教育水平、
收入水平等有序分类变量的影响因素。
这种模型可以帮助研究者了
解不同自变量对于因变量类别的影响，从而进行政策制定或者其他
决策的支持。
需要注意的是，使用Logit定序回归模型时需要满足一些假设，比如因变量的类别之间应该是有序的，自变量与因变量之间应该是
线性关系等。
同时，在解释结果时，应该注意避免因果解释，因为
回归分析本身不能证明因果关系。
因此，在使用Logit定序回归模型时，需要仔细考虑模型的假设和结果的解释。
定量分析方法之回归分析
一、一元线性回归模型的基本概念 • 若有两个变量x和y，其中x为非随机变量（即可控变 若有两个变量x 其中x为非随机变量（ 量），y为随机变量。且x和y有相关关系，则可用数 ），y为随机变量。 有相关关系， 学模型 y=f(x)+e 近似地表示它们之间的关系。式 近似地表示它们之间的关系。 中e是随机变量。 是随机变量。 • 回归方程（回归模型） 回归方程（回归模型）
i
∑
−
n
2
i = 1
i
i = 1
=
∑
Y
i n
Y Y n
) )
2
i = 1
=
n
∑
2
− X n
i
∑
2
i = 1
i
i = 1
X
=
∑
n
i = 1
Y
=
∑
Y n
i = 1
i
8
总离差的分解
9
Y
SST = =
n
n
∑
i =1
(Y i − Y ) = ∑
2 n
n
i =1
) ) [ ( Y i − Y ) + ( Y − Y )] 2
L o g a r ith m ic : Y = b 0 + b1 ln ( X )
− ( b 0 + b1 X )
19
曲线估计案例
• SARS在2002年11月初在中国广东省的佛山市最早出现。由于 病者出现肺炎病征，所以当时将之归入非典型肺炎类别，中 国媒体普遍简称其为“非典”。其后，此病经由旅游、商贸、 移民人群迅速扩散到了香港，并由香港再扩散至越南、新加 坡、台湾及加拿大的多伦多。2003年5月间，北京和香港的 疫情最为严重。2003年夏季，染病人数日减，病情得以控制。
定类或定序因变量回归分析
的1.5倍。
精品课件
四、logistic回归模型的检验与评价
1、Logistic回归模型估计的假设前提
第一、数据来自于随机样本。
第二、因变量Yi被假设为K个自变量Xk（k=1，2，…，K） 的函数。
第三、正如OLS回归，logistic回归也对多重共线性有所 限制，自变量之间存在多重共线性会导致标准误的膨胀。
（1）二项分布（binomial distribution）
y
N
y(1 )(Ny)
y!(Ny)!
（2）泊松分布（Poisson）
e y
y y!
精品课件
二、线性概率模型
1、模型建立
以最小二乘法为基础的线性回归方程是估测因变量的平均值，
而二分变量的均值有一个特定的意义，即概率。用普通线性回归方程
Logistic回归模型还有一些与OLS回归不同的假设
前提：第一，因变量是二分变量；第二，因变量和各自变
量之间的关系是非线性的。
精品课件
2、拟合优度检验
如果模型的预测值能够与对应的观测值有较高的一 致性，就认为这一模型能够拟合数据。否则需要对模型重 新设置。
因此，模型的拟合优度是指预测值与观测值的匹 配程度。检验拟合优度的指标有皮尔逊卡方检验、对数似 然比卡方检验等。
量的情形。HL方法根据预测概率的大小将所有观察单位十 等分，然后根据每一组中因变量的实际值与理论值计算 Peason卡方，其统计量为：
G
HL
(yg ng pg )
g1 ng pg (1 pg )
其中G 代表分组数，且G10；ng为第g组中的观测值数； yg第g组事件的观测数量；pg为第g组的预测事件概率；ngpg 为事件的预测值，实际上它等于第g组的观测概率和。
教你区分定类、定序、定距、定比变量
定类变量定序变量定距变量定比变量定类变量变量的一种，根据定性的原则区分总体各个案类别的变量。
定类变量的值只能把研究对象分类，也即只能决定研究对象是同类抑或不同类，具有＝与≠的数学性质。
例如性别区分为男性和女性两类；出生地区分为农村、城市、城镇三类；民族背景区分为汉、蒙、回、苗、壮、藏、维吾尔等；婚姻状况区分为未婚、已婚、分居、离婚、丧偶等类。
这些变量的值，只能区别异同，属于定类层次。
设计定类变量的各个类别时，要注意两个原则。
一个是类与类之间要互相排斥，也即每个研究对象只能归入一类；另一个是所有研究对象均有归属，不可遗漏。
例如性别分为男女两类，它既概括了人的性别的全部类别，同时类别之间又具有排斥性。
定序变量变量的一种，区别同一类别个案中等级次序的变量。
定序变量能决定次序，也即变量的值能把研究对象排列高低或大小，具有＞与＜的数学特质。
它是比定类变量层次更高的变量，因此也具有定类变量的特质，即区分类别（＝，≠）。
例如文化程度可以分为大学、高中、初中、小学、文盲；工厂规模可以分为大、中、小；年龄可以分为老、中、青。
这些变量的值，既可以区分异同，也可以区别研究对象的高低或大小。
但是，各个定序变量的值之间没有确切的间隔距离。
比如大学究竟比高中高出多少，大学与高中之间的距离和初中与小学之间的距离是否相等，通常是没有确切的尺度来测量的。
定序变量在各个案上所取的变量值只具有大于或小于的性质，只能排列出它们的顺序，而不能反映出大于或小于的数量或距离。
定距变量也是变量的一种，区别同一类别个案中等级次序及其距离的变量。
它除了包括定序变量的特性外，还能确切测量同一类别各个案高低、大小次序之间的距离，因而具有加与减的数学特质。
但是，定距变量没有一个真正的零点。
例如，摄氏温度这一定距变量说明，摄氏40度比30度高10度，摄氏30度比20度又高10度，它们之间高出的距离相等，而摄氏零度并不是没有温度。
又比如调查数个地区的工人占全部劳动人口的比率时，发现甲、乙，丙、丁、戊五个地区的比率分别是2％、10％、35％、20％、10％。
第九讲 双变量的统计分析(相关分析)
注意：方向的分析只适用于定序以上层次的变量
（3）相关关系的对称性与非对称性
相关的两个变量，不一定有因果关系， 可能是共同变化。
（4）相关的类型
相关关系是一种数量关系上不很严格的相互依 存关系。 如果这种关系近似地表现为一条直线，就称为 直线相关，又称线性相关； 如果这个关系近似地表现为一条曲线，则称为 曲线相关，又称非线性相关。 虽然在自然界和社会生活中，曲线相关现象远 比直线相关更多，但由于数学手段上的局限性， 社会统计研究中多以阐述线性（直线）相关为 主。
y
m
y
My
nMy
(105 45) 150 0 215 120
2、tau-y
不对称测量法 系数值介于0-1之间 计算系数时包括了所有的边缘次数和条件次数 如果是不对称关系最好选用tau-y计算
计算过程：先求出E1和E2，计算消减误差的比例
E1 E2 tau y E1
公式：
（1）不对称形式：
y
m
y
My
My=Y变项的众数次数 my=X变项的每个值（类别）之下Y变项的众数的次数 n=全部个案数 n-My=不知道x值的情况下预测Y值产生的误差 分子E1-E2=（n-My）-（n-∑my）= ∑my-My
nMy
例1：分析性别与理想志愿之间的关系
y
m
注意：
社会调查中各相关系数的值不可能达到1 相关系数只表示各变量间相关程度的指标，没 有数量的关系。
《Logistic回归》PPT课件
常量 -20.207 4.652 18.866
1 .000
.000
a. 在步骤 1 中输入的变量: 性别, 年龄, 学历, 体重指数, 家族史, 吸烟, 血压, 总胆 固醇, 甘油三脂, 高密度脂蛋白, 低密度脂蛋白.
七、变量筛选
从所用的方法看，有强迫法、前进法、后退 法和逐步法。在这些方法中，筛选变量的过 程与线性回归过程的完全一样。但其中所用 的统计量不再是线性回归分析中的F统计量， 而是以上介绍的参数检验方法中的三种统计 量之一。
八、logistic 回归模型拟合优度检验和预 测准确度检验
（一）拟合优度检验：
Logistic回归模型的拟合优度检验是通过比较模型 预测的与实际观测的事件发生与不发生的频数有无差 别来进行检验。如果预测的值与实际观测的值越接近， 说明模型的拟合效果越好。
·模型的拟合优度检验方法有偏差检验（Deviance）、 皮尔逊（pearson）检验、统计量(Homser-Lemeshow), 分别计算统计量X2D、X2 P、X2HL值。统计量值越小， 对应的概率越大。无效假设H0：模型的拟合效果好。
第九章 Logistic回归
（非条件Logistic回归）
第一节 Logistic回归概述
一、Logistic回归目的： Logistic回归通常以离散 型的分类变量（疾病的死亡、痊愈等）发生结果的 概率为因变量，以影响疾病发生和预后的因素为自 变量建立模型。研究分类变量（因变量）与影响因 素（自变量）之间关系的研究方法。属于概率型非 线性回归方法。
本例模型的似然比检验结果：
X2=-2(ln Lp-ln Lk)=95.497
模 型 系数 的 综 合检 验
步骤 1
步骤 块 模型
第九章 时间序列数据的基本回归分析
变化，被称为长期倾向或长期乘数。
Q阶有限分布滞后模型
• = 0 + 0 + 1 −1 + ⋯ + − +
• 包括静态模型作为特例
• 即期倾向是当期z的系数0 ，长期影响是
0 + 1 + ⋯ + 。
• Z在不同时期的滞后之间经常有较大程度的
相关，因此上述方程存在多重共线性，很
难准确地估计出单独的 ，但不会影响我们
估计长期影响。
参数线性假定
• 假定TS.1（对参数是线性的）
随机过程遵循线性模型 = 0 + 1 1 +
⋯ + + 。
– 中，t表示时期，j表示 是个解释变量中
OLS的样本方差
• 定理：
在时间序列的高斯—马尔科夫假定TS.1~TS.5成立
时，OLS估计量的条件方差为
2
መ =
, j = 1, ⋯ ,
2
(1 − )
式中， �是 的总的平方和，2 是 对其
他自变量回归得到的拟合优度。
– 与横截面分析中OLS估计量的条件方差形式一样。
– 在假定TS.1~TS.5下，估计量ො 2 = Τ − − 1 是
2 的无偏估计量。
• 高斯—马尔科夫定理
在假定TS.1~TS.5下，给定的值，OLS估计量
是最优线性无偏估计。
• 假定TS.6（正态性）
误差 独立于，且与Normal(0, 2 )是独立同
分布的。
– 假定TS.6蕴含了TS.2，TS.4和TS.5，但它更强，
第九章定性分析和定量分析
轴心式编码(axial coding)：从一组初步的 主题或初步的概念开始。在此方式中，研 究者更为注重的是主题，而不是资料，即 研究者的头脑中带有基本的或初步的编码 主题去看待资料，阅读资料。
选择式编码(selective coding)：在浏览资 料和进行开放式或轴心式编码工作的基础 上，有选择地寻找那些说明主题的个案， 并对资料进行比较和对照，研究者再发展 出某些概念，并开始围绕几个核心概括或
型X 值 集n中x 的情况X。平均xff数：nxf
离散趋势分析(dispersion tendency analysis)：用一个特别的数值来反映一组 数据相互之间的离散程度。
中文系 78 79 80 81 82 平均分80 数学系 65 72 80 88 95 平均分80 英语系35 78 89 98 100 平均分80
28
A3你的文化程度：小学 √ 初中 高中 大学 1
3、单变量统计分析：
a.描述统计：帮助简化资料的方法，包括集 中趋势分析和离散趋势分析
集中趋势分析(central tendency analysis)： 用一个典型值或代表值来反映一组数据的 一般水平，或者说反映这组数据向这个典
2
S (xi X )
n
标准差 一组数据对其平均数离差平方 的算术平均数的平方根。
b.推论统计：根据抽样取出的资料推论出母 体的情况，包括区间估计和假设检验。
区间估计(interval estimation)：其实质就 是在一定的可信度(置信度)下，用样本统计 值的某个范围(置信区间)来估计总体的参数 值可信度。
分析型备忘录(analytic memo)：实地笔记 的一个特殊类型。实地研究者对于自己在 整理和编码资料、提炼概念过程的想法和 观点的记录或讨论，这种备忘录是研究者 写给自己的，或者说是自己与自己进行讨 论的一种笔记。可以以全部概念或主题为 线索建立一个完整的备忘录体系。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
该模型即为logit回归模型。logit回归模型实际上是普通多元
线性回归模型的推广，但它的误差项服从二项分布而非正态分布，
因此，需要采用极大似然估计方法进行参数估计，参数称为 logit回归系数，表示当其他自变量取值保持不变时，该自变量取
值增加一个单位引起的发生比自然对数值的变化量。
2、发生比
g（P）= log （P/1-P）
以对数比率为因变量对自变量X1，X2，X3……做回归称为对数比率 回归（logistic regression），其方程式为：
P log( ) a i X i 1 P
表1 概率、比率和对数比率
概率 0.01 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 0.99
四、极大似然估计的基本思想
1) 概率问题 例1、假定我们要估计一样本中男性的发生概率。以s表示样本中男性 的数量；N是样本规模；π 是总体中男性的概率（ =0.5 ）。 根据贝努利公式：
Pr( s / , N ) N! s (1 ) N s s !( N s)!
三、简单对数比率回归
1、模型建立
既然用线性概率回归存在以上两个方面的局限性，我们能否用比率做 因变量呢？ 比如用男女比率作因变量，用成功与不成功之比做因变量。用比率做 因变量可以建立估计方程，但存在的问题是，比率是非对称的. 一个简单的解决办法就是取对数，结果就是所谓对数比率（logit)。 若用P代表某事件的概率，则对数比率函数的定义为
其中：P—党员概率， A—年龄， E—受教育年限， U—单位身份
2、线性概率模型存在的问题
1）异方差性 普通最小二乘法假设残差项的方差是相同的，但二项分布的方差为 p（1-p），这意味着方差是中间大，两边小，所以方程中残差项的方差 不可能恒定。 2）非正态性 在给定自变量x条件下， 是y的预测值与实际值的离差。由于y仅仅 有0和1两个值，误差项 要么等于 0 0 E( y / x* ) ，或者 1 1 E( y / x* ) 很明显，该误差项不是正态分布。 3）无意义的解释 从解释力上看，由于概率的值是有边界的，在0与1之间。但林楠方程 很有可能要超过该限制，因变量的估计值可能是负数，也可能大于1，因 此模型的结果是无意义的。例如，运用林楠方程，我们发现如果年龄为 100岁，受教育程度超过10年，则入党的概率约等于1。 4）非线性关系
P = a + ∑β iXi + ε
对二项分布线性概率模型的结果解释： 在其他变量不变的情形下，x每增加一个单位，事件发生概率的 期望将变动β 个单位。 例如，林楠和谢文（1988）曾用线性概率模型估测入党（政治 资本）的概率，模型为：
P = -0.39 +0.01A +0.04E +0.03U
2) 似然函数
当已知N 和，求s发生的可能性有多大，所建立的函数，称为 概率函数。而当已知N 和s，求发生的可能性有多大，所建立的函 数，称为似然函数。 二者的差异：第一、前者是在参数已知下的数据的函数，后者 是在数据已知条件下的参数的函数。第二、参数值是由可能性最高 的值决定，我们称该值为极大似然估计。 L（π /s=3, N=10）=
发生比是事件的发生频数与不发生频数之间的比，即：
Odds=(事件发生频数)/（事件不发生频数）
oddsk [ pk /(1 pk )]
当比值大于1时，表明事件更有可能发生。比如一 个事件发生的概率为0.6，事件不发生的概率为0.4，发 生比等于0.6/0.4=1.5。事件发生的可能性是不发生的1.5 倍。
第九讲 定类或定序因变量回归分析
一、问题的提出
线性回归模型在定量分析中广为流行，然而当因变量是一个定
类变量而不是一个连续变量时，很难应用线性回归模型。
如政治学中研究是否选举某候选人，经济学研究中涉及的是否销
售或购买某种商品，如在社会学和人口学研究中所涉及的如犯罪、逃 学、迁移、结婚、离婚、生育、患病等等都可以按照二分类变量或多 分类来测量。
y N y (1 )( N y ) y !( N y )!
（2）泊松分布（Poisson）
y e y y!
二、线性概率模型
1、模型建立 以最小二乘法为基础的线性回归方程是估测因变量的平均值，而 二分变量的均值有一个特定的意义，即概率。用普通线性回归方程估 测概率，就是所谓的线性概率回归。用公式表示为：
比率
0.01
0.11
0.25
0.43
0.67
1.00
1.50
2.33
4.00
9.00
99
对数 比率
-4.60
-2.20
-1.39
-0.85
-0.41
0.00
0.41
0.851.39源自2.204.60pi
1 exp( k 0 k xik )
K
exp( k 0 k xik )
K
(i )
又如在研究态度与偏好等心理现象时也经常按几个类型进行测量
的，如“强烈反对”、“反对”、“中立”、“支持”、和“强烈支 持”。
另外，有时对一些连续变量也要转换成类型变量，如在分析升学
考试的影响因素时，将考生分为录取线以上和录取线以下，只要选定 一个分界点，连续变量便可以被转换成定类变量。
从统计理论上看，在进行最小二乘法的参数估计时，我们仅 仅关注残差项ε的分布，很少对因变量Y所服从的分布予以关注， 实际上,我们拥有Y的信息要远远大于拥有残差项ε的信息。 因变量Y服从正态分布的推断来源于残差项服从正态分布，因 为Y 是残差项的线性函数。事实上，社会经济现象往往有不同于 正态分布的其他分布，例如： （1）二项分布（binomial distribution）
其中k!=k(k-1)…2.1
10个样本中有3个男性的概率为：
Pr( s 3 / 0.5, N 10) 10! 0.53 (1 0.5)103 0.117 3!(10 3)!
如果我们已知样本中s、N及其概率分布的信息，需要估计总体特征， 则需要借助极大似然估计法来完成。极大似然估计ML就是估计这样一个参 数值，由于该参数的存在可以使得被观察的事件最有可能发生。