计量经济学与应用2回归分析

多元统计分析
多元统计分析研究客观事物中多个变量（或多个因素）之间相互 依赖的统计规律性。它的重要基础之一是多元正态分析。又称多 元分析 。 如果每个个体有多个观测数据，或者从数学上说， 如果个体的观测数据能表为 P维欧几里得空间的点，那么这样 的数据叫做多元数据，而分析多元数据的统计方法就叫做多元统 计分析 。 它是数理统计学中的一个重要的分支学科。 20世纪30年代，R.A.费希尔，H.霍特林，许宝碌以及S.N.罗伊等 人作出了一系列奠基性的工作，使多元统计分析在理论上得到迅 速发展。50年代中期，随着电子计算机的发展和普及 ，多元统 计分析在地质 、气象、生物、医学、图像处理、经济分析等许 多领域得到了广泛的应用 ，同时也促进了理论的发展。各种统 计软件包如SAS，SPSS等，使实际工作者利用多元统计分析方法 解决实际问题更简单方便。重要的多元统计分析方法有：多重回 归分析（简称回归分析）、判别分析、聚类分析、主成分分析、 对应分析、因子分析、典型相关分析、多元方差分析等。
ˆ ˆ X ˆ f (X ) Y i i 0 1 i
称为样本回归函数（sample regression function，SRF） 将样本回归线看成总体回归线的近似替代
ˆ ˆ X e ˆ ˆi Yi Y i 0 1 i i
图 5-2
真实的与估计的回归直线
现代含义 回归分析是关于研究一个叫做因变量的变量与另一个或多个叫做解 释变量的变量的依赖关系，其用意在于通过后者(在重复抽样中)的已 知或设定值，去估计和(或)预测前者的(总体)均值.
回归分析
回归分析构成计量经济学的方法论基础，其主要内容包括： 1. 根据样本观察值对经济计量模型参数进行估计，求得回归方 程； 2. 对回归方程、参数估计值进行显著性检验； 3. 利用回归方程进行分析、评价及预测。
1. 不线性相关并不意味着不相关； 2. 有相关关系并不意味着一定有因果关系；
3. 回归分析/相关分析研究一个变量对另一个（些）变量的统计依赖 关系，但它们并不意味着一定有因果关系。
4. 相关分析对称地对待任何（两个）变量，两个变量都被看作是随 机的。回归分析对变量的处理方法存在不对称性，即区分应变量 （被解释变量）和自变量（解释变量）：前者是随机变量，后者 不是。
变量关系与研究方法
变量关系类型因变量-自变量依赖关系 变量相关关系解释和预测变量个数 多因变量和自变量 存在多重关系 路径分析 结构方程模型 数量型 多因变量和自变量 存在单一关系 因变量测量尺度 单一因变量 存在单一关系 因变量测量尺度
变量的结构关系
变量
因子分析 主成分分析 非数量型
样本
聚类分析 判别分析
回归分析
“回归”一词的历史渊源
回归一词最先由弗朗西斯· 高尔顿引入。在一篇著名的论文中，高尔 顿发现，虽然有一个趋势—父母高，儿女也高；父母矮，儿女也矮， 但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体 人口的平均身高。换言之，尽管父母都异常高或异常矮，但儿女的身 高却有走向人口总体平均身高的趋势。高尔顿的普遍回归定律还被他 的朋友长尔· 皮尔逊证实。皮尔逊曾收集过一些家庭群体的1000多名 成员的身高记录。他发现，对于一个父亲高的群体，儿辈的平均身高 低于他们父辈的身高，而对于一个父亲矮的群体，儿辈的平均身高则 高于其父辈的身高。这样就把高的和矮的儿辈身高一同“回归”到所 有男子的平均身高。用高尔顿的话说，这是“回归到中等”。
• 回归分析 • 主成分分析 • 因子分析 • 聚类分析 • 判别分析 • 对应分析 • 多维尺度分析
模型研究技术
• 结合分析 • 离散选择模型 • 多维偏好分析 • 结构方程模型 • 分类树 • 决策与预测模型
数据挖掘技术
• 分类 • 回归 • 聚类 • 关联 • 特征 • 变化和偏差 • Web信息挖掘
数据挖掘
④关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则， 即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现， 即隐藏在数据间的关联或相互关系。在客户关系管理中，通过对企业的 客户数据库里的大量数据进行挖掘，可以从大量的记录中发现有趣的关 联关系，找出影响市场营销效果的关键因素，为产品定位、定价与定制 客户群，客户寻求、细分与保持，市场营销与推销，营销风险评估和诈 骗预测等决策支持提供参考依据。 ⑤特征。特征分析是从数据库中的一组数据中提取出关于这些数据的特 征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户 流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征， 利用这些特征可以有效地预防客户的流失。 ⑥变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反 常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结 果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更 感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的 发现、分析、识别、评价和预警等方面。 ⑦Web页挖掘。随着Internet的迅速发展及Web 的全球普及， 使得 Web上的信息量无比丰富，通过对Web的挖掘，可以利用Web 的海量 数据进行分析，收集政治、经济、政策、科技、金融、各种市场、竞争 对手、供求信息、客户等有关的信息，集中精力分析和处理那些对企业 有重大或潜在重大影响的外部环境信息和内部经营信息，并根据分析结 果找出企业管理过程中出现的各种问题和可能引起危机的先兆，对这些 信息进行分析和处理，以便识别、分析、评价和管理危机。
回归与相关
与回归分析密切相关而在概念上则迥异的，是以测度两个变量之 间的线性关联力度为其主要目的的相关分析(correlation analysis) 。相关系数(correlation coefficient)就是用来测度这 种线性关联强度的。
例如，我们也许有兴趣去求吸烟与肺癌、统计学考分与数学 考分、中学成绩与大学成绩等等之间的相关(系数)。
数据挖掘
数据挖掘（Data Mining）就是从大量的、不完全的、有噪 声的、模糊的、随机的实际应用数据中，提取隐含在其中的、 人们事先不知道的、但又是潜在有用的信息和知识的过程。 这个定义包括好几层含义：数据源必须是真实的、大量的、 含噪声的；发现的是用户感兴趣的知识；发现的知识要可接 受、可理解、可运用；并不要求发现放之四海皆准的知识， 仅支持特定的发现问题。 与数据挖掘相近的同义词有数据融合、人工智能、商务 智能、模式识别、机器学习、知识发现、数据分析和决策支 持等。
图 5-2 真实的与估计的回归直线
注意分清以下 4 个式子的含义。 (1) yt = 0 + 1 xt + ut 表示真实的回归模型。 注意分清以下 4 个式子的含义。 ˆ + ˆ x(1) ˆ tt = y 0 + 1 xt + ut 表示真实的回归模型。 (2) yt = 表示估计的回归模型， 0 1 t+u
回归分析介绍

“μ”
随机误差项主要包括下列因素的影响： 1）在解释变量中被忽略的因素的影响； 2）变量观测值的观测误差的影响；
3）模型关系的设定误差的影响；
4）其它随机因素的影响。 产生并设计随机误差项的主要原因： 1）理论的含糊性； 2）数据的欠缺； 3）节省原则。

样本与总体
总体的信息往往无法掌握，现实的情况只能是在一次观测中 得到总体的一个样本。 根据样本描绘样本散点图 样本散点图近似于一条直线，画一条直线以尽好地拟合该散 点图，由于样本取自总体，可以该线近似地代表总体回归线。 该线称为样本回归线（sample regression lines）。 其函数形式为：
分为二元选择模型和多元选择模型，是因变量为离散变量的模型。
二元选择模型主要有：Probit模型、Logit模型、Extreme模型等 多元选择模型按照多重选择是否有顺序分为一般选择模型和排序选 择模型
结构关系
聚类分析是通过数据建模简化数据的一种方法。依据研究对 象（样品或指标）的特征，对其进行分类的方法，减少研究 对象的数目。 主成分分析（Principal components analysis，PCA）是 一种分析、简化数据集的技术。主成分分析经常用减少数据 集的维数，同时保持数据集的对方差贡献最大的特征。 多维尺度法是一种将多维空间的研究对象（样本或变量）简 化到低维空间进行定位、分析和归类，同时又保留对象间原 始关系的数据分析方法。 对应分析又称为相应分析，也称R—Q分析。是因子分子基础 发展起来的一种多元统计分析方法。它主要通过分析定性变 量构成的列联表来揭示变量之间的关系。
对象
变量测量尺度
非数量型
数量型
数量型
非数量型
自变量测量尺度
哑变量 典型相关分析
多维尺度分析 多元选择模型
二元选择模型
对应分析
数量型
非数量型
典型相关分析
多元方差分析
多重回归分析
结合分析
依赖关系
结构方程模型（Structural equation modeling, SEM）是一种 融合了因素分析和路径分析的多元统计技术。它的强势在于对多 变量间交互关系的定量研究。 典型相关分析（canonical correlation analysis）就是利用综 合变量对之间的相关关系来反映两组指标之间的整体相关性的多 元统计分析方法。 结合分析是一种专业技术，用于估测人们对一些能够详细定义某 种产品或服务的属性和特征的评价。 离散选择模型
回归分析关心的是根据解释变量的已知或给定值，考察被解释 变量的总体均值，即当解释变量取某个确定值时，与之统计相关 的被解释变量所有可能出现的对应值的平均值。
步骤
确定研究 对象 画变量散 点图
收集数据
设定、估 计方程
检验方 程—统计
检验方 程—计量
分析回归 参数
预测
变量间的关系