多元回归分析——估计

(3.2)的例子类似于工资方程。其零条件均值的 假定为E(u︱expend,avginc)=0，它意味着，影 响学生考试成绩的因素——学校或学生的个 人特征——总体上与学生的平均开支和平均 家庭收入无关。 在 (3.4)中的二次消费函数，对零条件均值假 定的解释则略有不同。直接照写， (3.5)就变 成了E(u︱inc,inc2)=0。因为一旦知道了inc，那 就会知道inc2，所以在预期表达式中包括inc2 项是多此一举：E(u︱inc,inc2)=0等价于E(u︱ inc)=0。虽然在表述这个假定时让inc2和inc一 起出现在预期项中并没有错，但E(u︱inc)=0更 简明扼要。

在(3.1) 中，这个假定是E(u︱educ,exper)=0。 意味着，影响wage的其他因素都与educ和exper 无关。因此，如果我们认为天生能力是u的一部 分，那我们就需要假定，对工人总体中受教育和 工作经历的各种组合，其平均能力水平都相同。 这可能正确也可能不正确，但我们将看到，这正 是为了判断普通最小二乘法是否导致无偏估计量 而需要知道的问题。
cons 1 2 2 inc inc
换句话说，收入对消费的边际效应取决于β2、 β1和收入水平。这个例子表明，在任何一个特 定应用中，对自变量的定义都是至关重要的
在含有两个自变量的模型中，u与x1和x2如何 相关的关键假定是，E(u︱x1, x2)=0 ……(3.5) 意味着，对总体中x1和x2的任何值，非观测因 素的平均都等于零。 如何解释前面例子中条件均值为零的假定：
问题 用定罪概率(prbconv)和宣判监禁的平均时间长 度(avgsen)来解释城市谋杀率(murdrate)的一个 简单模型： murdrate=β0+β1prbconv +β2 avgsen+u u中包含了一些什么因素？你认为关键假定(3.5) 有可能成立吗？ 因素包括了年龄和性别分布、警力规模(或更 一般地，投入到与犯罪做斗争的资源)、人口 和一般历史因素。这些因素当然有可能与 prbconv和avgsen相关，这时就意味着(3.5)不成 立。比如，某些在预防犯罪和执法方面投入较 多气力的城市，其警力规模可能与prbconv和 avgsen都相关。
使用多元回归的动因
先用两个例子来说明，如何用多元回归分析来 解决简单回归所不能解决的问题。 wage =β 0+β 1educ+β 2exper+u ……(3.1) 其中exper是在劳动市场上以年计的工作经 历。 则工资wage由受教育水平和工作经历这两个解 释变量或自变量及那些观测不到的其他因素来 决定。我们首要感兴趣的，是在保持所有其他 影响工资的因素不变情况下，educ对wage的影 响；即我们只对参数β 1感兴趣。
前面两个例子已经说明，除主要关心的变量外， 如何把其他的可观测因素也包括在回归模型中。 一般地，我们可以把含有两个自变量的模型写 作 y=β0+β1 x1+β2 x2+u ……(3.3) 其中，β0是截距，β1度量了在其他条件不变 情况下y相对x1的变化，而β2 则度量了在其 他条件不变情况下y相对x2的变化
多元回归与简单回归的相似点
0 仍然是截距 1 到 k 都成为斜率参数
u 仍然是误差项（或称扰动项） 仍然需要做一个条件期望为0的假设，现在假 设：E(u|x1,x2, …,xk) = 0 仍然最小化残差的平方和，所以现在有k+1 个 一阶条件
课堂问题
设想CEO的薪水(salary)与企业的销售量和CEO在 这个企业的任期相关：log(salary)=β0+β1 log(sales)+β2 ceoten+β3 ceoten2 +u ……(3.7)

定义y= log(salary)，x1= log(sales)，x2= ceoten和x3= ceoten2，得一多元回归模型(k=3)。试解释参数。
参数β1是(其他条件不变情况下)薪水对销售量的 弹性。如果β3=0，那么在其他条件不变情况下， 100β2就表示ceoten增加一年导致salary提高的百 分数。当β3≠0时，ceoten对salary的影响则复杂一ຫໍສະໝຸດ Baidu些。
多元回归分析模型
y = 0 + 1x1 + 2x2 + . . . kxk + u
yi 0 1 xi1 2 xi 2 k xik i y1 1 x11 x1k 0 1 , x , , y y 1 x x nk n n1 k n y x
一般的多元线性回归模型(multiple linear regression model，也称为多元回归模型)在总 体中可以写成 y=β0+β1 x1+β2 x2+β3 x3+…+βk xk +u ……(3.6)

其中β0为截距(intercept)，β1是与x1相联系的 参数，β2是与x2相联系的参数，等等。由于有k个 自变量和一个截距项，所以方程(3.6)包含了k+1 个(未知的)总体参数。为了表达上的简便，把这 种不同于截距的参数称为斜率参数(slope parameter)，尽管它们并不一定表示斜率。[如方 程(3.4)，其中β1和β2本身都不是斜率，但它们 一起决定了消费与收入之关系的斜率。]
多元回归的术语类似于简单回归的术语。恰如 简单回归中一样，变量u表示误差项(error term) 或干扰项(disturbance)。它包括除x1，x2， x3，…，xk之外仍影响y的一些因素。无论在我 们的模型中包含了多少个解释变量，总有一些 因素我们无法包括进来，而所有这些因素就包 括在u中。 多元线性回归模型中的“线性”一词，意味着 方程(3.6)是其诸参数βj的一个线性函数。多元 线性回归的许多运用中都涉及到主要变量之间 的非线性关系。
第二个例子
问题：解释在高中阶段对每个学生的平均开支 (expend)对平均标准化考试成绩(avgscore)的影响。 假设平均考试成绩取决于学校基金、平均家庭 收入(avginc)及其他不可观测因素：


avgscore=β 0+β 1expend+β 2avginc+u ………… (3.2) 出于政策目的，所关心的系数是expend在其他条件 不变情况下对avgscore的影响β 1。通过在模型中明 确包括avginc，我们就能控制其对avgscore的影响。 由于平均家庭收入与每个学生的开支趋于相关，所 以加入这个变量可能很重要。简单回归中，avginc 被包括在误差项中，而avginc与expend可能相关，从 而导致在两变量模型中对β1的OLS估计有偏误。
ˆ ˆ ˆ ( yi 0 1 xi 1 k xik ) 0
i 1 n
n
ˆ ˆ ˆ xi 1 ( yi 0 1 xi 1 k xik ) 0
i 1 n
ˆ ˆ ˆ xi 2 ( yi 0 1 xi 1 k xik ) 0
机械地看，用普通最小二乘法去估计方 程(3.1)和(3.4) ，应该没有什么差别。每个 方程都可以写成像(3.3)那样的方程。但重 要的差别在于，人们对参数的解释。
(3.1)中，β1是educ在其他条件不变情况下对 wage的影响。而方程(3.4)中的参数β1则没有这 样的解释。换句话说，度量inc在保持inc2不变 的情况下对cons的影响是毫无意义的，如果inc 变化，则inc2也一定会变化！相反，相对收入变 化的消费变化——即边际消费倾向——可近似为：
i 1
ˆ ˆ ˆ xik ( yi 0 1 xi 1 k xik ) 0 (3.13)
i 1 n
多元回归分析——估计
模型 与简单回归的相似点 多元回归的意义 多元回归的最小二乘法 多元回归的代数性质 多元回归的统计性质 遗漏变量 拟合度 多重共线性
引子
使用简单的回归分析，可以把因变量y解释成一 个自变量x的函数。然而在实际的经验研究中使 用简单回归分析的主要缺陷是，它很难得到x在 其他条件不变情况下对y的影响：因为关键假定 SLR.3（所有其他影响y的因素都与x不相关）通 常都不现实。 很自然，如果我们在模型中多增加一些有助于 解释y的因素，那么，y的变动就能更多地得到 解释。因此，多元回归分析可用于建立更好的 因变量预测模型。
多元回归模型的关键假定
关键假定用条件预期的形式可以表示为 E(u︱x1,x2, … , xk)=0……(3.8) (3.8)要求不可观测的误差项中所有的因素都与 解释变量无关。它还意味着，已经正确地表述 了被解释变量和解释变量之间的函数关系。 任何一个导致u与某个自变量相关的问题，都 会导致(3.8)式不成立。假定条件(3.8)式还表明 OLS是无偏的，而如果方程中省略了一个关键 变量，所得到的结论便会产生偏误。
含有K个自变量的模型
一旦开始多元回归，没有必要局限于两个自变 量。多元回归分析允许多个可观测因素影响y。 在上述工资的例子中，我们还可以包括在职 培训的数量、现任工作的任期、个人能力的 某种度量，甚至是像兄弟姐妹的个数或母亲 受教育程度等人口变量。 在学校基金的例子中，额外的变量可能包括 对教师质量和学校规模的某种度量。
多元回归分析对推广变量之间的函数关系也有 帮助。例如：假设家庭消费(cons)是家庭收入 (inc)的一个二次函数： cons=β0+β1inc+β2inc2+u ……(3.4) 其中u包括了影响消费的其他因素，在这个模 型中，消费只取决于收入这一个观测变量； 所以看上去，一个简单的回归分析就可以对 付。但简单回归不能处理这个模型，因为它 包括了收入的两个函数inc和inc2（因此就有 三个参数β0、β1和β2）。尽管如此，通过 令x1=inc和x2=inc2，消费函数还是可以很容 易地写成一个含两个自变量的回归模型。
普通最小二乘法的操作和解释
即将解决的问题：将普通最小二乘法用于一个 特定的数据集时，在计算和代数上会有些什么 特征及讨论如何解释所估计的方程。 如何得到OLS估计值？ 先考虑对含有两个自变量模型的估计。被估 计的OLS方程在形式上与简单回归情况下的 方程相似：
ˆ ˆ ˆ ˆ y 0 1 x1 2 x2
多元回归分析(multiple regression analysis)允许我 们明确地控制许多其他也同时影响因变量的因素， 所以它更适合于其他条件不变情况下的分析。在 使用非实验数据的情况下，这对检验经济理论和 评价经济政策都很重要。多元回归模型能够容纳 许多可能相关的解释变量，在简单回归分析可能 误导的情况下，可以寄希望于多元回归模型来推 断因果关系。 多元回归分析的另外一个优点是，它可以用以添 加相当一般化的函数关系。在简单的回归模型中， 方程中只能出现单一个解释变量的一个函数。如 我们将看到的那样，多元回归模型的灵活性则大 得多。
与仅联系wage和educ的简单回归分析相比，方程 (3.1)有效地把exper从误差项中取出并把它明确地 放到方程之中。所以系数β2度量了exper在其他条 件不变情况下对工资的影响，这点也有意义。 就像在简单回归中一样，我们将不得不对(3.1)中 的u如何与自变量educ和exper相关做出假定。但 像我们在第3.2节中将看到的那样，有一点我们 充满信心：因为(3.1)中明确地包含了工作经历， 所以我们就能在保持工作经历不变的情况下，度 量教育对工资的影响。如果将工作经历放到误差 项的简单回归分析中，我们就不得不假定工作经 历与受教育水平无关，显然这是一个脆弱的假定。