加权最小二乘

异方差的概念
在讲到加权最小二乘法的时候需要引入一个重要的概 念——异方差。那么什么是异方差呢？ 对于模型
Yi 0 1 X ii 2 X 2i k X ki i
如果出现 2 Var (i ) i 即对于不同的样本点，随机误差项的方差不再 是常数，而互不相同，则认为出现了异方差性 (Heteroskedasticity)。
• 标准的线性回归模型中，假设所研究总体中方差恒定， 即因变量的变异不随其自身预测值或其他自变量值得变 化而变动。 • 但在有的研究问题中，这一假设可能被违反，可能是因 变量的变异随其自身数值增大而增大，也可能是随其他 变量值而改变。例如：以地区为观察单位调查某种疾病 的发生率，由于率的标准差本身就和样本量有关，显然 该地区的人数越多，所得到的发生率就会越稳定，即变 异度越低。在这些情况下，如果采用普通最小二乘法（ OLS）来分析，可能产生偏差，如果能够根据变异的大 小对相应数据给予不同的权重，在拟合时对变异较小的 测量值赋予较大权重，则能够提高模型的精度。
• 除方差波动外，还有一种情况是根据分析目的人为照顾 某些样本数据，这最常见于实验室研究中绘制标准曲线 的问题。由于标准曲线所涉及的浓度范围一般较宽，而 样品测试的绝对误差往往又随浓度的增大而增大，如果 以普通OLS加以拟合，必然会导致标准曲线在高浓度区 域内精确度较高，而在低浓度区域内准确性明显下降。 而标准曲线更重视的相对误差而不是绝对误差，而不同 浓度区域内的相对误差和绝对误差往往不成比例，如浓 度在100ng/ml时，5ng/ml的误差仅使其相对误差达到 5%；而当浓度为1ng/ml时，相对误差则达到了500% 。显然为了保证曲线精度，必须要在拟合时对低浓度数 据给予较高的权重。
实际问题的异方差性
• 在实际经济问题中，随机扰动项往往是异方差的，但主要在截 面数据分析中出现。
加权最小二乘法的基本思想
• 加权最小二乘法是对原模型加权，使之变成一个新的不存在异方 差性的模型，然后采用OLS估计其参数。
异方差Biblioteka Baidu类型
• • 同方差：i2 = 常数 f(Xi) 异方差： i2 = f(Xi)（注：方差与x有关）
异方差一般可归结为三种类型： (1)单调递增型： i2随X的增大而增大 (2)单调递减型： i2随X的增大而减小 (3)复 杂 型： i2与X的变化呈复杂形式
异方差产生原因
1、模型中缺少某些解释变量（即自变量）；从而干 扰项产生系统模式。 2、样本数据观测误差；随着数据采集技术的改进， 干扰项的方差可能减少。 3、模型设置不正确。 4、经济结构发生了变化，但模型参数没作相应调整 。比如按照边错边改学习模型，人们在学习的过 程中，其行为误差随时间而减少。 5、异常值的出现也会产生。异常值可以通过查看图 形或检查原始数据找到。
加权最小二乘法 （ Weighted Least Squares ，WLS）
许琼琼
线性回归的衍生模型之WLS
如前介绍线性回归模型有自身的适用条件，线性、 正态性、独立性、方差齐性，但是，在实际分析项目中 往往不会服从以上假定，此时就需要对数据进行变换使 之符合模型需求，或者对模型加以改进使之能够处理相 应数据，总之这是一个模型和数据相互适应的双向的过 程。 今天我们讨论的是线性回归衍生模型中重要又常见 的一种情况——加权最小二乘法(WLS)。 那么什么情况下应用这种模型呢？