非参数回归模型与半参数回归模型Word版
金融计量经济第九讲无参数与半参数模型
一、无参数回归模型
• 设随机变量Y是被解释变量，p维向量X是解释 变量，它既可以是确定性的也可以是随机性的。 在无参数模型中，Y相对于X的回归函数可写成：
m( x ) = E (Y | X = x ) (6.1)
• （6.1）可以看成是条件回归函数，也就是X=x 时，用m(x)来表示Y的均值。如果x取不同的样 m 本（n组）， (x) 实际上就是一个n维向量。 n {( X i , Yi )}下， • 无参数回归模型就是要在给定样本 i =1 m(x) 得到条件回归函数 （向量）的一个估计向 ˆ m( x ) 量 。
ቤተ መጻሕፍቲ ባይዱ
无参数回归模型的一般形式
• 一般的无参数模型可写成
Yi = m( X i ) + ε i
i = 1, L , n (6.2)
{ε i }in=1是相互独立、均值为0、方差为 • 其中
的序列 （白噪声）。 • 无参数回归模型的估计方法有三大类，一 是权函数方法，二是最小二乘估计，三是 稳健估计 ，权函数方法是最常用的一种。
n ~ g ( Z) = ∑ Wni (Z)Yi = ∑ Wni (Z)( y i − X i β * ) * i =1 i =1 n
由前面方法我们已知，W的求法与X、Y无关。
g * ( Z ) ，代入最初的模型，有： • 根据得到的
yi = X i β + g * ( Z i ) + u * i
金融计量经济第六讲
无参数与半参数模型
传统的参数函数模型与无参数模型的区别
• 传统的参数函数模型首先根据经济理论和样本数 据设定模型具体的函数关系 (如线性\对数线性等)， 再利用样本数据估计关系参数并检验所设定的关 系 ，这是我们前面几块内容。实际上，参数函数 模型最关键的技术是如何求参数估计值（方法、 效果检验）； • 无参数模型对变量之间具体的函数关系 没有要求， 解释变量和被解释变量的分布也很少限制，回归 的终极目的也不是为了求一个“好的”参数估计 值，而是直接求被解释变量的样本函数值。 • 简单地说，无参数估计实际上是一种特殊的加权 平均。
非参数回归模型资料
非参数回归模型非参数回归模型非参数回归模型也叫多元回归模型，它是一种脱离于混沌理论的多条路段分析方法。
它是对当前路段和几条相邻路段的交通流信息对当前路段进行交通流预测的单条路段分析的扩展。
它不需要先验知识，只需要有足够的历史数据即可。
它的原理是：在历史数据库中寻找与当前点相似的近邻，并根据这些近邻来预测下一时间段的流量。
该算法认为系统所有的因素之间的内在联系都蕴含在历史数据中，因此直接从历史数据中得到信息而不是为历史数据建立一个近似模型。
非参数回归最为一种无参数、可移植、预测精度高的算法，它的误差比较小，且误差分布情况良好。
尤其通过对搜索算法和参数调整规则的改进，使其可以真正达到实时交通流预测的要求。
并且这种方法便于操作实施，能够应用于复杂环境，可在不同的路段上方便地进行预测。
能够满足路网上不同路段的预测，避免路段位置和环境对预测的影响。
随着数据挖掘技术左键得到人们的认可和国内外学者的大量相关研究，使得非参数回归技术在短时交通流预测领域得到广泛应用。
非参数回归的回归函数()X g Y =的估计值()X g n 一般表示为：()()∑==n i i i i n Y X W X g 1其中，Y 为以为广策随机变量；X 为m 维随机变量；（Xi,Yi ）为第i 次观测值，i=1,...,n ；Wi(Xi)为权函数.非参数回归就是对g(X)的形状不加任何限制，即对g （X ）一无所知的情况下，利用观测值（Xi,Yi ），对指定的X 值去估计Y 值。
由于其不需要对系统建立精确的数学模型，因此比较适合对事变的、非线性的系统进行预测，符合对城市交通流的预测，同时可以与历史平均模型实现优缺点的互补。
K 近邻法Friedman 于1977年提出了K 近邻法。
其并不是让所有的数据都参与预测，而是以数据点到X 点的距离为基础，甲醛是只有离X 最近的K 个数据被用来估计相应的g(X)值。
可以引入欧式空间距离d ，然后按这个距离将X1，X2，...,Xn 与X 接近的程度重新排序：Xk1,...,Xkn,取权值如下：Wki(X:X1,...,Xn)=ki,i=1,..,n将与X 最近的前K 个观测值占有最大的权K=1，其余的观测值赋予权值k=0.最终得到应用于短时交通流预测的K 近邻法可表示为：()()()()K t V t V g t V K i i ∑=+==+111 其中，K 为所选取最邻近元素的个数，取值大小依赖于数据。
(整理)第七章非参数回归模型与半参数回归模型
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
非参数回归的介绍
非参数回归的介绍非参数回归是一种机器学习方法，用于建立数据之间的关系模型，而不依赖于预设模型的形式。
与传统的线性回归相比，非参数回归不对模型的形状施加任何限制，而是根据数据本身的分布情况来估计模型。
这使得非参数回归能够更好地适应各种类型的数据，包括非线性、非正态分布等等。
非参数回归的核心思想是基于样本数据的分布情况来估计目标函数。
传统的线性回归假设目标函数是线性的，并且通过最小二乘法来拟合数据和估计参数。
然而，这种假设可能无法满足真实世界中复杂的非线性关系，因此非参数回归通过灵活的模型拟合方法来解决这个问题。
在非参数回归中，我们通常使用核函数来逼近目标函数。
核函数是一个局部加权回归方法，它将目标函数估计为一些核函数在样本点附近的加权线性组合。
核函数的具体形式可以是高斯核、三角核、Epanechnikov核等。
这些核函数都有一个特点，即在样本点附近有较高的权重，而在样本点远离的地方权重则较低。
另一个非参数回归的优点是它不需要预先假设数据的分布。
线性回归通常假设数据是正态分布的，但在现实中往往无法满足这个假设。
非参数回归可以通过直接根据数据本身的分布情况进行估计，而不需要预设模型的形式。
这使得非参数回归更对真实数据的特点进行建模。
非参数回归还经常用于探索性数据分析和模型评估。
通过非参数回归，我们可以揭示变量之间的复杂关系，获得对目标函数的更深入的理解。
此外，在模型评估中，非参数回归可以用作基准模型，以便与其他模型进行比较和评估。
然而，非参数回归也存在一些局限性。
首先，非参数回归可能需要大量的计算资源，特别是对于大规模的数据集来说。
由于没有预设模型的形式，非参数回归需要在整个数据集上进行计算以估计模型参数，这在计算上是非常昂贵的。
此外，由于非参数回归没有对模型进行约束，可能容易出现过拟合问题。
为了解决这些问题，可以采取一些方法来提高非参数回归的性能。
一种方法是将非参数回归与其他技术结合使用，例如局部加权回归、岭回归等。
非参数回归的介绍
X
x
xn x
Y1 Y 2 Y Y n
20
局部回归
得到加权最小二乘估计
L P E T 1 T ˆ ˆ m ( xX ) ( xX ) ( X W X ) X W Y h x x xxx xx
s i
s i 1
G-M估计是卷积形式的估计，P-C估计可看成G-M估计的近似: 当K连续 x (si1, si )
P C ˆ( ˆ m x ) Y ( s s )( K x xm ) ( x ) i i i 1h h i 1 G M h n
12
局部回归
核估计存在边界效应，边界点的估计偏差较大, 以N-W估计为例，如下图
i 1
n
ii
tr(L) 为有效自由度
8
光滑参数的选取
其他标准 (1)直接插入法(Direct Plug-In , DPI) (2)罚函数法(penalizing function)
(3)单边交叉验证(One Sided Cross Validation，OSCV) (4)拇指规则(Rule Of Thumb)
使上式最小化可以得到系数的估计120得到加权最小二乘估计1可以看到局部线性回归的渐近方差和nw估计相同而渐近偏差却比nw回归小说明局部线性多项式可以减少边界效应局部线性估计由于nw估计21局部多项式光滑可以很好的减少边界效应22检验函数doppler函数2123使用gcv选取最优带宽h0017权函数为tricube核函数24使用gcv选取最优带宽h0017权函数为tricube核函数253
非参数回归简介
A brief introduction to nonparametric regression
非参数回归分析
非参数回归分析非参数回归分析是一种无需对数据分布做出假设的统计方法，它通过学习数据的内在结构来建立模型。
与传统的参数回归分析相比，非参数回归分析更加灵活，适用于各种复杂的数据分布。
本文将介绍非参数回归分析的基本原理和应用场景，并通过实例来说明其实际应用。
一、非参数回归分析的原理非参数回归分析是通过将目标变量与自变量之间的关系建模为一个未知的、非线性的函数形式，并通过样本数据来估计这个函数。
与参数回归分析不同的是，非参数回归模型不需要表示目标变量与自变量之间的具体函数形式，而是通过样本数据来学习函数的结构和特征。
在非参数回归分析中，最常用的方法是核密度估计和局部加权回归。
核密度估计使用核函数对数据进行平滑处理，从而得到目标变量在不同自变量取值处的概率密度估计。
局部加权回归则是通过在拟合过程中给予靠近目标变量较近的样本点更大的权重，从而对目标变量与自变量之间的关系进行拟合。
二、非参数回归分析的应用场景1. 数据分布未知或复杂的情况下，非参数回归分析可以灵活地适应不同的数据分布，从而得到较为准确的模型。
2. 非线性关系的建模，非参数回归分析可以对目标变量与自变量之间的非线性关系进行拟合，从而获得更准确的预测结果。
3. 数据量较小或样本信息有限的情况下，非参数回归分析不需要对数据分布做出假设，并且可以通过样本数据来学习模型的结构，因此对数据量较小的情况下也具有一定的优势。
三、非参数回归分析的实际应用为了更好地理解非参数回归分析的实际应用，以下通过一个实例来说明。
假设我们有一组汽车销售数据，包括了汽车的价格和其对应的里程数。
我们希望通过这些数据预测汽车的价格与里程数之间的关系。
首先，我们可以使用核密度估计方法来估计汽车价格与里程数之间的概率密度关系。
通过对价格和里程数进行核密度估计，我们可以得到一个二维概率密度图，显示了不同价格和里程数组合的概率密度。
接下来，我们可以使用局部加权回归方法来拟合汽车价格与里程数之间的关系。
非参数回归方法
非参数回归方法非参数回归是一种灵活的建模技术，它不依赖于对数据分布的假设，因此适用于各种类型的数据分析问题。
本文将介绍非参数回归的基本原理和常用方法，包括局部线性回归、核回归和样条回归等。
1. 非参数回归的基本原理非参数回归可以看作是对自变量与因变量之间的关系进行拟合的过程，而不需要对关系的具体形式进行假设。
与参数回归不同，非参数回归方法不直接对某个函数形式进行建模，而是通过对数据进行适当的拟合，从中获取自变量与因变量之间的关系。
2. 局部线性回归局部线性回归是一种常用的非参数回归方法，它假设在自变量附近的小区域内，自变量与因变量之间的关系可以近似为线性关系。
具体而言，局部线性回归通过在每个数据点附近拟合一个线性模型来进行预测。
这种方法可以有效地捕捉到数据的非线性关系。
3. 核回归核回归是另一种常见的非参数回归方法，它利用核函数对自变量进行加权来进行拟合。
核函数通常具有类似正态分布的形状，在自变量附近的数据点被赋予更大的权重，而离自变量远的数据点则被赋予较小的权重。
核回归可以灵活地适应不同的数据分布和关系形式。
4. 样条回归样条回归是一种基于样条函数的非参数回归方法，它将自变量的取值范围划分为若干个区间，并在每个区间内拟合一个多项式函数。
样条函数的拟合可以采用不同的方法，例如样条插值和样条平滑等。
样条回归能够更精确地捕捉到数据中的非线性关系。
5. 非参数回归的优势和应用领域与参数回归相比，非参数回归具有更高的灵活性和鲁棒性。
非参数回归方法不依赖于对数据分布和关系形式的假设，适用于各种类型的数据分析问题。
非参数回归广泛应用于经济学、统计学、金融学等领域，用于探索变量之间的关系、预测未知观测值等。
结论非参数回归方法是一种适用于各种类型数据分析问题的灵活建模技术。
本文介绍了非参数回归的基本原理和常用方法，包括局部线性回归、核回归和样条回归等。
非参数回归方法能够更准确地捕捉数据中的非线性关系，具有更高的适应性和鲁棒性。
非参数回归模型及半参数回归模型
非参数回归模型及半参数回归模型非参数回归模型是一种可以适应任意数据分布的回归方法。
在非参数回归中，不对模型的具体形式进行假设，而是利用样本数据去估计未知的函数形式。
这个函数形式可以用其中一种核函数进行近似，通过核函数的变换，使得样本点在空间中有一定的波动，从而将研究对象与有关因素的关系表达出来。
常见的非参数回归模型有局部加权回归（LOESS）和核回归模型。
局部加权回归是一种常见的非参数回归方法。
它通过给样本中的每个点分配不同的权重来拟合回归曲线。
每个点的权重根据其距离目标点的远近来确定，越近的点权重越大，越远的点权重越小。
这种方法在回归分析中可以较好地处理非线性关系和异方差性问题。
核回归模型是另一种常见的非参数回归方法。
它基于核函数的变换，通过将样本点的权重表示为核函数在目标点的取值，来拟合回归曲线。
核函数通常具有对称性和非负性的特点，常用的核函数有高斯核、Epanechikov核和三角核等。
核回归模型在处理非线性关系和异方差性问题时也具有较好的性能。
相比之下，半参数回归模型是在非参数回归的基础上引入一些参数的回归模型。
它假设一些参数具有一定的形式，并利用样本数据进行估计。
半参数模型可以更好地描述数据之间的关系，同时也可以提供关于参数的统计推断。
半参数回归模型有很多不同的形式，其中一个常见的半参数回归模型是广义加性模型（GAM）。
广义加性模型是通过将各个变量的函数关系进行加总，构建整体的回归模型。
这些函数关系可以是线性的也可以是非线性的，可以是参数化的也可以是非参数化的。
广义加性模型在回归分析中可以同时考虑到线性和非线性关系，广泛应用于各个领域。
在实际应用中，选择使用非参数回归模型还是半参数回归模型需要根据具体情况来决定。
非参数回归模型适用于对数据分布没有先验假设，并且希望对数据进行较为灵活的建模的情况。
半参数回归模型适用于对一些参数有一定假设的情况，可以更好地描述数据之间的关系，并提供统计推断的信息。
用R语言做非参数和半参数回归笔记.docx
由詹鹏整理 ,仅供交流和学习根据南京财经大学统计系孙瑞博副教授的课件修改 ,在此感谢孙老师的辛勤付出！教材为：Luke Keele: Semiparametric Regression for the Social Sciences. John Wiley & Sons, Ltd. 2008.-------------------------------------------------------------------------第一章 introduction: Global versus Local Statistic一、主要参考书目及说明1、Hardle(1994). Applied Nonparametic Regresstion. 较早的经典书2、Hardle etc (2004). Nonparametric and semiparametric models: an introduction. Springer. 结构清晰3、Li and Racine(2007). Nonparametric econometrics: Theory and Practice. Princeton. 较全面和深入的介绍 ,偏难4、Pagan and Ullah (1999). Nonparametric Econometrics. 经典5、Yatchew(2003). Semiparametric Regression for the Applied Econometrician. 例子不错6、高铁梅（2009）. 计量经济分析方法与建模：EVIEWS应用及实例（第二版）. 清华大学出版社. （P127/143）7、李雪松（2008）. 高级计量经济学. 中国社会科学出版社. （P45 ch3）8、陈强（2010）. 高级计量经济学及Stata应用. 高教出版社. （ch23/24）【其他参看原ppt第一章】二、内容简介方法：——移动平均（moving average）——核光滑（Kernel smoothing）——K近邻光滑（K-NN）——局部多项式回归（Local Polynormal）——Loesss and Lowess——样条光滑（Smoothing Spline）——B-spline——Friedman Supersmoother模型：——非参数密度估计——非参数回归模型——非参数回归模型——时间序列的半参数模型——Panel data 的半参数模型——Quantile Regression三、不同的模型形式1、线性模型linear models2、Nonlinear in variables3、Nonlinear in parameters四、数据转换 Power transformation（对参数方法）In the GLM framework, models are equally prone(倾向于) to some misspecification （不规范） from an incorrect functional form.It would be prudent（谨慎的） to test that the effect of any independent variable of a model does not have a nonlinear effect. If it does have a nonlinear effect, analysts in the social science usually rely on Power Transformations to address nonlinearity.[ADD: 检验方法见Sanford Weisberg. Applied Linear Regression (Third Edition). A John Wiley & Sons, Inc., Publication.（本科的应用回归分析课教材）]----------------------------------------------------------------------------第二章Nonparametric Density Estimation非参数密度估计一、三种方法1、直方图 Hiatogram2、Kernel density estimate3、K nearest-neighbors estimate二、Histogram 对直方图的一个数值解释Suppose x1,…xN – f(x), the density function f(x) is unknown.One can use the following function to estimate f(x)【与x的距离小于h的所有点的个数】三、Kernel density estimateBandwidth: h; Window width: 2h.1、Kernel function的条件The kernel function K(.) is a continuous function, symmetric(对称的) around zero, that integrates(积分) to unity and satisfies additional bounded conditions:(1) K() is symmetric around 0 and is continuous;(2) ,,;(3) Either(a) K(z)=0 if |z|>=z0 for z0Or(b) |z|K(z) à0 as;(4) , where is a constant.2、主要函数形式3、置信区间其中 ,4、窗宽的选择实际应用中 ,。
第六章 非线性回归模型
第六章 非线性回归模型经济模型本来就存在许多非线性形式，我们在引言与第一章就曾经处理过“可以线性化的非线性模型”，即经过简单函数变换后可以化为一元或多元线性回归模型的非线性回归模型。
但是在一般情况下，非线性模型难以精确地线性化，这就需要予以特别的考虑。
一般的非线性回归模型可以表示为()εβ+=,X f Y（6.0.1）这里X 是可观察的独立随机变量，β是待估的参数向量，Y 是独立观察变量，它的均值依赖于X 与β，ε是随机误差。
函数形式f （• ）是已知的。
Cobb-Douglas 生产函数是非线性回归模型的典型例子：εββ+=21K aL Q（6.0.2）这里Q 是经济部门的产出，L 是劳动力投入，K 是资本投入，待估参数是α，β1与β2。
定 义Y=Q ，X ′=(L,K)，β=(α，β1,β2)′，以及()2111,βββK aL X f =，则Cobb-Douglas 生产函数就可以写为(6.0.1)的形式。
另一个例子是消费函数εβββ++=321Y C（6.0.3）这里Y 是居民收入，C 是居民消费。
其中参数β3的估计问题就很有必要。
如果贸然假定β3=1，那就是线性函数了，可是实际资料也许会否定β3=1。
有些经济模型到底能不能线性化，取决于误差项的假定。
例如Cobb-Douglas 生产函数，如果将误差假定为与函数部分相乘，即εββe K aL Q 21=（6.0.4）则取对数后可以线性化：εββα+++=K L Q ln ln ln ln 21（6.0.5）另一方面，有些线性回归模型也可以视为非线性问题，例如广义最小二乘问题()()ψ==+=2 ,0 ,σεεεβVar E X Y（6.0.6）的极大似然估计就可以被看作非线性问题。
本章就讨论这些非线性回归模型的性质与计算问题，涉及到一些大样本理论，介绍了非线性强度度量的几何意义。
作为特别的非线性回归模型，重点是介绍了增长曲线模型与失效率模型。
第27章非参数与半参数估计
区 间 半 径 h 定 义 了 “ 在 x0 附 近 邻 域 的 大 小 ” ，称为“带宽” (bandwidth)。 2h 称为“窗宽”(window width)。
5
直方图得不到光滑的密度估计，根本原因在于使用示性函数作 为“权重函数”(weighting function)，以及各组间不允许交叠。 核密度估计法使用更一般的权重函数，并允许各组之间交叠。 核密度估计量为
1.3510
(1 z ) 1( z 1)
—
1.7188
3 (1 z 2 ) 1( z 1) 4 15 (1 z 2 ) 2 1( z 1) 16
9
2.0362
或双权核(biweight) 三权核(Triweight) 三三核(Tricubic) 高 斯 核 (Gaussian Normal) or
ˆ (x ) f HIST 0
i11( x0 h xi x0 h)
n
n
1 n 1 1 nh i 1 2
2h xi x0 1 h
ˆ ( x ) 对于区间 ( x h, x h) 内的观测值给予相同权重，而区间 f HIST 0 0 0 外的观测值权重为 0。
8
表 27.1 常用的核函数 核函数名称 核函数的数学形式 均匀核 (uniform or rectangular) 三角核 (triangular or Bartlett) 伊 番 科 尼 可 夫 核 (Epanechnikov) 或二次核(quadratic) 四次核(quartic)
1 1( z 1) 2
2
27.2 对密度函数的非参数估计 考虑根据样本数据来推断总体的分布，即密度函数。 如用参数估计法，则先对总体分布的具体形式进行假定。 比如，假设总体服从正态分布 N ( , 2 ) ，然后估计参数 ( , 2 ) 。 如果真实总体与正态分布相去甚远，则统计推断有较大偏差。 如不假设总体分布的具体形式，则为非参数方法。 最原始的非参数方法是画直方图，即将数据的取值范围等分为 若干组，计算数据落入每组的频率，以此画图，作为对密度函数 的估计。
非参数回归模型与半参数回归模型讲解
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
非参数半参数模型
即使解决了原点问题，直方图仍然有缺点
区间内每个点有相同的密度 估计的密度函数不连续
解决方法：核密度估计
没有原点问题 最优带宽得到了较好的解决 收敛速度更快
由直方图到核密度估计
直方图
n
1 区间长度
#{落入某个包含x的小区间内的观察值}
直方图
随机样本：x1,x2,…,xn 直方图的构造
确定原点x0，将数轴分割为宽度为h的区间(bin)
Bj [x0 ( j 1)h, x0 jh], j
数出落在每个区间的观察值个数，记为nj
用nj除以n，再除以h，得到
f
j
nj nh
对每个区间，绘制高为fj ，宽为h的柱形图
其中，2 (K ) s2K (s)ds
Var{
fˆh
(x)}
1 nh
K
2 2
f (x) o 1 nh
其中，K 2 K 2 (s)ds 2
nh
f(t)
核密度估计的均方误差
MSE{ fˆh (x)}
h4 4
f
(
x)2
2
(K
)2
1 nh
K
guassian epanechnikov triangular rectangular
1.0
Kernel Density With Different Kernel Function
guassian epanechnikov triangular rectangular
1.0
0.8
0.8
0.6
Density
半参数模型估计方法概述
半参数模型估计方法概述半参数回归模型,是由Engle etal(1986)在研究天气变化与供电需求之间的关系时引入的,是20世纪80年代以来发展起来的一种重要的统计模型。
主要介绍了两类半参数回归模型:线性半参数回归模型和非线性半参数回归模型。
概述了目前两类半参数回归模型常见的估计方法,这其中主要包括补偿最小二乘估计、核光滑估计,虚拟观测法等。
标签：线性半参数回归模型;非线性半参数回归模型;补偿最小二乘估计;正则核估计;虚拟观测法1 线性半参数模型的估计方法概述线性半参数模型的一般向量形式为:Y=Xβ+S+ε(1)其中Y表示为n维观测向量,Y=(Y1,Y2,…,Y n)T;X为n×p维列满秩设计矩阵,X=(X1,X2,…,X n)T,rank(X)=p;β为p维参数向量,β=(β1,β2,…,βp)T;ε为n维偶然误差向量,εN(0,∑),ε=(ε1,ε2,…,εn);S表示描述系统误差的n维非参数向量,S=(S1,S2,…,S n)T。
1.1 补偿最小二乘估计法对于线性半参数回归模型,将上式改写成观测方程:Y+V=Xβ+S(2)得出V=Xβ+S-Y,将此带入V TPV+αJ(S)=min化简整理为(Xβ+S-Y)TP(Xβ+S-Y)+αS TRS=min(3)由此可以按照求极值方法求解,即满足:(X,I)βS-Y TP(X,I)βS-Y+αβT,S T000R(β,S)=min(4)则法方程为:X TPXX TP PXP+αRβS=X TPX PY(5)从而有X TPXβ+X TPS=X TPY,PXβ+(P+αR)S=PY,由此可以得到=(X TPX)-1X TPY-(X TPX)-1X TPS(6)=(P+αR-PX(X TPX)-1X TP)-1(PY-PX(X TPX)-1X TPY)(7)补偿最小二乘法的关键是如何确定光滑因子α和正则矩阵R,对于α的选择方法可由交叉核实法CV以及L-曲线法等方法确定。
非参数回归模型与半参数回归模型
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
第27章 非参数回归
mcycle=read.table("mcycle.txt",header=T) mcycle X=mcycle[,1] Y=mcycle[,2] plot(X,Y) 注意：与Python不同，R序号 是从1开始的。
设想，如果所有的x值都只对应一个y的观测值，结果如何？ 相当于把所有点连接起来。
缺点：导致估计量的方差过大，意味着估计误差过大。
改进办法：邻域平均。就是说，某个x只对应一个y观测值， 但可以把该x附近的点取平均。
如何界定附近呢？用带宽h，0附近的y点进行加权平均，越近的权重 越大，越远的权数越小。
参数回归：传统的回归分析时，一般都假设具体的回归函 数形式（比如线性、平方项、交互项、对数等），然后估 计其中的参数，故称为 “参数回归”（parametric regression）。
关键点：函数已知，参数待定
参数回归的优点：回归结果可以外延（比如用于预测）
参数回归的不足：但我们通常并不知道，这些参数模型是 否 “设定正确”（correctly specified），而一旦误设就 会导致 “设定误差”（specification errors）。
另有一种说法：回归形式一旦固定，就比较呆板，往往拟 合效果较差。
为此，不设定具体函数形式的 “非参数回归”（不设定
函数形式，当然也就不需要估计参数了）应运而生，并因 其稳健性而得到日益广泛的应用。在某种意义上，非参数 回归在实证研究者的工具箱中，正从早期的奢侈品而渐渐 成为必需品。
考虑以下非参数一元回归模型：
其中， m( ) 是未知函数(连函数形式也未知)。 如何估计m(x)呢？ 对于每一个i,i=1,2,3……n，分别估计m(xi) ，从而得 到对回归函数m(x)的估计。
第七章非参数回归模型与半参数回归模型
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
非参数回归(非参数统计,西南财大)
第十二章非参数回归及其相关问题第一节参数回归问题的回顾在线性回归模型中，我们总是假定总体回归函数是线性的，即多元线性回归模型一般形式为：总体回归函数<PRF）但是，经验和理论都证明，当不是线性函数时，基于最小二乘的回归效果不好，非参数回归就是在对的形式不作任何假定的前提下研究估计。
b5E2RGbCAP例设二维随机变量，其密度函数为，求.解：从例可知，仅与有关，条件期望表明Y与X在条件期望的意义下相关。
由样本均值估计总体均值的思想出发，假设样本，，…，中有相当恰好等于，，不妨记为，，…，，自然可取相应的的样本，，…，，用他们的平均数去估计。
可是在实际问题中，一般不会有很多的值恰好等于。
这个估计式，仿佛是一个加权平均数，对于所有的，如果等于，则赋予的权，如果不等于，则赋予零权。
由此可启发我们在思路上产生了一个飞跃。
即对于任一个，用的加权和去估计，即，其中，估计。
问题是如何赋权，一种合乎逻辑的方法是，等于或靠非常近的那些，相应的权大一些，反之小权或零权。
p1EanqFDPw两种模式：设上的随机变量，为的次观测值。
实际应用中，为非随机的，依条件独立，在理论上非参数回归中既可以是非随机的，也可以是随机的。
而参数回归分析中，我们总是假定为非随机的。
DXDiTa9E3d 根据的不同非参数回归有两种模式。
1、为随机时的非参数回归模型设，，为的随机样本。
存在没个未知的实值函数，使得一般记为这里，，如果，则2、为非随机时的非参数回归模型由于在实际中，研究者或实验者一般可以控制X或预先指定X，这时X可能不再是随机变量，例如年龄与收入之间的关系中年龄为固定时，收入的分布是已知的，不存在X为随机变量时，估计的问题。
RTCrpUDGiT设，，为的随机样本设的随机变量，为的次独立观测值，则，，。
第二节一元非参数回归核估计方法一、核估计(一> Nadaraya-Watson估计核权函数是最重要的一种权函数。
为了说明核函数估计，我们回忆二维密度估计(1>而(2>在这个密度函数估计中，核函数必须相等，光滑参数可以不等，光滑参数不等时，有将<2）代入<1）的分子，得令，则又由有对称性，则，，得1式的分子为分子＝分母＝可以看出对的估计，是密度函数估计的一种自然推广，一般也称为权函数估计其中可以看出权函数完全由确定，其取值与X的分布有关，称为N-W估计。
第27章-非参数与半参数估计
© 陈强,《高级计量经济学及Stata 应用》课件，第二版，2014 年，高等教育出版社。
第 27 章非参数与半参数估计27.1 为什么需要非参数与半参数估计“参数估计法”(parametric estimation)假设总体服从带未知参数的某个分布(比如正态)，或具体的回归函数，然后估计这些参数。
其缺点是，对模型设定所作的假定较强，可能导致较大的设定误差，不够稳健。
1“非参数估计法”(nonparametric estimation)一般不对模型的具体分布或函数形式作任何假定，更为稳健。
缺点是要求样本容量较大，且估计量收敛的速度较慢。
作为折衷，同时包含参数部分与非参数部分的“半参数方法” (semiparametric estimation)，降低对样本容量的要求，又有一定稳健性。
非参及半参方法与传统的参数法互补；后者不太适用时，可考虑前者。
227.2 对密度函数的非参数估计考虑根据样本数据来推断总体的分布，即密度函数。
如用参数估计法，则先对总体分布的具体形式进行假定。
比如，假设总体服从正态分布N (μ, σ2)，然后估计参数(μ, σ2 )。
如果真实总体与正态分布相去甚远，则统计推断有较大偏差。
如不假设总体分布的具体形式，则为非参数方法。
最原始的非参数方法是画直方图，即将数据的取值范围等分为若干组，计算数据落入每组的频率，以此画图，作为对密度函数的估计。
3直方图的缺点是，即使随机变量连续，直方图始终是不连续的阶梯函数。
为得到对密度函数的光滑估计，Rosenblatt(1956)提出“核密度估计法”(kernel density estimation)。
首先考察直方图的数学本质。
假设要估计连续型随机变量x 在x0处的概率密度f (x)。
概率密度f (x0 )是累积分布函数F (x)在x处的导数：f (x) = limh→0F (x+h) -F (x2h-h)= lim P(x0-h < x <x0+h)h→0 2h45x i - x 0 h f (x nh 2对于样本{x 1, x 2 , , x n }，用数据落入区间(x 0 - h , x 0 + h )的频率来 估计概率P(x 0 - h < x < x 0 + h ) ，得到直方图估计量：ˆ HIST= 1 2hn1 ⋅ ⎧< ⎫∑ 1 ⎨ 1⎬ i =1 ⎩ ⎭f ˆ(x ) 对于区间(x - h , x + h )内的观测值给予相同权重，而区间HIST外的观测值权重为 0。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第七章 非参数回归模型与半参数回归模型第一节 非参数回归与权函数法一、非参数回归概念前面介绍的回归模型，无论是线性回归还是非线性回归，其回归函数形式都是已知的，只是其中参数待定，所以可称为参数回归。
参数回归的最大优点是回归结果可以外延，但其缺点也不可忽视，就是回归形式一旦固定，就比较呆板，往往拟合效果较差。
另一类回归，非参数回归，则与参数回归正好相反。
它的回归函数形式是不确定的，其结果外延困难，但拟合效果却比较好。
设Y 是一维观测随机向量，X 是m 维随机自变量。
在第四章我们曾引进过条件期望作回归函数，即称g (X ) = E (Y |X ) （7.1.1）为Y 对X 的回归函数。
我们证明了这样的回归函数可使误差平方和最小，即22)]([min )]|([X L Y E X Y E Y E L-=-（7.1.2）这里L 是关于X 的一切函数类。
当然，如果限定L 是线性函数类，那么g (X )就是线性回归函数了。
细心的读者会在这里立即提出一个问题。
既然对拟合函数类L (X )没有任何限制，那么可以使误差平方和等于0。
实际上，你只要作一条折线(曲面)通过所有观测点(Y i ，X i )就可以了是的，对拟合函数类不作任何限制是完全没有意义的。
正象世界上没有绝对的自由一样，我们实际上从来就没有说放弃对L(X)的一切限制。
在下面要研究的具体非参数回归方法，不管是核函数法，最近邻法，样条法，小波法，实际都有参数选择问题(比如窗宽选择，平滑参数选择)。
所以我们知道，参数回归与非参数回归的区分是相对的。
用一个多项式去拟合(Y i ，X i )，属于参数回归；用多个低次多项式去分段拟合(Y i ，X i )，叫样条回归，属于非参数回归。
二、权函数方法非参数回归的基本方法有核函数法，最近邻函数法，样条函数法，小波函数法。
这些方法尽管起源不一样，数学形式相距甚远，但都可以视为关于Y i 的线性组合的某种权函数。
也就是说，回归函数g (X )的估计g n (X )总可以表为下述形式：∑==ni i i n Y X W X g 1)()(（7.1.3）其中｛W i (X )｝称为权函数。
这个表达式表明，g n (X )总是Y i 的线性组合，一个Y i 对应个W i 。
不过W i 与X i 倒没有对应关系，W i 如何生成，也许不仅与X i 有关，而且可能与全体的｛X i ｝或部分的｛X i ｝有关，要视具体函数而定，所以W i (X )写得更仔细一点应该是W i (X ；X 1，…,X n )。
这个权函数形式实际也包括了线性回归。
如果i i i X Y εβ+'=，则Y X X X X X ii '''='-1)(ˆβ，也是Y i 的线性组合。
在一般实际问题中，权函数都满足下述条件：1),,;(,0),,;(111=≥∑=n ni i n i X X X W X X X W（7.1.4）如果考虑在第五章介绍的配方回归与评估模型曾有类似条件，不妨称之为配方条件，并称满足配方条件的权函数为概率权。
下面我们结合具体回归函数看权函数的具体形式。
1．核函数法选定R m 空间上的核函数K ，一般取概率密度。
如果取正交多项式则可能不满足配方条件。
然后令∑=⎪⎪⎭⎫⎝⎛-⎪⎪⎭⎫ ⎝⎛-=n i n in in i a X X aX X K X X X W 11/),,;( （7.1.5）显然∑==ni iW11。
此时回归函数就是i ni nj n i n i n i i i Y a X X K a X X K Y X W X g Y ∑∑∑===⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛-===111)()(（7.1.6）2．最近邻函数法首先引进一个距离函数，用来衡量R m 空间中两点u = (u 1，…，u m ) 和v = (v 1，…，v m ) 的距离‖u -v ‖。
可以选欧氏距离∑=-=-ni i iuu 122)(||||υυ，也可以选||||max ||||1i i ni u u υυ-=-≤≤。
为了反映各分量的重要程度，可以引进权因子C 1，…,C n ，使｛C i ｝也满足配方条件。
然后将距离函数改进为∑=-=-ni i i i u C u 122)(||||υυ（7.1.7） ||max |||12i i i ni u C u υυ-=-≤≤（7.1.8）现在设有了样本(Y i ，X i )，i =1,…,n ，并指定空间中之任一点X ，我们来估计回归函数在该点的值g (X )。
将X 1，…，X n 按在所选距离‖·‖意义下与X 接近的程度排序：||||||||||||21X X X X X X n k k k -<<-<-（7.1.9）这表示点1k X 与X 距离最近，就赋以权函数k 1；与X 距离次近的2k X 就赋予权函数k 2。
…，等等。
这里的n 个权函数k 1,…,k n 也满足配方条件，并且按从大到小排序，即∑==>≥≥≥ni i n k k k k 1211 ,0（7.1.10）就是n i k X X X W i n k i ,,1 ,),,;(1 ==（7.1.11）若在｛‖X i -X ‖, i =1,…,n ｝中有相等的，可将这n 个相等的应该赋有的权取平均。
比如若前两名相等，‖X 1-X ‖=‖X 2-X ‖, 就令W 1 = W 2=)(2121k k +。
这样最近邻回归函数就是∑∑∑=======ni ni ni i i i i i n i Y X k Y k Y X X X W X g Y 1111)(),,;()(（7.1.12）k i 尽管是n 个常数，事先已选好，但到底排列次序如何与X 有关，故可记为k i (X )。
三、权函数估计的矩相合性首先解释矩相合性的概念。
如果对样本 (Y i ，X i )，i =1,…,n 构造了权函数W i = W i (X )=W I (X ;X 1,…,X n )，有了回归函数g (X )的权函数估计∑==ni ii n YW X g 1)(，当Y 的r 阶矩存在(E |Y |r <∞)时，若0|)()(|lim =-∞→r n n X g X g E（7.1.13）则称这样的权函数为矩相合的权函数。
在什么样的条件下构造的权函数是矩相合的呢? Stone(1977)提出了很一般的，几乎是充分必要的条件。
下面我们考虑其充分性条件，并限于考虑概率权。
定理7.1.1 设概率权｛W i ｝满足下述条件： (1)存在有限常数C ，使对R m 上任何非负可测函数(连续函数与分段连续函数是最常见的可测函数)f , 必有)()(1X CEf X f W E n i i i ≤⎪⎭⎫⎝⎛∑= （7.1.14）(2)∀ε>0, 当n →∞时，01)||(||−→−∑=≥-Pni X X i i IW ε（7.1.15）(3)当n →∞时，0max 1−→−≤≤Pi ni W （7.1.16）则｛W i ｝是矩相合的权函数。
定理条件可以作一些直观解释。
条件(1)可以作如下理解，因为权函数是概率权，必有|W i |<1，i =1,…,n 。
于是∑∑∑∑=====≤≤⎪⎭⎫⎝⎛n i n i ni i i i i n i i i X f E X f E X f W E X f W E 1111)()()()(（7.1.17）这里取的是C =1。
因此条件(1)可以说不叫做一个条件。
条件(2)是说，与X 的距离超过一定值的那些X i ，对应算出来的权函数之和很小，也就是说，权函数的值主要取决于那些与X 邻近的X i 的值。
这个条件合理。
条件(3)是说，当n 越来越大时，各个权系数将越来越小，这也是合理的要求。
在证明本定理之前，先证两个引理。
引理7.1.1 设概率权函数｛W i ｝适合定理7.1.1的条件(1)及(2)，又对某个r , E |f (X )|r <∞，则0)()()(lim 1=⎪⎭⎫⎝⎛-∑=∞→r i n i i n X f X f X W E （7.1.18）证明 先设f 在R m 上有界且一致连续，则任给η>0，存在ε>0，当‖u -v ‖≤ε时，|f (u )-f (v )|≤(η/2)1/r 。
于是εη>-==∑∑+≤-)(||11)()2(2)()()(X X ni irrini ii IX W M X f Xf X W （7.1.19）其中)(sup X f M X=，此处X 表示具体取值。
由条件(2)，上式右边第二项依概率收敛于0且不大于1。
依控制收敛定理有0)(lim 1)(||=⎪⎭⎫⎝⎛∑=>-∞→n i X X i n i I X W E ε （7.1.20）故存在n 0，使当n ≥n 0时，有2)(1)(||ηε≤⎪⎭⎫ ⎝⎛∑=>-n i X X i i I X W E（7.1.21）因此当n ≥n 0时，有η≤⎪⎭⎫⎝⎛-∑=n i r i i X f X f X W E 1|)()(|)(（7.1.22）于是对这种一致连续的f ，引理得证。
证毕对一般的函数f ，取一个在R m 上连续，且在一有界域之外为0的函数f ~，使∞<2)(~X f E ，且η<-r X f X f E )(~)(，这里η是事先指定的。
因为⎭⎬⎫⎪⎭⎫ ⎝⎛-+⎪⎭⎫ ⎝⎛-+⎩⎨⎧⎪⎭⎫ ⎝⎛-≤⎪⎭⎫ ⎝⎛-∑∑∑∑===-=r ni i r i i ni i r i ni i r r i n i i X f X f X W E X f X f X W E X f X f X W X f X f X W E |)()(~|)(|)()(~|)( |)(~)(|)(3)()()(11111 （7.1.23）右边括号里第三项等于η<-r X f X f E )()(~；第一项根据条件(1)不超过ηC X f X f CE r <-)()(~；因为f ~在R m 上有界且一致连续，由前面已证结果知当n →∞时，第二项将趋于0。
因此η)1(3|)()(|)(lim 11+≤⎪⎭⎫⎝⎛--=∞→∑C X f X f X W E r r i n i i n （7.1.24） η是任意的，故引理得证。
证毕引理7.1.2 设｛W i ｝为满足定理7.1.1三个条件的概率权，函数f 非负且∞<)(X Ef ，则0)()(lim 12=⎪⎭⎫⎝⎛∑=∞→i n i i n X f X W E （7.1.25）证明 定义一组新的概率权函数2i i W W ='，由于0≤W i ≤1, 故0≤i W '≤1。