均衡m×2交叉验证方法

中文摘要
估计统计模型的期望预测误差是统计机器学习的核心任务之一。

期望预测误差估计的好坏对后续的模型选择问题、不同模型预测误差差异的显著性检验问题以及变量选择问题均有着显著的影响。

为了找到一个优良的估计，研究者们提出了大量的估计方法，例如，ＭＤＬ方法，交叉验证方法，Ｂｏｏｔｓｔｒａｐ方法以及它的改进．６３２Ｂｏｏｔｓｔｒａｐ方法。

其中，交叉验证是一种最常用的泛化误差估计方法。

本文主要针对统计机器学习分类问题，对已有交叉验证方法的优缺点进行了分析和总结，并在此基础上对交叉验证方法进行了改进。

对于组块３×２交叉验证来说，它虽然具有折数低、对数据集切分均匀、实验次数少等特点，但是５×２交叉验证、１０×２交叉验证对于分类问题也同样具有不错的效果，而且对于分组２折交叉验证的方法，随着实验次数的增加会一定程度上提高实验结果。

但是如何解决实验性能与实验开销间的矛盾，如何确定合理的实验次数一直都是机器学习领域的难题，为此我们尝试对组块３×２交叉验证进行了改进和推广，提出均衡７×２交叉验证和均衡１１×２交叉验证，并在此基础上总结出更一般化的均衡ｍｘ２交叉验证（ＢＣＶ。

，），Ｉ
同时给出了其具体构造方法。

我们推荐使用均衡ｍｘ２交叉验证方法来确定实验次数，以此来提高实验效果，并且通过理论分析和模拟实验佐证了我们的设想。

对于分类学习中的模型选择任务，我们同样应用均衡ｍｘ２交叉验证方法。

综合考虑均衡ｍＸ２交叉验证模型选择方法的各种影响因素，可以判断运用ｍ×２交叉验证进行模型选择效果要优于常用的５折、１０折交叉验证。

我们通过模拟实验支持了以上判断，并且从理论上证明了均衡ｍｘ２交叉验证同样具有选择一致性。

因此，可以说明均衡ｍ×２交叉验证是一种更适合分类问题的模型选择方法。

关键词：交叉验证；均衡ｒｅｘ２交叉验证；模型选择；
第四章均衡Ｉｎ×２交叉验证的模型选择研究
证明：设４和嚷为候选分类器，不是一般性设西渐进优于嘎。

因为样本为独立同分布的，Ｔ＃ｏ与Ｌ．独立，其中＂ｇｘｏ为数据最初排列。

于是有
Ｅ（Ｋ‘１∑：。

ｒ．ｊ）＝Ｅｒ．ｏ＝Ｐ（他（匹）＜硒（疋））
由定理…可得
Ｅ（壶∑２，∑ｋ）２哦
ｊｅ（Ｘ。

１∑：，ｒ．ｊ）－－》１
易知
ｏ≤Ｅ（Ｋ叫∑：ｌ易，）≤ｌ
综上可得
Ｅ（Ｋ一∑：，％，）与１
故推论得证。

·
４．３均衡ｍ×２交叉验证的模型选择方法
模型选择致力于从候选模型集中选出最能反应数据真实规律的模型，同时又最大程度的避免数据中噪声因素的干扰。

在具体操作中，常常通过估计各个模型的性能的优劣而选出最优的模型。

具体过程如下：
给定训练数据ＤⅣ，样本量为Ｎ。

设％。

为候选模型集合，Ｓｏ表示真模型。

则从ｓ肌中选出使得某评价指标达到最优的模型ｓ‘的过程称为模型选择，即
Ｓ‘＝ａｒｇ咖＇ｎ｛ｃｒｉｔ（Ｓ：巩）｝（４．１）其中ｃｒｉｔ（Ｓ：ＤⅣ）＝ｃｒｉｔ（Ｓ）∈Ｒ是对模型Ｓ性能的某种评价标准，比如风险函数。

通过均衡ｍ×２交叉验证来估计泛化误差，并以此作为模型性能度量指标，并根据不同模型泛化误差的大小进行模型选择。

均衡ｍ×２交叉验证模型选择方法为：根据２．８式计算每个候选模型的ｃ圪。

：值，从ｅｐ选择ｃｖ．。

：值最小的模型作为卑优模型。

４．４实验
４．４．１实验一常见交叉验证方差比较
参照文献协３模拟实验的设置，产生５００个样本，重复１０００００次模拟实验得到分类回归树（ＣＡＲＴ）模型下泛化误差的５种交叉验证估计的真实方差。

由表ｌ的实验结果可以看出均衡ｍｘ２交叉验证的真实方差明显小于标准５折、１０折交叉验证。

另外，相对于组块３×２交叉验证来说，由于重复次数增多，均衡７×２交叉验证和均衡。