一种快速的Wrapper式特征子集选择新方法
机器学习数据挖掘：特征选择之wrapperapproach
机器学习数据挖掘：特征选择之wrapperapproach
在前面简要介绍了特征选择的Filter方法，由于Filter方法还有很多，在此不能一一介绍。
Filter方法从原始特征中选择特征子集，用于后续的机器学习算法。
由于Filter在特征选择时，没有考虑到所用的机器学习算法模型，可能会导致选择出的特征子集不适合后续的学习算法从而影响性能（这里指准确率）。
因此，wrapper方法结合后续的机器学习算法，选择出能使最终的算法达到较高性能的特征子集。
wrapper算法如图所示：
可见，学习算法参与了特征子集性能的评估。
Wrapper方法寻找所有特征子集中能使后续学习算法达到较高性能的子集，在特征选择阶段，wrapper可以看做：搜索方法+学习算法。
如在下图中选择最优子集节点：
这里介绍下搜索方法，学习算法不再赘述。
1、爬山搜索方法：
该方法是一种贪心算法，该算法的主要思想是：每次拿相邻点与当前点进行对比，取两者中较优的作为爬山的下一步。
该方法具体又分为首选爬山法、最陡爬山法、模拟退火等。
详细参考博客爬山法
2、Best-first search
该方法如图所示：
搜索方法很多，在此不一一介绍，有兴趣的可以参考引文[1][2]
[1] JJeul, HWRISIICS: Intelligent Search Strategies for Computer problem
Sovling, Addision-Rsly, Readiny
[2]Wrappers for feature subset selection,Ron Kohavi a,*, George H. John b,l。
特征选择方法综述
控 制 与 决 策第 27 卷 第 2 期 V ol. 27 No. 22012 年 2 月Feb. 2012Control andDecision文章编号: 1001-0920 (2012) 02-0161-06特征选择方法综述姚 旭, 王晓丹, 张玉玺, 权 文(空军工程大学 计算机工程系，陕西 三原 713800)摘 要: 特征选择是模式识别的关键问题之一, 特征选择结果的好坏直接影响着分类器的分类精度和泛化性能. 首 先分析了特征选择方法的框架; 然后从搜索策略和评价准则两个角度对特征选择方法进行了分析和总结; 最后分析 了对特征选择的影响因素, 并指出了实际应用中需要解决的问题. 关键词: 特征选择；搜索策略；评价准则 中图分类号: TP391文献标识码: ASummary of feature selection algorithmsYAO Xu , WANG Xiao-dan , ZHANG Y u-xi , QUAN Wen(Department of Computer Engineering ，Air Force Engineering University ，Sanyuan 713800，China. Correspondent: Y AO Xu ，E-mail ：***************)Abstract: Feature selection is one of the key processes in pattern recognition. The accuracy and generalization capability of classifier are affected by the result of feature selection directly. Firstly, the framework of feature selection algorithm is analyzed. Then feature selection algorithm is classified and analyzed from two points which are searching strategy and evaluation criterion. Finally, the problem is given to solve real-world applications by analyzing infection factors in the feature selection technology.Key words: feature selection ；searching strategy ；evaluation criterion引言1 人[3] 从提高预测精度的角度定义特征选择是一个能 够增加分类精度, 或者在不降低分类精度的条件下 降低特征维数的过程; Koller 等人[4] 从分布的角度定 义特征选择为: 在保证结果类分布尽可能与原始数 据类分布相似的条件下, 选择尽可能小的特征子集; Dash 等人[5] 给出的定义是选择尽量小的特征子集, 并 满足不显著降低分类精度和不显著改变类分布两个 条件. 上述各种定义的出发点不同, 各有侧重点, 但是 目标都是寻找一个能够有效识别目标的最小特征子 集. 由文献 [2-5] 可知, 对特征选择的定义基本都是从 分类正确率以及类分布的角度考虑. Dash 等人[5] 给出 了特征选择的基本框架, 如图 1 所示.特征选择是从一组特征中挑选出一些最有效的 特征以降低特征空间维数的过程[1] , 是模式识别的关 键问题之一. 对于模式识别系统, 一个好的学习样本 是训练分类器的关键, 样本中是否含有不相关或冗余 信息直接影响着分类器的性能. 因此研究有效的特征 选择方法至关重要.本文分析讨论了目前常用的特征选择方法, 按照 搜索策略和评价准则的不同对特征选择方法进行了 分类和比较, 指出了目前特征选择方法及研究中存在 的问题. 目前, 虽然特征选择方法有很多, 但针对实际 问题的研究还存在很多不足, 如何针对特定问题给出 有效的方法仍是一个需要进一步解决的问题.特征选择的框架迄今为止, 已有很多学者从不同角度对特征选择进行过定义: Kira 等人[2] 定义理想情况下特征选择是 寻找必要的、足以识别目标的最小特征子集; John 等 2 图 1 特征选择的基本框架收稿日期: 2011-04-26；修回日期: 2011-07-12.基金项目: 国家自然科学基金项目(60975026).作者简介: 姚旭(1982−), 女, 博士生, 从事智能信息处理、机器学习等研究；王晓丹(1966−), 女, 教授, 博士生导师, 从事智能信息处理、机器学习等研究.由于子集搜索是一个比较费时的步骤, Y u 等 人[6]基于相关和冗余分析, 给出了另一种特征选择框 架, 避免了子集搜索, 可以高效快速地寻找最优子集. 框架如图 2 所示.间远远小于 (2N ).存在的问题: 具有较高的不确定性, 只有当总循 环次数较大时, 才可能找到较好的结果. 在随机搜索 策略中, 可能需对一些参数进行设置, 参数选择的合 适与否对最终结果的好坏起着很大的作用. 因此, 参 数选择是一个关键步骤.3.3 采用启发式搜索策略的特征选择方法这类特征选择方法主要有: 单独最优特征组合, 序列前向选择方法 (SFS), 广义序列前向选择方法 (GSFS), 序列后向选择方法 (SBS), 广义序列后向选择 方法 (GSBS), 增 l 去 选择方法, 广义增 l 去 选择方 法, 浮动搜索方法. 这类方法易于实现且快速, 它的搜 索空间是 (N 2 ). 一般认为采用浮动广义后向选择方 法 (FGSBS) 是较为有利于实际应用的一种特征选择 搜索策略, 它既考虑到特征之间的统计相关性, 又用 浮动方法保证算法运行的快速稳定性[13] . 存在的问 题是: 启发式搜索策略虽然效率高, 但是它以牺牲全 局最优为代价.每种搜索策略都有各自的优缺点, 在实际应用过 程中, 可以根据具体环境和准则函数来寻找一个最佳 的平衡点. 例如, 如果特征数较少, 可采用全局最优搜 索策略; 若不要求全局最优, 但要求计算速度快, 则可 采用启发式策略; 若需要高性能的子集, 而不介意计 算时间, 则可采用随机搜索策略.图 2 改进的特征选择框架从特征选择的基本框架可以看出, 特征选择方法中有 4 个基本步骤: 候选特征子集的生成 (搜索策 略)、评价准则、停止准则和验证方法[7-8] . 目前对特征 选择方法的研究主要集中于搜索策略和评价准则, 因 而, 本文从搜索策略和评价准则两个角度对特征选择 方法进行分类.基于搜索策略划分特征选择方法基本的搜索策略按照特征子集的形成过程可分 为以下 3 种: 全局最优、随机搜索和启发式搜索[9] . 一 个具体的搜索算法会采用两种或多种基本搜索策略, 例如遗传算法是一种随机搜索算法, 同时也是一种启 发式搜索算法. 下面对 3 种基本的搜索策略进行分析 比较.3.1 采用全局最优搜索策略的特征选择方法 迄今为止, 唯一得到最优结果的搜索方法是分支 定界法[10] . 这种算法能保证在事先确定优化特征子 集中特征数目的情况下, 找到相对于所设计的可分 性判据而言的最优子集. 它的搜索空间是 (2N ) (其 中 N 为特征的维数). 存在的问题: 很难确定优化特征 子集的数目; 满足单调性的可分性判据难以设计; 处 理高维多类问题时, 算法的时间复杂度较高. 因此, 虽 然全局最优搜索策略能得到最优解, 但因为诸多因素 限制, 无法被广泛应用.3.2 采用随机搜索策略的特征选择方法在计算过程中把特征选择问题与模拟退火算 法、禁忌搜索算法、遗传算法等, 或者仅仅是一个随 机重采样[11-12] 过程结合起来, 以概率推理和采样过程 作为算法的基础, 基于对分类估计的有效性, 在算法 运行中对每个特征赋予一定的权重; 然后根据用户所 定义的或自适应的阈值来对特征重要性进行评价. 当 特征所对应的权重超出了这个阈值, 它便被选中作为 重要的特征来训练分类器. Relief 系列算法即是一种 典型的根据权重选择特征的随机搜索方法, 它能有效 地去掉无关特征, 但不能去除冗余, 而且只能用于两 类分类. 随机方法可以细分为完全随机方法和概率随 机方法两种. 虽然搜索空间仍为 (2N ), 但是可以通 过设置最大迭代次数限制搜索空间小于 (2N ). 例如 遗传算法, 由于采用了启发式搜索策略, 它的搜索空3 基于评价准则划分特征选择方法特征选择方法依据是否独立于后续的学习算 法, 可分为过滤式 (Filter) 和封装式 (Wrapper)[14] 两种. Filter 与后续学习算法无关, 一般直接利用所有训练 数据的统计性能评估特征, 速度快, 但评估与后续学 习算法的性能偏差较大. Wrapper 利用后续学习算法 的训练准确率评估特征子集, 偏差小, 计算量大, 不适 合大数据集. 下面分别对 Filter 和 Wrapper 方法进行 分析.4.1 过滤式 (Filter) 评价策略的特征选择方法Filter 特征选择方法一般使用评价准则来增强特 征与类的相关性, 削减特征之间的相关性. 可将评价 函数分成 4 类[5] : 距离度量、信息度量、依赖性度量以 及一致性度量.4.1.1 距离度量 距离度量通常也认为是分离性、差异性或者辨4 识能力的度量. 最为常用的一些重要距离测度 有[1] 欧氏距离、 阶 Minkowski 测度、Chebychev 距离、平 方距离等. 两类分类问题中, 对于特征 X 和 Y , 如果 由 X 引起的两类条件概率差异性大于 Y , 则 X 优于 Y . 因为特征选择的目的是找到使两类尽可能分离的姚 旭 等: 特征选择方法综述 第2 期 163特征. 如果差异性为 0, 则 X 与 Y 是不可区分的. 算法 Relief [2] 及其变种 ReliefF [15] , 分支定界 和 BFF [16] 等都 是基于距离度量的. 准则函数要求满足单调性, 也可 通过引进近似单调的概念放松单调性的标准. 蔡哲元 等人[17] 提出了基于核空间的距离度量, 有效地提高了 小样本与线性不可分数据集上的特征选择能力. 4.1.2 信息度量信息度量通常采用信息增益 (IG) 或互信息 (MI) 衡量. 信息增益定义为先验不确定性与期望的后验不 确定性之间的差异, 它能有效地选出关键特征, 剔除 无关特征[18] . 互信息描述的是两个随机变量之间相 互依存关系的强弱. 信息度量函数 (f ) 在 Filter 特征 选择方法中起着重要的作用. 尽管 (f ) 有多种不同 形式, 但是目的是相同的, 即使得所选择的特征子集 与类别的相关性最大, 子集中特征之间的相关性最小. 刘华文[19] 给出了一种泛化的信息标准, 准则如下:互信息的评价准则, 具体函数如下:1 ∑(f ) = (C ; f ) −(; f ), (4)∣∣s ∈S 其中 ∣∣ 表示已选特征的个数. 该算法的思想就是最 大化特征子集和类别的相关性, 同时最小化特征之间 的冗余. Peng 用这种方法将多变量联合概率密度估计 问题转化为多重二变量概率密度估计, 解决了一大难 题. Ding 等人[23] 还给出了此算法的一种变种形式, 将 准则函数中的减法改为除法, 即(C ; f )(f ) = .(5)1 ∑ s ∈S (; f )∣∣4) FCBF (fast correlation-based filter)[6] 是基于相 互关系度量给出的一种算法. 对于线性随机变量, 用 相关系数分析特征与类别、特征间的相互关系. 对于 非线性随机变量, 采用对称不确定性 (SU) 来度量. 对 于两个非线性随机变量 X 和 Y , 它们的相互关系可表 示为(f ) = α ⋅ (, , ) − . (1) [ (X ∣Y )]其中: C 为类别, f 为候选特征, 为已选择的特征, 函数 (, , ) 为 , , 之间的信息量; α 为调控系数,δ 为惩罚因子. 下面就此信息标准的泛化形式与几个 现有选择算法中的信息度量标准之间的关系进行讨 论:1) BIF (best individual feature)[20] 是一种最简单最 直接的特征选择方法. 它的评价函数为B (, Y ) = 2 .(6) (X ) + (Y ) 其中: (X ) 与 (Y ) 为信息熵, (X ∣Y ) 为信息增益. 该算法的基本思想是根据所定义的 C - 相关 (特征与类别的相互关系) 和 - 相关 (特征之间的相互关 系), 从原始特征集合中去除 C - 相关值小于给定阈值 的特征, 再对剩余的特征进行冗余分析.5) CMIM (conditional mutual information maxi-mization). 有些特征选择方法利用条件互信息来评价特征的重要性程度, 即在已知已选特征集 的情况下通过候选特征 f 与类别 C 的依赖程度来确定 f 的重要性, 其中条件互信息 (C ; f ∣) 值越大, f 能提供的新信息越多. 因为 (C ; f ∣) 计算费用较高, 且样本的多维性导致了其估值不准确, Fleuret [24] 在提出的条件互信息最大化选择算法 CMIM 中采取一种变 通的方式, 即使用单个已选特征 来代替整个已选子集 以估算 (C ; f ∣), 其中 是使 (C ; f ∣) 值最大的 已选特征. CMIM 的评价函数为(2) (f ) = (C ; f ),其中 ( ) 为互信息, (C ; f ) 为类别 C 与候选特征 f 之间的互信息. 它的基本思想是对于每一个候选特征 f 计算评价函数 (f ), 并按评价函数值降序排列, 取 前 k 个作为所选择的特征子集. 这种方法简单快速, 尤其适合于高维数据. 但是它没有考虑到所选特征间 的相关性, 会带来较大的冗余.2) MIFS (mutual information feature selection) 为 基于上述算法的缺点, 由 Battiti [21] 给出的一种使用候 选特征 f 与单个已选特征 相关性对 f 进行惩罚的方 法, 其评价函数为(f ) = arg min (C ; f∣).(7) s ∈S(f ) = (C ; f ) − β ∑(;(3)除以上几种信息度量和算法外, 针对存在的问 题, 研究者们提出了新的评价函数和算法. Kwak 等 人[25] 指出 MIFS 算法中评价函数 ( ) 的惩罚因子并 不能准确地表达冗余程度的增长量, 给出了 MIFS- U (MIFS-uncertainty) 算法; 与 MIFS 算法类似, MIFS- U 算法中参数 β 的取值将影响选择算法的性能. 为 了解决该问题, Novovicova 等人[26] 提出了 MIFS-U 的 一种改进算法 mMIFS-U (modified version of MIFS-U), 算法中将 f 与 中单个已选特征相关程度最大的 作 为它们之间的冗余程度; 为了解决对称不确定性可能s ∈S其中 β 为调节系数, 当 β ∈ [0.5, 1] 时, 算法性能较好. 3) mRMR (minimal-redundancy and maximal-relevance) [22] 方法. 从理论上分析了 mRMR 等价于 最大依赖性, 并分析了三者的关系. 基于最大依赖性, 可通过计算不同特征子集与类别的互信息来选取最 优子集. 但是, 在高维空间中, 估计多维概率密度是一 个难点. 另一个缺点是计算速度非常慢. 所以本文从 与其等价的最小冗余和最大相关出发, 给出一种基于提供一些错误或不确定信息, Qu 等人[27] 利用决策依赖相关性来精确度量特征f与间的依赖程度, 提出了DDC (decision dependent correlation) 算法. 它们的思想都是一致的, 只是评价函数的表达形式不同. 刘华文[19] 还提出了一种基于动态互信息的特征选择方法. 随着已选特征数的增加, 类别的不确定性也逐渐降低, 无法识别的样本数也越来越少. 因此, 已识别的样本会给特征带来干扰信息, 可采用动态互信息作为评价标准, 在特征选择过程中不断地删除已识别的样本, 使得评价标准在未识别样本上动态估值.基于信息的度量是近年来的一个研究热点, 出现了大量基于信息熵的特征选择方法, 如文献[28-31] 等. 因为信息熵理论不要求假定数据分布是已知的, 能够以量化的形式度量特征间的不确定程度, 并且能有效地度量特征间的非线性关系. 因此, 信息度量被广泛应用, 并且也通过试验证明了其性能[32-34] . 以上基于信息度量的评价准则虽然形式不同, 但是核心思想都是找出与类别相关性最大的特征子集, 并且该子集中特征之间的相关性最小. 设计体现这一思想的函数是至关重要的.4.1.3 依赖性度量有许多统计相关系数, 如Pearson 相关系数、概率误差、Fisher 分数、线性可判定分析、最小平方回归误差[35] 、平方关联系数[36] 、-test 和F-Statistic 等被用来表达特征相对于类别可分离性间的重要性程度. 例如, Ding[23] 和Peng[22] 在mRMR 中处理连续特征时, 分别使用F-Statistic 和Pearson 相关系数度量特征与类别和已选特征间的相关性程度. Hall[37] 给出一种既考虑了特征的类区分能力, 同时又考虑特征间冗余性的相关性度量标准. Zhang 等人[38] 使用成对约束即must-link 约束和cannot-link 约束计算特征的权重, 其中must-link 约束表示两个样本离得很近, 而cannot-link 表示样本间离得足够远.在依赖性度量中, Hilbert-Schmidt 依赖性准则(HSIC) 可作为一个评价准则度量特征与类别的相关性. 核心思想是一个好的特征应该最大化这个相关性. 特征选择问题可以看成组合最优化问题性准则用不一致率来度量, 它不是最大化类的可分离性, 而是试图保留原始特征的辨识能力, 即找到与全集有同样区分类别能力的最小子集. 它具有单调、快速、去除冗余和不相关特征、处理噪声等优点, 能获得一个较小的特征子集. 但其对噪声数据敏感, 且只适合离散特征. 典型算法有Focus[41] , LVF[42] 等. 文献[43-44] 给出了基于不一致度量的算法.上面分析了Filter 方法中的一些准则函数, 选择合适的准则函数将会得到较好的分类结果. 但Filter 方法也存在很多问题: 它并不能保证选择出一个优化特征子集, 尤其是当特征和分类器息息相关时. 因而, 即使能找到一个满足条件的优化子集, 它的规模也会比较庞大, 会包含一些明显的噪声特征. 但是它的一个明显优势在于可以很快地排除很大数量的非关键性的噪声特征, 缩小优化特征子集搜索的规模, 计算效率高, 通用性好, 可用作特征的预筛选器.4.2 封装式(Wrapper) 评价策略的特征选择方法除了上述4 种准则, 分类错误率也是一种衡量所选特征子集优劣的度量标准. Wrapper 模型将特征选择算法作为学习算法的一个组成部分, 并且直接使用分类性能作为特征重要性程度的评价标准. 它的依据是选择子集最终被用于构造分类模型. 因此, 若在构造分类模型时, 直接采用那些能取得较高分类性能的特征即可, 从而获得一个分类性能较高的分类模型. 该方法在速度上要比Filter 方法慢, 但是它所选择的优化特征子集的规模相对要小得多, 非常有利于关键特征的辨识; 同时它的准确率比较高, 但泛化能力比较差, 时间复杂度较高. 目前此类方法是特征选择研究领域的热点, 相关文献也很多. 例如, Hsu 等人[45] 用决策树来进行特征选择, 采用遗传算法来寻找使得决策树分类错误率最小的一组特征子集. Chiang 等人[46] 将Fisher 判别分析与遗传算法相结合, 用来在化工故障过程中辨识关键变量, 取得了不错的效果. Guyon 等人[47] 使用支持向量机的分类性能衡量特征的重要性程度, 并最终构造一个分类性能较高的分类器. Krzysztof [48] 提出了一种基于相互关系的双重策略的Wrapper 特征选择方法. 叶吉祥等人[49] 提出了一种快速的Wrapper 特征选择方法FFSR(fast feature subset ranking), 以特征子集作为评价单位, 以子集收敛能力作为评价标准. 戴平等人[50] 利用SVM 线性核与多项式核函数的特性, 结合二进制PSO 方法, 提出了一种基于SVM 的快速特征选择方法.综上所述, Filter 和Wrapper 特征选择方法各有优缺点. 将启发式搜索策略和分类器性能评价准则相结合来评价所选的特征, 相对于使用随机搜索策略的方法, 节约了不少时间. Filter 和Wrapper 是两种(8)= arg max (), s.t.∣∣⩽.⊆F其中: 为所选特征个数的上限, 为特征集合,为已选特征的集合, () 为评价准则. 从式(8) 中可知需要解决两个问题: 一是评价准则() 的选择; 二是算法的选择. 文献[39-40] 是HSIC 准则的具体应用.4.1.4 一致性度量给定两个样本, 若他们特征值均相同, 但所属类别不同, 则称它们是不一致的; 否则, 是一致的. 一致姚 旭 等: 特征选择方法综述第2 期 165互补的模式, 两者可以结合. 混合特征选择过程一般 由两个阶段组成, 首先使用 Filter 方法初步剔除大部 分无关或噪声特征, 只保留少量特征, 从而有效地减 小后续搜索过程的规模. 第 2 阶段将剩余的特征连 同样本数据作为输入参数传递给 Wrapper 选择方法, 以进一步优化选择重要的特征. 例如, 文献 [51] 采用 混合模型选择特征子集, 先使用互信息度量标准和 bootstrap 技术获取前 k 个重要的特征, 然后再使用支 持向量机构造分类器.292.Manoranjan Dash, Huan Liu. Feature selection forclassification[J]. Intelligent Data Analysis, 1997, 1(3): 131-156.Lei Y u, Huan Liu. Efficient feature selection via analysisof relevance and redundancy[J]. J of Machine Learnin gResearch, 2004, 5(1): 1205-1224.Liu H, Motoda H. Feature selection for knowledgediscovery and data mining[M]. Boston: Kluwer AcademicPublishers, 1998.Molina L C, Llu´ıs Belanche, A` ngela Nebot. Feature [5] [6] [7] 结论5 [8] 本文首先分析了特征选择的框架, 然后从两个角度对特征选择方法进行分类: 一个是搜索策略, 一个 是评价准则. 特征选择方法从研究之初到现在, 已经 有了很多成熟的方法, 但是, 研究过程中也存在很多 问题. 例如: 如何解决高维特征选择问题; 如何设计小 样本问题的特征选择方法; 如何针对不同问题设计特 定的特征选择方法; 研究针对新数据类型的特征选 择方法等. 影响特征选择方法的因素主要有数据类 型、样本数量. 针对两类还是多类问题, 特征选择方 法的选择也有不同. 例如 Koll-Saha [4] 和 Focus 等人[41] 受限于连续型特征; 分支定界, BFF [16] 和 MDLM(min description length method)[52] 等 不 支 持 布 尔 型 特 征;Relief 系 列 算 法, DTM(decision tree method)[53]和 PRESET [54] 都适合于大数据集; Focus 等人[41] 适用于 小样本; 在度量标准的选择中, 只有一致性度量仅适 用于离散型数据等等.尽管特征选择方法已经有很多, 但针对解决实 际问题的方法还存在很多不足, 如何针对特定问题 给出有效的方法仍是一个需要进一步解决的问题. 将 Filter 方法和 Wrapper 方法两者结合, 根据特定的环境 选择所需要的度量准则和分类器是一个值得研究的 方向.selection algorithms: A survey and experimentalevaluation[R]. Barcelona:Catalunya, 2002.Universitat Politecnicade[9] Sun Z H, George Bebis, Ronald Miller. Object detectionusing feature subset selection[J]. Pattern Recognition, 2004, 37(11): 2165-2176.Narendra P M, Fukunaga K. A branch and bound algorithmfor feature selection[J]. IEEE Trans on Computers, 1977, 26(9): 917-922.Tsymbal A, Seppo P, David W P. Ensemble featureselection with the simple Bayesian classification[J].Information Fusion, 2003, 4(2): 87-100.Wu B L, Tom A, David F, et al. Comparison of statisticalmethods for classification of ovarian cancer using massspectrometry data[J]. Bioinformatics, 2003, 19(13): 1636- 1643.Furlanello C, Serafini M, Merler S, et al. An acceleratedprocedure for recursive feature ranking on microarraydata[J]. Neural Networks, 2003, 16(4): 641-648.Langley P. Selection of relevant features in machinelearning[C]. Proc of the AAAI Fall Symposium on Relevance. New Orleans, 1994: 1-5. [10] [11] [12] [13] [14] [15] Kononenko I. Estimation attributes:Analysis andextensions of RELIEF[C]. Proc of the 1994 European Conf on Machine Learning. New Brunswick, 1994: 171-182.Xu L, Y an P, Chang T. Best first strategy for featureselection[C]. Proc of 9th Int Conf on Pattern Recognition.Rome, 1988: 706-708.蔡哲元, 余建国, 李先鹏, 等. 基于核空间距离测度的特征选择[J]. 模式识别与人工智能, 2010, 23(2): 235-240.(Cai Z Y , Y u J G, Li X P, et al. Feature selection algorithm based on kernel distance measure[J]. Pattern Recognition and Artificial Intelligence, 2010, 23(2): 235-240.) 徐燕, 李锦涛, 王斌, 等. 基于区分类别能力的高性能特 征选择方法[J]. 软件学报, 2008, 19(1): 82-89.(Xu Y , Li J T, Wang B, et al. A category resolve power- based feature selection method[J]. J of Software, 2008, 19(1): 82-89.)参考文献(References )边肇祺, 张学工. 模式识别[M]. 第 2 版. 北京: 清华大学出版社, 2000.(Bian Z Q, Zhang X G. Pattern recognition[M]. 2nd ed. Beijing: Tsinghua University Publisher, 2000.)Kira K, Rendell L A . The feature selection problem:Traditional methods and a new algorithm[C]. Proc of the9th National Conf on Artificial Intelligence. Menlo Park, 1992: 129-134.John G H, Kohavi R, Pfleger K. Irrelevant features and thesubset selection problem[C]. Proc of the 11th Int Conf onMachine Learning. New Brunswick, 1994: 121-129. Koller D, Sahami M. Toward optimal feature selection[C].Proc of Int Conf on Machine Learning. Bari, 1996: 284-[1] [16] [17] [2] [3] [18][4]刘华文. 基于信息熵的特征选择算法研究[D]. 长春: 吉林大学, 2010.(Liu Hua-wen. A study on feature selection algorithm using 孟洋, 赵方. 基于信息熵理论的动态规划特征选取算法[J]. 计算机工程与设计, 2010, 31(17): 3879-3881.(Meng Y , Zhao F. Feature selection algorithm based on dynamic programming and comentropy[J]. Computer Engineering and Design, 2010, 31(17): 3879-3881.) Forman G. An extensive empirical study of feature selection metrics for text classification[J]. J of MachineLearning Research, 2003, 3(11): 1289-1305.Liu H, Liu L, Zhang H. Feature selection using mutualinformation: An experimental study[C]. Proc of the 10thPacific Rim Int Conf on Artificial Intelligence. Las V egas, 2008: 235-246.Hua J, Waibhav D T, Edward R D. Performance of feature-selection methods in the classification of high-dimensiondata[J]. Pattern Recognition, 2009, 42(7): 409-424.Mitra P, Murthy C A, Sankar K P. Unsupervised featureselection using feature similarity[J]. IEEE Trans on PatternAnalysis and Machine Intelligence, 2002, 24(3): 301-312.Wei H-L, Billings S A. Feature subset selection and rankin gfor data dim ensionality reduction[J]. IEEE Trans on PatternAnalysis and Machine Intelligence, 2007, 29(1): 162-166.Hall M A. Correlation-based feature subset selection formachine learning[M]. Hamilton: University of Waikato,1999.Zhang D, Chen S, Zhou Z-H. Constraint score: A new filtermethod for feature selection with pairwise constraints[J].Pattern Recognition, 2008, 41(5): 1440-1451.Le Song, Alex Smola, Arthur Gretton, et al. Supervisedfeature selection via dependence estimation[C]. Proc of the24th Int Conf on Machine Learning. Corvallis, 2007: 245- 252.Gustavo Camps-V alls, Joris Mooij, Bernhard Scholkopf.Remote sensing feature selection by kernel dependencemeasures[J]. IEEE Geoscience and Remote Sensin gLetters, 2010, 7(3): 587-591.Almuallim H, Dietterich T G. Learning with manyirrelevant features[C]. Proc of 9th National Conf onArtificial Intelligence. Menlo Park, 1992: 547-552.Liu H, Setiono R. A probabilistic approach to featureselection –A filter solution[C]. Proc of Int Conf on MachineLearning. Bari, 1996: 319-327.Manoranjan Dash, Huan Liu. Consistency-based search infeature selection[J]. Artificial Intelligence, 2003, 151(16):155-176.Huan Liu, Hiroshi Motoda, Manoranjan Dash. Amonotonic measure for optimal feature selection[M].Machine Learning: ECML-98, Lecture Notes in ComputerScience, 1998: 101-106.(下转第192页)[19] [31] information entropy[D]. Changchun: 2010.)Jain A K, Robert P W, Mao J C. Jilin University, [20] Statistical pattern[32] recognition: A review[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2000, 22(1): 4-37.Battiti R. Using mutual information for selecting featuresin supervised neural net learning[J]. IEEE Trans on Neural Networks, 1994, 5(4): 537-550.Hanchuan Peng, Fuhui Long, Chris Ding. Feature selectionbased on mutual information: Criteria of max-dependency, max-relevance, and min-redundancy[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005, 27(8): 1226-1238.Ding C, Peng H. Minimum redundancy feature selectionfrom microarray gene expression data[J]. J of Bioinformatics and Computational Biology, 2005, 3(2): 185-205.Francois Fleuret. Fast binary feature selection withconditional mutual information[J]. J of Machine Learnin g Research, 2004, 5(10): 1531-1555.Kwak N, Choi C-H. Input feature selection by mutualinformation based on Parzen window[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(12): 1667-1671.Novovicova J, Petr S, Michal H, et al. Conditional mutualinformation based feature selection for classification task[C]. Proc of the 12th Iberoamericann Congress on Pattern Recognition. V alparaiso, 2007: 417-426.Qu G, Hariri S, Y ousif M. A new dependency andcorrelation analysis for features[J]. IEEE Trans onKnowledge and Data Engineering, 2005, 17(9): 1199- 1207.赵军阳, 张志利. 基于模糊粗糙集信息熵的蚁群特征选择方法[J]. 计算机应用, 2009, 29(1): 109-111.(Zhao J Y , Zhang Z L. Ant colony feature selection based on fuzzy rough set information entropy[J]. J of Computer Applications, 2009, 29(1): 109-111.)赵军阳, 张志利. 基于最大互信息最大相关熵的特征选 择方法[J]. 计算机应用研究, 2009, 26(1): 233-235.(Zhao J Y , Zhang Z L. Feature subset selection based on maxmutual information and max correlation entropy[J]. Application Research of Computers, 2009, 26(1): 233- 235.)渠小洁. 一种基于条件熵的特征选择算法[J]. 太原科技大学学报, 2010, 31(5): 413-416.(Qu X J. An algorithm of feature selection based on conditional entropy[J]. J of Taiyuan University of Science and Technology, 2010, 31(5): 413-416.)[21] [33] [22] [34] [35] [23] [36] [24] [37] [25] [38] [26] [39] [27] [40] [28] [41] [42] [29] [43] [44] [30]。
feature selection methods for uplift modeling
feature selection methods for uplift modeling特征选择在提升模型中是一个重要步骤，可以帮助减少模型过拟合，提高计算效率，并增强模型的可解释性。
以下是几种在提升模型中进行特征选择的常用方法：1.过滤法（Filter Method）：这是一种简单的特征选择方法，它根据每个特征的统计性质或信息增益来过滤掉不相关或冗余的特征。
这种方法通常计算速度快，但可能会忽略一些重要的特征。
2.嵌入法（Embedded Method）：这种方法将特征选择与模型训练过程相结合，通过优化算法自动选择最重要的特征。
这种方法通常可以得到更好的特征子集，但计算成本较高。
3.包外法（Wrapper Method）：这是一种迭代方法，它通过不断构建模型并评估其性能来选择特征。
在每次迭代中，都选择使模型性能最佳的特征子集。
这种方法需要大量计算时间，但通常可以得到更好的特征子集。
4.基于模型的法（Model-Based Method）：这种方法使用特定于模型的算法来选择特征。
例如，决策树和随机森林可以直接用于特征选择，因为它们可以自动地根据特征的重要性进行剪枝。
5.深度学习方法（Deep Learning Method）：深度学习模型可以自动地从原始数据中提取有用的特征，同时还可以进行特征选择。
例如，卷积神经网络（CNN）可以直接从图像数据中提取有用的特征，而自编码器（Autoencoder）则可以用于降维和特征选择。
在进行特征选择时，通常需要使用交叉验证来评估不同特征子集的性能，并选择最优的特征子集。
此外，还应该注意避免过拟合和欠拟合问题，并根据实际情况进行调整和优化。
常见特征选择方法
常见特征选择方法特征选择是机器学习中非常重要的一步，它能够帮助我们从原始数据中选择出最具有代表性和有用的特征，以提高模型的性能和效果。
在实际应用中，常见的特征选择方法有以下几种：1. Filter方法Filter方法是一种基于特征本身的统计量来进行特征选择的方法。
它通过计算各个特征与目标变量之间的相关性或者相关系数，然后按照一定的规则来选择出具有显著相关性的特征。
常见的统计量包括皮尔逊相关系数、卡方检验、互信息等。
这种方法的优点是计算简单、效率高，但是忽略了特征与特征之间的关系。
2. Wrapper方法Wrapper方法是一种基于模型性能来进行特征选择的方法。
它通过构建不同的特征子集，然后利用机器学习算法训练模型，并评估模型的性能，从而选择出最佳的特征子集。
常见的Wrapper方法有递归特征消除（Recursive Feature Elimination, RFE）、遗传算法等。
这种方法的优点是考虑了特征与特征之间的关系，但是计算复杂度较高，耗时较长。
3. Embedded方法Embedded方法是一种将特征选择与模型训练合并在一起的方法。
它通过在模型训练过程中自动选择特征，从而得到最佳的特征子集。
常见的Embedded方法有L1正则化（L1 Regularization）、决策树算法等。
这种方法的优点是计算简单、效率高，但是需要选择合适的模型和参数。
4. 主成分分析（Principal Component Analysis, PCA）主成分分析是一种常用的无监督学习方法，它通过线性变换将原始特征空间映射到新的低维特征空间，从而达到降维的目的。
在主成分分析中，我们选择的新特征是原始特征的线性组合，使得新特征之间的相关性最小。
通过保留较高的主成分，我们可以保留原始数据中的大部分信息，同时减少特征的维度。
5. 基于信息增益的特征选择信息增益是一种用于衡量特征对分类任务的贡献程度的指标。
它通过计算特征对目标变量的不确定性减少程度来评估特征的重要性。
特征选择的3种方法
特征选择的3种⽅法
当数据维数⽐较⼤时，就需要进⾏降维，特征选择是降维的⼀种主要⽅式，⼜包括3种⽅法：Filter、Wrapper和Enbedding。
1. Filter
过滤器⽅法，这种⽅法⾸先选定特征，再来进⾏学习。
根据每⼀个属性的⼀些指标（如⽅差等），来确定这个属性的重要程度，然后对所有属性按照重要程度排序，从⾼到低的选择属性。
选定了属性以后，再来进⾏训练。
⽐如Fisher Score、Laplacian Score等。
这种⽅法其实不⼤好，因为决定特征选择效果的不是单个的属性，⽽是属性的集合，⽐如属性A、B、C，单个来看效果不好，但是它们组合起来效果有可能不错。
2. Wrapper
包裹器⽅法，这种⽅法把选定的特征集⽤分类器进⾏训练，⽤训练效果（如准确率等）来作为特征集的评价。
⽐如将启发式搜索、GA等。
这种⽅法和分类器相结合，⽐较直观，和Filter相⽐也更加合理。
缺点是计算开销较⼤。
3. Embedding
嵌⼊式⽅法，即把特征选择的过程作为学习过程的⼀部分，在学习的过程中进⾏特征选择，最典型的如决策树算法。
包装法 特征提取
包装法特征提取
包装法（Wrapper Method）是一种特征选择方法，它根据模型的性能来选择最优的特征子集。
包装法通过不断添加、删除或替换特征来优化模型的性能，从而找到最适合特定任务的特征组合。
包装法的特征提取过程通常包括以下步骤：
初始化特征子集：开始时可以随机选择一部分特征作为初始特征子集，或者选择所有特征作为初始子集。
评估模型性能：使用初始特征子集训练模型，并在验证集上评估模型的性能。
这通常通过交叉验证来完成，以确保评估的准确性和稳定性。
搜索特征空间：通过添加、删除或替换特征来搜索特征空间。
这可以通过贪婪搜索、启发式搜索或全局搜索等方法来完成。
在搜索过程中，每次修改特征子集后都会重新训练模型并评估性能。
选择最优特征子集：根据模型性能的评估结果，选择最优的特征子集。
这个子集通常是能够最大化模型性能的特征组合。
输出特征子集：将最优特征子集作为特征提取的结果输出，用于后续的模型训练或数据分析。
包装法的优点是可以直接针对特定模型进行优化，因此通常能够得到较好的性能。
然而，由于它需要反复训练模型来评估性能，所以计算成本较高。
此外，包装法还容易陷入局部最优解，即可能无法找到全局最优的特征子集。
为了克服这些缺点，可以采用一些优化策略，如使用更高效的搜索算法、限制搜索空间的大小、或者结合其他特征选择方法如过滤法（Filter Method）和嵌入法（Embedded Method）来进一步提高特征选择的效率和准确性。
wrapper方法
wrapper方法Wrapper方法是一种机器学习技术，它被广泛应用于分类算法、时序模式分析和其他机器学习技术中。
它是以特征选择为基础的非参数模型，其基本原理是通过评估特征之间的相关性来有效地选择最具有预测能力的特征子集，从而获得最准确的预测结果。
与其他特征选择算法（例如过滤式特征选择）相比，Wrapper方法最大的特点是它可以评估每个特征组合最终的预测准确性，而不仅仅是单个特征的准确性。
为此，Wrapper方法需要有一个基准分类器来生成结果，以根据不同特征组合的准确性来比较和选择最佳的特征子集。
Wrapper方法包括两个主要步骤：特征选择和特征搜索。
在特征选择阶段，根据当前数据中可用的特征，利用搜索算法（例如贪婪算法）来确定加入模型中的特征子集。
在特征搜索阶段，根据特征选择出的子集，通过改变已选出的特征子集，结合不断优化的基准分类器，以获得更准确的预测准确性。
对于特征选择和特征搜索这两个步骤，Wrapper方法有多种实现方法，例如，贪婪搜索、局部搜索、爬山搜索、随机搜索和启发式搜索等。
每种方法根据不同的数据情况，都有最佳的实施方法。
此外，Wrapper方法的时间复杂度也很高，它将模型的准确性作为优化目标，因此需要对大量的特征子集进行性能计算，而传统的特征选择方法只需要计算特征之间的相关性，时间要短得多。
总之，Wrapper方法是一种机器学习技术，它以特征选择为基础，以分类算法、时序模式分析和其他机器学习技术为主要应用领域，它具有准确性高、时间复杂度低、可以评估每个特征组合最终的预测准确性，但它的时间复杂度也很高的特点。
在机器学习的应用中，Wrapper方法可以评估特征组合之间的相关性，并且在很大程度上提高机器学习模型的准确性和可靠性。
用于催化裂化装置产率预测的Filter-Wrapper 特征变量选择方法
在催化剂和高温的作用下转化为干气、液化气、汽 柴油等产品[1]。为了解各种操作变量在生产过程中 对产品产率的影响，需要进行有效的催化裂化过程
Received date: 2017-06-29. Corresponding author: LAN Xingying, lanxy@ Foundation item: supported by Science Foundation of China University of Petroleum, Beijing (C201606).
WANG Jie, CAO Daofan, LAN Xingying, GAO Jinsen
. All Ri(gSthatte sKeyRLeabsoerartovryeodf H.eavy Oil Processing, China University of Petroleum-Beijing, Beijing 102249, China)
此外，该方法为催化裂化装置建模的变量选取提供了新角度。
关键词：模型简化；算法；遗传算法；特征选择；产率预测
中图分类号：TQ A
文章编号：0438—1157（2018）01—0464—08
Select Filter-Wrapper characteristic variables for yield prediction of fluid catalytic cracking unit
Abstract: Fluid catalytic cracking is an important means to improve quality of heavy oil. Proper mathematical models are required to investigate influence of operating conditions and raw material properties on product distribution. Selection of suitable input variables largely affects model performances. The input variable selection is currently dependent on understanding mechanisms of FCC process. From the viewpoint of data-driven modeling, a method of selecting Filter-Wrapper characteristic subset was proposed by combination of Filter method using classical RReliefF algorithm and Wrapper method using GA-SVR algorithm. With no requirement of prior FCC knowledge, this method chose input variables by spontaneous data-driven selection of characteristic variables. A model with good prediction accuracy and proper number of input variables was established by taking advantage of a FCCU operating data and selecting input variables for prediction model of the unit dry gas and coke yield. Present work can not only provide a method to variable selection in FCCU modeling and process analysis, but also extend to other industrial process analysis.
wrapper方法
wrapper方法什么是Wrapper方法？Wrapper方法是一类机器学习算法，它们可以以有效的方式搜索和选择最佳的特征子集，也可用于判断模型的有效性。
这种方法的目的是选出最有效的特征子集来构建预测模型，并对模型的有效性进行评估。
要理解Wrapper方法，首先要弄清楚其基本概念。
Wrapper方法的基本原理是迭代地选择最佳特征子集，以便构建有效的模型，并使用评估函数对其有效性进行评估。
在迭代过程中，Wrapper方法会根据特征子集和评估函数的值来搜索和选择最佳的子集，并最终将此子集用于有效模型的构建。
Wrapper方法是一种有效的特征选择算法，它可以帮助我们构建更有效的预测模型。
它有三个不同的特性，它们是：（1）可以从特征子集中有效地搜索和选择最佳的特征;2）可用于对模型的有效性进行评估；（3）可以构建准确的预测模型。
根据这三个特点，Wrapper方法可以用于构建有效的预测模型，它被广泛应用于许多机器学习算法中。
例如，它可能被用于通过选择最有效的特征子集来构建决策树，也可以应用于构建支持向量机（SVM），这样可以有效地优化模型的性能。
此外，Wrapper方法还可以用于评估模型的有效性。
它可以利用不同的评估函数来计算模型的有效性，包括平均偏差（mean absolute error）、准确率（accuracy）、召回率（recall）和F1得分（F1 score）等。
如果这些函数的值优于其他模型，那么就可以认定当前模型具有较好的表现。
最后，Wrapper方法可以帮助我们构建准确的预测模型，以便对模型的有效性进行评估。
在实际应用中，Wrapper方法可以有效地构建并优化支持向量机（SVM）和决策树（DT）等机器学习算法中的模型，从而提高预测模型的性能。
wrapper方法
wrapper方法Wrapper方法是一种基于机器学习的特征选择技术，它可以有效地缩减特征集，从而提高机器学习的效率。
它由三个基本部分组成：1）特征搜索算法；2）特征选择算法；3）机器学习评估器。
Wrapper方法的基本思想是：基于提供的机器学习评估器，使用特征搜索算法对特征集进行搜索，然后使用特征选择算法从搜索到的特征集中找出最优组合。
其中，机器学习评估器是用来评估每一组特征所产生的模型表现的，特征搜索算法用于搜索出可能的有用特征子集，而特征选择算法则是在可能的有用特征子集中找出最佳的特征组合。
特征搜索算法可以分为两类：基于搜索的特征搜索算法和基于贪心的特征搜索算法。
基于搜索的特征搜索算法是通过枚举所有可能特征组合的方式搜索特征子集，而基于贪心算法则是通过反复迭代来选择最优特征子集的方法。
特征选择算法有很多，其中最常用的有过滤式特征选择，嵌入式特征选择，包裹式特征选择和基于集合的特征选择。
过滤式特征选择的基本思想是通过定量的评估指标（如特征重要性，特征相关性等）来过滤特征；嵌入式特征选择的思想是把特征选择作为优化过程的一部分；包裹式特征选择的思想是通过机器学习评估器来检测特征子集的有用性；基于集合的特征选择是通过分析特征之间的共现关系来构造特征子集的方法。
Wrapper方法有许多优点，如简单易行，可以提高准确率和泛化能力，可以使用多种评估方法等。
但它也存在着一些缺点，如有着较大的计算开销，容易受到局部最优解的影响，对评估指标本身的设计有一定的限制等。
总的来说，wrapper方法是一种非常强大，有效的特征选择技术，它不仅可以用于特征选择，还可以用于其他任务，如特征处理和特征融合。
但它也有一些缺点，在实际应用中，要根据实际应用场景，合理选择评估指标和算法，以最大限度地提高模型性能。
特征选择方法
特征选择方法
特征选择在机器学习和数据挖掘任务中起着关键的作用。
它可以帮助我们从原始数据中选择出最具有预测能力的特征，以提高模型的性能和效果。
针对特征选择问题，常用的方法有：
1. 过滤法（Filter Method）：该方法通过对特征进行统计学分析，如相关系数、卡方检验等，从中选择与目标变量最相关的特征。
常用的过滤法有相关系数法、信息增益法、方差选择法等。
2. 包裹法（Wrapper Method）：该方法将特征选择看作是一个
搜索问题，通过不断地构建模型并评估性能，来确定最佳的特征子集。
常用的包裹法有递归特征消除法（RFE）和遗传算法等。
3. 嵌入法（Embedded Method）：该方法是在学习算法的过程中，通过正则化（如L1正则化）或构建专门的特征选择模型，来对特征的重要性进行评估和选择。
常用的嵌入法有Lasso回归、岭回归等。
4. 基于树模型的方法：该方法通过决策树等树模型，根据特征的重要性进行特征选择。
常用的方法有信息增益、基尼系数等。
除了以上方法，还有一些其他的特征选择方法，如基于稳定性的方法、深度学习中的特征选择方法等。
这些方法可以根据具体的任务和数据集的特点来选择合适的方法进行特征选择。
特征选择的目的是为了去除无关特征、降低数据维度以及提高模型性能等。
正确选择合适的特征选择方法，可以帮助我们更好地理解数据并提高模型的预测能力。
数据挖掘中的特征选择方法教程
数据挖掘中的特征选择方法教程数据挖掘作为一种重要的技术手段，在如今数字化时代中扮演着重要的角色。
而特征选择作为数据挖掘的重要步骤之一，对于提高模型的准确性和效率起着至关重要的作用。
本文将介绍数据挖掘中常用的特征选择方法，并对其原理和应用进行简要解析，帮助读者更好地理解和应用这些方法。
特征选择（Feature Selection）是指从原始数据中选择最具有代表性的特征子集，以提高模型的性能和效率。
其目的是降低维度，消除冗余特征和噪声，同时保持对目标变量的预测能力。
在数据挖掘中，特征选择有以下几个常用的方法：1. 过滤式方法（Filter Method）过滤式方法是在特征选择与模型训练之前进行的，其主要思想是通过特征之间的统计性质或相关性指标来选择特征。
常见的过滤式方法包括相关系数、卡方检验、互信息等。
过滤式方法简单高效，计算开销较小，但没有考虑特征与目标变量之间的相关性。
2. 封装式方法（Wrapper Method）封装式方法是通过使用特定的学习器（如回归、分类器）对每个特征子集进行评估，从而选择最佳的特征子集。
封装式方法可以基于搜索算法（如贪婪搜索、遗传算法）或者评估算法（如交叉验证、留一法）进行特征选择。
封装式方法更加有效，但计算开销较大。
3. 嵌入式方法（Embedded Method）嵌入式方法是将特征选择融入到模型训练的过程中，即在训练模型的过程中同时选择特征。
典型的嵌入式方法包括Lasso回归、岭回归、决策树等。
嵌入式方法能够利用模型的性质进行特征选择，但对于模型的选择要求较高。
值得注意的是，以上特征选择方法并非相互独立，可以根据实际情况进行组合使用，以达到更好的特征选择效果。
在实际应用中，根据特征的类型和属性，可以选择合适的特征选择方法。
例如，对于数值型特征，可以使用相关系数或互信息进行过滤式特征选择；对于类别型特征，可以使用卡方检验或互信息进行特征选择；对于混合类型特征，可以结合过滤式和封装式方法进行综合选择。
决策树模型中的特征选择方法(Ⅱ)
在机器学习领域，决策树模型是一种常用的监督学习算法，它能够对数据集进行分类和预测。
在构建决策树模型时，特征选择是非常重要的一步，它直接影响着模型的性能和泛化能力。
本文将介绍决策树模型中的特征选择方法，并分析它们的优缺点。
一、信息增益法信息增益法是一种常用的特征选择方法，它基于信息论的概念，通过计算特征对分类结果的信息增益来进行特征选择。
信息增益越大，说明该特征对分类结果的影响越大，因此被选中的概率就越高。
信息增益法的优点是简单易懂，计算量较小，适用于大规模数据集。
但是它也存在一些缺点，比如对连续型特征不太友好，容易受噪声和异常值的影响。
二、基尼指数法基尼指数法是另一种常用的特征选择方法，它基于基尼系数来评价特征的重要性。
基尼系数越小，说明特征对分类结果的影响越小，因此被选中的概率就越低。
基尼指数法的优点是对连续型特征较为友好，对噪声和异常值的鲁棒性较强。
但是它也存在一些缺点，比如计算量较大，不太适用于大规模数据集。
此外，它对于特征空间较大的数据集，容易出现过拟合的问题。
三、Wrapper方法Wrapper方法是一种基于搜索的特征选择方法，它通过反复地训练模型来选择最佳的特征子集。
常见的Wrapper方法有递归特征消除（Recursive Feature Elimination, RFE）和前向选择（Forward Selection）等。
Wrapper方法的优点是能够充分考虑特征之间的关联性，可以得到更加精确的特征子集。
但是它也存在一些缺点，比如计算量较大，运行时间较长，不太适用于大规模数据集。
此外，由于其基于搜索的特性，容易陷入局部最优解。
四、Embedded方法Embedded方法是一种将特征选择与模型训练结合起来的方法，常见的Embedded方法有L1正则化、决策树剪枝等。
这些方法在模型训练的过程中，会自动地选择最佳的特征子集。
Embedded方法的优点是能够充分利用模型的训练过程，得到更加精确的特征子集。
特征选择算法综述及进展研究
特征选择算法综述及进展研究特征选择是机器学习中非常重要的一个环节，它用于选择对于目标变量有最大预测能力的特征子集。
在特征选择过程中，我们希望能够找到能够最好地解释目标变量的特征，以便进行模型训练和预测。
目前，已经有很多特征选择算法被提出和广泛应用，在某些领域具有良好的效果。
下面我们将对一些主要的特征选择算法进行综述，并讨论最新的研究进展。
一、过滤方法（Filter method）是一种简单而常用的特征选择方法。
它通过计算每个特征与目标变量之间的相关性，来选择相关性较高的特征。
常用的过滤方法包括皮尔逊相关系数、互信息、卡方检验等。
虽然过滤方法计算速度快，但无法考虑特征之间的相互关系。
二、封装方法（Wrapper method）是一种比较耗时的特征选择方法。
它通过迭代地选择和测试不同的特征子集，来找到最佳的特征组合。
常用的封装方法包括递归特征消除（Recursive Feature Elimination，RFE）、遗传算法、粒子群优化算法等。
封装方法的优点是能够考虑特征之间的相互作用，但计算成本较高。
三、嵌入方法（Embedded method）是一种结合了过滤方法和封装方法优点的特征选择方法。
它通过将特征选择过程嵌入到模型的训练过程中，来选择对模型性能提升有贡献的特征。
常用的嵌入方法包括L1正则化、决策树、支持向量机等。
嵌入方法具有计算效率高和模型性能好的优点，但需要选择合适的模型。
最新的研究进展主要集中在以下几个方面：1. 多目标特征选择：传统的特征选择方法主要关注单一目标变量的预测能力，而多目标特征选择则关注多个相关目标变量的预测能力。
在肿瘤预测中，我们可能同时关注预测肿瘤类型和治疗反应。
研究者们提出了一些多目标特征选择算法，例如基于遗传算法的多目标特征选择算法。
2. 增量特征选择：传统的特征选择方法是从所有特征开始，逐步剔除无用特征，直到达到最佳的特征子集。
而增量特征选择则是从空的特征子集开始，逐步增加与目标变量相关性最高的特征。
特征子集的三种特征选择方法
特征子集的三种特征选择方法说实话，特征子集这三种特征选择方法啊，我一开始也是瞎摸索。
先说说过滤式方法吧。
我折腾这个方法的时候，就想着一步一步慢慢筛选。
这就好比找宝藏，宝藏就是我们最终想要的特征子集。
我一开始犯了个错，那就是直接把所有特征堆在一起看相关性，结果越搞越乱。
后来我明白了，得先单个特征一个个和目标变量算相关系数，就像排队一个个检查是不是符合宝藏的标准。
比如说我曾经处理一个数据集，里面有顾客的年龄、性别、消费金额还有好多其他特征。
我就先只看年龄和消费金额之间的关系，算出相关系数。
那些和目标变量相关性特别小的，就可以先不要了，这就初步过滤掉了一些特征，让整个数据集简洁了不少。
不过呢，这个方法有时候会过于简单，可能会扔掉一些看起来不相关，但组合起来有用的特征。
再说说包裹式方法。
这种方法我当时弄的时候觉得挺新鲜的，它是把特征选择当成一个搜索问题。
我当时就想象自己在一个迷宫里找出口，走不同的路代表选不同的特征子集。
不过这个时候我就栽跟头了，我把搜索空间设得太大了，结果计算时间超级长，电脑差点死机。
正确的做法是要合理控制这个搜索空间，就像在迷宫里知道哪里有捷径一样。
这种方法是考虑了多种特征之间的组合对最终结果的影响，准确性可能会更高，但计算复杂度也比较高。
还有嵌入式方法呢。
对于这个方法，我一开始没搞明白它和前面两者的区别。
我就拿之前的顾客数据集继续试啊。
嵌入式方法其实就是把特征选择融入到模型的构建过程中。
就好像是盖房子，一边盖一边选合适的材料，这个材料就是特征。
它可以自动学习哪些特征重要，哪些不重要。
比如说建立一个线性回归模型的时候，有些特征的系数在训练过程中变得很小，那就说明这个特征可能不太重要，可以考虑不要。
不过这个方法在模型复杂的时候，我也有点不确定到底怎么最好地去理解特征选择的过程。
总体来说，这三种方法都有自己的优缺点，在做特征子集的特征选择时，得根据具体的项目情况、数据量大小和运算资源等来选择。
wrapper的方法
wrapper的方法Wrapper方法是当前机器学习研究的一种有效的方法之一。
其主要是将特征选择的过程投入到机器学习算法中，从而实现有效的特征选择，并进行准确的预测和分类。
Wrapper方法是一种以搜索机制为基础的特征选择方法，它依赖于机器学习算法来解决特征选择问题，而不是用传统的统计方法或规则基方法。
这一方法通常利用启发式的搜索策略，如回溯法和遗传算法等，搜索数据集中较优的特征子集以用于训练机器学习模型。
回溯法是Wrapper方法中最常用的搜索策略，它以当前可用的特征子集开始，然后从中任取一个特征添加或删除，在模型表现来评估特征子集的优劣，并依据特征子集是否增强模型表现来决定是否继续使用该特征。
遗传算法是Wrapper方法中另一种搜索机制，它非常类似于生物进化，可以在特征空间中寻找最优解。
遗传算法以一组初始解开始，将这些解看作为一个“种群”，每个解代表一个个体，然后利用选择、交叉及突变等进化操作产生新的解，继续向更优解进化。
Wrapper方法具有许多优点，如：（1）遵循真实的模型，在进行特征选择时可以从实际的预测效果上评估特征的优劣，从而较好的提高模型的泛化能力（2）对数据无需过度假设，因而适用于非线性数据（3）坚持一种是使用特征子集，从而使机器学习算法及其参数调整简单且快速然而，Wrapper方法也存在着一定的局限性，如：（1）由于其非常耗时，因而不适合于大型数据集（2）对于搜索空间的大小有较多限制，因而可能使搜索不够完整（3）不能很好的处理冗余特征的问题，并且也不能处理新数据因此，选择Wrapper方法进行特征选择时，应充分考虑它的优缺点，结合使用其它特征选择方法可能更加有效。
总之，Wrapper方法具有许多优点，但也存在一些局限性，因此在实际应用中应结合其它特征选择方法使用以达到最佳效果。
物联网数据分析中的特征选择与降维算法研究
物联网数据分析中的特征选择与降维算法研究一、引言随着物联网技术的快速发展，大量的感知设备不断产生海量数据。
如何从这些数据中提取有价值的信息，对物联网应用的性能提升和智能化决策具有重要意义。
而特征选择和降维作为一种预处理技术，可以在保持数据主要特征的基础上，减小数据集的维度，并提高模型的效率和准确性。
因此，物联网数据分析中的特征选择与降维算法研究变得尤为重要。
二、特征选择算法1. Filter算法Filter算法是一种基于特征本身的统计指标进行特征选择的方法。
常用的Filter算法有方差选择法、卡方检验法、互信息法等。
通过计算每个特征与目标变量之间的相关性，再根据设定的阈值进行特征选择。
2. Wrapper算法Wrapper算法是一种基于模型性能进行特征选择的方法。
它通过训练预测模型，反复选择特征子集，并根据模型的评估指标来确定最佳特征子集。
Wrapper算法的代表性方法有递归特征消除法、基于遗传算法的特征选择法等。
3. Embedded算法Embedded算法是一种将特征选择与模型训练相结合的方法。
常用的Embedded算法有LASSO回归、特征重要性排序法等。
这些算法可以直接在模型训练的过程中选择最相关的特征，并逐步移除不相关的特征。
三、降维算法1. 主成分分析（PCA）主成分分析是一种广泛应用于数据降维的方法。
它通过线性变换，将原始特征映射到新的特征空间，使得映射后的特征具有最大的方差。
这样可以保留数据的主要信息，并降低数据维度，从而提高模型的效率和准确性。
2. 线性判别分析（LDA）线性判别分析是一种在降维的同时进行分类的方法。
LDA通过求解最大化类间距离和最小化类内距离的目标函数，将原始特征映射到新的特征空间。
这样可以在降低数据维度的同时，提高分类准确率。
3. t分布随机近邻嵌入（t-SNE）t-SNE是一种非线性降维算法，适用于高维度数据的可视化。
t-SNE通过保持原始数据的局部结构特性，将高维数据映射到低维空间。
IDS自适应特征选择算法——进化包装（Wrapper）算法分析
IDS自适应特征选择算法——进化包装（Wrapper）算法分
析
董小国;丁冉
【期刊名称】《微计算机信息》
【年(卷),期】2006(000)11X
【摘要】随着网络技术和网络规模的不断发展，网络安全已经成为人们无法回避的问题，因此为了保护现在越来越多的敏感信息，入侵检测技术也成为了一种非常重要的技术，得到了越来越多的重视。
然而对其中一个重要部分一特征的自动选择的研究非常少。
本文提出了一个EA用采执行特征的自动选择以度时RBF网络的自动优化。
经过特征选择这个步骤可以显著的减少输入特征的数量，这样可以有效的减少过适应。
此外，减少输入特征数目，还可以减少神经网络的执行时间。
【总页数】4页(P46-48,314)
【作者】董小国;丁冉
【作者单位】北京化工大学信息学院,100029
【正文语种】中文
【中图分类】TP309.7
【相关文献】
1.蜜蜂双种群进化机制背景下云自适应遗传算法分析 [J], 陈聪
2.一种适用于IDS的多次模糊迭代特征选择算法 [J], 李玲娟;周桂芳;王汝传
3.IDS自适应特征选择算法——进化包装(Wrapper)算法分析 [J], 董小国;丁冉
4.基于filter+wrapper模式的特征选择算法 [J], 周传华;柳智才;丁敬安;周家亿
5.特征子集区分度与支持向量机的特征选择算法分析 [J], 程凤伟;任晶晶
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
特 征选择 是 指从 Ｄ维 的特 征 Ｆ 中选 择一 个 ｄ
Ｖｏ Ｉ ． ｌ ７ Ｎｏ ４ 编 号 ：６ ２ ３ １ ２ １ ） ４ Ｏ ９ ６ １ ７ —９ ３ （ ０ ０ Ｏ 一Ｏ ６ 一Ｏ
种 快 速 的 Ｗｒｐ ｅ 式 特 征 子 集 选 择 新 方 法 ａｐ ｒ
叶 吉祥 ，龚 希 龄
（ 沙 理 工 大 学 计算 机 与 通 信 工 程 学 院 ，湖 南 长 沙 长 ４００ ） １ ０ ４
Ｓ ｌｃｉｎ （ ＦＦ ） ｔ ｏ ｓｒ ｃ ｎ ｖ ｌａ ｅ ｆｓ ｏ ｖ ｒ ｅ ｔｓ ｂ ｅ． Ｃｏ ｐ ｒ ｄ ｗｉｈ Ｓ Ｓ， ｅｅ ｔ ｏ Ｓ Ｓ ｏ ｃ ｎ ｔ ｕ ｔａ ｄ ｅ ａｕ ｔ ａ ｔｃ ｎ ｅ ｇ ｎ ・ ｓ ｔ ｕ ｍ ａ ｅ ｔ ＦＦ
ＦＦ Ｒ ａ ｉｎ ｆ ａ ｔｙ ｒ ｄ ｃ ｈ ｉ ｅ ｕｒ ｄ ｗｈ ｌ ｕ ｔｓｉ ｈ ｌ ｏ ｔ ｅｆａ ｕ ｅａ ｉ ｔ ． Ｓ ｃ ｎ ｓｇ ｉ ｃ ｎ ｌ ｅ ｕ ｅｔ ｅｔｍｅｒ ｑ ｉｅ ｉ ｊ ｓ ｌ ｔｙ ｌ ｗ ｈ ｅ ｔ ｒ ｂ ｌ ｙ ｉ ｅ ｇ ｉ
第 ７卷 第 ４期
２１ ０ ０年 １ 月 ２
长 沙 理 工 大 学 学 报 （自 然 科 学 版 ） Ｊ ｕ ｎ ｌ ｆ ｈ ｎ ｓ ａＵｎｖｒｉ ｆ ｃ ｎ ｅａ ｄＴ ｃ ｎ ｌｇ （ ａｕ ａ Ｓ ｉ ｃ ） ｏ ｒ ａ ｏ ａ ｇ ｈ ｉｅｓ ｙ ｏ ｉ ｃ ｎ ｅｈ ｏｏ ｙ Ｎ ｔｒ ｌ ｃ ｎ ｅ Ｃ ｔ Ｓｅ ｅ
关 键 词 ： 征 选 择 ； 速 特 征 选 择 ； 装 式 特 征选 择 ； 征 评 价 特 快 封 特 中图 分 类 号 ： Ｉ ；Ｔ ３ １ ＴＰ ８ Ｐ ９ 文 献 标 识 码 ：Ａ
Ａ ｖ ｌｆ ｓ ｒ ｐｐ ｒ ｆ ｒ ｆ ａ ｕ ｅ ｓ ｂ ｅ ｅ ｅ ｔｏ ｎｏ ｅ ａ ｔＷ ａ ｅ ｏ ｅ ｔ ｒ ｕ ｓ ｔｓ ｌ ｃ ｉ ｎ
摘
要 ： ｒｐ ｅ 式 特 征 选 择 方 法 需 要 耗 费 大量 时 间 ， 此 提 出 了 一 种 快 速 的 Ｗ ｒｐ ｅ 式 特 征 选 择 新 方 法 Ｗ ａｐｒ 为 ａｐｒ
（ ａｔ ｅｔｒ ｕ ｓｔ ｎ ｉｇ 简 称 Ｆ Ｓ ． 以 单 个 特 征 作 为 评 价 单 位 的传 统 方 法 不 同 ， Ｆ Ｒ 算 法 以特 征 Ｆ ｓ ａｕｅＳ ｂｅ ｋｎ ， Ｆ Ｒａ Ｆ Ｒ） 与 ＦＳ 子 集 作 为 评 价 单 位 ， 子 集 收 敛 能 力 作 为评 价 标准 ． Ｆ Ｒ算 法从 收 敛 速 度 和 收 敛 极 值 两 个 方 面 对 收敛 能 力 以 ＦＳ 进 行 分 析 ， 利 用 Ｓ ｑ ｅｔ ｌ ｌａｉｇＦ ｒ ａｄＳ ｌ ｔ ｎ 简 称 Ｓ Ｆ ） 法 构 造 和 评 价 快 速 收敛 的 子集 ． Ｆ Ｒ 并 ｅｕ ｎｉ ｏ ｔ ｏｗ ｒ ｅｅ ｉ （ ａＦ ｎ ｃｏ Ｆ Ｓ算 ＦＳ 算法选择的特征子集能力接 近 Ｓ Ｆ Ｆ Ｓ算 法 ， 所 需 时 间 较 Ｓ Ｆ 但 Ｆ Ｓ算 法 大 幅度 减少 ．
Ａｂ ｔ ａ ｔ ｓｒ ｃ ：Ｗ ｒ ｐｐ ｒ ｆ ａ ｕ ｅ ｓ ｌｃ ｉ ｎ ｍｅ ｈｏ ｒ ｅ ｙ ｔｍ ｅ ｃ ａ ｅ ｅ ｔ ｒ ｅ ｅ ｔｏ ｔ ｄｓａ ｅ ｖ ｒ ｉ — ｏｎｓ ｕｍｉ ． Ｔｈｉ ａ ｒｐｒ ｐｏ ｅ ｎｇ ｓ ｐ ｐｅ ｏ ｓ ｓ
ａ ｎ ｖ ｌ ａ ｔ Ｗ ｒ ｐ ｅ ｅ ｈ ｄ，ｎ ｍ ｅ ｙ Ｆ ｓ ｅ ｔ ｒ ｕ ｓ ｔ Ｒａ ｋ ｎ （ Ｓ ． Ｉ ｏ ｔ ａ ｔ ｏ ｅ ｓ ａ ｐ ｒ ｍ ｔ ｏ ｆ ａ ｌ ａ ｔ Ｆ ａ ｕ ｅ Ｓ ｂ ｅ ｎ ｉ ｇ ＦＦ Ｒ） ｎ ｃ ｎ ｒ ｓ
ｗｉｈ ｃ ｖｅ ｉ ｎ ｌｍ ｅ ｈｏ ａ ｉ ｇｌ ｅ ｔ ｅ，ｔ ｓｃ ｅ ａ ｕ ｔｏ ｔ ｏｎ ｎｔｏ ａ ｔ ｄｓ ｔ ｋｅ ｓ ｎ ｅ ｆ ａ ｕｒ ｈｅ ｂａ ｉ ｖ ｌ ａ ｉ ｎ ｕｎｉ ｆＦＦＳＲ ｓ ｆａｔ ｅ ｔｏ ｉ ｅ ｕｒ ｓ ｂｓ ｔａ ｈｅ ｃ ｉｅ ｉ ｓ ｔ ｏ ｅ ｇｅ ｅ ａ ｌｔ ｈ ｕ ｅ ．ＦＦＳＲ ｎ ｌ ｅ ｏ ｅ ｇ ｎｃ ｕ ｅ ｎｄ ｔ ｒｔ ｒｏｎ ｉ ｈｅｃ ｎｖ ｒ ｎｃ ｂｉ ｙ ｏｆｔ ｅ ｓ ｂｓ ｔ ｉ ａ ａ ｙｓ ｓｃ ｎｖ ｒ ｅ ｅ ａ ｌ ｙ ｆ ｏ ｂｏ ｈ ａ ｐ ｃ ｆｓ ｅ ｄ ａ ｘ ｒ ｍ ｕ ，ａ ｄ ｅ ｐｌ ｓ Ｓｅ ｕｅ ｔａ ｏ ｔｎｇ Ｆｏ ｗａ ｄ ｂｉ ｔ ｒ ｍ ｔ ｓ ｅ ｔ ｏ ｐ ｅ ｎｄ ｅ ｔ ｅ ｉ ｍ ｎ ｍ ｏｙ ｑ ｎ ｉ ｌＦｌ ａ ｉ ｒ ｒ
ＹＥ ｉｘａ ｇ，ＧＯＮＧ —ｉｇ Ｊ— ｉｎ Ｘｉ ｎ ｌ
（ ｃ ｏ ｌ ｆＣ ｍｐ ｔ ｒａ ｄ Ｃ ｍｍ ｕ ｉａ ｉ ｎ Ｅ ｇ ｎ ｅ ｉ ｇ，Ｃｈ ｎ ｓ ａ Ｓ ｈ ｏ ｏ ｏ ｕ ｅ ｎ ｏ ｎｃ ｔ ｎ ｉｅ ｒ ｏ ｎ ａｇ ｈ
Ｕｎ ｖ ｒ ｉｙ ｏ ｃｅ ｃ ｎ ｃ ｎ ｌ ｇ ， ａ ｇ ｈ １ ０ ４，Ｃｈ ｎ ） ｉ ｅ ｓｔ ｆＳ ｉｎ ｅ ａ ｄ Ｔｅ ｈ ｏ ｏ ｙ Ｃｈ ｎ ｓ ａ ４ ０ ０ ｉａ