一种不平衡数据流集成分类模型
结合SMOTE和GEPSVM的不平衡数据分类方法
2017年第1湖 V声息疼术…文章编号= 1009 -2552 (2017)01-0005-04DOI：10. 13274/j. cnki. hdzj. 2017. 01. 002结合SMOTE和GEPSVM的不平衡数据分类方法林坚\郭剑辉1>2，邵晴薇\张敏怡1(1.南京理工大学计算机科学与工程学院，南京210094 ; 2.中国电子科技集团公司第二十八所，南京210007)摘要：文中针对不平衡数据导致分类结果倾斜现象，提出了一种结合SMOTE和GEPSVM的分 类方法。
该方法利用SMOTE过采样重构训练集，使训练集达到相对平衡，避免了重复样本数据带来的过学习问题，最后用GEPSVM进行分类学习。
在U C I数据集上的实验证明了该算法在不平衡数据集上与传统的SVM算法相比有更好的分类效果，在计算时间上也有一定的优势。
关键词：不平衡数据分类；过采样；支持向量机；广义特征值中图分类号：TP181 文献标识码：AA GEPSVM algorithm based on SMOTE in the applicationof imbalanced data classificationLINJian1，GUO Jian-hui1 2，SHAO Qing-wei1，ZHANG Min-yi1(1. School of Computer Science and Engineering，Nanjing University of Science and Engineering，Nanjing 210094，China；2. The 28th Institute of China Electronics Technology Group Corporation，Nanjing 210007，China) Abstract:In this paper,a GEPSVM algorithm based on SMOTE over-sampling method is proposed toaddress the problem ol skewed classification results in classification algorithms.This algorithm utilizes the SMOTE over-sampling method to reconstruct training datasets.As a result，the training datasets are relatively balanced and the over-fitting problem caused by repeated sample data is avoided.F inally，it utilizes GEPSVM to conduct learning.The experiments on the UCI datasets demonstrate that the proposed algorithm achieves better classification results and requires shorter computation time than the traditional SVM algorithm on imbalanced datasets.Key words:imbalanced data classification;over-sampling;support vector machine;generalized eigen values0引言SVM(Support Vector Machine)是 Vapnik等人在1995年提出的大间隔的算法。
基于CPD-SMOTE的类不平衡数据分类算法研究
基于CPD-SMOTE的类不平衡数据分类算法研究彭如香;杨涛;孔华锋;姜国庆;凡友荣【摘要】类不平衡现象普遍存在于不同应用领域中,如金融欺诈、网络入侵、垃圾邮件过滤、医学检测,直接采用传统的学习分类算法,分类准确率较低.针对类不平衡情况对分类器的影响,基于传统过采样算法SMOTE(Synthetic Minority Oversampling Technique)算法处理类不平衡的有效性,致力进一步提升SMOTE算法性能,提出一种面向类不平衡数据集分类的改进型SMOTE算法——CPD-SMOTE算法.通过考虑训练集小样本的特征、位置及其周围样本分布,来确定小样本的强相关邻居集,以此作为SMOTE最近邻居集,产生新的小样本.实验结果表明,CPD-SMOTE算法在处理不平衡数据集上相比SMOTE、Borderline-SMOTE、ADASYN、LN-SMOTE等算法有所提高.【期刊名称】《计算机应用与软件》【年(卷),期】2018(035)012【总页数】5页(P259-262,268)【关键词】SMOTE;类不平衡;分类算法【作者】彭如香;杨涛;孔华锋;姜国庆;凡友荣【作者单位】公安部第三研究所上海201204;信息网络安全公安部重点实验室上海201204;;;【正文语种】中文【中图分类】TP301.60 引言类不平衡是指属于某一类别的观测样本的数量显著少于其他类别，通常情况下把多数类样本的比例为100∶1、1 000∶1，甚至是10 000∶1这种情况下为不平衡数据[1]。
类不平衡现象普遍存在着不同应用领域中，如金融欺诈、网络入侵、垃圾邮件过滤、医学检测，直接采用传统的学习分类算法，分类准确率较低[1-3]。
通常采用重采样方法处理类不平衡问题,重采样包括欠采用和过采样两种[1]。
相比于传统欠采样方法，SMOTE算法克服传统随机欠采样导致的数据丢失问题。
但是，SMOTE容易出现过泛化和高方差的问题，进而影响数据分布特征。
云模型和集成分类结合的故障数据不平衡学习
第 43 卷第 6 期2023 年 12 月振动、测试与诊断Vol. 43 No. 6Dec.2023 Journal of Vibration，Measurement & Diagnosis云模型和集成分类结合的故障数据不平衡学习∗马森财，赵荣珍，吴耀春（兰州理工大学机电工程学院兰州，730050）摘要针对故障数据集不平衡而导致的误分类问题，在分析了不平衡数据对传统分类器影响的基础上，提出了一种基于高斯云模型正向、逆向云发生算法的样本再生成技术。
首先，针对样本较少的类别，以现有样本特征值为逆向云算法的输入，计算出特征云模型的期望E x、熵E n和超熵H e这3个指标；其次，以E x，E n和H e为正向云发生算法的输入，衍生出数据量远大于原有样本的云滴（x i，y i），采集若干云滴的x值作为新的样本特征值，补充了样本数量较少的类，在数据层面解决了不平衡问题；然后，借助集成极限学习机（ensemble extreme learning machine，简称E⁃ELM）对补充后的平衡数据集进行分类学习，在算法层面提高了最终的分类精度；最后，在一个滚动轴承故障数据集上验证了所提方法的有效性。
关键词滚动轴承；分类；不平衡学习；集成学习中图分类号TH165+.3；TP391；TP18引言大数据时代的来临为旋转机械故障数据的处理、存储和利用带来了新的机遇和挑战［1］。
一直以来，分类问题是故障诊断甚至是机器学习研究领域的重要组成部分［2⁃4］。
然而，在采集的旋转机械状态数据中，某些类别的数据数量远少于其他一些类别的数据数量，但这些样本数量较少的类别往往又十分重要，不可忽略。
此现象造成了不平衡数据集的产生，传统分类器在这种类间分布不平衡的数据集上训练时常常会出现分类面偏移，导致故障误分类，使模型辨识精度降低。
因此，对不平衡数据分析技术进行深入研究，是工业大数据挖掘的重要前提之一，对旋转机械智能故障诊断技术的发展具有积极的促进作用。
数据挖掘与知识发现技术考核试卷
4.在数据挖掘中，______是指数据集中的记录没有重复出现。（）
5.在大数据分析中，______技术可以处理海量数据的存储和计算问题。（）
6.常用于文本分析的______模型可以识别文本中的潜在主题分布。（）
7.在数据挖掘中，______是一种无监督学习任务，旨在发现数据中的潜在模式。（）
C.潜在狄利克雷分配
D.独立成分分析
17.以下哪些算法可以用于文本分类？（）
A.朴素贝叶斯
B.支持向量机
C.决策树
D.聚类算法
18.以下哪些是数据挖掘中的隐私问题？（）
A.数据泄露
B.数据隐私保护
C.数据匿名化
D.数据共享
19.以下哪些方法可以用于异常检测？（）
A.箱线图
B.密度估计
C.机器学习模型
D.数据分析
8.以下哪个模型不是机器学习模型？（）
A.线性回归模型
B.逻辑回归模型
C.决策树模型
D.数据流模型
9.在数据挖掘中，以下哪个概念表示数据之间的相互依赖关系？（）
A.相关性
B.独立性
C.因果关系
D.非线性关系
10.以下哪个算法不是基于距离的聚类算法？（）
A. K-均值
B.层次聚类
C.密度聚类
10. C
11. B
12. D
13. A
14. C
15. D
16. D
17. D
18. C
19. B
20. D
二、多选题
1. ABCD
2. ABC
3. AB
4. ABC
5. ABC
6. ABC
如何处理AI技术中的数据不平衡问题
如何处理AI技术中的数据不平衡问题一、引言在人工智能（Artificial Intelligence，简称AI）领域，数据是训练算法和模型的基础。
然而，在现实应用中，我们经常会面临数据不平衡的问题。
所谓数据不平衡是指样本类别之间存在明显的数量差异，这种情况下训练出来的模型往往会对数量较多的类别表现更好，而对数量较少的类别表现欠佳。
为了解决这一问题，我们需要采取一些有效的方法来处理AI技术中的数据不平衡。
二、了解数据不平衡问题1. 定义数据不平衡是指样本类别分布极度不均匀或者存在明显的数量差异。
2. 影响数据不平衡会导致训练出来的模型倾向于偏向数量较多的类别，忽略了数量较少的类别，从而降低了整体模型性能。
3. 常见场景数据集中常见类型包括垃圾邮件识别、金融欺诈检测等。
三、探索处理数据不平衡问题的方法1. 重采样技术重采样技术是一种常见的数据平衡方法，通过增加少数类样本或减少多数类样本，将样本类别分布调整到合理水平。
（1）过采样过采样是指通过复制和添加原始数据中的少数类样本以增加其数量，以实现数据集平衡。
例如，SMOTE（Synthetic Minority Over-sampling Technique）就是一种流行的过采样算法。
（2）欠采样在欠采样中，我们从多数类中随机地删除部分样本来减少其数量，达到数据平衡。
然而需要注意的是，欠采样可能会导致信息丢失，并且只适用于拥有足够多重复或相似特征的大规模数据集。
2. 集成方法集成方法使用一系列分类器或回归器来共同判断最终结果。
对于数据不平衡问题，可以利用集成学习提高模型性能。
（1）BaggingBagging是一种装袋技术，在这个方法中，通过有放回地从原始训练数据集中有放回抽取部分子集进行训练来生成多个基本分类器/回归模型。
然后对所有分类器/回归模型的结果进行投票或求平均值来得出最终结果。
（2）BoostingBoosting 是另一种集成方法，在这个方法中，弱分类器/回归模型是按顺序生成的。
面向不平衡数据的马田系统分类方法及其应用
该方法是一种元算法，可以与其他分类算法进行结合，通过 调整分类阈值和选择不同的分类器，以适应不同的数据集和 分类任务。
马田系统分类方法的基本原理
马田系统分类方法的基本原理是通过对已知类别样本的学习，构建一个分类器，并利用这个分类器对 未知类别样本进行预测。
在构建分类器时，该方法考虑了不同类别样本的不平衡性，通过对不同类别样本的权重进行调整，以 避免类别不平衡对分类结果的影响。
03
不平衡数据集的处理技术
数据集的不平衡性
01
02
定义
原因
数据集的不平衡性是指数据集中不同 类别的样本数量存在显著差异。
数据集不平衡可能是由于现实世界中 不同类别的样本分布不均匀，或者在 数据收集过程中某些类别的样本难以 获得。
03
影响
数据集的不平衡性可能导致分类器在 训练和测试过程中出现偏斜，使得对 某些类别的样本分类精度降低，影响 分类器的整体性能。
实验结果与分析
实验结果
实验结果显示，面向不平衡数据的马田系 统分类方法在大多数数据集上取得了显著 优于传统分类方法的性能。具体来说，马 田系统分类方法在精确度、召回率和F1得 分等方面均有所改进。
结果分析
这些结果的取得，得益于马田系统分类方 法能够更好地处理数据集中的不平衡问题 。通过调整分类阈值和采用不同的成本敏 感学习策略，马田系统分类方法能够更好 地识别少数类别样本，从而提高整体分类 性能。
结果比较与讨论
结果比较
与其他文献中的研究结果相比，面向不平衡 数据的马田系统分类方法在大多数数据集上 取得了相似的性能。这进一步证实了该方法 的有效性和鲁棒性。
讨论
尽管面向不平衡数据的马田系统分类方法在 实验中取得了较好的性能，但仍然存在一些 挑战。例如，如何选择合适的阈值和成本敏 感学习策略，以及如何处理不同类型的不平 衡问题，都是需要进一步研究的方向。此外 ，将该方法应用于其他实际应用场景（如金 融、医疗和环境监测等）也是未来的研究方
机器学习高频面试题(41道)
机器学习高频面试题(41道)Q1: What’s the trade-off between bias and variance?问题1: 什么是偏差（bias）、方差（variable）之间的均衡？Bias 是由于你使用的学习算法过度简单地拟合结果或者错误地拟合结果导致的错误。
它反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力。
Bias 可能会导致模型欠拟合，使其难以具有较高的预测准确性，也很难将你的知识从训练集推广到测试集。
Variance 是由于你使用的学习算法过于复杂而产生的错误。
它反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
反应预测的波动情况。
Variance 过高会导致算法对训练数据的高纬度变化过于敏感，这样会导致模型过度拟合数据。
从而你的模型会从训练集里带来太多噪音，这会对测试数据有一定的好处。
Bias-Variance 的分解，本质上是通过在基础数据集中添加偏差、方差和一点由噪声引起的不可约误差，来分解算法上的学习误差。
从本质上讲，如果你使模型更复杂并添加更多变量，你将会失去一些 Bias 但获得一些 Variance，这就是我们所说的权衡（tradeoff）。
这也是为什么我们在建模的过程中，不希望这个模型同时拥有高的偏差和方差。
Q2: What is the difference between supervised and unsupervised machine learning?问题2：监督学习和非监督学习有什么不同？监督学习需要train有label的数据。
例如，为了进行classification（一项受监督的学习任务），您需要首先标记将用于培训模型的数据，以便将数据分类到标记的组中。
相反的，无监督学习不需要明确标记数据。
Q3: How is KNN different from k-means clustering?问题3: KNN和 k-means 聚类由什么不同？K-Nearest Neighbors是一种监督分类算法，而 k-means聚类是一种无监督的聚类算法。
不平衡数据集的处理
不平衡数据集的处理所谓的不平衡数据集指的是数据集各个类别的样本量极不均衡。
以二分类问题为例，假设正类的样本数量远大于负类的样本数量，通常情况下通常情况下把多数类样本的比例接近100:1这种情况下的数据称为不平衡数据。
不平衡数据的学习即需要在分布不均匀的数据集中学习到有用的信息。
不平衡数据集的处理方法主要分为两个方面：1.从数据上看，主要的方法是采样，分为欠采样和过采样，以及一些相应的改进方法。
2、从算法的角度出发，考虑不同误分类情况代价的差异性对算法进行优化，主要是基于代价敏感学习算法(Cost-Sensitive Learning)，代表的算法有adacost；另外可以将不平衡数据集的问题考虑为一分类（One Class Learning）或者异常检测（Novelty Detection）问题，代表的算法有One-class SVM。
本文主要介绍从数据角度出发的不平衡数据集的处理方法以及对应的python库（imblearn）。
二、从数据角度出发的不平衡数据集的处理方法2-1、随机采样2-1-1、朴素随机过采样（上采样）针对不平衡数据, 最简单的一种方法就是生成少数类的样本, 这其中最基本的一种方法就是：从少数类的样本中进行随机采样来增加新的样本，对应Python库中函数为RandomOverSampler：from imblearn.over_samplingimport RandomOverSamplerros = RandomOverSampler(random_state=0)X_resampled, y_resampled = ros.fit_sample(X, y)2-1-2、朴素随机欠采样（下采样）与过采样相反，欠采样是从多数样本中随机选取少量样本，然后将原来的少数样本合并为新的训练数据集。
有两种类型的随机欠采样，即放回采样和不放回采样。
在对大多数类别的样本进行采样后，不会对无放回欠采样进行重新采样，但有放回采样是可能的。
xgboost算法原理
xgboost算法原理XGBoost（ExtremeGradientBoosting）是近几年比较流行的机器学习算法，可以用于分类和回归预测。
XGBoost是基于梯度提升决策树（Gradient Boosting Decision Tree）的可扩展的、高效的、开源的实现，它具有快速的训练时间，自动处理数据不平衡，自动选择合适的特征等优点。
本文将介绍XGBoost算法的原理，分析它的优势，以及它在实际应用中的经验。
第二部分：基本概念XGBoost是一种基于梯度提升决策树（GBDT）的机器学习算法，它以树模型为基础，使用不同的正则化技术来处理过拟合和建立初步结构。
XGBoost算法通过在弱学习器（weak learners）之间构建一个有序而又复杂的集成模型，从而实现得到较强的预测精度。
XGBoost 算法使用了目标函数（objective function）、正则化项（regularization term）和损失函数（loss function）来训练模型，能够自动学习各个特征的权重，并且具有很高的准确率。
第三部分：算法原理XGBoost算法是一种基于梯度提升的机器学习算法，它的基本原理如下：（1）目标函数（Objective Function）：XGBoost算法的目标函数是为了提升模型的性能而定义的。
它包含三项：损失函数（Loss Function）、正则化（Regularization）和其他项（Other Items）。
（2）损失函数（Loss Function）：XGBoost算法使用常见的损失函数，如二分类损失函数、多分类损失函数以及回归损失函数。
（3）正则化（Regularization）：XGBoost算法使用L1和L2正则化，以及自动学习率（auto-learn rate）来防止过拟合。
（4）其他项（Other Items）：XGBoost算法还有一些其他参数，例如行深度（row depth）、叶子数量（leaf number）、最小叶子样本数量（minimum leaf sample number）等，这些参数可以在算法训练过程中通过超参数调优来提高性能。
基于加权与动态选择的不平衡数据流分类算法
基于加权与动态选择的不平衡数据流分类算法1. 内容概述随着信息技术的迅猛发展，数据流处理已成为当前研究的热点问题。
在众多应用场景中，不平衡数据流分类作为一个重要研究方向，对于维护系统的稳定性和提高资源利用率具有重要意义。
传统分类算法在处理不平衡数据时存在一定的局限性，如分类精度下降、计算复杂度高等。
为了解决这一问题，本文提出了一种基于加权与动态选择的不平衡数据流分类算法。
该算法的核心思想是在保证分类精度的同时，充分考虑数据流的动态变化特性，通过引入加权机制和动态选择策略，实现对不同数据流的差异化处理。
我们首先对数据流进行预处理，提取其特征信息；然后，根据特征信息计算每个数据流的权重值，权重值的大小反映了数据流的重要性；接着，在分类过程中，根据权重值动态选择待分类的数据流，优先处理权重较高的数据流；结合动态选择策略和传统分类算法，实现对不平衡数据流的分类。
本算法的创新之处在于：一方面，通过引入加权机制，使得算法能够根据数据流的实际重要性进行差异化处理，从而提高了分类精度；另一方面，通过动态选择策略，有效降低了计算复杂度，提高了算法的实时性。
本算法还具有较好的适应性，能够适应不同类型的数据流和不同的应用场景。
本文提出的基于加权与动态选择的不平衡数据流分类算法，旨在解决传统分类算法在处理不平衡数据时存在的局限性，提高分类精度和计算效率。
相信该算法在未来的实际应用中，将为相关领域的研究和应用带来有益的启示和参考。
1.1 背景介绍随着互联网的发展，网络流量日益增长，其中不平衡数据流的分类成为一个亟待解决的问题。
在不平衡数据流中，某一类别的数据量可能远远大于其他类别，导致分类器在训练过程中产生偏见，从而影响分类性能。
为了解决这一问题，本文提出了一种基于加权与动态选择的不平衡数据流分类算法。
在不平衡数据流分类问题中，传统的分类方法往往无法取得良好的效果，因为它们通常只关注多数类，而忽略了少数类的重要性。
传统方法在处理不平衡数据时，往往采用简单的权重设置或者采样方法，这些方法在某些情况下可能无法有效地提高分类性能。
人工智能基础(习题卷23)
人工智能基础(习题卷23)第1部分：单项选择题，共50题，每题只有一个正确答案,多选或少选均不得分。
1.[单选题]一般将原始业务数据分为多个部分，（）用于模型的构建。
A)训练集B)测试集C)验证集答案:A解析:2.[单选题]下列哪些没有使用Anchorbox?A)FasterRCNNB)YOLOv1C)YOLOv2D)YOLOv3答案:B解析:3.[单选题]关于循环神经网络设计的叙述中，错误的是（ ）。
A)能处理可变长度的序列B)基于图展开思想C)基于参数共享思想D)循环神经网络不可应用于图像数据答案:D解析:4.[单选题]语音识别的单元选择主要有三种,不包括()。
A)单词单元B)音量单元C)音节单元D)音素单元答案:B解析:5.[单选题]下列哪个算法可以用于特征选择(___)A)朴素贝叶斯B)感知器C)支持向量机D)决策树答案:D解析:6.[单选题]除了问题本身的定义之外，使用问题特定知识的搜索策略被认为是( )。
A)启发式算法B)minimax算法C)深度优先搜索答案:A解析:7.[单选题]使机器听懂人类的话最重要的是( )。
A)研发算法B)距离近C)高精度传感器D)清晰的话语答案:A解析:8.[单选题]执行以下命令之后，dic的值是哪一个？dic={'小张': 95, '木子': 85, '小虎': 80, '陈怡': 75, '朝朝': 66}dic['倩倩']=88A){'小张': 95, '木子': 85, '小虎': 80, '陈怡': 75, '朝朝': 66, '倩倩': 88}B){'小张': 95, '小虎': 80, '陈怡': 75, '朝朝': 66}C){'小张': 95, '小虎': 80, '陈怡': 75, '朝朝': 66, '倩倩': 88}D)以上都不是答案:A解析:9.[单选题]文档是待处理的数据对象，它由一组词组成，这些词在文档中不计顺序，如一篇论 文、一个网页都可以看作一个文档。
AdaBoost算法中的数据类别不平衡现象
Ａ ａ ｏｓ ｄＢ ｏｔ 算法是当前流行 的一种机器学习算法，Ａ ａ ｏｓ ｄＢ ｏｔ 算法的思想就是要把一系
列略优于随机猜测 的经验规 则增强为高 度准确 的预测规则 。为 了应用ＡｄＢ ｏｔ ，我 ａ ｏｓ 方法 们首 先需要寻找获 得这些粗 略的经验规则 的方法 或者算法 。ＡｄＢ ｏｔ ａ ｏｓ 算法称 这些为“ 弱” 或者 “ 学 习算法 ，在 研究分类 问题时 ，统称这 些算法为弱分 类器 。ＡｄＢ ｏｔ 基” ａ ｏｓ ￣每一轮 训练 的过程 中都把训练 实例 的一 个不 同的子集输 入其 中，用 以训 练学 习出若干 个弱分类 器 ，并从 中选择 最优 的一 个作为 本轮训练所得 的弱假设 。这样循 环训练许 多轮 以后 ， ＡｄＢ ｏｔ 就把这些弱 假设组合 成一个单一 的预测规 则 ，该规则很可 能 比任何一 个弱 ａｏｓ 算法 规则要准确得 多。ＡｄＢ ｏｔ ａ ｏｓ 算法是 学 习系统设计 思想的一个转变 ：不 是试 图设计一个在 整个空 间都精确 的学 习算法 ，而是集 中于 寻找仅 比随机 预测 好的弱学 习算法 。 在 本文 中，我 们将探ｉ＇ ａ ｏｓ ，ＡｄＢ ｏｔ 中的数据类别不 平衡 现象 。需 要说明 的是 ，本 － ， Ｊ 算法 文 既不是要研究专 门针对不平衡 问题 的分类 算法， 不是要研究数据类别极 端不平衡 的 也
情况。我们研究的目的，是希望使在常规应用环境下使用的Ａ ａ ｏｓ ｄＢ ｏｔ 算法对不平衡问题 具有较强 的鲁棒 性 。原 因是 ，在 实际应用 中，常常 无需或者无法 知道 待分类 的数据是否 具有类别不平衡 问题 或者 到底有 多么不平衡 。 ２ ｄＢ ｏｔ ａ ｏｓ算法 中的数据类别不平衡现象 Ａ 在常 规情况 下 ，ＡｄＢ ｏｔ ａｏｓ 算法 中的数据 类别不平衡现 象表 现为两种 形式 ：一 是初 始 训练集数 据类别 的不 平衡 ，即训 练集 中某类数 据 的数 目明显 多于另外一 类 ，另外一种表 现形式是 由于￣ Ａ ａ ｏｓ的训练 过程 中出现样 本权重分布 的扭 曲而导致重 抽样 的结果 出 ｄＢ ｏｔ
不平衡数据集的分类研究在医疗数据方面的应用
170数据库技术Database Technology电子技术与软件工程Electronic Technology & Software Engineering●项目支持：云南省高校数据化运营管理工程研究中心建设项目。
1 理论知识1.1 SMOTE过采样SMOTE 过采样技术是由Chawle [4][3]和他的团队率先提出，该技术是通过在两个少数类样本之间随机选择一个新样本作为少数类样本，以此循环往复，通过这种人工合成新样本的方式不断扩充少数类样本的数量，直至样本数据平衡为止。
1.2 ENN欠采样ENN 欠采样属于一种将多数类样本进行删减，使得原本的多数类样本和少数类样本在数量上尽可能的保持一定的平衡的欠采样方法，它主要对于其中的多数类选定样本，通过观察该样本附近k 个近邻点，如果附近的k 个近邻样本中有超过一半的样本和该样本不属于同一个类别，那么就将该样本进行相应的剔除。
1.3 随机森林算法随机森林算法是集成方法bagging 流派中的典型代表，该算法将原始数据集通过有放回抽样的方式对数据集进行扩充，通过多个决策树并行运算，输出各自的预测值，然后通过投票选择法，少数服从多数的原则，确定最后的输出结果。
1.4 Catboost算法Catboost 采用特殊的方式处理类别型特征，首先对类别特征做一些统计，计算某个类别特征出现的频率，之后加上超参数，生成新的数值型特征。
Catboost 还使用了组合类别特征，可以利用到特征之间的联系，而且基模型采用的是对称树，同时计算叶子结点方式和传统的boosting 算法通过平均值的计算方式也不一样，由于在这方面做了优化，而这些改进都能防止模型过拟合。
1.5 评价指标关于分类问题的研究，本文将整体分类率、查准率、召回率、f1-度量和auc 值作为模型分类效果的评价指标。
如表1所示，根据混淆矩阵可以得到以下指标，准确率度量的是所有预测样本当中预测正确的比例，但是在面对不平衡数据集的时候，准确率作为最重要的评价指标[6]，就会缺乏合理性，计算公式Accuracy=(TP+TN)/(TP+FN+FP+TN)。
面向互联网应用的不平衡数据分类技术研究
面向互联网应用的不平衡数据分类技术研究互联网的飞速发展,尤其是各类互联网应用,如网络新闻、电子邮件、电子商务等的发展为人们获取信息提供了便捷,但也同时将人们淹没在信息的海洋中。
对海量的互联网应用数据自动进行分类可以有效提高人们获取信息的效率,进而提升决策效率。
然而,很多互联网应用数据中某一类别或多个类别对应的样例数目明显少于其它类别对应的样例数目,形成所谓不平衡数据,如反动新闻与正常新闻、垃圾邮件与正常邮件、异常交易与正常交易等。
传统的基于类别均匀分布假设所设计的分类方法以及评价策略通常以整体的准确率为优化目标,容易忽视其中的少数类别。
而在实际应用中,人们经常更加关心少数类别,如网监部门更加希望识别出反动新闻、邮件服务商希望更好地识别出垃圾邮件、电子商务平台希望检测出其中的异常交易等。
互联网应用数据的持续到达特性以及类别分布的不平衡性为准确进行数据分类带来了诸多困难与挑战。
因而对面向互联网应用的不平衡数据分类技术进行研究具有很强的现实意义和社会价值。
本文从互联网应用数据的特性以及承担项目的实际需求出发,遵循由简单到复杂的思路,对不同类型的互联网应用数据设计了相应的处理算法。
首先从常见的两类别不平衡数据出发,针对其特点及实际应用需求,研究了不平衡数据预处理中的噪声过滤策略和数据重采样方法。
之后,将其扩展到多类别(类别数目多于两个,但每个样例只能属于一个类别)不平衡数据应用场景,提出了分解策略与数据重采样相结合的处理方法。
之后,进一步将前述研究成果拓展应用到多标签(不同于多类别,此时同一样例可以属于多个类别)不平衡数据分类中,设计了新的集成学习框架和基础分类算法。
最后,根据互联网应用数据持续到达的特点,研究了在不平衡数据流上的多窗口学习策略:(1)在两类别不平衡数据的预处理方面,首先针对不平衡数据集中可能存在的噪声,提出了基于IPF的改进噪声过滤方法,以尽可能减少噪声过滤时将少数类样例误判为噪声的可能性。
机器学习的数据预处理
机器学习的数据预处理机器学习是一种利用算法和模型通过数据自动获取知识和经验的方法。
在机器学习流程中，数据预处理是一个至关重要的环节，它的目标是将原始数据转换为适合机器学习算法处理的格式，以提高模型的准确性和可解释性。
本文将介绍机器学习的数据预处理方法。
一、数据清洗数据清洗是数据预处理的首要步骤，它的目的是去除或修复数据集中的错误、异常或缺失值。
常见的数据清洗方法包括：1. 错误数据处理：通过检查数据是否符合预期的范围或规则，识别并修正错误数据。
2. 异常值处理：通过统计方法或可视化工具，检测并处理偏离正常分布的异常值。
3. 缺失值处理：对于缺失部分，可以选择删除缺失样本、使用均值/中位数/众数填充或使用插值方法填充。
二、数据集成数据集成是将来自多个数据源的数据整合成一个一致的数据集的过程。
在数据集成中，需要解决数据结构不匹配、数据冗余和数据冲突等问题。
常见的数据集成方法包括：1. 垂直集成：将不同属性的数据合并成一个数据集，通过关联字段来建立连接。
2. 水平集成：将记录相同但属性不同的数据集合并，形成一个更完整的数据集。
3. 冲突解决：对于发生冲突的数据，可以选择保留、删除或进行冲突解决处理。
三、数据变换数据变换是将原始数据转换为适合机器学习算法处理的形式。
常用的数据变换方法包括：1. 归一化：通过线性缩放将特征值映射到一个特定的范围，消除不同尺度的影响。
2. 标准化：通过去除平均值并缩放到单位方差，使得特征具有零均值和单位方差。
3. 降维：通过主成分分析（PCA）等方法，将高维数据转换成低维表示，以减少特征的维度。
四、特征选择特征选择是选择对机器学习模型有用的特征，去除冗余和无关的特征。
常见的特征选择方法包括：1. 过滤式选择：通过统计指标（如信息增益、卡方检验等）对特征进行评估，选择相关性高的特征。
2. 包裹式选择：将特征选择看作一个搜索问题，通过建立模型评估子集的性能，选择对模型性能有最大影响的特征子集。
不平衡数据分类问题解决办法
不平衡数据分类问题解决办法作者：季晨雨来源：《电子技术与软件工程》2018年第15期摘要不平衡数据分类是指数据集中某一类的样本数量远小于其他类的样本数量。
由于传统分类算法在设计时，通常假定用于训练的数据集各类样本数大致相等，所以利用传统的分类方法对数据集进行分类时，会出现少数类的分类准确率较低的问题因此，如何解决不平衡数据分类问题是数据挖掘研究领域的一个热点和难点。
本文对不平衡数据分类问题进行了研究，从数据层面、算法层面、评价指标三个层面分别对目前存在的各种解决不平衡数据分类问题的方法进行介绍及比较，最后指出了不平衡数据分类在未来研究中的值得关注的一些研究方向。
【关键词】分类不平衡数据采样集成学习1 引言不平衡数据分类问题，是指数据集中某类样本的数目远远少于其他类的样本数目，即样本分布不平衡。
由于传统分类算法在设计时，通常假定用于训练的数据集各类样本数大致相等，所以利用传统的分类方法对数据集进行分类时，会出现少数类的分类准确率较低的情况。
然而，在现实生活中，我们往往关注的是少数类样本是否能被正确分类。
例如在信用卡欺诈识别中，属于欺诈行为的交易样本的数量要远远小于正常交易的样本数量，属于不平衡分类问题，且关注的重点是欺诈行为的交易样本能否被正确识别。
在实际应用中，还有许多分类问题，属于不平衡分类问题，比如网络入侵检测，医疗疾病诊断、客户流失预测、广告点击预测、卫星图像油井喷发检测等等。
2 不平衡数据分类问题解决办法不平衡数据的分类器性能较差的原因主要包括绝对样本缺失、相对样本缺失，评价指标选取不当，噪声数据影响，不恰当的归纳偏置以及分而治之的分类算法带来的数据碎片问题。
解决不平衡数据分类问题，可以从数据、算法、评价指标三个层面着手。
2.1 从数据的角度通过改变原始数据集的样本分布，采用过采样方法或欠采样方法，即对少数类样本数目进行增加或对多数类样本数目进行减少，使不平衡数据集的正负类样本数达到平衡。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第１ 期 年１ 月 ２ ０ １ ０
电 子 学 报 Ａ Ｃ Ｔ ＡＥ Ｌ Ｅ Ｃ Ｔ Ｒ Ｏ Ｎ Ｉ Ｃ ＡＳ Ｉ Ｎ Ｉ Ｃ Ａ
Ｖ ｏ ｌ ． ３ ８ Ｎ ｏ ． １ Ｊ ａ ｎ ．２ ０ １ ０
一种不平衡数据流集成分类模型
欧阳震诤１ ， 罗建书１ ， 胡东敏２ ， 吴泉源２
多类别的分类问题通常可以简化为二分类问题， 在二分类问题中， 称少数类为正类（ ） ， 多数 ｐ ｏ ｓ ｉ ｔ ｉ ｖ ｅ ｃ ｌ ａ ｓ ｓ 表 混合矩阵 １ 类为负类 （ ｎ ｅ ｇ ａ ｔ ｉ ｖ ｅ 被分为正类 被分为负类 ） 下面主要就不 ｃ ｌ ａ ｓ ｓ． 实际为正类 Ｔ Ｐ Ｆ Ｎ 平衡数据流中的二 实际为负类 Ｆ Ｐ Ｔ Ｎ 分类问题进行讨论 ． 数据流的分类问题研究中， 分类精度是一个主要 的性能评价指标， 然而单一分类精度的评价标准对于 不平衡数据流来说是不合适的， 到目前为止， 机器学习 领域中对于不平衡数据集分类问题中常用的标准有： ， 如表 Ｒ Ｏ Ｃ曲线分析以及基于混合矩阵（ ｃ ｏ ｎ ｆ ｕ ｓ ｉ ｏ ｎｍ ｅ ｔ ｒ ｉ ｃ 所示） 的 如查 全 率（ ） 、 查准率 （ ） 、 １ ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ Ｆ Ｖ ａ ｌ ｕ ｅ ［ ］ １ ５ ～ １ ７ 值以及 Ｇ 等 查全率（ ） 、 查准 率（ ｍ ｅ ａ ｎ ． ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ） 、 值以及 Ｇ 的计算公式如下： ｓ ｉ ｏ ｎ Ｆ Ｖ ａ ｌ ｕ ｅ ｍ ｅ ａ ｎ （ ） （ ） ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ＝Ｔ Ｐ／ Ｔ Ｐ＋Ｆ Ｐ １ （ ） （ ） ｒ ｅ ｃ ａ ｌ ｌ ＝Ｔ Ｐ／ Ｔ Ｐ＋Ｆ Ｎ ２ ２ （ ） · · １ ＋ ｒ ｅ ｃ ａ ｌ ｌ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ β （ ） Ｆ ｖ ａ ｌ ｕ ｅ ＝ ２ ３ ｅ ｃ ａ ｌ ｌ ＋ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ β·ｒ Ｇ ｍ ｅ ａ ｎ ＝ · Ｔ Ｐ＋Ｆ ＮＴ Ｎ＋Ｆ Ｐ 槡 Ｔ Ｐ Ｔ Ｎ （ ） ４
２ 相关工作 ２ １ 不平衡数据集分类的基本方法
在机器学习领域， 鉴于不平衡学习分类的重要现实 意义， 研究者对该问题进行了大量研究， 当前研究主要 集中于数据层的处理、 分类算法的改进、 设计以及分类 器性能评价标准设计等几个方面 ． 从数据层面的处理方法来看， 基本目标都是如何使 得少数类与多数类的样本数趋于平衡， 常用的方法是过 抽样（ ） 与欠抽样（ ） 或者是两 ｏ ｖ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ ｕ ｎ ｄ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ 过抽样方法通过增加训练集中少数类的 种方法的结合 ． 样本来提高分类器的性能， 而对多数类样本不做删减，
（ 国防科技大学理学院， 湖南长沙 ４ ； 国防科技大学计算机学院， 湖南长沙 ４ ） １ １ ０ ０ ７ ３ ２ １ ０ ０ ７ ３
摘
要： 针对不平衡数据流的分类问题， 结合基于权重的集成分类器与抽样技术， 本文提出了一种处理不平衡
理论分析与实验验证表明， 该集成分类器具有更低的计算复杂度， 更能适应存在概念漂移的 数据流集成分类器模型 ． 不平衡数据流挖掘分类， 其整体分类性能优于基于权重的集成分类器模型， 能明显提升少数类的分类精度 ． 关键词： 分类；集成分类器；不平衡数据流；概念漂移 Ｔ Ｐ １ ８ １ 文献标识码： Ａ 文章编号： ）０ ０ ３ ７ ２ ２ １ １ ２（ ２ ０ １ ０ １ ０ １ ８ ４ ０ ６ 中图分类号：
（ ， ， ， ， ； １ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｓ ｃ ｈ ｏ ｏ ｌ Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｄ ｅ ｆ ｅ ｎ ｓ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｃ ｈ ａ ｎ ｇ ｓ ｈ ａ Ｈ ｕ ｎ ａ ｎ４ １ ０ ０ ７ ３ Ｃ ｈ ｉ ｎ ａ ， ， ， ， ） ２ Ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｈ ｏ ｏ ｌ Ｎ ａ ｔ ｉ ｏ ｎ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｄ ｅ ｆ ｅ ｎ ｓ ｅ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ Ｃ ｈ ａ ｎ ｇ ｓ ｈ ａ Ｈ ｕ ｎ ａ ｎ４ １ ０ ０ ７ ３ Ｃ ｈ ｉ ｎ ａ
Ａ ｎＥ ｎ ｓ ｅ ｍｂ ｌ ｅＣ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ Ｆ ｒ ａ ｍｅ ｗ ｏ ｒ ｋｆ ｏ ｒ Ｍｉ ｎ ｉ ｎ ｇＩ ｍｂ ａ ｌ ａ ｎ ｃ ｅ ｄＤ ａ ｔ ａＳ ｔ ｒ ｅ ａ ｍ ｓ
１ １ ２ ２ ， ， ， Ｏ Ｕ Ｙ Ａ Ｎ ＧＺ ｈ ｅ ｎ ｚ ｈ ｅ ｎ ｇ Ｌ Ｕ ＯＪ ｉ ａ ｎ ｓ ｈ ｕ Ｈ ＵＤ ｏ ｎ ｇ ｍ ｉ ｎ ＷＵＱ ｕ ａ ｎ ｙ ｕ ａ ｎ
２ ３ ＷＥ集成分类器
令 ｔ 表示任一时间戳， Ｃ ｔ表示在该时间戳到达的 数据 块， 则数据流模型可描述为｛ …， ， ， ， Ｃ Ｃ Ｃ ｔ － １ ｔ ｔ ＋ １ …｝ 从数据流中连续采样得到 个数据块｛ ， ， …， ． ｎ Ｄ １ Ｄ ２ ｝ ， 下一时刻到来的数据块记为 Ｄ Ｄ ｎ ｎ是最近的数据块， （ 如Ｖ 、 Ｄ ． ＷＥ集成分类器选择某种分类算法 Ｆ Ｆ Ｄ Ｔ ｎ ＋ １ 、 等） 对每个数据块进行学习， 得到 ｎ个 Ｓ Ｖ Ｍ Ｎ ａ ｉ ｖ ｅ Ｂ ａ ｙ ｅ ｓ 基础分类器 ｆ （ ） （ ， ， …， ） ， 然后根据不同的 ＝Ｆ Ｄ ｉ ＝ １ ２ ｎ ｉ ｉ
］ １ ～ ４ 对每个基础分类器 ｆ ， 最后组合 方法［ ｉ赋予权重 ｗ ｉ 各个基础分类器构成一个整体分类器 ｆ 来对 Ｄ 中 ＷＥ ｎ ＋ １ 数据进行预测分类， 的计算公式为公式（ ） ： ｆ ５ ＷＥ
（ ）＝ ∑ ｗ （ ） ｆ ｘ ｆ ｘ ＷＥ ｉ ｉ １ ｉ ＝
ｎ
ｎ
（ ） ５
２ ２ 不平衡数据流分类性能的评价标准
收稿日期： ； 修回日期： ２ ０ ０ ９ ０ ５ １ ５ ２ ０ ０ ９ ０ ８ １ ０
内容版权归作者所有
更多技术文章，论文请登录
第 １ 期 欧阳震诤： 一种不平衡数据流集成分类模型 １ ８ ５
最简单的办法是复制少数类样本， 改进的算法是在少 ［ ］ ６ 数类中插值样本， 比较著名的是 Ｓ 过抽样由于 Ｍ Ｏ Ｔ Ｅ ． 增加了训练集样本的规模， 会导致构建分类器的时间 增加 ． 欠抽样与过抽样相反， 它通过减少多数类样本的 数量， 从而提高少数类的分类性能， 但是当随机去掉一 些多数类样本时， 可能造成多数类样本的一些重要信 ］ ７ 息的丢失［ ． 从分类算法的改进、 设计来看， 目前主要集中于几 个方面： 一是通过调整不同类样本的错分代价来给训 ］ ８ ～ １ ０ 练集中的样本加权， 重构训练集［ ； 二是改进传统算 ［ ］ １ １ 法， 设计代价敏感的分类算法 ； 三是多分类器的集成 学习 ． 在机器学习领域， 目前不平衡学习分类的研究对 象主要是静态不平衡数据集， 比较普遍的做法是综合 利用抽样技术与集成方法， 既利用过抽样或欠抽样来 提高分类器对少数类的分类性能， 又利用集成的优点 ］ １ ２ ～ １ ４ 来提高整体分类性能［ ．
前大部分分类方法虽然整体上具有较高的分类精度， 可 ］ ５ ， 因此适当降低多数类的 是对少数类的辨识率却很低［ 分类精度， 以换取更高的少数类的分类精度就成为了不 为能有效处理带概念 平衡数据流挖掘分类的主要目标 ． 漂移的不平衡数 据流 挖掘分 类问 题， 本文 基于 ＷＥ模 型， 提出了一种不平衡数据流集成分类器模型 Ｉ Ｍ Ｄ ＷＥ ．
１ 引言
分类技术是数据流挖掘研究领域的重要课题， 一个 高效的数据流分类算法应能在有效处理概念漂移的同 近年来， 研究人员在该领域 时保持相当好的分类精度 ． 做了大量卓有成效的工作， 集成分类器方法是一种被广 ［ ］ １ 等从理论上证明了集成分类器 泛采用的方法， Ｗａ ｎ ｇ 的性能要优于单个分类器 ． 在集成分类器方法中， 基于 权重的集成分类器方法（ ， 简称 Ｗｅ ｉ ｇ ｈ ｔ Ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅＣ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ［ ］ １ ～ ４ ） 被普遍认为是具有较高分类精度的方法， 它们 ＷＥ 能很好的处理数据流分类中的概念漂移问题 ． 然而， 集 成分类器方法与目前多数数据流分类器的设计一样， 它 们是基于数据流中类的分布是大致平衡这一假设的， 设 计者通常假定训练数据集中各类所包含的样本数大致 相当， 而这一基本假设在许多现实数据流应用问题中并 不成立， 不平衡数据流在许多实际应用中经常碰到， 如 挖掘、 信息检索 信用卡的欺诈辨识、 网络入侵检测、 Ｗｅ ｂ 等等 ． 在这些应用中， 少数类的分类辨识更加重要 ． 而目
： Ｍａ ， Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｎ ｙｒ ｅ ａ ｌ ｗ ｏ ｒ ｌ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｍ ｉ ｎ ｉ ｎ ｇａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｉ ｎ ｖ ｏ ｌ ｖ ｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｆ ｒ ｏ ｍｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｗ ｈ ｅ ｒ ｅ ｓ ｕ ｃ ｈａ ｐ ， ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｅ ｘ ｐ ｅ ｃ ｔ ｔ ｏｈ ａ ｖ ｅ ａ ｈ ｉ ｇ ｈ ｅ ｒ ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｖ ｅａ ｃ ｃ ｕ ｒ ａ ｃ ｙｏ ｖ ｅ ｒ ｔ ｈ ｅｍ ｉ ｎ ｏ ｒ ｉ ｔ ｙｃ ｌ ａ ｓ ｓ ｈ ｏ ｗ ｅ ｖ ｅ ｒ ｍ ｏ ｓ ｔ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｍ ｏ ｄ ｅ ｌ ａ ｓ ｓ ｕ ｍ ｅｒ ｅ ｌ ａ ｔ ｉ ｖ ｅ ｌ ｙ ， ， ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓｔ ｈ ｅ ｙｃ ａ ｎ ｎ ｏ ｔ ｈ ａ ｎ ｄ ｌ ｅ ｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎ ． Ｉ ｎｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒｗ ｅｐ ｒ ｏ ｐ ｏ ｓ ｅａｎ ｏ ｖ ｅ ｌ ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ （ ）ｆ Ｉ ＭＤ ＷＥ ｏ ｒ ｍ ｉ ｎ ｉ ｎ ｇｃ ｏ ｎ ｃ ｅ ｐ ｔ ｄ ｒ ｉ ｆ ｔ ｉ ｎ ｇｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｗ ｉ ｔ ｈｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｉ ｏ ｎｂ ｙｕ ｓ ｉ ｎ ｇｗ ｅ ｉ ｇ ｈ ｔ ｅ ｄｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｆ ｒ ａ ｍ ｅ ｗ ｏ ｒ ｋ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇｔ ｅ ｃ ｈ ｎ ｉ ｑ ｕ ｅ ｉ ｎ ｃ ｌ ｕ ｄ ｉ ｎ ｇｏ ｖ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇａ ｎ ｄｕ ｎ ｄ ｅ ｒ ｓ ａ ｍ ｐ ｌ ｉ ｎ ｇ ． Ｏ ｕ ｒ ｅ ｍ ｐ ｉ ｒ ｉ ｃ ａ ｌ ｓ ｔ ｕ ｄ ｙｓ ｈ ｏ ｗ ｓ ｔ ｈ ａ ｔ ｔ ｈ ｅＩ ＭＤ ＷＥｉ ｓ ｓ ｕ ｐ ｅ ｒ ｉ ｏ ｒ ａ ｎ ｄｈ ａ ｖ ｅ ｉ ｍ ｐ ｒ ｏ ｖ ｅ ｓ ｂ ｏ ｔ ｈｔ ｈ ｅ ｅ ｆ ｆ ｉ ｃ ｉ ｅ ｎ ｃ ｙｉ ｎｌ ｅ ａ ｒ ｎ ｉ ｎ ｇｔ ｈ ｅ ｍ ｏ ｄ ｅ ｌ ａ ｎ ｄｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙｉ ｎｐ ｅ ｒ ｆ ｏ ｒ ｍ ｉ ｎ ｇｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎｏ ｖ ｅ ｒ ｔ ｈ ｅ ｍ ｉ ｎ ｏ ｒ ｉ ｔ ｙｃ ｌ ａ ｓ ｓ ． ： ｃ ； ； ； Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｅ ｎ ｓ ｅ ｍ ｂ ｌ ｅ ｃ ｌ ａ ｓ ｓ ｉ ｆ ｉ ｅ ｒ ｉ ｍ ｂ ａ ｌ ａ ｎ ｃ ｅ ｄｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｓ ｃ ｏ ｎ ｃ ｅ ｐ ｔ ｄ ｒ ｉ ｆ ｔ