数据挖掘分类算法介绍

数据挖掘分类算法介绍

-----------------------------------------------------------------------------------------------------------------------------

分类是用于识别什么样的事务属于哪一类的方法，可用于分类的算法有决策树、bayes分类、神经网络、支持向量机等等。

决策树

例1

一个自行车厂商想要通过广告宣传来吸引顾客。他们从各地的超市获得超市会员的信息，计划将广告册和礼品投递给这些会员。

但是投递广告册是需要成本的，不可能投递给所有的超市会员。而这些会员中有的人会响应广告宣传，有的人就算得到广告册不会购买。

所以最好是将广告投递给那些对广告册感兴趣从而购买自行车的会员。分类模型的作用就是识别出什么样的会员可能购买自行车。

自行车厂商首先从所有会员中抽取了1000个会员，向这些会员投递广告册，然后记录这些收到广告册的会员是否购买了自行车。

数据如下：

在分类模型中，每个会员作为一个事例，居民的婚姻状况、性别、年龄等特征作为输入列，所需预测的分类是客户是否购买了自行车。

使用1000个会员事例训练模型后得到的决策树分类如下：

※图中矩形表示一个拆分节点，矩形中文字是拆分条件。

※矩形颜色深浅代表此节点包含事例的数量，颜色越深包含的事例越多，如全部节点包含所有的1000个事例，颜色最深。经过第一次基于年龄的拆分后，年龄大于67岁的包含36个事例，年龄小于32岁的133个事例，年龄在39和67岁之间的602个事例，年龄32和39岁之间的229个事例。所以第一次拆分后，年龄在39和67岁的节点颜色最深，年龄大于67岁的节点颜色最浅。

※节点中的条包含两种颜色，红色和蓝色，分别表示此节点中的事例购买和不购买自行车的比例。如节点“年龄>=67”节点中，包含36个事例，其中28个没有购买自行车，8个购买了自行车，所以蓝色的条比红色的要长。表示年龄大于67的会员有74.62%的概率不购买自行车，有23.01%的概率购买自行车。

在图中，可以找出几个有用的节点：

1. 年龄小于32岁，居住在太平洋地区的会员有7

2.75%的概率购买自行车；

2. 年龄在32和39岁之间的会员有68.42%的概率购买自行车；

3. 年龄在39和67岁之间，上班距离不大于10公里，只有1辆汽车的会员有66.08%的概率购买自行车；

4. 年龄小于32岁，不住在太平洋地区，上班距离在1公里范围内的会员有51.92%的概率购买自行车；

在得到了分类模型后，将其他的会员在分类模型中查找就可预测会员购买自行车的概率有多大。随后自行车厂商就可以有选择性的投递广告册。

数据挖掘的一般流程

第一步，建立模型，确定数据表中哪些列是要用于输入，哪些是用于预测，选择用何种算法。这时建立的模型内容是空的，在模型没有经过训练之前，计算机是无法知道如何分类数据的。

第二步，准备模型数据集，例子中的模型数据集就是1000个会员数据。通常的做法是将模型集分成训练集和检验集，比如从1000个会员数据中随机抽取700个作为训练集，剩下300个作为检验集。

第三步，用训练数据集填充模型，这个过程是对模型进行训练，模型训练后就有分类的内容了，像例子图中的树状结构那样，然后模型就可以对新加入的会员事例进行分类了。由于时效性，模型内容要经常更新，比如十年前会员的消费模式与现在有很大的差异，如果用十年前数据训练出来的模型来预测现在的会员是否会购买自行车是不合适的，所以要按时使用新的训练数据集来训练模型。

第四步，模型训练后，还无法确定模型的分类方法是否准确。可以用模型对300个会员的检验集进行查询，查询后，模型会预测出哪些会员会购买自行车，将预测的情况与真实的情况对比，评估模型预测是否准确。如果模型准确度能满足要求，就可以用于对新会员进行预测。

第五步，超市每天都会有新的会员加入，这些新加入的会员数据叫做预测集或得分集。使用模型对预测集进行预测，识别出哪些会员可能会购买自行车，然后向这些会员投递广告。

Naïve Bayes

Naïve Bayes是一种由统计学中Bayes法发展而来的分类方法。

例1

有A、B两个政党对四个议题进行投票，A政党有211个国会议员，B政党有223个国会议员。下表统计了政党对四个议题赞成或反对的票数。

A政党的议员有20%概率赞成国家安全法，43%概率赞成个人财产保护法，94%概率赞成遗产税，89%概率赞成反分裂法。

B政党的议员有98%概率赞成国家安全法，97%概率赞成个人财产保护法，83%概率赞成遗产税，99.5%概率赞成反分裂法。

基于这样的数据，Naïve Bayes能预测的是如果一个议员对国家安全法投了赞成票，对个人财产保护法投了反对票，对遗产税投了赞成票，对反分裂法投了赞成票。哪么，这个议员有多大的概率属于A政党，又有多少的概率属于B政党。

例2

一个产品在生产后经检验分成一等品、二等品、次品。生产这种产品有三种可用的配方，两种机器，两个班组的工人。下面是1000个产品的统计信息。

使用Naïve Bayes模型，每次在制定生产计划，确定生产产品所用的配方、机器及工人，便能预测生产中有多少的一等品、二等品和次品。

神经网络

神经网络是一种模拟生物上神经元的工作的机器学习方法。

下面是银行用来识别给申请信用卡的客户发放何种信用卡的神经网络。

图中每个椭圆型节点接受输入数据，将数据处理后输出。输入层节点接受客户信息的输入，然后将数据传递给隐藏层，隐藏层将数据传递给输出层，输出层输出客户属于哪类信用卡。这类似于人脑神经元受到刺激时，神经脉冲从一个神经元传递到另一个神经元。

每个神经元节点内部包含有一个组合函数∑和激活函数f。X1, X2是其他神经元的输出值，对此神经元来说是输入值，组合函数将输入值组合后传递给激活函数。激活函数经过特定的计算后得到输出值y，y有被传递给其他神经元。

输入边上的w1和w2是输入权值，用于在组合函数中对每个输入值进行加权。训练模型时，客户事例输入，神经网络计算出客户的类别，计算值与真实值比较后，模型会修正每个输入边上的权值。在大量客户事例输入后，模型会不断调整，使之更吻合真实情况，就像是人脑通过在同一脉冲反复刺激下改变神经键连接强度来进行学习。

回归

分类算法是建立事例特征对应到分类的方法。分类必须是离散的，像信用卡的种类只有三种，如果是要通过客户收入、婚姻状况、职业等特征预测客户会使用信用卡消费多少金额时，分类算法就无能为力了，因为消费金额可能是大于0的任意值。这时只能使用回归算法。