SPSS数据挖掘方法概述

数据挖掘方法概述
一、主要概念1ﻩ
二、主要方法概述 ............................................................................................................................ １
1、神经网络方法概述 (1)
２、聚类方法概述 (9)
3、主成分分析 (14)
4、决策树概述 (17)
5、关联分析２1ﻩ
６、遗传算法概述23ﻩ
一、主要概念
１、数据挖掘(ｄａta mｉnｉnｇ，简记DM):采取专门算法对数据库中潜在得、不明显得数据关系进行分析与建模。

2、ＣＲISP-DM(CRｏｓs-Ｉndusｔry Sｔandaｒｄ Pｒocesｓｆor Datａ Mining):各企业中被广泛采用得数据挖掘标准流程。

包括6个步骤:商业理解、数据理解、数据准备、模型建立、结果评估、应用部署。

3、Clｅｍenｔiｎe:SPSS公司推出得企业级数据挖掘软件产品,其包括得数据挖掘主要方法为：神经网络、聚类分析、主因子分析、决策树分析、关联分析、回归分析。

二、主要方法概述
１、神经网络方法概述
主要问题:(1）什么就是神经网络？
(２)神经网络有什么用？
(3)如何建立神经网络?
(4）如何应用神经网络？
（1）人工神经网络
“人工神经网络”(ARTIFICIＡL NEUＲAL ＮＥTWＯＲＫ,简称A、N、Ｎ、)就是基于模仿大脑神经网络结构与功能而建立得一种信息处理系统。

神经网络在一定学习规则下,对提供得学习样本进行学习,从中获取特征信息,并存储(记忆)在相应得权值及参数上。

学习后,对于新得输入数据,网络可通过已获取得权值及参数,计算网络得输出。

神经网络具有高度得非线性、容错性与自学习、自适应更新等功能，能够进行复杂得逻辑操作与非线性关系实现。

目前神经网络模型在辅助管理与决策中,应用广泛。

(2)神经网络得作用
已证明结论:对于函数,在满足一定条件下,可以找到函数与实常数与,构造函数:
使对于任意小得,满足
(3）简单神经网络模型(感知机模型)得建立
问题引入:设想对购买手机得顾客制定销售方案，用购买量与购买频率两个指标来判别,即:
购买量大, 购买频率大,则给予优惠折扣；
购买量大, 购买频率小,则给予优惠折扣 ;
购买量小, 购买频率大，则给予优惠折扣 ;
购买量小, 购买频率小,则不给予优惠折扣
问题：这样得销售方案判别就是否可以建立模型表示?
设想:分别对购买量、购买频率以及就是否优惠得两种取值定义为1，0,则上述四种方案可以用四个样本表示,设每一样本具有两个评价指标X1，X2,一个评价结果Ｙ: 样本号Ｘ1, X２ Y
1 １ 1 １
2 １ 0 1
3 0 1 1
4 0 ０ 0
构造两个输入节点、一个输出节点、二层结构得神经网络模型：
(*) O１=ｆ( ｘｊ取值1或０,
ｗ1ｊ(j=１,2)待求
作用函数:f(x)= 1 ｘ>0
０ x≤０
结构：
X1○ W11X１
○Y
X2○Ｗ12Ｘ2
学习样本:（x1(k),x２(ｋ)， Y1(k) ） , k就是样本数, ｋ=1，２,3,4
关键问题:如何获取模型(＊)中得权数w1j,使计算结果与样本得评价结果得误差最小?
计算ｗ1ｊ方法:
随机赋予ｗ１j初始值，通过对每一样本得学习,获取计算结果与样本评价结果得误差,修正w1j得取值，使经过一定次数得学习后,总误差能达到期望值,此时修正得到得ｗ１j就就是所要获取得权数,即设
δ(k)=∣Y k-Ｏk∣, Y k就是第k个样本评价结果(称期望输出或实际输出),Ｏ
k就是计算结果。

通过第k个样本得输出误差修正权数得公式为:
(k ＋1)=（k）＋△(k)，△=αδ（k)Xj
其中, α>0 , α称收敛因子。

第k个样本得误差为：误差 e k＝|δ(ｋ) ｜,
总误差Ｅ(k)=E(k-1)＋ｅk
计算过程:
１)设α=1,随机赋予w１j得初始值为0,即ｗ１1(k=1）=０,
ｗ12（k=1）=0
２) 对第一个样本进行学习：把X1=1,X２=１代入(＊），有
O= ｆ（ｗ11×X1+ w12×Ｘ2)=f(0×１+０×1)=f(0)=0
δ (k=1)= ∣Y ｋ -Ｏｋ∣=1
修正权数:△ｗ1ｊ=αδ (k)X j
△=δ (k＝1) X 1=1×1=1
△ｗ１2 =δ (k=1)X 2=1×1=1
(k=２）=（ｋ=１)+△=0+1=１，
ｗ12(k=２）＝ w1２(ｋ=1)+△w1２=０+１=1
总误差 E（K=1)= E（K=0)+ｅk=0+δ(ｋ=1)＝1
３)对第２个样本:X１=1 , X2=0， O＝f(１×1＋1×0)＝f(1)＝１
δ (k＝2）＝∣Yｋ -O k∣=0
修正权数:△w1j=αδ（k) X j
△＝δ (k=2）Ｘ１=0×１=0
△ｗ1２=δ (k=２) X 2=0×0＝０
（k＝2)=(k=1)+△＝１+０＝1,
w1２（k=2)= ｗ12(k=1)+△w12=1+０=1
总误差Ｅ(K=２)＝ E(Ｋ＝1)+eｋ=1+δ（k=2）＝1
4)对于获取得权数 =1,ｗ1２=1，有
对第３个样本:X1=0，X２＝1, Ｏ=ｆ(１×０+１×1)=f（1）=1=Y
对第4个样本：X1＝０，X２＝０, O=ｆ(1×0+1×０)= f(0)=０=Y
5)结论:＝1,ｗ12=1就是使计算结果与样本得评价结果误差最小得权数。

将=１,w１2=代入模型(*），则模型建立完毕。

可以利用这个建立得模型,对任一组输入得Ｘ1,X2,在未知其输出(评价结果)时，通过(*）计算得到结果。

（４)误差逆传播神经网络模型(Ｅｒror Bａck-Propagaｔion ,简记BＰ模型) 在简单神经网络得基础上,进行形式推广,对多个输入、多个输出、多层结构,不同作用函数得情况进行建模分析。

最常用得就是BＰ神经网络。

BP神经网络基本原理
ＢP神经网络模型就是一种具有三层或三层以上得前馈型得、按梯度算法使计算输出与实际输出得误差沿逆传播修正各连接权得神经网络模型。

网络按有教师示教得方式进行学习,
当一对学习模式提供给网络后,神经元得激活值,从输入层经各中间层向输出层传播,在输出层得各神经元获得网络得输入响应,并按减少希望输出与实际输出偏差得方向，从输出层经各中间层逐层修正各连接权，最后回到输入层,随着这种误差逆传播修正得不断进行，网络对输入模式响应得正确率不断上升。

x
1○
x2○t 节点 x3tm○
○
xｎ
输入信息正向传播
反向传播实际输出与网络输出误差
ＢP网络模型得特点:
模型表示:Ｙi=f（ i＝1,2,3…，m , x i取值(－∞,+∞）
O t= f ( t=1，2，3…,q, O t取值(０,1)
模型结构:至少三层(至少有一隐层),多个输入，一个或多个输出
作用函数(Siｇｍoid型函数) :ｆ(x)= 1/(1+e)
x（-，+) f(x）(0,1)
学习样本:
( ｘ１(k），ｘ2(ｋ），x３(k),…，x m(k)， D1(k)， D2(ｋ), D３（k)…， D q(ｋ) ) ,
ｋ就是样本数, k=１，2,3…，P
权值修正公式:设
δi=Di－Oi ， Di就是期望输出（实际输出),Oi就是网络计算输出
1)隐层与输出层连接权得修正：
(Ｋ+1)＝(K)+△
, 就是隐节点输出
2)输入层与输出层连接权得修正:
（Ｋ+1)=(K)+△，
,就是输入节点输入。

3) 第K个样本误差
总误差 E=
(５)基于神经网络辅助医疗绩效得评定
案例:为了对城市医疗能力进行评价，收集一批有代表性得城市医疗数据,评价指标为病床数、医生数、工作人员数、诊所数、死亡率，并给出了专家得评价结果,旨在建立评价城市得医疗建设绩效得模型,应用于评价任意城市得医疗建设绩效。

收集数据见表1、1（单位:万人)。

表1、1
样本病床
数医生数工作人员
数
诊所
数
死亡率专家评价得医疗能
力
上海g ｖv v b ｖ
北京 a v v ｖg v
沈阳ｂ b b a ｇ b
武汉g g ｇ a b a
哈尔滨ｖg ａ b a ａ
重庆g g ｂ b b ｂ
成都ａg g a ａ a
兰州v g a g v v
青岛g b v ｖ a ｇ
鞍山g a a ｂv g
其中,v——非常好, g——好， a——一般, b——差
需要评价得城市数据见表1、２。

表1、2
1）将取得得１0个样本分别量化:定义ｖ、g、a、ｂ得取值为
v=１、5,g=0、５，a=-0、５,b＝-1、5 (１)
也可以定义：v=３,g＝1，a= －1,b= －３
ｖ=6，g=2，ａ=-－2，b=-６
v=1０,g＝7,a=４,b=1由（1)定义可得上海等１0个城市样本取值见表1、3。

表1、３
样本病床数医生数工作人员
数诊所数死亡率专家评价
得医疗能
转换值网络输出
力
上海0、５1、５1、5 １、5 －1、5 1、5 0、９0、88８5 北京－0、5 1、5 1、5 1、５0、5 １、5 0、9 ０、9581 沈阳-1、５-1、５-1、5 -0、5 0、5 －1、5 ０、1 0、1215 武汉0、5 0、５0、５－０、5 -1、5 -0、5 0、3７0、38２６
6 １、5 0、5 -０、5 -1、5 -0、5 －0、5 0、３
7 0、369
哈尔
滨
重庆０、５0、5 -1、5 －1、５-1、５－1、5 0、1 ０、1168 成都-0、5 ０、５0、5 -0、5 -0、5 -０、5 0、３7 0、3４697 兰州1、5 ０、5 -0、５0、5 1、5 １、5 0、9 0、8998 青岛０、5 -1、5 1、5 1、5 -0、５0、5 ０、633 ０、6４1
９
鞍山0、5 －0、５-0、5 -1、5 １、5 0、5 0、63３０、656０２)设计具有三层、五个输入节点、8个隐节点、一个输出节点得ＢP模型,输入为万人拥有病床数、医生数、工作人员数、诊所数、死亡率，输出为评价得医疗能力。

3)由于选择得映射函数就是S型函数：
f（x）＝ 1/(１+e) , x（-,+) , f(x）（0,1)
需要把样本输出转换为(０,1)之间得值。

定义:
输出转换值=０、1+0、８(样本输出值－最小值）/(最大值－最小值)，
其中,这里最大值＝1、5,最小值＝－1、５, 转换后得样本输出见表1、3、
4) 网络学习35万次后,网络收敛,总误差为0、16,网络输出见表1、3所示，存储网络学习后得有关权数与参数。

5)用学习后得网络,建立得城市医疗能力评价模型:
Yi=f(， i=１,２,3...,8 x i取值(-∞,＋∞)，j＝1,2 (5)
Ｏt＝ｆ( , t=1 , O t取值（０,１)
其中,w ij、Vｔｉ、、rｔ已在学习中获取，评价表２城市得医疗能力，评价结果见表１、4。

表1、4
数能力
天津-1、５0、５－１、５０、5 －0、５0、12２ b
广州-０、5 0、5 0、5 0、5 -０、５0、6687 g
南京-1、5 ０、5 0、5 ０、5 -0、5 0、6423 g
西安0、5 0、5 －0、５0、5 0、５0、6011 g
长春０、5 0、５0、5 －0、5 0、5 0、633３g
太原1、5 ０、5 0、５0、5 1、5 0、8851 ｖ
大连－1、5 -０、5 -1、5 -０、5 ０、5 0、1134 b
济南１、5 1、5 1、5 ０、５－0、5 0、899６ｖ
抚顺０、5 -1、5 －1、5 －1、5 0、5 0、３869 a
思考问题:(1)
（2)如何利用神经网络对客户信誉等级进行评价？
(3)在城市医疗能力评价中,直接用收集得五个指标得定量数据作为神经网络输
入，就是否可以?
(4)在城市医疗能力评价中,评价结果有四个可能得取值,可否设计四个节点得输
出?如何定义?
作业:
拟建立神经网络进行肺病诊断，设每个病例有有五种症状:发烧(无、低、中度、高),咳嗽(轻微、中度、剧烈),X光所见阴影(点状、索条状、片状、空洞),血沉(正常、快)，听诊(正常、干鸣音、水泡音),肺炎与肺结合饿部分病例集见下表:
肺病实示例集
２、聚类方法概述
主要问题:(1)如何定义两类之间得距离?
(2)如何进行类归并？
(３）如何表出谱系图?
(4)聚类分析得应用?
聚类:按照事物得某些属性，把事物聚集成类,使类间相似性尽量少,类内相似性尽量大。

问题引入:(１)四个学生要分成两类,如何分？
(2）设想对优势股进行投资,问优势股如何选择?
一般地,按已知属性对样品或对元素进行归并,称为分类,未知属性(没有先验知识）按距离大小对样品或元素进行归并称为聚类。

常用聚类方法
1）、系统聚类法：先将n个样本各自瞧成一类,规定样本之间与类与类之间得距离,选择距离最近得一对合并为一个新类,再将距离最近得两类合并，直至所有得样本都归为一类为止。

聚类既可对样品进行聚类,也可以对变量进行聚类。

若对样品得进行聚类,设第i样品表示为,则第A类与第B类得距离可以定义为:
最常用得距离有:
１最小距离:用两类中样品之间得距离最短者作为两类得距离。

2最大距离:用两类中样品之间得距离最长者作为两类得距离。

３重心距离：用两类得重心之间得距离作为两类得距离。

4类平均距离:用两类中所有两两样品之间得平均距离作为两类得距离。

案例应用:设有5个股票,每个股票有８个指标Ｘ１,X2,…X８,表示为股价波动率、股息率、资产负债率、资金周转率、流动负债率、经营杠杆系数、财务杠杆系数、投资报酬率）,用x i
ｔ表示第ｉ个股票得第ｔ个指标得值，则可得到股票样品得数据矩阵:
变量
样品x1 x２ (x8)
１ x11 x12 (x18)
2 x21 x２2 (x28)
、、、、、
、、、、、
、、、、、
5 x51 x5２… x５8
将每一个样品作为一类,每个样品有8个变量，因此可以将每个样品视为8维空间中得一
个点，5个样品就就是8维空间中得5个点,然后用欧氏距离度量样品点得相似性:两样品点间距离越大，其相似性越小。

下面给出5个样品两两之间得欧氏距离阵D（0):
4 0
D（0): 6 9 0
1 7 10 0
６ 3 5 8 0
采用最小得距离法,将样品1与样品4合并成新类={,}
,则得到类之类得距离阵Ｄ(１):
４ 0
D(1）：６9 ０
６３５0
合并类与成一新类7。

下面计算类6,７，３之间得距离阵
D（2)： 4 0
5 ６ 0
合并类与成一新类={,}，最后计算与得距离为５,并合并为一大类。

并化出相应得谱系图:
1 2 3 ４ 5
１
4
2
5
3
五个样品得最小距离得谱系图
5个股票样品得聚类顺序表
合并次序合并得类合并后类得元素合并水平(距离)
1 1,4 6＝{1，4} 1
2 2,５７＝{2,5} 3
3 6,７8=｛1,２,４,5} 4
4 3,89={1,2,3,４,5} ５
最小距离法也可以对变量进行系统聚类,仍通过例子来说明
案例2:对某地超基性岩得一批样品,测试六个与矿化有关得元素:
x1＝镍，x2=钴，x3=铜，x４=铬,x５＝硫，x6==砷,并假设它们得相关系数如矩阵
Ｒ(0)所示。

相关系数定义:设有n个个体,每个个体测量了p个变量,第ｉ个变量x1与第k个变量ｘk得相关系数为：
r iｋ=]/
第A类与第B类得距离可以定义为:
１
0、84６2 1
0、757９０、9802 1
0、6431 0、２41９ 0、1811 １
0、５０39 0、7370 0、７21０－0、３075 1
０、5603 0、４24１０、3920 0、1998 ０、6802 1
其中, i=1,2，…，6,试用系统聚类得最大距离法对六个变量进行聚类(负相关系数采用绝对值)。

由于采用得就是相关系数矩阵，所以应找最大元素并类。

其中最大得元素为0、980２,因此将与合并为。

计算它与其它剩下得类得相关系数,相应地得到Ｒ（1):
１
０、757９ 1
０、1811 0、643１１
0、７210 0、5０3９ -0、3057 １
0、３920 0、５6０3 0、1998 0、6802 １
Ｒ（1)中最大得元素为０、75７9,因此将与合并为,并计算它与其它剩下得类得相关系数,相应得得到R(2):
1
0、1811 1
0、５0３9 -0、3075 1
0、3９20 0、1９98 0、68０２１
R(2)中得最大得元素为0、6８０２，因此将与合并为,并计算它与其它剩下得类得相关系数,相应地得到R(3):
1
0、３920 1
－0、3０75 0、１811 1
Ｒ(3）中最大得元素为0、３９20,因此将与合并为。

六个变量得并类顺序表
并次序合并得类合并后类得元素合并得水平(相关系数)
1 2，３７={ｘ2,ｘ3｝０、9802
2 １,78={x2,x３,x1} ０、7579
3 5,6９=｛x5,ｘ6} ０、6802
4 8，910＝｛x２,ｘ３,ｘ1，x5，ｘ6｝ 0、393０
5 10,４11＝｛ｘ２，x３,x1,x5,ｘ６，x4} ０、１811
1 0、8 0、6 0、4 ０、２０
x2
x３
x1
x5
x6
x4
横坐标就是并类得相关系数。

２）Ｋ均值聚类法
K均值聚类法就是一种已知类数得数据聚类与分类方法。

过程如下:
①选取聚类数Ｋ;
②从训练样本中任意选择K个向量C1,C２,…ＣK作为聚类中心,Cｉ=(Ｃi1，C i2…C in）;
③将每个样本Xｌ=（Ｘl1,Ｘl2, …,X ln)按距离：
P=１,2，3…k, 归入距离最小得中心为Ci得类;
④设属于Cｉ类得样本为Xｊ(j=１，２, …q),计算新得聚类中心
C‘i＝((C’ｉ１,C‘i2…C‘in)
其中：
⑤若④中得聚类中心不再变化,就终止,否则转③。

思考问题：（１)如果分两类,谱系图如何？
(2)如果分三类,谱系图如何？
（３)如何确定适合得聚类数？
(4)分析客户购买手机得数据,通过聚类分析客户流失情况。

作业: 在城市医疗能力评价中，评价指标为五个,即X=（X1,X2,X3,X４，X5)，每一指标取值四个（v,ｇ，a,b)，则Xi取值得各种可能为4５，则可能有45得评价指标情况，要求通
过聚类,从中选出1５个有代表性得样本，比较聚类辅助建立神经网络与专家经验辅助建立神经网络得不同。

３、主成分分析
主成分分析就是一种多变量分析方法,通过变量变换把相关得变量变为不相关得、比原来少得若干个新变量。

问题引入:为了找出影响顾客购买手机得主要因素,抽查一部分人按性别与年龄分成1０个小组,分别对1０0种手机类型进行打分评价,最受欢迎得手机给予9分,最不受欢迎得手机给1分。

设10组顾客对１00类手机得评分数据为:
指标样本手机1 手机2 …… 手机100
X1(男20岁以下）X１1 X２１…… X1００１
X２(男21—3０岁) Ｘ１２Ｘ22…… X100２
X３(男３1—４0岁）……
Ｘ4(男41—５0岁)
X5（男50岁以上)
X６(女２0岁以下)
X7(女21—３0岁）
X8（女3１—40岁)
Ｘ9（女41—５0岁)
X10（女50岁以上) Ｘ11０ X2 １0…… Ｘ１０0 10
Xij表示第j个顾客对第ｉ款手机得偏好评分,记A=(Xiｊ)。

设想通过主成分分析确定手机类型得主要影响因素。

主成分分析步骤:
1）求A得相关系数矩阵R,R=Ｒ(), 得定义为:
，=
2）求特征方程det（R-）=0得特征根ｉ(i =1,2,…ｎ);
3）通过非零向量B满足（Ｒ-）B=0,计算相应得特征向量Bi＝(Ｂｉ1,B i2，…Bi n);
4）从大到小排列i,不妨设1>2> ……>n ，由累计贡献率≥95%确定m个特征根
1>2> ……>m,对应得特征向量为Bi=(Bi1,B i２, …Biｎ)，i=1，2,…m;
5）计算主分量Ｚｋ，Z k=(k=1,2, …m(ｍ<n),即Zｋ就是原影响因素Xi得线性组合。

Z k 得应用:１)通过Ｚi与Z j得对应取值变化,了解主要影响因素之间得关系与变化趋势;2）可以通过Zｋ对X1,X２，…X１0０得贡献率,找出最大得指标Ｘｉ,视Ｘi为Zｋ影响最大得指标。

得定义:
令Xij 与 Zｉｊ得关系为:
组号\指标X1,X2, …… X n Ｚ１,Z 2 …… Ｚｍ
１Ｘ11 X21 …… X n １Ｚ11 Z21 Z m1
2 Ｘ１２X2２…… X ｎ 2 Z12 Z２2 Z m2
……
10 X110 X21０……Ｘn１0 Ｚ110 Ｚ210 Z m10
ｉ＝１,2, ……ｍ，j=1,2, …… n
案例分析:
1):A(Xｉｊ)得相关系数矩阵R为：
X1 X2 X3 (X)
１0
Ｘ１ 1 0、87１ 0、5１6 0、３７ 0、172 0、936 ０、８１１0、01５ 0、5 0、33
X2 1 0、7 ０、６4 0、4 0、８21……
…… 1……
1 ……
1……
1……
1……
1……
1……
X10
1……
2）用计算机求解特征方程deｔ（R-)=０得特征根i,其中累计贡献率达到９3、4％得前三个特征根为:1＝6、8３,２=1、７6,3=0、75;
3)计算三个特征值得特征向量及累计贡献率见下表:
k k
Z1=0.26８X１+０．311X２+0．３23X3+…0.3０X１0
Z2＝0.4４6X1+０.24X2 —0.16６3X3＋…—0．２６7X１０
Ｚ3=０．１94X１+0.336Ｘ2 +０.442Ｘ3+…—0．522X10
5)分析各特征向量得各分量得取值
对B1,各分量取值差异不大，符号相同（都就是正号),表明对哪一评价组合都就是喜欢得,或者都就是不喜欢得,因此可以把新得综合指标Ｚ1定义为偏好指标;
对B２,从第１组到第5组，从第６组到第10组,有从大到小得变化相同得趋势,即随年龄得增长而取值由正变负,表示了年龄对偏好喜欢程度得影响,因此可以把综合指标Z2定义为年龄指标。

对Ｂ3,各分量对于1到5组(男性）取正值,对于女性取负值，表示由于性别得不同而产生得偏好上得不同，所以可以把综合指标Z3定义为性别指标。

可以归纳为：影响手机购买得主要因素就是:偏好、年龄、性别。

6）可以通过Ｘ1——X１０得取值,获取Ｚk得取值，分析偏好与年龄得变化关系;
7)可以通过计算Zk对Xi得贡献率,确定贡献率最大得相应得评价组合，由此确定销售主要得对象策略。

如计算得到得为:
男性组合影响较大。

思考问题:如何通过收集得客户有关数据，分析客户流失得主要因素?
作业:
用随机赋分形式形成各年龄层得调查分数,借助SPＳＳ，求出各年龄层最感兴趣得三款手机。

4、决策树概述
决策树:一种以实例为基础得归纳学习算法,它从一组无次序、无规则得实例中推理出树表示形式得分类规则。

问题引入:设想影响气候得主要指标有四个:
天气:晴、多云、下雨;分别记为0,1,2
温度:寒冷,温暖,热,分别记为０,1,２
湿度：潮湿、正常,分别记为0,1,
风力:有风,没风，分别记为0,1。

将气候分为两个级别:P,N,分别记为0,１。

如果某一天得气候为多云,寒冷,湿度正常,没风,问气候就是哪一级别？
思路:1)建立判别实例集;
２)由实例集建立一棵判别得决策树;
3)由决策树对任何组合气候特征进行判断。

关键问题:如何建立决策树，树得属性判别次序如何选择？
Ｃ５、０系统决策树得算法(ID3)特点:首先找出最有判别力得因素，把数据分成两个子集,每个子集又选择最有判别力得因素进行划分，一直进行到所有子集仅包含同一类型得数据为止。

决策树建立过程:设收集得气候实例集为:
Ｉ(U,Ｖ)表示收到信息V后获得关于U得信息量，定义
Ｉ（U,Ｖ)=H(U)—H（U∣Ｖ）
对于相同得Ｕ及不同得V,当I(U，V)最大时，将属性V(即收到得信息)作为决策树得判断点。

关于H(Ｕ)、H(U∣V)得计算,用上述实例说明。

设Uj 表示输出类别(j=1，２)，即U1=P,U2＝N;Ｖk 表示判别特征,即Ｖ１=天气，V2=温度,Ｖ3=湿度,V4=风力,k=１,2,3,４,Vk ｊ表示第Ｋ个判别特征得第j 个取值,如V1=天气得取值为:V11=晴，Ｖ12=多云,V １3=有雨。

为了选择最有判别力得特征,需要分别计算I(U,Ｖk),从中取最大I(U,V ｋ０）,相应得V k ０就就是判别特征。

1）
Ｈ(U)得计算:根据输出类别Uj 得概率进行计算,即
由于 P(U1）=９／14, Ｐ(U2)＝5/１4
= —[9/1４log 2（9/14)+ 5／１4l ｏg 2(５/1４)] =0、9４
2）
计算H(Ｕ∣V1):
))(log )()(()()()(131
31
2
1
211111j i j j i j i j j j V U P V U P V P V U H V P V U H ∑∑∑===-==，
(1） 由于
P(V 11)＝5/１4, P(V １2)=4/１４， P(Ｖ1３)＝5/14， Ｐ(U １∣V 11)＝2/5，P(U ２∣V 1１)=3／5 P （U1∣V １2)=1,P(U2∣V 11)=0 P(U １∣V 13)=3／5,P(U2∣V 13)=2／5 代入(１）得:
))(log )()(()()()(131
31
2
1
211111j i j j i j i j j j V U P V U P V P V U H V P V U H ∑∑∑===-==
=5/14[2／５ log 2(５／2)＋ 3/５ log ２(5／3)］＋ 4/14[log 2(1)+ 0]+ 5/14［3/5
l ｏg 2(5／3)+ 2／5 log 2（5/2）]
=0、69４,
3） 计算I(Ｕ,V １):
Ｉ（U ，Ｖ1)=H （U)—H(U∣V1)=０、94-0、6９4＝０、246 4）
同理计算Ｉ（U ，Ｖk)(k=2,3，4)，并求出最大Ｉ(U ，Vk):
可以计算得到:I （U,V2)=0、02９,I(U,V3)=0、159,I （Ｕ,V4)=０、048
与I （U,Ｖ1)==0、24６相比,I(U,V1)最大,所以第一选择判别特征为Ｖ１=天气,作为决策树树根。

5）
建立树根得分支:树根对应得三个属性值(晴、多云,有雨）作为分支,分别有相应晴
得子集样本为F1={1,2,8,9,１1},相应多云得子集样本为Ｆ2={3,７,12，１3},相应有雨
得子集样本为Ｆ3＝{4,5,６,1０,14}，其中F1中2个取P,3个取N, F2中全部取N,F3中３个取Ｐ,２个取N 。

所以仅需对F1、F3进一步判别,对F2不需再判别。

6）
递归建树：分别利用上述算法(ID3)对子集F1、Ｆ3继续判别,即对子集Fi(i=１,３）
个特征求平均互信息最大得特征。

可以得到：
对F １,I （Ｕ,V3）最大,以其为该分支得结点再分支,由于取V3=湿度时,潮湿对应得类全就是N 类,正常对应得类全就是Ｐ类，因而已有判别结果,不需继续再分。

对Ｆ３,计算得到平均互信息最大得为I(U,V ４)，Ｖ4=风力,以其为结点再分枝,此时有风对应得就是N 类,无风对应得就是P 类,所以也有判别结果,不许继续再分。

见图所示。

无风 P
7） ,没风”,进行判别,
判别结果为“气候为P 类”。

8）
利用决策树,可以写出判别规则：
ＩF “天气就是晴” and “湿度潮湿”Ｔ ｈe ｎ “气候就是N 类” IF “天气就是晴” and “湿度正常”T h ｅn “气候就是Ｐ类” IF “天气就是多云” T h ｅn “气候就是P 类”
IF “天气就是有雨” ａnd “有风”T he ｎ “气候就是N 类” IF “天气就是有雨” and “无风”Ｔ h ｅn “气候就是P 类”
9）
决策树得存在问题:(1）依赖于特征取值较多得特征;
(2）依赖于正、反例取值个数;
（3）当正、反例个数变化时,平均互信息也变化,决策树变化。

思考问题:如何对顾客得数据进行判别，以作出最佳销售策略? 如何从一个决策树,转换为一个神经网络? ５、关联分析
关联分析：对事务中物品之间同时出现得规律知识模式进行分析得方法。

关联规则:通过量化得数字描述事务中物品之间同时出现得规律得关联表示。

问题引入:1）事务1中出现了手机,事务2中出现了电池、储值卡，事务3中出现了手机与电池,问手机、电池、储值卡在事务中出现,其相互之间有没规律可循?
2)开通得手机业务中，如语音信箱,移动秘书,信息点播,呼叫转移…等，相互之间就是否有关联关系?
主要概念:
1)可信度:(cｏnfｉdence)设Ｗ就是一组事务集，每个事务T就是一组物品。

若W中支持物品集Ａ得事务中,有Ｃ%得事务也支持物品集B,则Ｃ%称为关联规则Ａ B得可信度,其中,
A B表示A出现则B也出现，且AB=。

可信度表示为P(B/A)。

2)支持度(Supporｔ):设W中有S%得事务同时支持物品集A与B,则S%称为关联规则A B 得支持度。

支持度表示为P(Ａ∩B)。

3）期望可信度（eｘpected confｉdｅｎｃｅ):设W中有E%得事务支持物品集B,则Ｅ%称为关联规则A B期望可信度。

期望可信度表示为P（B)。

４)作用度(lift):作用度就是可信度与期望可信度得比值。

表示为P（Ｂ/A)/ P(B)。

关联规则挖掘算法常用得有aｐriｏｒi算法。

aprioｒi算法得主要思想就是找出存在于事务数据库中得所有大物品集（也称频繁集）,利用获取得大物品集生成关联规则。

其中，大物品集就是指支持度不少于用户给定支持度得物品集。

案例: 设通过统计用户主叫号码得业务使用情况，进行业务得关联分析。

设有10项业务，记0—语音信箱,…５—移动秘书，６—信息点播,…,９—呼叫转移,统计得１0个主叫号码及使用业务如下所示：
主叫号码使用得业务类型
0,５，6,7
1，５,6，7,
1,4,７
８,7,9
０，１，2,５,6
1 1,2，3，6
4，5,6,９
0,2,3
４,5,7，8
3,6，7
记Ａ为业务5，Ｂ为业务6,T为事务总数(主叫号码统计数),则有:
规则A Ｂ得支持度为0、4,可信度为0、8。

规则B A得支持度为０、4,可信度为0、67。

若用户给出得最小可信度为０、３,支持度为0、３,则这两条规则满足条件,形成关联规则。

问题：如何确定那些业务可以生成不少于用户支持度与可信度得关联规则？
apriori算法特点:设物品集I含有N个项,Ｔ就是事务，用户给定得最少支持度为Ｐ。

1）计算所有得1－项集（K项集表示元素只含K项),记为C1;
2）用给定最少支持度（用户给定支持度)对C1进行过滤，选出满足最少支持度得项, 记为L1;
3）由L1通过L1*L1生成2-项集Ｃ2，其中C2为
C2=L１＊L1={ＸY,XＬ1,YL1,XＹTi, Ti就是某一事务,ＸY 就是2－项元素}；
4）用给定最少支持度(用户给定支持度）对C２进行过滤,选出满足最少支持度得项，记为Ｌ2;
5）由L2通过L２＊L1生成３-项集Ｃ3,其中Ｃ3为
C3=L2＊L1={ＺY,ZＬ２，YL1，ZYTｉ, Ti就是某一事务，ZY 就是３-项元素，且ZY 得任一子集得最少支持度仍大于Ｐ }；
6）用给定最少支持度(用户给定支持度)对C3进行过滤,选出满足最少支持度得项,记为L3;
7）以此类推,可以选出Ｋ项集Ck,Ck为
Ck＝L(k－１)*L1＝{GY，ＧL(ｋ-1),YL1,GＹTi，Ｔi就是某一事务,GY 就是k－项元素,且GY 得任一子集得最少支持度仍大于Ｐ};当用给定最少支持度对Ck进行过滤不能选出更大项得元素时,Ck就就是最大物品集。

例:设有四项业务，用Ｔ-IＤ表示,用户得最少支持度与可信度均为0、4 ，如下所示：Ｔ－IＤ项
100 ACD
200 BCE
３00 ＡBＣE
40０ BＣ
通过aprｉｏrｉ算法,可以找出ＢＣE就是大物品集,可以生成关联规则:
B {BCE}-{B｝即
B C ｃｏnf=2/３, Sup=２/4,
B Ｅ cｏｎf=1，Ｓup＝3/4
Ｃ B ｃonf=２／３, Ｓuｐ=2/4
C E coｎf＝２/3, Suｐ＝2/４
E B ｃonｆ＝1，Ｓup=3/４
E Ｃ coｎf=2/3, Sup=2/4
思考问题:(1)如何利用关联分析,挖掘手机销售中得零配件业务关系,从而制定有利得销售策略?
(２)如果以利润最大为目标,如何从关联业务中，形成利润最大得促销(套餐,如买一送一,或买十送一)策略?
6、遗传算法概述
遗传算法主要思想：
遗传算法就是一种基于生物自然选择与遗传机理得随机搜索算法。

该算法从一组随机产生得初始解,称为“种群”,开始搜索过程。

种群中得每个个体就是问题得一个解,称为染色体。

染色体在后续迭代中不断进化,称为遗传。

在每一代中用“适值”来测量染色体得好坏。

生成得下一代染色体,称为后代。

后代就是由前一代染色体通过交叉或变异运算形成。

新一代染色体形成中，根据适值大小选择部分后代,淘汰部分后代,从而保持种群大小就是常数。

适值高得染色体被选中得概率较高。

这样,经过若干代之后,算法收敛于最好得染色体，这很可能就就是问题得最优解或次优解。

基本概念
（1）基因链码
生物得形状就是由生物得遗传基因得链码所决定得。

使用遗传算法时,需要把问题得每一解编码成为一个基因链码,称为个体或染色体，每一基因链码得位称为基因。

（2）群体
群体（种群)就是若干个个体得集合。

由于每个个体代表了问题得一个解，所以一个群体就就是问题得一些解得集合。

例如,Ｐ1＝｛ｘ1,ｘ2，…x１０0}就就是由100个解(个体)构成得群体。

（3）交叉
两个染色体某些基因得交换。

交叉得作用在于使新得群体中得个体具有多样性，由此扩大解得搜索空间。

（4）变异
通过在染色体上得某些基因位置产生突变使得新产生得个体与其它个体有所不同。

变异得作用在于提供初始群体中不含有得基因,为种群提供新得内容。

（5）适应度
表示染色体对环境得适应程度。

适应度越大,染色体越好,对应得解越好。

（6）选择
根据染色体得适应性,选择适应度大得染色体而淘汰适应度小得染色体。

遗传算法得流程:
1．令进化代数g=0,随机给出初始化群体P(ｇ);
2．对Ｐ(g)中每个个体估值;
3．根据估值进行个体选择(复制）;
4．对已选择个体,进行交叉与变异操作，得到新一代群体Ｐ(ｇ＋1）。

令g=g+1。

5．如果终止条件满足,
遗传算法得实现
1.编码方法
（１）二进制编码:
如整数1552
例:二进制数110010012转换为十进制:
7+１26＋025+0２4+123+０２２+0２1+120+
２=12
=１28+64+8＋1=20110
十进制数N1０转换为二进制数（除2取余):
N１0=b m2m＋ b m-1２ｍ-1+ …ｂ1２1+ b020
由十进制数与二进制数得转换规律， b i由2除N1０得余数决定。

例：将157１０转换为二进制数: 余数
2 157 1=b0
２7８ 0= b1
2 3９ 1= b2
2 19 1= ｂ3
2 9 1= b４
2 4 0＝ｂ5
2 ２ 0＝ b6
2 1 1= b７
０
把余数按顺序排列,有１571０=1001１1012。