模糊决策树

模糊决策树的归纳过程
模糊决策树的归纳过程由以下步骤组成： (1)数据预处理； (2)归纳建立决策树； (3)把得到的模糊决策树转换成一组模糊规则； (4)把得到的模糊规则应用于分类。
（1）数据预处理
数据预处理,包括噪声检查、缺失属性处理、数据 离散化、数据模糊化、训练数据和测试数据的划 分等操作.
模糊集合
用模糊集合来描述模糊概念 属性：身高 属性值：高，矮----语言术语
两种不确定性
一般认为，不确定性可以分为两大类： 一类是统计上的不确定性(Statistical Uncertainty)， 一类是人类认识、思维、感觉、推理等上的不确定性 (Cognitive Uncertainty)。
不确定性度量
(2)归纳建立决策树
Outlook
Plan
Day
Sunny
Overcast
Rain
Volleyball Swimming W-lifting
D1
1
0
0
0.0
0.8
0.2
D2
1
0
0
1.0
0.7
0.0
…
…
…
…
…
…
…
S(Sunny, Volleyball) = 0.38 S(Sunny, Swimming) = 0.67 S(Sunny, Weight_lifting) = 0.20. The normalized possibility distribution is {0.56, 1,0.29}.
重点是数据模糊化： 一般数据库属性都是：离散的和连续的很少有以
模糊集形式给出的。 离散的模糊的 连续的模糊的 把数据的分布信息转化成数据的模糊程度。
离散的模糊的
Day D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 D11 D12 D13 D14
Outlook Sunny Sunny Overcast Rain Rain Rain Overcast Sunny Sunny Rain Sunny Overcast Overcast Rain
Volleyball Swimming W-lifting
D1
1
0
0
0.0
0.8
0.2
D2
1
0
0
1.0
0.7
0.0
…
…
…
…
…
…
…
S(Sunny,Volleyball) S(Sunny,Swimming) S(Sunny,W-lifting) S(Overcast,Volleyball) S(Overcast,Swimming) S(Overcast,W-lifting) S(Rain,Volleyball) S(Rain,Swimming) S(Rain,W-lifting)
模糊决策树
Yuan和Shaw提出的算法是基于Min-Ambiguity即不 确定性的减少建立决策树，它基于可能性分布模型。
Fuzzy ID3算法采用基于模糊熵的信息增益的启发 式算法，这种启发式的目的是根据最大的信息增益值（ 最小模糊熵）选择扩展属性，使得生成树的平均规模最 小，它基于概率分布模型。
Outlook
Sunny
Rain
Overcast
把上面的值分别代入，计算模糊
信息熵或不可指定性的公式。可以
计算出Sunny这个模糊子集的模糊熵
或者是不可指定性。
Gain(S,A) Entropy(S)
Sv
S vValues(A)
Entropy(Sv )
(2)归纳建立决策树
Outlook
Temperature Hot Hot Hot Mild Cool Cool Cool Mild Cool Mild Mild Mild Hot Mild
Humidity High High High High Normal Normal Normal High Normal Normal Normal High Normal High
I M (A B)
min{A (x), B (x)}
S( A, B)
xX
M ( A)
A(x)
xX
S(Sunny, Volleyball) = 0.38 S(Sunny, Swimming) = 0.67 S(Sunny, Weight_lifting) = 0.20. The normalized possibility distribution is {0.56, 1,0.29}.
人类认知上的不确定性还能够深入分为两个子类： 模糊性 (Vagueness) 不可指定性(Ambiguity)
两种不确定性
模糊性是现实世界中关于作出精确决定的一类难题， 比如一些应用领域中的某些利益关系不能够用清晰的边界 划分开来。
不可指定性是关于一对多的关系，诸如一个选择面临 的两个或者多个的情形。
9
95
5
E
ntropy(S
)


14
log
2
( 14
)

14
log
2
( 14
)

0.940
熵(Entropy)
Entropy(S) p log2 ( p ) （1 p）log2 (1 p )
信息增益
属性的信息增益是按该属性分割后熵的消减期望值：
Gain(S,A) Entropy(S)
(对于EnjoySport:Yes,No)
决策树简介
Outlook
Sunny
Rain
Overcast
Humidity
Wind
High Normal Yes Strong Weak
No
Yes
No
Yes
结点：属性 边：属性值 叶子结点：类别
决策树表示方法
Outlook
IF-THEN规则：
Sunny
Rain
• 三角隶属函数 • 梯形隶属函数 • 高斯隶属函数
连续的模糊的
属性：身高 属性值：高，矮----语言术语
属性：身高{175} 身高{0.6，0.4} 身高{175} 身高{0.6，0.7}
实验数据
(2)归纳建立决策树
Outlook
Plan
Day
Sunny
Overcast
Rain
Wind Weak Strong Weak Weak Weak Strong Strong Weak Weak Weak Strong Strong Weak Strong
Play Tennis No No Yes Yes Yes No Yes No Yes Yes Yes Yes Yes No
离散的模糊的
（4）模糊推理
对于一个给定的样本，可以通过以下步骤得到分类结果： （1）对于每一条模糊规则，根据规则的条件属性和规则的真实度来计算该 样本的分类和属于该分类的隶属度。在规则内取小，得到的值再乘以该条规 则的真实度CF得到的值作为样本属于该分类的隶属度。 （2）如果多条规则都把该样本分到同一个类别，则选择隶属度最大的值作 为该样本属于该类别的隶属度。 （3）如果样本被分到不同的类别中，则选取隶属度最大的类别作为该样本 的最终分类结果。
Sv
S vValues(A)
Entropy(Sv )
其中Sv是S中属性A值为v的子集。
ID3算法选择信息增益最大的属性来分裂当前结点。
连续值属性
连续属性的离散化：对于连续值的属性A，算法可动态 地创建一个新的布尔属性Ac，如果A<c，那么为Ac真， 否则为假。 例子：
可供选择的阈值（48+60）/2=54，（80+90）/2=85 c=54所对应的信息增益大。所以选择Temperture54
Rain Overcast
Gain(S,A) Entropy(S)
Sv
S vValues(A)
Entropy(Sv )
（3）模糊规则
一棵模糊决策树可以转换成一组模糊规则集。 从根结点到叶子结点的每一条路径都可以转换成一条形式为 IF A THEN Ci (CF= )的模糊规则。 条件部分用从根结点到叶子结点的经过的分支属性表示，类别为 叶子结点中具有最高分类真实度的分类。 CF为模糊规则的真实度，可以在建树的过程中得到CF的值。
在模糊推理中有四种常用的算子，包括( , ), ( , ), ( , )和( , )。
Plan
Day
Sunny
Overcast
Rain
Volleyball Swimming W-lifting
D1
1
0
0
0.0
0.8
0.2
D2
1
0
0
1.0
0.7
0.0
…
…
…
…
…
…
…
权重
Outlook
W (Sunny)
M (Sunny)
Sunny
M (Sunny) M (Overcast) M (Rain)
对于连续属性的关键问题是如何选取最佳的阈值c.
属性
属 性：条件属性，决策属性。 属性值：离散的，连续的，模糊的。 •离散的:形状{三角，圆形} 颜色{红，黄} Crisp Decision Tree •连续的：身高 {175cm} Binary Decision Tree •模糊的：身高{高，矮} Fuzzy Decision Tree
Overcast
IF Outlook = Sunny
Humidity
Wind AND
High Normal Yes
Strong
Humidity = High WeakTHEN
PlayTennis = No
No
Yes
No
Yes
……ቤተ መጻሕፍቲ ባይዱ
基本的决策树学习算法
主要内容： （1）ID3算法 （2）熵(Entropy) （3）信息增益(Information Gain)
Day Outlook Temperature Humidity Wind Play Tennis
D1 Sunny Hot
High
Weak No
D2 Sunny Hot
High
Strong No
Outlook
Day
Sunny
Overcast
Rain
D1
1
0
0
D2
1
0
0
连续的模糊的
把数据的分布信息转化成数据的模糊程度。 指定隶属函数和隶属函数的参数。 常用的隶属函数有：
日常生活中的模糊概念
在人类的认知世界中，有很多概念是模糊的，没有明 确的两极边界，例如在日常生活中的厚薄、快慢、大小、 长短、轻重、高低、稀稠、贵贱、强弱、软硬、锐钝、深 浅、美丑等等都是模糊概念。
传统的集合理论对这类概念的划分显得无能为力。 1965年，美国工程师L.A.Zadeh提出了模糊集合论，有了 模糊集合论，计算机就可以跨越两极的黑白边界，在“灰 色”中间地带发挥作用，从而提供更符合现实情况的答案 。
Outlook
Sunny
Rain
Overcast
(2)归纳建立决策树
Outlook
Plan
Day
Sunny
Overcast
Rain
Volleyball Swimming W-lifting
D1
1
0
0
0.0
0.8
0.2
D2
1
0
0
1.0
0.7
0.0
…
…
…
…
…
…
…
模糊规则的真实度定义为条件模糊集A包含于结论模糊集B的程度:
Warm Warm Cold Warm
Normal High High High
Wind Strong Strong Strong Strong
Water Warm Warm Warm Cool
Forecast EnjoySport
Same
Yes
Same
Yes
Change
No
Change
Yes
训练样例 条件属性(Sky,AirTemp Humidity,…) 决策属性(EnjoySport) 属性取值(对于Sky:Suny,Rainy)
熵(Entropy)
ID3算法的核心问题：如何选取属性？ { Outlook, Temperature, Humidity, Wind}
一组样本S对于二元分类的熵为：
Entropy(S) p log2 ( p ) p log2 ( p )
其中p+和 p-为S中的正例、反例所占比例。 例子：S中有9个正例，5个负例
模糊决策树
主讲人：高相辉 河北大学机器学习中心
主要内容
•清晰决策树 •属性 •两种不确定性及其度量 •模糊决策树 •模糊规则 •模糊推理
分类问题
分类问题示例：Aldo进行水上运动的日子
Example 1 2 3 4
Sky Sunny Sunny Rainy Sunny
AirTemp Humidity
不确定性度量
模糊决策树
模糊决策树是传统决策树的一种推广。它将模糊理论应用于 训练与匹配过程，结合了决策树的可理解性和模糊集合的表示能 力，用来处理模糊性和不确定信息，使决策树具有更好的健壮性 ，提高了决策树的可理解性，并使决策树归纳算法的扩展能力增 强。具有代表性的模糊决策树生成算法是：
Umano提出的Fuzzy ID3算法 Yuan和Shaw提出的Min-Ambiguity算法