chap5_alternative_classification

Taxable Income Class 125K 100K 70K 120K No No No No Yes No No Yes No Yes
Divorced 95K Married 60K
Divorced 220K Single Married Single 85K 75K 90K
(Status=Single) → No Coverage = 40%, Accuracy = 50%
¾ 基于类的排序
¾ 属于同一个类 的规则在规则 集中一起出现
2010-11-02
Data Mining: Concepts and Techniques
15
如何建立分类规则
¾ 直接方法
¾ 直接从数据中提取分类规则 ¾ 如：RIPPER, CN2, Holte’s 1R
¾ 间接方法
¾ 从其他分类模型中（决策树，神经网络等）提取分类规 则 ¾ 如：C4.5规则
R1: (Give Birth = no) ∧ (Can Fly = yes) → Birds R2: (Give Birth = no) ∧ (Live in Water = yes) → Fishes R3: (Give Birth = yes) ∧ (Blood Type = warm) → Mammals R4: (Give Birth = no) ∧ (Can Fly = no) → Reptiles R5: (Live in Water = sometimes) → Amphibians
mammals reptiles fishes mammals amphibians reptiles mammals birds mammals fishes reptiles birds mammals fishes amphibians reptiles mammals birds mammals birds
规则集是互斥且穷举的 规则集包含了决策树中所有的信息
10
2010-11-02
Data Mining: Concepts and Techniques
规则可进行简化
Tid Refund Marital Status Taxable Income Cheat 125K 100K 70K 120K No No No No Yes No No Yes No Yes
2010-11-02
Data Mining: Concepts and Techniques
8
规则简化的影响
¾ 规则不再穷举
¾ 一条记录可能无法触发任何规则 ¾ 如何解决？
¾ 使用默认规则rd:() Æ yd
¾ 规则不再互斥
¾ 一条记录有可能被多条规则触发 ¾ 如何解决？
¾ 有序规则集 ¾ 无序规则集—投票机制
Name Blood Type Give Birth Can Fly Live in Water Class
turtle
2010-11-02
cold
no
no
sometimes
?
13
Data Mining: Concepts and Techniques
无序规则集
¾ 记录触发的每条规则看作是对相应类的一次投票
Refund Yes NO {Single, Divorced} Taxable Income < 80K NO > 80K YES No Marita l Status {Married} NO
1 2 3 4 5 6 7 8 9 10
10
Yes No No Yes No No Yes No No No
34
从决策树到规则
Classification Rules
Refund Yes NO {Single, Divorced} Taxable Income < 80K NO > 80K YES No Marita l Status {Married} NO
(Refund=Yes) ==> No (Refund=No, Marital Status={Single,Divorced}, Taxable Income<80K) ==> No (Refund=No, Marital Status={Single,Divorced}, Taxable Income>80K) ==> Yes (Refund=No, Marital Status={Married}) ==> No
Single Married Single Married
Divorced 95K Married 60K
Divorced 220K Single Married Single 85K 75K 90K
2010-11-02
Data : Concepts and Techniques
16
直接方法：顺序覆盖
2010-11-02
Data Mining: Concepts and Techniques
17
顺序覆盖的例子
(ii) Step 1
2010-11-02
Data Mining: Concepts and Techniques
¾ 可以用规则的准确率加权
¾ 不容易受到不合适的规则顺序影响 ¾ 建立模型开销较小
¾ 不需要维护规则的顺序
¾ 分类记录计算量大
¾ 记录的属性要与规则集中的每一条规则比较
2010-11-02
Data Mining: Concepts and Techniques
14
规则排序的方案
¾ 基于规则的排序
¾ 根据规则质量的“度量”对规则排序
2010-11-02
Data Mining: Concepts and Techniques
12
基于规则的分类器
¾ 习题1 ¾ 考虑一个二值分类问题，属性集和属性值为
¾ 空调={可用，不可用} ¾ 引擎={好，差} ¾ 行车里程={高，中，低} ¾ 生锈={是，否}
行车里程=高 Æ 价值=低 行车里程=低 Æ 价值=高 空调=可用，引擎=好 Æ 价值=高 空调=可用，引擎=差 Æ 价值=低 空调=不可用Æ价值=低
warm cold cold warm cold cold warm warm warm cold cold warm warm cold cold cold warm warm warm warm
yes no no yes no no yes no yes yes no no yes no no no no no yes no
18
顺序覆盖的例子
R1
R1
R2
(iii) Step 2 (iv) Step 3
2010-11-02
Data Mining: Concepts and Techniques
19
间接方法
¾ 决策树从根节点到叶节点的每一条路径都可以表示为一个 分类规则
2010-11-02
Data Mining: Concepts and Techniques
2010-11-02 Data Mining: Concepts and Techniques
5
工作原理
R1: R2: R3: R4: R5:
Name
(胎生= 否) ∧ (飞行动物= 是) → 鸟类 (胎生=否) ∧ (水生动物= 是) → 鱼类 (胎生= 是) ∧ (体温= 恒温) → 哺乳类 (胎生=否) ∧ (飞行动物= 否) → 爬行类 (水生动物= 半) → 两栖类
2010-11-02 Data Mining: Concepts and Techniques
6
基于规则的分类器的性质
¾ 互斥规则
¾ 如果规则集R中不存在两条规则被同一条记录触发，则称 规则集R中的规则是互斥的 ¾ 每条记录至多被R中的一条规则覆盖
¾ 穷举规则
¾ 如果对属性值的任一组合，R中都存在一条规则加以覆 盖，则称规则集R具有穷举覆盖 ¾ 每条记录至少被一条规则覆盖
4
覆盖率和准确度
¾ 覆盖率 ¾ 满足规则前件的比例 ¾ |A|/|D| ¾ 准确度 ¾ 满足规则前件和后件的 比例 ¾ |A∩ y|/|A|
10
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10 Yes No No Yes No No Yes No No No Single Married Single Married
2010-11-02
Data Mining: Concepts and Techniques
2
基于规则的分类器
Name Blood Type Give Birth Can Fly Live in Water Class
human python salmon whale frog komodo bat pigeon cat leopard shark turtle penguin porcupine eel salamander gila monster platypus owl dolphin eagle
Blood Type Give Birth Can Fly Live in Water Class
lemur turtle dogfish shark
warm cold cold
yes no yes
no no no
no sometimes yes
? ? ?
狐猴触发规则R3, 因此归为哺乳类 海龟触发规则R4 和R5，如何解决？ 角鲛鲨没有触发任何规则，如何解决？
Data Mining: Concepts and Techniques
3
基于规则的分类器
¾ 如果规则r的前件和记录x的属性匹配，则称r覆盖x