实验二.天气决策树

生成的决策树
继续划分“晴”的分支
• Gain(C晴, “温度”) ＝ M(天况为晴)－B(天况为晴，“温度”) ＝０.５７１
• Gain(C晴, “湿度”) ＝ M(天况为晴)－B(天况为晴，“湿度”) ＝０.９７１
• Gain(C晴, “风况”) ＝ M(天况为晴)－B(天况为晴，"风况") ＝０.４２０
•
8、业余生活要有意义，不要越轨。20 20年12 月11日 星期五 1时45 分44秒0 1:45:44 11 December 2020
•
9、一个人即使已登上顶峰，也仍要自 强不息 。上午 1时45 分44秒 上午1时 45分01 :45:442 0.12.11
• 10、你要做多大的事情，就该承受多大的压力。12/11/
生成的决策树
•
1、有时候读书是一种巧妙地避开思考 的方法 。20.1 2.1120. 12.11Fr iday, December 11, 2020
•
2、阅读一切好书如同和过去最杰出的 人谈话 。01:4 5:4401: 45:4401 :4512/ 11/2020 1:45:44 AM
•
3、越是没有本领的就越加自命不凡。 20.12.1 101:45: 4401:4 5Dec-20 11-Dec-20
Gain(S, A) Entropy(S)
vValues( A)
Sv S
Entropy(Sv )
c
Entropy(S) pi log2 pi i 1
原始数据的熵
• 本题中物体集C有十四个例子，9个正例，5 个反例。于是：
M(C)＝－9/14 * log2 (9/14) －5/14 * log2 (5/14)
＝0. 940 bits
选取属性“天况”的Information
Gain
• 计算各分支的熵
– “晴”的分支含2个正例3个反例，所需期望信息量为： M(天况为晴)＝－2/5 * log2 (2/5)－3/5 * log2 (3/5) ＝ 0. 971 bits
– “多云”的分支，含4个正例0个反例： M(天况为多云)＝0
实验二：天气决策树的构造
输入数据
例子编号
天况
温度
属性
湿度
风况
分类
1
晴
热
大
无
N
2
晴
热
大
有
N
3
多云
热
大
无
P
4
雨
中
大
无
P
5
雨
冷
正常
无
P
6
雨
冷
正常
有
N
7
多云
冷
正常
有
P
8
晴
中
大
无
N
9
晴
冷
正常
无
P
10
雨
中
正常
无
P
11
晴
中
正常
有
P
12
多云
中
大
有
P
13
多云
热
正常
无
P
14
雨
中
大
有
N
生成的决策树
算法
• 选择一个属性，把数据分割为K份。 • 选择的准则：Information Gain
• 选择天况做为判别条件的Information Gain
Gain(C, “天况”) = M(C)－B(C，“天况”) ＝0. 940 －0. 694 ＝0. 247 bits
各属性Information Gain的比较
• Gain(C, “天况”) ＝ M(C)－B(C，“天 况”) ＝0. 940 －0. 694 ＝0. 247 bits
2020 1:45:44 AM01:45:442020/12/11
• 11、自己要先看得起自己，别人才会看得起你。12/11/
谢 谢 大 家 2020 1:45 AM12/11/2020 1:45 AM20.12.1120.12.11
• 12、这一秒不放弃，下一秒就会有希望。11-Dec-2011 December 202020.12.11
• Gain(C, “温度”) ＝ M(C)－B(C，"温度") ＝0. 940 －0. 911 ＝0. 029 bits
• Gain(C, “湿度”) ＝ M(C)－B(C，"湿度") ＝0. 940 －0. 788 ＝0.152 bits
• Gain(C, “风况”) ＝ M(C)－B(C，"风况") ＝0. 940 －0. 892＝0. 048 bits
继续划分“多云 ”的分支
• 全部为正例，无须划分。
继续划分“雨 ”的分支
• Gain(C雨, “温度”) ＝ M(天况为雨)－B(天况为雨，“温度”) ＝０.０２０
• Gain(C雨, “湿度”) ＝ M(天况为雨)－B(天况为雨，“湿度”) ＝０.０２０
• Gain(C雨, “风况”) ＝ M(天况为雨)－B(天况为雨，"风况") ＝０.９７１
• 13、无论才能知识多么卓著，如果缺乏热情，则无异 纸上画饼充饥，无补于事。Friday, December 11, 202011
-Dec-2020.12.11
• 14、我只是自己不放过自己而已，现在我不会再逼自 己眷恋了。20.12.1101:45:4411 December 202001:45
•
4、越是无能的人，越喜欢挑剔别人的 错儿。 01:45:4 401:45: 4401:4 5Friday , December 11, 2020
•ห้องสมุดไป่ตู้
5、知人者智，自知者明。胜人者有力 ，自胜 者强。 20.12.1 120.12. 1101:4 5:4401: 45:44D ecembe r 11, 2020
– “雨”的分支，含３个正例２个反例： M(天况为雨)＝－3/5 * log2 (3/5)－2/5 * log2 (2/5) ＝ 0. 971 bits
• 则以“天况”作划分后，对应决策树的信息量为：
B(C，“天况”)＝5/14 * 0. 971 ＋4/14 * 0 ＋5/14 * 0. 971 ＝0. 694 bits
•
6、意志坚强的人能把世界放在手中像 泥块一 样任意 揉捏。 2020年 12月11 日星期 五上午 1时45 分44秒0 1:45:44 20.12.1 1
•
7、最具挑战性的挑战莫过于提升自我 。。20 20年12 月上午 1时45 分20.12. 1101:4 5December 11, 2020