人工智能导论 第08讲 神经网络II 决策树 示例
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
No
No Yes Yes Yes
No Yes No Yes Yes Yes Yes Yes No
C4.5
Gain(V ) H (C) H (C |V ) inf o(T ) inf ov (T )
n
H(V ) p(vi ) log 2 ( p(vi )) i 1
Student
No
No No No Yes
Yes Yes No Yes Yes Yes No Yes No
Credit Rating
Normal
Good Normal Normal Normal
Good Good Normal Normal Normal Good Good Normal Good
Buy Computer?
Introduction to Artificial Intelligence
Decision Trees - Example
Instructor: Rongqiang Zeng Chengdu University of Information Technology
(slides adapted from UCB CS188)
10 20
I (u13, u23, u33, u43 )
1.387
Gain(Pol） I(r1, r2 , r3, r4 ) E(Pol） 0.559
Ratio(Pol） GEa（in(PPool）l） 0.4029096
Ratio(Eng） GEa（in(EEnngg）） 0.366
Ratio(Key Pr o） GEa（in(KKeeyyPPrroo）） 0.144
Number
1
2 3 4 5
6 7 8 9 10 11 12 13 14
Age
<=30
<=30 31…40
>40 >40
>40 31…40 <=30 <=30
>40 <=30 31…40 31…40 >40
Income
High
High High Middle Low
Low Low Middle Low Middle Middle Middle High Middle
Nor Pro 86
86. 44 87. 06 88. 2 85. 93
80 87. 32 82. 28 83. 13 87. 78
Score 336. 14 345. 97 352. 15 345. 36 326. 29 330. 14 337. 15 335. 66 324. 63 335. 23
4 20
log 2
4 20
1.392
(3) Pol: Middle
I(u13,u23,u33,u43) I (0,2,4,4)
2 20
log 2
2 20
4 20
log 2
4 20
4 20
log 2
4 20
1.522
E(Pol）
1 20
I(u11, u21, u31, u41)
9 20
I (u12 , u22 , u32 , u42 )
-
2 20
log 2
2 20
-
6 20
log 2
6 20
-
8 20
log 2
8 20
-
4 20
log 2
4 20
=1. 9464393
Score 329. 50 343. 71 344. 22 342. 53 337. 93 338. 42 342. 92 330. 17 354. 57 327. 05
89
18 78. 67 83. 83 78. 29
19 85. 67 86. 67 94. 29
20 79. 33 79. 17 87. 83
r1 = 2、r2 = 6、r3 = 8、r4 = 4, I(r1 、r2 、r3 、r4,)=I(2,6,8,4) =
Nor Pro 86. 53 90. 41 89. 56 81. 53 82. 26 86. 89 88. 75 89. 38 87. 94 80. 72
n Βιβλιοθήκη Baidu 1
| Ti |T
| |
log
2
| |
Ti T
| |
split
_ inf
o(V )
Gain _ ratio Gain(V ) H (V )
Table 1 Sets Num Pol Eng Key Pro 1 78. 67 83. 33 88. 14 2 81 83. 67 94. 86 3 83. 33 91. 33 90. 43 4 81. 33 82. 5 93. 33 5 71. 33 78. 17 90. 86 6 83. 33 79. 67 87. 14 7 79 80. 83 90 8 82 82. 67 88. 71 9 72. 67 81. 33 87. 5 10 81. 33 84. 83 81. 29
(1) Pol: Best
I( u11 , u21 , u31 , u41 ) = I(1, 0, 0, 0) =0.225; (2) Pol: Good
I ( u12 , u22 , u32 , u42 ) = I (1, 4, 4, 0)
-
1 20
log
2
1 20
-
4 20
log 2
4 20
-
Ratio(Nor Pr o） GEa（in(NNoorrPPrroo）） 0.117
Table 2 Sets
Num Pol Eng Key Pro
11 77. 33 80. 5 85. 14
12 75. 67 86. 5 91. 13
13 81. 33 84
89. 33
14 84. 33 85. 67
91
15 82 85. 5 88. 17
16 79. 67 85
86. 86
17 79 86. 17
No Yes Yes Yes
No Yes No Yes Yes Yes Yes Yes No
C4.5
Gain(V ) H (C) H (C |V ) inf o(T ) inf ov (T )
n
H(V ) p(vi ) log 2 ( p(vi )) i 1
Student
No
No No No Yes
Yes Yes No Yes Yes Yes No Yes No
Credit Rating
Normal
Good Normal Normal Normal
Good Good Normal Normal Normal Good Good Normal Good
Buy Computer?
Introduction to Artificial Intelligence
Decision Trees - Example
Instructor: Rongqiang Zeng Chengdu University of Information Technology
(slides adapted from UCB CS188)
10 20
I (u13, u23, u33, u43 )
1.387
Gain(Pol） I(r1, r2 , r3, r4 ) E(Pol） 0.559
Ratio(Pol） GEa（in(PPool）l） 0.4029096
Ratio(Eng） GEa（in(EEnngg）） 0.366
Ratio(Key Pr o） GEa（in(KKeeyyPPrroo）） 0.144
Number
1
2 3 4 5
6 7 8 9 10 11 12 13 14
Age
<=30
<=30 31…40
>40 >40
>40 31…40 <=30 <=30
>40 <=30 31…40 31…40 >40
Income
High
High High Middle Low
Low Low Middle Low Middle Middle Middle High Middle
Nor Pro 86
86. 44 87. 06 88. 2 85. 93
80 87. 32 82. 28 83. 13 87. 78
Score 336. 14 345. 97 352. 15 345. 36 326. 29 330. 14 337. 15 335. 66 324. 63 335. 23
4 20
log 2
4 20
1.392
(3) Pol: Middle
I(u13,u23,u33,u43) I (0,2,4,4)
2 20
log 2
2 20
4 20
log 2
4 20
4 20
log 2
4 20
1.522
E(Pol）
1 20
I(u11, u21, u31, u41)
9 20
I (u12 , u22 , u32 , u42 )
-
2 20
log 2
2 20
-
6 20
log 2
6 20
-
8 20
log 2
8 20
-
4 20
log 2
4 20
=1. 9464393
Score 329. 50 343. 71 344. 22 342. 53 337. 93 338. 42 342. 92 330. 17 354. 57 327. 05
89
18 78. 67 83. 83 78. 29
19 85. 67 86. 67 94. 29
20 79. 33 79. 17 87. 83
r1 = 2、r2 = 6、r3 = 8、r4 = 4, I(r1 、r2 、r3 、r4,)=I(2,6,8,4) =
Nor Pro 86. 53 90. 41 89. 56 81. 53 82. 26 86. 89 88. 75 89. 38 87. 94 80. 72
n Βιβλιοθήκη Baidu 1
| Ti |T
| |
log
2
| |
Ti T
| |
split
_ inf
o(V )
Gain _ ratio Gain(V ) H (V )
Table 1 Sets Num Pol Eng Key Pro 1 78. 67 83. 33 88. 14 2 81 83. 67 94. 86 3 83. 33 91. 33 90. 43 4 81. 33 82. 5 93. 33 5 71. 33 78. 17 90. 86 6 83. 33 79. 67 87. 14 7 79 80. 83 90 8 82 82. 67 88. 71 9 72. 67 81. 33 87. 5 10 81. 33 84. 83 81. 29
(1) Pol: Best
I( u11 , u21 , u31 , u41 ) = I(1, 0, 0, 0) =0.225; (2) Pol: Good
I ( u12 , u22 , u32 , u42 ) = I (1, 4, 4, 0)
-
1 20
log
2
1 20
-
4 20
log 2
4 20
-
Ratio(Nor Pr o） GEa（in(NNoorrPPrroo）） 0.117
Table 2 Sets
Num Pol Eng Key Pro
11 77. 33 80. 5 85. 14
12 75. 67 86. 5 91. 13
13 81. 33 84
89. 33
14 84. 33 85. 67
91
15 82 85. 5 88. 17
16 79. 67 85
86. 86
17 79 86. 17