决策树课题PPT

在其生成过程中，分割方法即属性选择度量是关键。通 过属性选择度量，选择出最好的将样本分类的属性。
决策树的结构
决策树算法以树状结构表示数据 分类的结果。每个决策点实现一个 具有离散输出的测试函数，记为分 支。 根节点 非叶子节点（决策点） 叶子节点 分支
决策树的结构
根部节点(root node) 非叶子节点(non-leaf node)
Refund Yes NO No MarSt Single, Divorced Married NO > 80K
10
TaxInc
< 80K NO
YES
Apply Model to Test Data
Test Data
Refund Marital Status No Married Taxable Income Cheat 80K ?
C.Shannon的信息论
Father of information theory
证明熵与信息内容的不确定程度 有等价关系
系统科学领域三大论之一 熵(entropy)
例子：算法过程
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10
10
Taxable Income Cheat 125K 100K 70K 120K No No No No Yes No No Yes No Yes
Yes No No Yes No No Yes No No No
Refund Yes NO No MarSt Single, Divorced Married NO > 80K
10
TaxInc
< 80K NO
YES
Apply Model to Test Data
Test Data
Refund Marital Status No Married Taxable Income Cheat 80K ?
MarSt
Married Divorced
Divorced 220K Single Married Single 85K 75K 90K
4. samples = { 3,8,10 }, attribute_list = {TaxInc} 5. samples = { 5,7 }, attribute_list = {TaxInc} 6. samples = { 2,9 }, attribute_list = {TaxInc}
Single Married Single Married
3. samples = { 2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
假设选择MarSt为最优分割属性：
Refund Yes NO Single No
Divorced 95K Married 60K
停止分割的条件
一个节点上的数据都是属于同一个类别 没有属性可以再用于对数据进行分割
算法：Generate_decision_tree由给定的训练数据产生一棵决策树 输入：训练数据集samples，用离散值属性表示；候选属性的集合attribute_list。 输出：一棵决策树 方法： （1）创建结点N； （2）if samples 都在同一个类C then （3）返回N作为叶结点，用类C标记； （4）if attribute_list 为空 then （5）返回N作为叶结点，标记samples中最普通的类； //多数表决 （6）选择attribute_list中的最优分类属性test_attribute； //用信息增益作为属性选择度量 （7）标记结点N为test_attribute； （8）for each test_attribute中的已知值ai //划分samples （9）由结点N生长出一个条件为test_attribute＝ai的分枝； （10）设si为samples中test_attribute＝ai的样本集合； //一个划分 （11）if si为空 then （12）加上一个叶结点，标记为标记samples中最普通的类； //多数表决 （13）else 加上一个由Generate_decision_tree（si, attribute_list-test_attribute）返回的结点 ；
Divorced 220K Single Married Single 85K 75K 90K
2. samples = { 1,4,7 } attribute_list = { MarSt, TaxInc } 3. samples = {2,3,5,6,8,9,10 } attribute_list = { MarSt, TaxInc }
Yes No No Yes No No Yes No No No
Single Married Single Married
选择TaxInc为最优分割属性：
Refund Yes NO Single TaxInc < 80K NO >= 80K YES No
Divorced 95K Married 60K
决策树 Decision Tree
简介
决策树算法是一种归纳分类算法,它通过对训练集的学 习,挖掘出有用的规则,用于对新集进行预测。
有监督的学习。 非参数学习算法。对每个输入使用由该区域的训练数 据计算得到的对应的局部模型。 决策树归纳的基本算法是贪心算法，自顶向下递归方 式构造决策树。
贪心算法：在每一步选择中都采取在当前状态下最好/优的选择。
例子：算法过程
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10
10
Taxable Income Cheat 125K 100K 70K 120K No No No No Yes No No Yes No Yes
Yes No No Yes No No Yes No No No
Refund Yes NO No MarSt Single, Divorced TaxInc < 80K NO > 80K YES
10
Married
NO
Apply Model to Test Data
Test Data
Refund Marital Status No Married Taxable Income Cheat 80K ?
i N i ˆ (Ci | x, m) pm p m Nm
i 节点m是纯的，如果对于所有i，pm 为0或1。当到达节 i 点m的所有实例都不属于 C i 类时，pm 为0，当到达节点m的 i p C 所有实例都属于 i 类时， m 为1。
一种度量不纯性的可能函数是熵函数（entropy)。
信息熵
例子：算法过程
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10
10
Taxable Income Cheat 125K 100K 70K 120K No No No No Yes No No Yes No Yes
2. samples = {1,4,7 } attribute_list = { MarSt, TaxInc }
(代表测试的条件，对数据属性的测试)
分支(branches)(代表测试的结果)
叶节点(leaf node)
4
(代表分类后所获得的分类标记 ) 2018/5/12
单变量树
每个内部节点中的测试只使用一个输入维。如果使用 的输入维 x j 是离散的，取n个可能的值之一，则该节点检 测 x j 的值，并取相应的分支，实现一个n路划分。 决策点具有离散分支，而数值输入应当离散化。如果 x j 是数值的（有序的），则测试函数是比较：
f m ( x) : x j wm0
其中 wm 0 是适当选择阈值。该决策节点将输入空间一份 Lm x | x j wm0 和 Rm x | x j wm0 ，称为一个二元 为二： 划分。 决策树根据所选取的属性是数值型还是离散型，每次将 数据划分成两个或n个子集。然后使用对应的子集递归地 进行划分，直到不需要划分，此时，创建一个树叶节点标 记它。
MarSt
Married Divorced
Divorced 220K Single Married Single 85K 75K 90K
问题1：分类从哪个属性开始？ ——选择分裂变量的标准 问题2：为什么工资以80为界限？ ——找到被选择的变量的分裂点的标准 （连续变量情况）
分类划分的优劣用不纯性度量来分析。如果对于所有 分支，划分后选择相同分支的所有实例都属于相同的类， 则这个划分是纯的。对于节点m，令 N m 为到达节点m的训练 i i N m 个实例中 N m N m 。如果一 实例数， 个属于C i 类，而 N m i 个实例到节点m，则它属于 C i 类的概率估计为：
Refund Yes NO No MarSt Single, Divorced TaxInc < 80K NO > 80K YES
10
Married
NO
Apply Model to Test Data
Test Data
Refund Marital Status No Married Taxable Income Cheat 80K ?
Yes No No Yes No No Yes No No No
Single Married Single Married
samples中所有样本属于同一个类Cheat=No
Refund Yes NO No
Divorced 95K Married 60K
Divorced 220K Single Married Single 85K 75K 90K
例子：算法过程
Tid Refund Marital Status 1 2 3 4 5 6 7 8 9 10