数据挖掘作业

第3章分类与回归

3.1简述决策树分类的主要步骤。

3.2给定决策树，选项有：(1)将决策树转换成规则，然后对结果规则剪枝，或(2)对决策树剪枝，然后将剪

枝后的树转换成规则。相对于(2)，(1)的优点是什么？

3.3计算决策树算法在最坏情况下的时间复杂度是重要的。给定数据集D，具有m个属性和|D|个训练记录，

证明决策树生长的计算时间最多为)

⨯。

m⨯

D

log(D

3.4考虑表3-23所示二元分类问题的数据集。

(1)计算按照属性A和B划分时的信息增益。决策树归纳算法将会选择那个属性？

(2)计算按照属性A和B划分时Gini系数。决策树归纳算法将会选择那个属性？

3.5证明：将结点划分为更小的后续结点之后，结点熵不会增加。

3.6为什么朴素贝叶斯称为“朴素”？简述朴素贝叶斯分类的主要思想。

3.7考虑表3-24数据集，请完成以下问题：

(1)估计条件概率)

|-

C。

P)

A

(+

|

(2)根据(1)中的条件概率，使用朴素贝叶斯方法预测测试样本(A=0，B=1，C=0)的类标号；

(3)使用Laplace估计方法，其中p=1/2，l=4，估计条件概率)

P，)

C

(+

|

(-

P，

A

|

|

(+

P，)

P，)

A

(+

B

|

(-

P。

|

C

(-

P，)

|

)

B

(4)同(2)，使用(3)中的条件概率

(5)比较估计概率的两种方法，哪一种更好，为什么？

3.8考虑表3-25中的一维数据集。

表3-25 习题3.8数据集

根据1-最近邻、3-最近邻、5-最近邻、9-最近邻，对数据点x=5.0分类，使用多数表决。 3.9 表3-26的数据集包含两个属性X 与Y ，两个类标号“+”和“-”。每个属性取三个不同值策略：0,1或

2。“+”类的概念是Y=1，“-”类的概念是X=0 and X=2。

(1) 建立该数据集的决策树。该决策树能捕捉到“+”和“-”的概念吗？

(2) 决策树的准确率、精度、召回率和F1各是多少？(注意，精度、召回率和F1量均是对“+”类定

义)

(3) 使用下面的代价函数建立新的决策树，新决策树能捕捉到“+”的概念么？

⎪⎪⎪⎩⎪

⎪⎪⎨⎧+=-=+--=+===

j i j i j i j i C ,,10),(如果实例个数

实例个数如果如果

(提示：只需改变原决策树的结点。)

3.10 什么是提升？陈述它为何能提高决策树归纳的准确性？ 3.11 表3-27给出课程数据库中学生的期中和期末考试成绩。

表3-27 习题3.11数据集

(1) 绘制数据的散点图。X 和Y 看上去具有线性联系吗？

(2) 使用最小二乘法，由学生课程中成绩预测学生的期末成绩的方程式。

(3) 预测期中成绩为86分的学生的期末成绩。

3.12通过对预测变量变换，有些非线性回归模型可以转换成线性模型。指出如何将非线性回归方程

β

y=转换成可以用最小二乘法求解的线性回归方程。

ax