决策树分类

基于专家知识的决策树分类

概述

基于知识的决策树分类是基于遥感影像数据及其他空间数据，通过专家经验总结、简单的数学统计和归纳方法等，获得分类规则并进行遥感分类。分类规则易于理解，分类过程也符合人的认知过程，最大的特点是利用的多源数据。

如图1所示，影像+DEM就能区分缓坡和陡坡的植被信息，如果添加其他数据，如区域图、道路图土地利用图等，就能进一步划分出那些是自然生长的植被，那些是公园植被。

图1.JPG

图1 专家知识决策树分类器说明图

专家知识决策树分类的步骤大体上可分为四步：知识（规则）定义、规则输入、决策树运行和分类后处理。

1.知识（规则）定义

规则的定义是讲知识用数学语言表达的过程，可以通过一些算法获取，也可以通过经验总结获得。

2.规则输入

将分类规则录入分类器中，不同的平台有着不同规则录入界面。

3.决策树运行

运行分类器或者是算法程序。

4.分类后处理

这步骤与监督/非监督分类的分类后处理类似。

知识（规则）定义

分类规则获取的途径比较灵活，如从经验中获得，坡度小于20度，就认为是缓坡，等等。也可以从样本中利用算法来获取，这里要讲述的就是C4.5算法。

利用C4.5算法获取规则可分为以下几个步骤：

（1）多元文件的的构建：遥感数据经过几何校正、辐射校正处理后，进行波段运算，得到一些植被指数，连同影像一起输入空间数据库；其他空间数据经过矢量化、格式转换、地理配准，组成一个或多个多波段文件。

（2）提取样本，构建样本库：在遥感图像处理软件或者GIS软件支持下，选取合适的图层，采用计算机自动选点、人工解译影像选点等方法采集样本。

（3）分类规则挖掘与评价：在样本库的基础上采用适当的数据挖掘方法挖掘分类规则，后基于评价样本集对分类规则进行评价，并对分类规则做出适当的调整和筛选。这里就是C4.5算法。

4.5算法的基本思路基于信息熵来“修枝剪叶”，基本思路如下：

从树的根节点处的所有训练样本D0开始，离散化连续条件属性。计算增益比率，取GainRatio（C0）的最大值作为划分点V0，将样本分为两个部分D11和D12。对属性C0的每一个值产生一个分支，分支属性值的相应样本子集被移到新生成的子节点上，如果得到的样本都属于同一个类，那么直接得到叶子结点。相应地将此方法应用于每个子节点上，直到节点的所有样本都分区到某个类中。到达决策树的叶节点的每条路径表示一条分类规则，利用叶列表及指向父结点的指针就可以生成规则表。

图2.JPG

图2 规则挖掘基本思路

算法描述如下：

算法：从空间数据集（多波段文件）中挖掘分类规则

输入：训练样本

输出：分类规则表

方法：

一、读取数据集名字

二、读取所有的训练样本

A、读取属性信息C、原始类E、样本值A，并将样本划分为训练样本（2/3）和评价样本（1/3）。

B、属性信息C可以是连续（DISCRETE）或离散（CONTINUOUS）的，分别将属性注上这两种标记；若属性是DISCERTE，读取其可能取得值，并都存储在一个列表中；每一个属性都有一个标记，一个给定的属性编号及初始化的取值列表均存储于一个属性的数据结构中，并将数据结构存储在一个哈希表中。

C、原始类E当作一个附加属性信息储存在属性列表中。

D、以增量方式读取每一个样本A，将所有的样本储存在一个表中，每一行代表一个样本。

三、利用数据集构建树

A、离散化连续条件属性C DISCRETE，获得的分割点集T（t1，t2……）作为条件属性C的新的取值。

B、分别计算所有条件属性的增益比率GainRatio（C），取增益比率值最大的条件属性作为树的划分节点，其值或范围作为划分值V（v1，v2……）来生成树的分枝。

C、判断该层与每一个等价子集的原始类类别是否一致。若一致，生成叶子结点。否则，继续计算增益比率GainRatio（C）和选择条件属性C，得到树的节点和划分值V，直至所有的样本已分类完毕。

四、测试生成树

将测试样本C′带入树中，当某一测试样本的分类预测错误时，记录分类错误的计数，并将测试样本添加到训练样本中，转向步骤三，重新构建树。否则，输出分类树

五、抽取分类规则

到达树的叶节点的每条路径表示一条分类规则从树中抽取分类规则，打印规则和分类的详细信息

C4.5网上有源代码下载，vc和c++版本都能获得。

Decision Tree的使用

一、规则获取

选取Landsat TM5影像和这个地区对应的DEM数据，影像和DEM经过了精确配准。

规则如下描述：

Class1（朝北缓坡植被）:NDVI>0.3, slope<20, aspect<90 and aspect>270

Class2（非朝北缓坡植被）：NDVI>0.3, slope<20, 90<=aspect<=270

Class3（陡坡植被）：NDVI>0.3, slope>=20,

Class4（水体）：NDVI<=0.3, 0

Class5（裸地）：NDVI<=0.3, b4>=20

Class6（无数据区，背景）: NDVI<=0.3, b4=0

也可以按照二叉树描述方式：第一层，将影像分为两类，NDVI大于0.3，NDVI 小于或等于0.3；第二层，NDVI高的，分为坡度大于或等于20度和坡度小于20度。以此往下划分。

二、输入决策树规则

打开主菜单->classification->Decision Tree->Build New Decision Tree,如图3所示，默认显示了一个节点。