C45决策树工具使用说明
分类模型c4.5决策树的基本流程
分类模型c4.5决策树的基本流程C4.5决策树是一种常用的分类模型，其基本流程如下：
1. 数据采集：获取需要分类的数据集，包括样本数据和类别标签。
2. 特征选择：根据信息增益或基尼指数等方法，选择最佳的特征，将数据集分成不同的子集。
3. 决策树生成：通过递归的方式，生成决策树。
将数据集不断细分，最终生成一棵以类别标签为叶节点的决策树。
4. 决策树剪枝：通过对决策树进行剪枝，去除一些过拟合的叶节点，提升模型的泛化能力。
5. 决策分类：通过输入数据特征，根据决策树的判定规则，进行
分类预测。
以上就是C4.5决策树的基本流程。
通过对数据特征的选择和决策
树的生成，可以构造一个高效的分类模型。
决策树模型的使用教程(Ⅲ)
决策树模型的使用教程决策树模型是一种常用的机器学习算法，它通过对数据的特征进行分析，从而得出一个决策树，用来预测未来的结果。
它是一种非常直观和易于理解的算法，因此在实际应用中得到了广泛的应用。
在本文中，我们将介绍决策树模型的使用教程，包括数据准备、模型构建和评估等方面的内容。
数据准备在使用决策树模型之前，首先需要进行数据准备工作。
这包括数据的收集、清洗和预处理等步骤。
通常情况下，我们需要对数据进行缺失值处理、异常值处理、特征选择和特征编码等操作，以确保数据的质量和完整性。
另外，在进行数据准备的过程中，还需要将数据划分为训练集和测试集，以便后续模型构建和评估。
模型构建一旦数据准备工作完成，就可以开始构建决策树模型了。
在构建模型的过程中，我们需要选择合适的特征、确定模型参数、进行模型训练等步骤。
通常情况下，我们可以使用一些常见的机器学习库，如scikit-learn和TensorFlow等，来构建决策树模型。
在构建模型的过程中，我们需要根据实际情况选择合适的算法和模型参数，以确保模型的性能和准确性。
模型评估在模型构建完成之后，需要对模型进行评估，以确定模型的性能和准确性。
通常情况下，我们可以使用一些常见的评估指标，如准确率、精确率、召回率和F1值等，来评估模型的性能。
另外，在进行模型评估的过程中，还需要使用一些常见的评估方法，如交叉验证、ROC曲线和混淆矩阵等，来进一步评估模型的性能和稳定性。
模型优化一旦模型评估完成，就可以开始对模型进行优化了。
在模型优化的过程中，我们可以尝试使用不同的特征、调整模型参数、进行模型融合等方法，以提高模型的性能和泛化能力。
另外，在模型优化的过程中，还可以使用一些常见的优化算法，如网格搜索、随机搜索和贝叶斯优化等，来进一步提高模型的性能和准确性。
模型应用最后，一旦模型优化完成，就可以开始将模型应用到实际问题中了。
在模型应用的过程中，我们可以使用训练好的模型来进行预测和决策，以解决实际问题。
matlab实现的C45分类决策树算法
function D = C4_5(train_features, train_targets, inc_node, region)%Classify using Quinlan's C4.5 algorithm%Inputs:%features - Train features%targets- Train targets%inc_node- Percentage of incorrectly assigned samples at a node%region- Decision region vector: [-x x -yy number_of_points]%% Outputs% D- Decision sufrace%NOTE: In this implementation it is assumed that a feature vector with fewer than 10 unique values (the parameter Nu)%is discrete, and will be treated as such. Other vectors will be treated as continuous[Ni, M]= size(train_features);inc_node= inc_node*M/100;Nu= 10;%For the decision regionN= region(5);mx= ones(N,1) * linspace(region(1),region(2),N);my= linspace (region(3),region(4),N)' * ones(1,N);flatxy= [mx(:), my(:)]';%Preprocessing%[f, t, UW, m]= PCA(train_features,train_targets, Ni, region);%train_features = UW * (train_features -m*ones(1,M));;%flatxy= UW * (flatxy - m*ones(1,N^2));;%Find which of the input features are discrete,and discretisize the corresponding%dimension on the decision regiondiscrete_dim = zeros(1,Ni);for i = 1:Ni,Nb = length(unique(train_features(i,:)));if (Nb <= Nu),%This is a discrete featurediscrete_dim(i)= Nb;[H, flatxy(i,:)] =high_histogram(flatxy(i,:), Nb);endend%Build the tree recursivelydisp( 'Building tree')tree= make_tree(train_features,train_targets, inc_node, discrete_dim,max(discrete_dim), 0);%Make the decision region according to the treedisp( 'Building decision surface using the tree') targets = use_tree(flatxy, 1:N^2, tree,discrete_dim, unique(train_targets));D= reshape(targets,N,N);%ENDfunction targets = use_tree(features, indices,tree, discrete_dim, Uc)%Classify recursively using a treetargets = zeros(1, size(features,2));if (tree.dim == 0)%Reached the end of the treetargets(indices) = tree.child;breakend%This is not the last level of the tree,so: %First, find the dimension we are to work on dim = tree.dim;dims= 1:size(features,1);%And classify according to itif (discrete_dim(dim) == 0),%Continuous featurein= indices(find(features(dim, indices) <= tree.split_loc));targets= targets +use_tree(features(dims, :), in, tree.child(1), discrete_dim(dims), Uc);in= indices(find(features(dim, indices) > tree.split_loc));targets= targets +use_tree(features(dims, :), in, tree.child(2), discrete_dim(dims), Uc);else%Discrete featureUf= unique(features(dim,:));for i = 1:length(Uf),in= indices(find(features(dim, indices) == Uf(i)));targets= targets +use_tree(features(dims, :), in, tree.child(i), discrete_dim(dims), Uc);endend%END use_treefunction tree = make_tree(features, targets, inc_node, discrete_dim, maxNbin, base)%Build a tree recursively[Ni, L]= size(features);Uc= unique(targets);tree.dim= 0;%tree.child(1:maxNbin) = zeros(1,maxNbin);tree.split_loc= inf;if isempty(features),breakend%When to stop: If the dimension is one or the number of examples is smallif ((inc_node> L) | (L == 1) | (length(Uc)== 1)), H= hist(targets, length(Uc));[m, largest]= max(H);tree.child= Uc(largest);breakend%Compute the node's Ifor i = 1:length(Uc),Pnode(i)= length(find(targets== Uc(i)))/L; endInode = -sum(Pnode.*log(Pnode)/log(2));%For each dimension,compute the gain ratio impurity%This is done separately for discrete and continuous featuresdelta_Ib= zeros(1, Ni);split_loc= ones(1, Ni)*inf;for i = 1:Ni,data = features(i,:);Nbins = length(unique(data));if (discrete_dim(i)),%This is a discrete featureP= zeros(length(Uc), Nbins);for j = 1:length(Uc),for k = 1:Nbins,indices = find((targets == Uc(j)) &(features(i,:) == k));P(j,k) = length(indices);endendPk= sum(P);P= P/L;Pk= Pk/sum(Pk);info= sum(-P.*log(eps+P)/log(2));delta_Ib(i) =(Inode-sum(Pk.*info))/-sum(Pk.*log(eps+Pk)/log(2));else%This is a continuous featureP = zeros(length(Uc), 2);%Sort the features[sorted_data, indices] = sort(data);sorted_targets = targets(indices);%Calculate the information for each possiblesplitI = zeros(1, L-1);for j = 1:L-1,for k =1:length(Uc),P(k,1)= length(find(sorted_targets(1:j) ==Uc(k)));P(k,2) =length(find(sorted_targets(j+1:end) == Uc(k)));endPs = sum(P)/L;P= P/L;info= sum(-P.*log(eps+P)/log(2));I(j) = Inode - sum(info.*Ps);end[delta_Ib(i), s] = max(I);split_loc(i) = sorted_data(s);endend%Find the dimension minimizing delta_Ib [m, dim] = max(delta_Ib);dims= 1:Ni;tree.dim = dim;%Split along the 'dim' dimensionNf= unique(features(dim,:));Nbins= length(Nf);if (discrete_dim(dim)),%Discrete featurefor i = 1:Nbins,indices= find(features(dim, :) ==Nf(i));tree.child(i) = make_tree(features(dims, indices), targets(indices), inc_node,discrete_dim(dims), maxNbin, base);endelse%Continuous featuretree.split_loc= split_loc(dim);indices1= find(features(dim,:) <=split_loc(dim));indices2= find(features(dim,:) >split_loc(dim));tree.child(1)= make_tree(features(dims, indices1), targets(indices1), inc_node, discrete_dim(dims), maxNbin);tree.child(2)= make_tree(features(dims, indices2), targets(indices2), inc_node, discrete_dim(dims), maxNbin);end。
C4.5算法详解（非常仔细）...
C4.5算法详解（非常仔细）...首先，C4.5是决策树算法的一种。
决策树算法作为一种分类算法，目标就是将具有p维特征的n个样本分到c个类别中去。
相当于做一个投影，c=f(n)，将样本经过一种变换赋予一种类别标签。
决策树为了达到这一目的，可以把分类的过程表示成一棵树，每次通过选择一个特征pi来进行分叉。
那么怎样选择分叉的特征呢？每一次分叉选择哪个特征对样本进行划分可以最快最准确的对样本分类呢？不同的决策树算法有着不同的特征选择方案。
ID3用信息增益，C4.5用信息增益率，CART用gini系数。
下面主要针对C4.5算法，我们用一个例子来计算一下。
上述数据集有四个属性，属性集合A={ 天气，温度，湿度，风速}，类别标签有两个，类别集合L={进行，取消}。
1. 计算类别信息熵类别信息熵表示的是所有样本中各种类别出现的不确定性之和。
根据熵的概念，熵越大，不确定性就越大，把事情搞清楚所需要的信息量就越多。
2. 计算每个属性的信息熵每个属性的信息熵相当于一种条件熵。
他表示的是在某种属性的条件下，各种类别出现的不确定性之和。
属性的信息熵越大，表示这个属性中拥有的样本类别越不“纯”。
3. 计算信息增益信息增益的 = 熵 - 条件熵，在这里就是类别信息熵 - 属性信息熵，它表示的是信息不确定性减少的程度。
如果一个属性的信息增益越大，就表示用这个属性进行样本划分可以更好的减少划分后样本的不确定性，当然，选择该属性就可以更快更好地完成我们的分类目标。
信息增益就是ID3算法的特征选择指标。
但是我们假设这样的情况，每个属性中每种类别都只有一个样本，那这样属性信息熵就等于零，根据信息增益就无法选择出有效分类特征。
所以，C4.5选择使用信息增益率对ID3进行改进。
4.计算属性分裂信息度量用分裂信息度量来考虑某种属性进行分裂时分支的数量信息和尺寸信息，我们把这些信息称为属性的内在信息（instrisic information）。
决策树算法C4.5
《数据仓库与数据挖掘》决策树算法C4.5本组成员：07103218王维光 07103224 郑辰07103229刘倩 07103230宋琛一．背景最早的决策时算法是由Hunt等人于1966年提出的CLS。
当前最有影响的决策树算法是Quinlan于1986年提出的ID3和1993年提出的C4.5。
ID3只能处理离散型描述属性，它选择信息增益最大的属性划分训练样本，其目的是进行分枝时系统的熵最小，从而提高算法的运算速度和精确度。
ID3算法的主要缺陷是，用信息增益作为选择分枝属性的标准时，偏向于取值较多的属性，而在某些情况下，这类属性可能不会提供太多有价值的信息。
C4.5是ID3算法的改进算法，不仅可以处理离散型描述属性，还能处理连续性描述属性。
C4.5采用了信息增益比作为选择分枝属性的标准，弥补了ID3算法的不足。
决策树算法的优点如下：（1）分类精度高；（2）成的模式简单；（3）对噪声数据有很好的健壮性。
因而是目前应用最为广泛的归纳推理算法之一，在数据挖掘中受到研究者的广泛关注。
二．C4.5改进的具体方面1.ID3算法存在的缺点（1）ID3算法在选择根节点和各内部节点中的分支属性时，采用信息增益作为评价标准。
信息增益的缺点是倾向于选择取值较多的属性，在有些情况下这类属性可能不会提供太多有价值的信息。
（2）ID3算法只能对描述属性为离散型属性的数据集构造决策树。
2． C4.5算法做出的改进(1)用信息增益率来选择属性克服了用信息增益来选择属性时偏向选择值多的属性的不足。
信息增益率定义为：其中Gain(S,A)与ID3算法中的信息增益相同，而分裂信息SplitInfo(S,A)代表了按照属性A分裂样本集S的广度和均匀性。
其中，S到Sc是c个不同值的属性A分割S而形成的c个样本子集。
1如按照属性A把S集（含30个用例）分成了10个用例和20个用例两个集合则SplitInfo(S,A)=-1/3*log(1/3)-2/3*log(2/3)(2)可以处理连续数值型属性C4.5既可以处理离散型描述属性，也可以处理连续性描述属性。
C4.5决策树
C4.5决策树C4.5决策树在ID3决策树的基础之上稍作改进，请先阅读。
C4.5克服了ID3的2个缺点：1.⽤信息增益选择属性时偏向于选择分枝⽐较多的属性值，即取值多的属性2.不能处理连贯属性Outlook Temperature Humidity Windy PlayGolf?sunny8585FALSE nosunny8090TRUE noovercast8386FALSE yesrainy7096FALSE yesrainy6880FALSE yesrainy6570TRUE noovercast6465TRUE yessunny7295FALSE nosunny6970FALSE yesrainy7580FALSE yessunny7570TRUE yesovercast7290TRUE yesovercast8175FALSE yesrainy7191TRUE noOutlook和Windy取离散值，Temperature和Humidity则取连续值。
对于离散属性V，ID3中计算的是“信息增益”，C4.5中则计算“信息增益率”:$IG\_ratio=\frac{IG(V)}{H(V)}$$H(V)=-\sum_j{p(v_j)logp(v_j)}$v j表⽰属性V的各种取值，在ID3中⽤信息增益选择属性时偏向于选择分枝⽐较多的属性值，即取值多的属性，在C4.5中由于除以了H(V)，可以削弱这种作⽤。
C4.5是如何处理连续属性的呢？实际上它先把连续属性转换为离散属性再进⾏处理。
虽然本质上属性的取值是连续的，但对于有限的采样数据它是离散的，如果有N条样本，那么我们有N-1种离散化的⽅法：<=v j的分到左⼦树，>v j的分到右⼦树。
计算这N-1种情况下最⼤的信息增益率。
在离散属性上只需要计算1次信息增益率，⽽在连续属性上却需要计算N-1次，计算量是相当⼤的。
有办法可以减少计算量。
决策树C4.5算法总结
数据集准备
数据清洗
去除异常值、缺失值，对数据进行预处理，使其满足算法要 求。
数据分割
将数据集分为训练集和测试集，用于训练和评估决策树模型 。
特征选择与划分
特征重要性评估
计算每个特征对目标变量的影响程度，选择最重要的特征作为划分标准。
特征划分
根据特征的重要性和信息增益率，将数据集划分为不同的子集，形成决策树的 节点。
THANKS
感谢观看
案例二：医疗诊断分类
数据集
医疗诊断数据集包含了1452 条样本，每个样本有11个特 征，目标变量为是否患有某
种疾病。
算法应用
使用C4.5算法构建决策树模 型，对数据进行训练和测试 ，评估模型的准确率、召回
率和F1分数等指标。
结果分析
通过决策树模型，可以辅助 医生进行疾病诊断，提高诊 断的准确性和效率。
处理连续属性和缺失值的方法优化
• C4.5算法在处理连续属性和缺失值时采用了一些简单的策略，如将连续属性离散化或忽略缺失值。这些策略可 能导致决策树无法充分利用数据中的信息。因此，一些研究者提出了更复杂的方法来处理连续属性和缺失值， 如使用插值或回归方法来处理连续属性，以及使用特殊标记或填充值来处理缺失值。这些方法可以提高决策树 对连续属性和缺失值的处理能力，从而提高模型的分类准确率。
2
C4.5算法采用了信息增益率、增益率、多变量增 益率等更加复杂的启发式函数，提高了决策树的 构建精度和泛化能力。
3
C4.5算法还引入了剪枝策略，通过去除部分分支 来避免过拟合，提高了决策树的泛化性能。
决策树C4.5算法的应用场景
数据挖掘
C4.5算法广泛应用于数据挖掘 领域，用于分类、回归和聚类
C4.5决策树的生成
CHANGSHA UNIVERSITY OF SCIENCE &TECHNOLOGY题目：C4.5决策树的生成学生姓名：***学号：***********专业：软件工程年级：2014级指导老师：**完成时间：2015年7月10号一、介绍决策树（Decision tree），是以实例为基础的归纳学习算法。
它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则。
它采用自顶向下的递归方式，在决策树的内部结点进行属性值的比较，并根据不同的属性值从该结点向下分支，叶结点是要学习划分的类。
从根到叶结点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规则。
1986年Quinlan提出了著名的ID3算法。
在ID3算法的基础上，1993年Quinlan又提出了C4.5算法。
二、核心思想采用从信息论知识中我们直到，期望信息越小，信息增益越大，从而纯度越高。
所以ID3算法的核心思想就是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。
下面先定义几个要用到的概念。
设D为用类别对训练元组进行的划分，则D的熵（entropy）表示为：其中pi表示第i个类别在整个训练元组中出现的概率，可以用属于此类别元素的数量除以训练元组元素总数量作为估计。
熵的实际意义表示是D中元组的类标号所需要的平均信息量。
现在我们假设将训练元组D按属性A进行划分，则A对D划分的期望信息为：而信息增益即为两者的差值：C4.5算法首先定义了“分裂信息”，其定义可以表示成：其中各符号意义与ID3算法相同，然后，增益率被定义为：算法：：三、ID3算法和C4.5的比较(1) ID3算法ID3算法的核心是：在决策树各级结点上选择属性时，用信息增益（information gain）作为属性的选择标准，以使得在每一个非叶结点进行测试时，能获得关于被测试记录最大的类别信息。
其具体方法是：检测所有的属性，选择信息增益最大的属性产生决策树结点，由该属性的不同取值建立分支，再对各分支的子集递归调用该方法建立决策树结点的分支，直到所有子集仅包含同一类别的数据为止。
决策树的经典算法ID3与C45
决策树的经典算法ID3与C45决策树是一种常用的机器学习算法，用于分类和回归任务。
决策树算法可以看作是一种基于树结构的分类方法，它将数据集拆分成若干个子集，每个子集对应一个属性测试条件，通过不断递归地划分数据集，最终形成一棵决策树。
经典的决策树算法包括ID3和C5，本文将对这两种算法进行介绍。
ID3（Iterative Dichotomiser 3）是由Ross Quinlan提出的，它是最早的决策树算法之一。
ID3算法采用了信息增益作为属性选择度量，通过计算每个属性的信息增益，选择信息增益最大的属性进行分裂。
我们计算每个属性的信息增益。
信息增益被定义为父节点与子节点之间的信息差异，计算公式为：Gain(S,A)=H(S)-sum(P(a) * H(S_a))其中，H(S)表示节点S的熵，P(a)表示属性A的取值a在节点S中出现的概率，H(S_a)表示子节点S_a的熵。
选择信息增益最大的属性作为当前节点的分裂属性。
根据当前节点的分裂属性将数据集划分成若干个子集，对每个子集递归地执行步骤1和步骤2，直到满足停止条件（例如子集中所有样本都属于同一类别，或每个属性都已使用过）。
C5算法是ID3算法的改进版，它使用了增益率作为属性选择度量，以解决ID3算法中偏好于选择取值较多的属性的问题。
增益率定义为信息增益与分裂信息的比值，分裂信息被定义为：split_info(S,A)=-sum(P(a) * log2(P(a)))其中，P(a)表示属性A 的取值a在节点S中出现的概率。
C5算法的步骤与ID3算法类似，但在选择分裂属性时优先考虑增益率较高的属性。
C5算法还引入了剪枝技术，通过设置一个置信度阈值来避免过拟合，从而生成更加健壮的决策树。
ID3算法和C5算法都是经典的决策树算法，它们在处理分类问题时具有较高的准确率和可解释性。
然而，这两种算法也存在一些局限性，例如对于连续属性和处理缺失值的处理能力有限。
后续的许多研究者对决策树算法进行了改进和优化，如CART、CHD、BOOSTING等，这些算法在处理复杂问题、提高分类准确率和处理连续属性方面做出了更多的探索和实践。
python决策树之C4.5算法详解
python决策树之C4.5算法详解本⽂为⼤家分享了决策树之C4.5算法，供⼤家参考，具体内容如下1. C4.5算法简介 C4.5算法是⽤于⽣成决策树的⼀种经典算法，是ID3算法的⼀种延伸和优化。
C4.5算法对ID3算法主要做了⼀下⼏点改进： （1）通过信息增益率选择分裂属性，克服了ID3算法中通过信息增益倾向于选择拥有多个属性值的属性作为分裂属性的不⾜； （2）能够处理离散型和连续型的属性类型，即将连续型的属性进⾏离散化处理； （3）构造决策树之后进⾏剪枝操作； （4）能够处理具有缺失属性值的训练数据。
2. 分裂属性的选择——信息增益率 分裂属性选择的评判标准是决策树算法之间的根本区别。
区别于ID3算法通过信息增益选择分裂属性，C4.5算法通过信息增益率选择分裂属性。
属性A的“分裂信息”(split information)：其中，训练数据集S通过属性A的属性值划分为m个⼦数据集，|Sj|表⽰第j个⼦数据集中样本数量，|S|表⽰划分之前数据集中样本总数量。
通过属性A分裂之后样本集的信息增益：信息增益的详细计算⽅法，可以参考博客“”中信息增益的计算。
通过属性A分裂之后样本集的信息增益率： 通过C4.5算法构造决策树时，信息增益率最⼤的属性即为当前节点的分裂属性，随着递归计算，被计算的属性的信息增益率会变得越来越⼩，到后期则选择相对⽐较⼤的信息增益率的属性作为分裂属性。
3. 连续型属性的离散化处理 当属性类型为离散型，⽆须对数据进⾏离散化处理；当属性类型为连续型，则需要对数据进⾏离散化处理。
C4.5算法针对连续属性的离散化处理，核⼼思想：将属性A的N个属性值按照升序排列；通过⼆分法将属性A的所有属性值分成两部分（共有N-1种划分⽅法，⼆分的阈值为相邻两个属性值的中间值）；计算每种划分⽅法对应的信息增益，选取信息增益最⼤的划分⽅法的阈值作为属性A⼆分的阈值。
详细流程如下：（1）将节点Node上的所有数据样本按照连续型属性A的具体取值，由⼩到⼤进⾏排列，得到属性A的属性值取值序列(xA1,...,xAN)。
决策树C4.5算法——计算步骤示例
决策树C4.5算法——计算步骤⽰例
使⽤决策树算法⼿动计算GOLF数据集
步骤：
1、通过信息增益率筛选分⽀。
（1）共有4个⾃变量，分别计算每⼀个⾃变量的信息增益率。
⾸先计算outlook的信息增益。
outlook的信息增益Gain(outlook)=
其中，v是可能取值的集合（本例中，outlook可以取3个值），D表⽰整个数据集，Dv是outlook取值为v的样本集合，⽽|*|表⽰数据集的⼤⼩（其中的样本数量）。
其中Entropy(PlayGolf? in D)为最终因变量PlayGolf的信息熵值。
计算过程为：
PlayGolf共有2种结果：YES（9个观测值）、NO（5个观测值）
YES出现的概率为9/14，NO出现的概率为5/14。
根据熵值计算公式：
其中c=2（PlayGolf有2个取值YES和NO）。
p1=9/14,p2=5/14.
其次计算根据outlook对数据进⾏分类，加权计算PlayGolf的信息熵
中D表⽰了1-14全部的PlayGolf数值，但是可以根据outlook的取值不同将1-14⾏数据，分为3类：Sunny、Overcast、Rainy。
D1表⽰了为Sunny的PlayGolf的数值。
计算D1的中playgolf的信息熵。
同理计算D2,D3数据集的PlayGolf信息熵。
计算属性Outlook的信息增益Gain(Outlook)=0.940-0.694=0.246
信息增益率为：
Outlook的信息增益已经有了，现在计算Outlook的熵。
计算Outlook的信息增益率
同理计算其他属性的信息增益率。
大数据经典算法c45讲解
• 其中，S1到Sc是c个不同值的属性A分割S而形成的c个样本子集。如 按照属性A把S集（含30个用例）分成了10个用例和20个用例两个集 合则SplitInfo(S,A)=-1/3*log(1/3)-2/3*log(2/3)
对于连续变量决策树中的测试是怎样的？
• 很明显，我们看到这个例子中对于连续变量，所有连续变量的测试分 支都是2条，因此在C4.5算法中，连续变量的分支总是两条，分支其 测试分支分别对应着{<=θ ,>θ }，θ 对应着分支阈值，但是这个θ 怎么 确定呢？ • 很简单，把需要处理的样本（对应根节点）或样本子集（对应子树） 按照连续变量的大小从小到大进行排序，假设该属性对应的不同的属 性值一共有N个，那么总共有N-1个可能的候选分割阈值点，每个候 选的分割阈值点的值为上述排序后的属性值链表中两两前后连续元素 的中点，那么我们的任务就是从这个N-1个候选分割阈值点中选出一 个，使得前面提到的信息论标准最大。举个例子，对于Golf数据集， 我们来处理温度属性，来选择合适的阈值。首先按照温度大小对对应 样本进行排序如下
C4.5算法应该解决的问题
• • • • • 如何选择测试属性构造决策树？ 对于连续变量决策树中的测试是怎样的？ 如何选择处理连续变量（阀值）？ 如何终止树的增长? 如何确定叶子节点的类？
决策树
• 关于PlayGolf的决策树：
如何选择测试属性构造决策树？
• 用信息增益率来选择属性
• 这个指标实际上就等于增益/熵，之所以采用这个指标是为了克服采 用增益作为衡量标准的缺点，采用增益作为衡量标准会导致分类树倾 向于优先选择那些具有比较多的分支的测试，也就是选择取值较多的 属性，这种倾向需要被抑制
期望熵（Expected Entropy）
C4.5决策树分裂详解（离散属性和连续属性）
C4.5决策树分裂详解（离散属性和连续属性）决策树构建过程：1、将所有训练数据集放在根节点上；2、遍历每种属性的每种分割⽅式，找到最好的分割点；3、根据2中最好的分割点将根节点分割成多个⼦节点（⼤于等于2个）；4、对剩下的样本和属性重复执⾏步骤2、3，直到每个⼦节点中的数据都属于同⼀类为⽌。
C4.5算法：C4.5算法是采⽤信息增益率来进⾏节点的分裂的，公式为：,其中, ,⽽, ,并且要求信息增益率越⼤越好。
下⾯举例具体计算，如下图为各种天⽓下是否打⾼尔夫球的表格。
Day Outlook Temperature Humidity Windy Play Golf1Sunny8585F N2Sunny8090T N3Overcast8378F Y4Rainy7096F Y5Rainy6880F Y6Rainy6570T N7Overcast6465T Y8Sunny7295F N9Sunny6970F Y10Rainy7580F Y11Sunny7570T Y12Overcast7290T Y13Overcast8175F Y14Rainy7180T N步骤1：将所有的节点放在根节点上，计算此时根节点的信息熵为：步骤2：遍历每种属性的每种分割⽅式，先看Outlook属性，它有三种取值Sunny, Rainy, Overcast,故,故按照Outlook属性分裂的话信息增益为：⽽Outlook属性本⾝的分裂信息熵为：故最终的信息增益率为：接下来计算Humidity的信息增益率。
因为Humidity为连续型的属性，故其计算⽅法相对于离散型的属性计算会复杂很多。
对于Humidity属性，我们先对其进⾏升序排列如下：Day Humidity Play Golf765Y670N970Y1170Y1375Y378Y580Y1060Y1480N185N290N1290Y895N496Y然后就是选取分裂节点，那么对于连续型属性，它的分裂节点是任意相邻的两个取值的中点，我们从第⼀个开始，取65和70的加权均值：，解释⼀下，对于65和70这两个数值，因为65只有⼀个，70有3个，所以分别乘以1/4和3/4，然后在计算按68.75来分裂的信息熵：再选取第⼆个分裂点：同理可得所有的分裂点的信息熵：分裂点68.7571.2576.579.581.2588.33391.66795.5信息熵0.8930.9250.8950.8500.8380.9150.9300.893由表可知，节点81.25作为分裂节点时，其信息熵最⼩，所以信息增益最⼤，故将此节点作为分裂点。
决策树C4.5算法总结
决策树算法发展
二级存储: 针对不能完全放入内存的数据集，在确保分类器算法效能的前提下，要做到数据 集扫描遍数的极小化。
BOAT算法（《 BOAT-optimistic decision tree construction》J Gehrke, V Ganti, R Ramakrishnan… - SIGMOD …, 1999）使用抽样、融合、完整扫描三步得到最终的分类器。 RainForest框架（《Rainforest-a framework for fast decision tree construction of large datasets》J Gehrke, R Ramakrishnan, V Ganti - VLDB, 1998）实现了多种具体的决策树构
增益比（Gain ratio）：增益/属性熵
树停止生长条件
1）节点内的数据已经完全属于同一类别。 2）节点内测数据样本数低于某一阈值。 3）所有属性都已经被分裂过。
处理连续型数据
• ID3算法：不能处理连续型数据，只能处 理离散型数据。 • C4.5算法：以二值离散的方式处理连续型 数据。
二值离散：对连续型属性进行排序，得到多个候选阈值，选取产生最大信息 增益的阈值作为分裂阈值。
C4.5示例
• SPSS Clementine C5.0
C4.5示例
• Weka J48
C4.5算法简介
决策树方法：利用一定的训练样本，从数据中学习出 决策规则自动构造出决策树。 C4.5算法: 《C4. 5: programs for machine learning》 JR Quinlan, 1993 分类决策树算法,其核心算法是ID3算法。目前应用在临 床决策、生产制造、文档分析、生物信息学、空间数 据建模等领域。算法的输入是带类标的数据，输出是 树形的决策规则。 ID3算法：《Induction of decision trees》 JR Quinlan - Machine learning, 1986 ID3算法的原型来自于Hunt等人提出的概念学习系统 （concept learning system, CLS）。
数据挖掘算法——C4.5决策树算法
数据挖掘算法——C4.5决策树算法参考博客：决策树是⼀种逼近离散值⽬标函数的⽅法，学习到的函数被表⽰为⼀棵决策树根节点包含全部训练样本⾃顶向下分⽽治之的策略决策树算法以树状结构来表⽰数据的分类结果，每⼀个决策点实现⼀个具有离散输出的测试函数，记为分⽀根节点⾮叶⼦节点（代表测试的条件，对数据属性的测试决策点）叶⼦节点（代表分类后所获得的分类标记）分⽀（代表测试的结果）决策树-熵P（X,Y） = P（X） * P（Y） X和Y两个事件相互独⽴ Log（XY） = Log（X） + Log（Y）H（X），H（Y）当成它们发⽣的不确定性P（⼏率越⼤）->H（X）值越⼩如：今天正常上课P（⼏率越⼩）->H（X）值越⼤如：今天没翻车我们统计了14天的⽓象数据(指标包括outlook，temperature，humidity，windy)，并已知这些天⽓是否打球(play)。
如果给出新⼀天的⽓象指标数据:sunny,cool,high,TRUE，判断⼀下会不会去打球。
table 1outlook temperature humidity windy playsunny hot high FALSE nosunny hot high TRUE noovercast hot high FALSE yesrainy mild high FALSE yesrainy cool normal FALSE yesrainy cool normal TRUE noovercast cool normal TRUE yessunny mild high FALSE nosunny cool normal FALSE yesrainy mild normal FALSE yessunny mild normal TRUE yesovercast mild high TRUE yesovercast hot normal FALSE yesnorainy mild high TRUE这个问题当然可以⽤求解，分别计算在给定天⽓条件下打球和不打球的概率，选概率⼤者作为推测结果。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
C45决策树工具使用说明1. 简介：本文档给出了有关C45决策树方法相关的一些资料，面向对象是研究人员。
本文档的内容安排如下：1． C45决策树方法的使用场合描述；2． C45决策树如何训练，即C45_VC.exe使用说明；3． C45决策树训练结果如何在代码中使用，即CAskC45编程说明；4． C45的外围工具简介；5． C45的原理说明；6．联系方式。
2. 适合用C45解决的问题C45是一种决策树的算法，可以理解为数据挖掘算法的一种。
从大规模的数据中挖掘规律，这里的大规模数据一般是用属性来描述，属性本身可以是连续量，如语音数据的基频值；也可以使离散量，如句子中词的个数；还可以使枚举量，如26个词类，声韵母类型等。
属性分为输入属性，和结论属性（或称决策属性）。
结论属性就是我们希望从输入属性中得到的结果，如希望从输入的词性序列中预测某个位置是不是L3边界，或者根据前后的音调、基频等预测当前的音节应该是哪一类的韵律曲线。
结论属性必须是枚举量（当然包括布尔量）。
而规律则以决策树的形式来表示，其形式如，在C45_VC.txt或者Screen.txt中可以看到类似的输出结果：Decision Tree:e_lv <= 47.6 : 如果e_lv属性值小于等于47.6的话| n_lv <= 45.8 : NeiWen (76.0/2.0) 如果n_lv值小于等于45.8，结论属性应该是NewiWen。
| n_lv > 45.8 : NeiBuWen (44.0) 如果n_lv值大于45.8，结论属性应该是NewiBuWen。
e_lv > 47.6 : 如果e_lv属性值大于47.6的话| n_lv <= 45.8 : WaiWen (147.0) …| n_lv > 45.8 : WaiBuWen (32.0) …注：n_lv <= 45.8 : NeiWen (76.0/2.0)中的76.0表示到这个决策分支的有76个例子，其中2.0是错误的例子数目。
这里有可能出现小数，这是决策树根据概率计算过程中可能将一个例子划分到多个子分支，每个分支算是（0.几）个事例到此。
这里同时给出关于使用C45决策树方法的一些注意事项：1） C45是狂揉的，只要你给它输入属性和输出属性，即使输出和输入之间没有任何关系，决策树一样可以给出很不错的决策正确率，尤其是集内测试正确率。
2）要避免上述问题，两个方面重要：（1）集外测试，集内测试不说明问题。
集外测试也要有一定的数目，这样才可以得到比较可信的测试结果。
（2）输入数据量，理论上训练例子的个数应该是所有属性空间大小的10倍。
属性空间大小计算为：每个属性可能的取值的种类数的连乘积。
比如输入属性是3个词类，而每个词类可能有32种可能，则理论上需要的训练例子数为：32×32×32＝32768个。
当然考虑到有些词类组合不可能出现，所需训练例子数可以筹减。
3）理论上，C45能自动排除那些不相关的属性，但是在训练数据稀疏的情况下，决策树一样会利用那些不相关的属性，得到一些结论。
所以不能一咕脑儿把所有的属性扔给决策树，还是需要对输入属性与输出属性之间有没有关联进行仔细的分析。
4）决策树的结论属性不宜太多。
超过20就是很不好了，因为决策树认为结论属性完全是枚举类型的，结论属性之间的各个可能的取值没有任何关系，如果问题中结论属性有一定的连续意义，比如预测一个韵律环境下音节应该的长度，那么则决策树的效果就很有可能比其他的类似于拟合的算法差了。
5）决策树在分析各个属性时，是完全独立的。
比如如果其实数据中只需要一条规律：“属性A的值比属性B的值大的时候，输出为1，否则为0”的话，决策树无法给出这样的规律，因为它只会尝试属性A和某个常数的比较，属性B和某个常数的比较，而不会比较属性A 和属性B的差值。
如果觉得数据中可能存在这样的规律的话，可以将属性A和属性B的差值作为一个新的属性（记为C）输入决策树训练算法，那么决策树有可能得出这样一条简洁的规律：如果属性C大于0，那么输出为1，否则为0。
3. C45_VC.exe使用说明：3.1 数据准备工作：而对于使用者来说，最重要的是要知道C4.5的输入数据格式，下面就详细介绍一下：现在假设我们所要研究的项目的名称是yu，则对于C4.5训练而言就至少需要两个文件yu.nam和yu.dat，其中yu.nam是输入数据的格式文件，它定义了输入数据文件的格式，而yu.dat则是严格按照这个格式所生成的输入数据文件。
在 C45发布版本中有这个例子，在Demo\Test目录中。
下面就这两个文件举一个例子，并同时对其中的符号的意义作一下解释：下面是格式文件yu.namNeiBuWen,NeiWen,WaiBuWen,WaiWen.xing_bei: nan , nv.e_lv: continuous.n_lv: ignore.p_lv: discrete 6.l_lv: continuous.在文件yu.nam中，第一行是输入数据的决策类，必须是枚举量，也就是说每个值本身对C4.5而言并没有什么特殊的意义，仅仅是作为一个枚举量处理而已。
以后几行是属性定义部分，以一个属性名和一个冒号开头，后根一个类型和一个句号，一行说明一个属性。
如上，xing_bei 是一个枚举型的属性，后面是它所能取的值；e_lv是一个连续量，用C45的关键字continuous 表征，可以是整型或浮点型；n_lv这个属性是被忽略不考虑的属性，用关键字ignore表征；p_lv是不大于6的自然数；l_lv又是一个连续量。
发布版本中的yu.nam文件中则所有的lv 都是continuous类型的。
注意：最后一个continuous.之后，还需要一个回车符号，这是因为C45_VC.exe的Bug导致的。
相应的有yu.dat为：nan,23.8,62.5,21.7,60,NeiBuWen.nan,61.9,25,17.4,65,WaiWen.nv,81,29.2,34.8,65,WaiWen.nv,57.1,29.2,34.8,50,WaiWen.nan,42.9,83.3,34.8,40,NeiBuWen.nan,52.4,12.5,13,45,WaiWen.nan,42.9,41.7,17.4,60,NeiBuWen.nan,66.7,50,4.3,40,WaiBuWen.nv,23.8,41.7,8.7,65,NeiBuWen.如上，在输入数据文件中，每一个训练例占一行；在一行中，按照先因素属性后决策属性的顺序，因素属性按照说明先后的顺序依次输入属性值，中间用逗号隔开，以句号结束。
从上述讨论可以看到，对C4.5的应用的关键就在于如何组织输入的格式文件和数据文件，也就是数据的预处理。
yu.tes文件格式和yu.dat完全一样，但理论上数据应该不一样，因为一个是训练数据，一个是用于测试开放正确率。
如果用到C45辅助工具：FeatureAnalysis.exe，则很可能还需要一个文件：yu.crs，这个文件格式和yu.dat还是一样，用于交叉集的测试。
训练集:交叉集:测试集的例子数目之比一般为：4:1:1。
3.2 训练过程C45的训练过程利用C45_VC.exe。
这是一个控制台（Console）程序，其最基本的调用格式为：C45_VC.exe –f yu其中-f表示后面接了项目名称，这里是yu。
C45_VC.exe还支持多个参数，这些参数的设置对效果有很多好处，请多加利用，下面一个一个说明，按使用频度排序：3.2.1 –f 项目名后接项目名称，注意不要.nam后缀名3.2.2 –u利用训练生成的决策树检测对应的.tes文件。
3.2.3 –s尝试对枚举类型的属性进行聚类分析，比如某个属性（记为CiLei）是词类属性，有：a,b,c,d,e,f,…,z共26种可能，如果不用-s参数，则一旦用到CurrentCiLei属性，那么会把决策树一下子生成26个子分支，而用到-s参数之后，则C45_VC自动尝试可能的词类组合，生成的子分支可能是：| | CurrentCiLei = p: 1 (2.0/1.0)| | CurrentCiLei in {b,e,g,h,i,j,k,l,r,u,w,x,y,z,new,old,{,0} 1 (0.0)| | CurrentCiLei in {a,c,d,f,m,n,o,q,s,t,v,ngp}这样有助于提高训练的效果。
3.2.4 –m 数字-m后面接的数字表示当一个决策分支中必须有大于等于数字个支撑事例时才可能继续往下细分。
比如-m 5表示，如果到这个分支的时候，还有超过5个实例，那么才尝试是不是继续往下分。
这个参数有助于提高集外测试正确率。
3.2.5 –c 数字-c 后面接的数字表示裁减到的比例，决策树有个裁减的概念，先会生成一个完整的决策树，然后进行裁减，裁减有助于提高决策树的集外测试正确率，缺省裁减到25%。
注意是裁减到原先的25％。
后面的数字必须是整型，-c 5就表示裁减到原先的5%。
裁减越多一般来说集内测试正确率降低而集外测试效果上升。
3.2.6 –v 数字输出调试信息的级别，数字的范围是0,1,2,3,4,5。
0表示输出最少（当然也是最重要的调试信息），而5表示输出最多的信息，缺省为13.2.7 –b决策树裁减过程中允不允许使用窗口的设置选项，训练中使用窗口是为了提高训练速度，窗口有两个相关属性：WINDOW和INCREMENT。
下面是关于WINDOW和INCREMENT意义的说明：/* Construct a classifier tree using the data items in the *//* window, then test for the successful classification of other *//* data items by this tree. If there are misclassified items, *//* put them immediately after the items in the window, increase *//* the size of the window and build another classifier tree, and *//* so on until we have a tree which successfully classifies all *//* of the test items or no improvement is apparent. */-b表示不使用WINDOW机制，训练效率可能会下降，缺省情况下是使用窗口的，缺省值定义如下：/* If necessary, set initial size of window to 20% (or twicethe sqrt, if this is larger) of the number of data items,and the maximum number of items that can be added to thewindow at each iteration to 20% of the initial window size */3.2.8 –w设置初始的窗口WINDOW的大小。