基于属性值的ID3算法改进
基于一种新的属性选择标准的ID3改进算法
ａｔｂ ｔｓｓｍｐｉｅ ｒ ｅｉｎ Ｔ ｉ ａｇｒ ｈ ｍ ） ｉ ｌｉｄｔｅｉｆｒ ｔ ｎｅ ｔ ｐ ｆＩ ３ａｇ ｒ ｈ ｔ ｅ ｕ ｅｔｅｃ ｍｐ ｔｔ ｎ ｌ ｔ ｕｅ ｉ ｌｉｄｃ ｔｒ ． ｈｓ ｌｏｉ ｏ ａ ｓ ｉｅ ｈ ｏｍａｉ ｎｒ ｙｏ Ｄ ｌｏｉ ｍ ｏｒｄ ｃ ｏ ｕａｉ ａ ｉ ｒ ｆ ｉ ｏ ｔ ｍｐ ｆ ｎ ｏ ｏ ｔ ｈ ｏ
属性分裂 的可能性越大 Ｊ 。
针对 Ｉ３算法 的计算复杂度大的问题 ， Ｄ 提出了对信 息量 计
算的改进方法 ， 即利用数 学上 的泰勒 公式 和迈 克劳林 公式 对
Ｉ３算法 的信息增益进行简化计算 ， Ｄ 在很 大程度上降低 了算 法
计算的复杂度。 １ 算法原理 ）
信息熵是用来度量整个训练实例集 的不确定性 ， 定义为
从 而 降低 算 法的计 算 时间 ；） ｂ 引入属 性 重要度概 念 来 弥补 １３算 法属 性 选择标 准的 不足 ；） Ｄ Ｃ 综合 ａ 和 ｂ 来 实现 ） ） 新 的属性 选择 标准 即属性 重要度 简化 标准 。在 开源的 Ｗｅａ ｋ 数据 挖 掘软 件 环境 下进 行仿 真 实验 ， 结果表 明该 改 进 算 法是 可行 的 ， 并且在 算 法的计 算 时间和准 确度 方面都 优 于 Ｉ３ 法 ， Ｄ 算 尤其是 在 数据 样 本 集规 模 达到 一 定数
中 的元 组 并 得 到 分 类 结 果 。
当前数 据挖 掘的分类方法有 很多种 ， 决策树算 法 、 传 如 遗 算 法 、 叶斯 网 络、 糙 集 、 一 近 邻 方 法 、 联 规 则 方 法 贝 粗 Ｋ最 关 等 ］决 策树分类算法是其 中一种 比较普遍典 型 的分 类方法 。 ３，
ｔ ｅ ｉ ｒ ｖ ｄ ａｇ ｒ ｈ ｉ ｆａ ｉ ｌ ，ａ ｄ ｔ ｅ ｃ ｍｐ ｔｔ ｎ ｔ ｎ ｃ ｕ ａ ｙ ａ ｅ ｂ ｔ ｒｔ ａ ｅ Ｉ ３ ａｇ ｒｔ ｍ， ｓ ｅ ｉｌ ｎ ｔ ｅ ｈ ｍｐ ｏ ｅ ｏ ｔ ｍ ｓ ｅ ｓｂ ｅ ｎ ｈ ｏ ｕ ａ ｉ ｉ ａ ｄ ａ ｅ ｒ ｃ ｒ ｅｔ ｎ ｔ Ｄ ｏ ｉ ｌ ｉ ｏ ｍｅ ｅ ｈ ｈ ｌ ｈ ｅ ｐ ｃａｌ ｉ ｈ ｙ
ID3算法的优化
2016年软 件2016, V ol. 37, No. 12作者简介: 朱琳(1992-)，女，硕士，数据挖掘。
通讯联系人: 杨杨，副教授，数据挖掘、网络管理。
ID3算法的优化朱 琳1，杨 杨2(1. 北京邮电大学，北京 100876；2. 北京邮电大学，北京 100876)摘 要: 随着硬件设备的普及，促使信息技术和移动互联网的快速发展，人们已经告别了信息匮乏的时期，而进入到了信息过载的时期。
人们试图用搜索功能搜索出自己想要的信息，如今已是非常困难，怎样从海量的数据中筛选出有价值的信息是信息提供者和信息需求者都要面对的挑战。
本文对数据分类中的ID3算法的基本概念和原理以及其构造过程进行了详细阐述，针对ID3算法倾向于选择取值较多的属性的缺点，引进属性阈值和信息增益率两个概念。
弥补ID3算法属性选择标准的不足，来实现新的属性选择标准，对原有ID3算法进行改进。
通过实验对改进前后的算法进行了比较，实验表明，改进后的算法提高了分类准确度。
关键词: 数据挖掘；ID3算法；信息增益；信息增益率；分类中图分类号: TP311.13 文献标识码: A DOI ：10.3969/j.issn.1003-6970.2016.12.020 本文著录格式：朱琳，杨杨. ID3算法的优化[J]. 软件，2016，37（12）：89-92Improvement of Decision Tree ID3 AlgorithmZHU Lin 1, YANG Yang 2(1. Beijing University of Posts and Telecommunications, Beijing 100876, China ; 2. Beijing University of Posts andTelecommunications, Beijing 100876, China )【Abstract 】: With the popularization of hardware equipment, prompting the rapid development of information tech-nology and mobile Internet, people have already bid farewell to the period of lack of information, and entered the periodof information overload. People try to use the search function to search out the information they want, and now it is very difficult, how to filter out from the mass of valuable information is information providers and information needs of those who have to face the challenge. In this paper, the basic concept and principle of ID3 algorithm in data classifica-tion and its construction process are expounded. In view of the shortcomings of ID3 algorithm which tend to choose more attributes, the two concepts of attribute threshold and information gain rate are introduced. Make up for the defi-ciency of attribute selection standard of ID3 algorithm to realize the new attribute selection standard and improve the original ID3 algorithm. Experiments show that the improved algorithm improves the classification accuracy. 【Key words 】: Data mining; ID3 Algorithm; Information gain; Information gain rate; classification0 引言在解决分类问题时，使用次数最多、范围最广的算法是决策树算法。
常见决策树分类算法都有哪些？
在机器学习中，有一个体系叫做决策树，决策树能够解决很多问题。
在决策树中，也有很多需要我们去学习的算法，要知道，在决策树中，每一个算法都是实用的算法，所以了解决策树中的算法对我们是有很大的帮助的。
在这篇文章中我们就给大家介绍一下关于决策树分类的算法，希望能够帮助大家更好地去理解决策树。
1.C4.5算法C4.5算法就是基于ID3算法的改进，这种算法主要包括的内容就是使用信息增益率替换了信息增益下降度作为属性选择的标准；在决策树构造的同时进行剪枝操作；避免了树的过度拟合情况；可以对不完整属性和连续型数据进行处理；使用k交叉验证降低了计算复杂度；针对数据构成形式，提升了算法的普适性等内容，这种算法是一个十分使用的算法。
2.CLS算法CLS算法就是最原始的决策树分类算法，基本流程是，从一棵空数出发，不断的从决策表选取属性加入数的生长过程中，直到决策树可以满足分类要求为止。
CLS算法存在的主要问题是在新增属性选取时有很大的随机性。
3.ID3算法ID3算法就是对CLS算法的最大改进是摒弃了属性选择的随机性，利用信息熵的下降速度作为属性选择的度量。
ID3是一种基于信息熵的决策树分类学习算法，以信息增益和信息熵，作为对象分类的衡量标准。
ID3算法结构简单、学习能力强、分类速度快适合大规模数据分类。
但同时由于信息增益的不稳定性，容易倾向于众数属性导致过度拟合，算法抗干扰能力差。
3.1.ID3算法的优缺点ID3算法的优点就是方法简单、计算量小、理论清晰、学习能力较强、比较适用于处理规模较大的学习问题。
缺点就是倾向于选择那些属性取值比较多的属性，在实际的应用中往往取值比较多的属性对分类没有太大价值、不能对连续属性进行处理、对噪声数据比较敏感、需计算每一个属性的信息增益值、计算代价较高。
3.2.ID3算法的核心思想根据样本子集属性取值的信息增益值的大小来选择决策属性，并根据该属性的不同取值生成决策树的分支，再对子集进行递归调用该方法，当所有子集的数据都只包含于同一个类别时结束。
ID3改进算法的研究
测试属性 ， 则这些子集就是从代表样本集 ．的节点 ｓ 生长出来 的新的叶子节点 。 ｓ 是子集 ｓ 中类别为 设 ， Ｃ的样本数 ， 则根据 Ａ划分样本的信息熵由下式给
出：
信息增益是基于信息论 中熵 的概念 。熵是对事
件对 应 的属 性 的不确 定 性 的度量 。一个 属性 的熵 越
大， 它蕴含 的不确定信 息越大 ， 越有利 于数据 的分 类 。Ｉ ３ Ｄ 总是选择具有最高信息增益（ 或最大熵 ） 的
属 性 作 为当前 结 点 的测试 属
…， ） ｓ ，
其中，
…， ） 一∑ ｐｌ２ 。； ｓ ＝ ｇ ｐ） ＝ ｏ（ ｐ
短 ， 生 成 的决 策 树 平 均 深 度 较 小 ， 而 提 高 分 类 使 从 速 度 和准 确 率 。
ｍ）设 ｓ是 类 ｃ 中的样 本数 。 。 相关 定 义如 下 ：
对一个给定 的样本分类所需的期望信息由下式
给定 ：
Ｉｓ …， ） 一∑ ｐｏ ｐ， （， １ ｓ ＝ ｌｇ ｌ２
２ Ｉ３ Ｄ 算法 的优劣
Ｉ ３ 法通 过 不 断 的循 环 处 理 ， 到 找 到 一 棵 Ｄ 算 直 完 全 正确 的决 策树 ， 从 顶 向下 归 纳 形成 了一 组 类 并
性 质 ２ 若 厂 ）是 区 间 ，上 的 凸 函 数 ， （ 则
Ｖ １ ２ … ， ， ， ∈ ， １ ２ … ， ， ， ， ＞ ０， ｌ＋ ２＋
２ １ 年 ６月 ０１
廊 坊师范学 院学报 （ 自然科学版 ）
Ｊｕｎｌ ｆＬ ｎ ｆ ｇＴ ａｈｒ Ｃ Ｈｇ（ ａｕｎ ｃ ｎｅＥ ｉｏ ） ｏｒａ ｏ ａｇａ ｅｃ ｅｓ ｏｅｅ Ｎ ｔｒａ Ｓ ｉ ｃ ｄｔ ｎ ｎ ｌ ｅ ｉ
基于可变精度的ID3改进算法
Ｉ ｐ ｏ ｄ Ｉ ｌ ｏ ｔ ｍ ａ ｅ ｎ ｖ ｒａ ｌ ｅ ｉｉ ｎ ｍ ｒ ｖｅ Ｄ３ ａｇ ｒ ｈ ｂ ｓ ｄｏ ａ ｂ ｅｐｒ ｃｓｏ ｉ ｉ Ｗ Ａ ａ —ｉｇ Ｚ ＮＧＹ ｎｂｎ ， ＨＡＯＲｕ， Ｙ ｉｇ ｉ ＡＯ Ｑｎ
（ｃｏ ｌ ｆ ｏ ｕｅ Ｓ ｉ ｃ ｄＴ ｃｎ ｌｇ， Ｓ ａｄ ｎ ｎｖｒｉ ， ｉａ ５ ０ ｈｎ ） Ｓｈ ｏ ｏ ｍｐ ｔ ｃ ｎ ｅ ｅｈ ｏｏｙ ｈｎ ｏ ｇＵ ｉｅｓｙ Ｊ ｎ２ ０ ６ ，Ｃ ｉａ Ｃ ｒ ｅ ａ ｎ ｔ ｎ １
Ｋｅ ｒ ｓ ａ ｔ ｍｉｉｇ ｄ ｃｓ ｎｔ ｅ ｒｕ ｔ Ｄ３ ｅ ｔ ｐ ｙｗｏｄ ：ｄ ａ ｎ ｎ ； ｅｉ ｏ ｅ ； ｏ ｇ ｓ ；Ｉ ； ｎｒ ｙ ｉ种 有 效 的数 据 挖 掘 方法 “ Ｑ ｉｌ ｕｎ ｎ提 ， ａ 出的 Ｉ ３ Ｄ 算法 最 有 影 响 的一 种 决 策树 生成 算 法 ， 思想 是 先 是 其 把 整个 数 据 库 作 为 树 的 根 节 点 ， 用 信 息 论 中 的信 息 增 益 寻 找 利 数据 库 中具 有 最 大 信 息 量 的 属 性 作 为 节 点 分裂 依 据 ， 后 根据 而 属 性 的不 同取 值 进 行 分 裂 ， 立 节 点 的分 枝 ， 在每 个 子 节 点 建 并 中重 复 该 操 作 ， 到 生成 一 棵 完 整 的决 策 树 ， 该 方 法有 倾 向 直 但 于 选 择 取 值 较 多 的 属 性 、 噪 声 能 力 差 等 缺 点 。粗 糙 集 理 论 抗 是 由波 兰 数 学 家 ｚ Ｐｗａ ．ａ ｌ ｋ于 １８ 年 首 先 提 出 的一 种 研 究 不 精 ９２ 确 ， 确 定 性 知 识 的 数 学 工 具 ，目前 主 要 用 于 分 类 。通 过 对 粗 不 糙集 理 论 和 Ｉ 算 法 的 研 究 ， 现 Ｉ 算 法 中利 用 信 息 熵 的 方 Ｄ３ 发 Ｄ３ 法对 属 性 进 行 择 优 ， 同 于粗 糙 集 理 论 中 的寻 找 正 域 最 大 的 属 等
基于属性重要度的ID3改进算法
维普资讯
第２ ８卷 ２０ ０ ８年 ６月
文章编号 ： ０ — ０ １ ２０ ） １ ０ ４ １ １ ９ ８ （０ ８ Ｓ — １４—０ ０ ２
计 算机应 用
Ｃｏ ｕ ｅ ｐ ｉ ａｉｎ ｍｐ ｔｒ Ａｐ ｌｃ ｔｏ ｓ
Ｖ １２ ｏ．８
总是重要的 ， 从而影响 了分类预 测的高效性 。通过对 Ｉ３算法的研 究， 据属性 重要 度粗糙 集理论的 思想 ， 经典 的 Ｄ 依 对
Ｉ ３算法做 了相应的改进 ， Ｄ 改进后的 Ｉ ３算法（ Ｉ ３ ， 高 了算法的决策效率 。最后的实例及应 用表 明， Ｄ ＡＩ ） 提 Ｄ 改进 的算法 更有效 ， 更快速 。
Ｊ ｎ ｏ ８ ｕ ｅ２ ｏ
基 于 属 性 重 要度 的 Ｉ ３改进 算 法 Ｄ
邹永贵 ， 范程 华
（ 重庆邮电大学 计算机科学与技术学院， 重庆 ４０ ６ ） ００ ５
（ ｈｎｈ ａ８ ＠ ｈｔ ｉ ｃｒ ｃｅ ｇｕ＿４ ｏ ｌ ｏ ） ｍａ ． ｎ
．
摘
要 ： ３算法是数据挖掘 中最经典的分类算法。该 算法偏 向于选择取值较 多的属 性 ， Ｉ Ｄ 而属性值 较 多的属性 不
０ 引言
决策树分类方法是一种有效 的数据挖 掘方法 … ， ｕｎａ Ｑ ｉｌ ｎ
提 出的 Ｉ３算法 是 最有 影响的一 种决 策树 生成 算法 ， Ｄ 其思
ID3决策树算法的改进
心是在决策树中各级结点熵选择属性时， 用信息增 此， 给出判定树分类 Ｉ３ 先 Ｄ 算法的形式化描述 ， 先 益作为属性选择的准则 ， 使得在每一非叶节点进行 在 细节上进行 调整 。
输入 ： 训练样本 ｓｍ ｌ ， ａｐ ｓ ｅ 由离散值属性表示 ； 侯 测试 ，能获得关于被测试例子最大的类别信息 ， 使 用该属性将例子集分成子集后 ， 系统的熵值最小。 选属性的集合 ａｒ ｕ —ｉ ｔｉ ｔ ｌｔ ｔｂ ｅ ｓ
通过对式2中加权和增加优值法参数加强了重要属性的标注降低非重要属性的标注把加权和转换为加权和加优值法参数使生成决策树时数量少的数据元组不会被淹没或者降低属性值较多且并不重要的属性最终使决策树减少了对取值较多的属性的依赖性从而尽可能地减少大数据掩盖小数据的现象发生
州 院乡
Ｊｕ ｎ ｌ ｆ ｈｚ ｏ ｏｌｇ ｏ ｒａ ｉ ｕＣ ｌ ｅ ｏＣ ｈ ｅ
人员理解和接受 。（在决策树分类过程中， ２ ） 不需要 达 形式为 ：
人为设定任何参数， 更适合于知识发现的要求。（ ３ ） 决策树分类方法不需要任何除训练数据集和测试 数据集以外的附加信息， 保证决策树与其它分类方 法相比具有更高的分类速度。 ） （决策树分类方法与 ４ 其它分类模型相 比， 具有非常好的分类准确率。
２ 决策树算法的改进
２ Ｄ 决策树算法的改进原理 ． Ｉ３ １
向于选择取值较多 的属性 ， 而属性较多的属性却不 总是最优的属性 ， 即按照使熵值最小 的原则被 Ｉ３ Ｄ
Ｉ３ Ｄ 算法是基于信息熵的决策树分类算法 ， 根 算法列为应该首先判断的属性在现实情况 中却并 我们提出改进算法。为 据属性集的取值来判断实例的类别。Ｉ３ Ｄ 的算法核 不那么重要 。根据这一点，
信息增益计算公式的基本形式为：
ID3决策树算法的改进研究
法，但 其存在 多值偏 向性 等问题 ， 文中根据
相似 性 原 理 ， 科进 曩性 韪 近 度 概 念 ， 以 描 述
曩性 和 决策 分类曩性 的 分类样本数 曲韪近 程 度确 定测试曩性 ，构建 决 策树 ，并 对 １ Ｄ５算 法和 改进算 法 丁 １５ 法的多值偏向性问题 和 ＿１ 算 ） 测 试预 测率进 行 了理 论和 实验 的验 证 。
（ ） ５
并且令Ａ，＝ （ ， ， ｎ ）因此Ａ Ａ，＝１２ …， －１。 ｉ
具有 ｍ个不同值 ， 定义 ｍ个不 同类 Ｃ（： ， ．１ ｊ ２ …， ，Ｃ 是 Ｓ当中类 Ｃ 的样本数 ，对 ， ｍ） ； ．
Ｃ． 一 Ｃ， Ｃ 从大到小进 行排序得到 ， Ｃ ， ，…，
把 Ｉ 算法分别作用在 Ａ 和 Ａ上得 Ｄ３
ｇ ｉ（ ‘一 ａｎ ｄ ＝ ａｎ Ａ ） ｇ ｉ（ ）
（～ （‘一， （） Ｅ ） ＥＡ） ， ＥＡ） （一 ） （ 一 （‘ ） ：
下 结果 ：
（ ５）
因为 ， （ １， ｎ １，所以有 如 ＝ ． …，一） ２ 印 Ａ 一 ａ（）ｐＡ’ ）∑ｐ ， 《 ）ｇｂＡ＝ （ （ 一 （ （ １ ， ） ）
定义 ：
２ Ｉ 算法和 Ｔ Ｉ 算法的多值偏 向 ．３ Ｄ －Ｄ ３ ＰＣ （ 性分 析 Ｐ Ｃ／ Ｓ中描述属性 为 Ａｉ 策分 （ ＿Ａ ） 是 决
２ １多值偏向性 问题的理论 ． 首先 ，设 Ａ是某训练样 本集 的一 个描 述属性 ，它的取 值为 Ａ ，Ａ， ，…Ａ ，同 时 为该样 本集 “ 创造 ”另外一个属性 Ａ ， 它的 取值 为 Ａ ． ，Ａ， ，… ，Ａ ，Ａ
・
决策树ID3算法及其改进算法研究
１ Ｉ ３算 法 基 本 思 想 Ｄ
２ ｌ Ｄ３算 法 的 优 缺 点
Ｉ ３算法是 由 Ｑ ｉｌ Ｄ ｕｎａ 出的一种归纳 学习算法 ， ｎ提 它可 以从一个训练例子集合 中归 纳出知识 ，抽取 出的知识 以决
Ｉ ３算法通过 不断的循环处理 ， Ｄ 直到找到一棵完全正 确
的决策树 ， 并从 顶 向下 归纳形成 了一组类 似 Ｉ－ Ｈ Ｎ的规 ＦＴ Ｅ
下 式 给 出：
３１ 函 数 的 凹凸 性 ．
定 理 １ 设 ｆ） ［ ｂ上 连 续 ， （ ） （在 ａ 】 ｘ ， 在 内具 有 一 阶 和 二
阶导数 ， 么 那
１若在 （ ） ｆ（＞ ， ｆ ） ａ ］ ） 内， ）０ 则 （在［ｂ上的图形是 凹的 ； ｘ ｘ ， ２ 若在 （ ） ｆ（＜ ， ｆ ） ａｂ 的图形是 凸的。 ） 内，。）０ 则 （在［ ］ ． ｘ ｘ ＇上
性质 １ 若 ｆ ）在 区间 Ｉ 是凸 函数 ， ， ∈Ｉ ｘ 上 ＶＸＸ ， ｌ２ ∈ （，） ０１， 则有 ：
ｆ １ （一 ）ｘ ≤ｆ ｘ （一 ） （＋ ｌ ） １ ｆ １ 【 ｔ １ ｘ ｘ （ ｌ ｊ ＋
ＥＡ＝ （）∑
；＝ Ｉ
Ｓ
Ｉｊ ，） （ …ｓ ｓ 【 ’
决策树 Ｉ ３ 法及其 改进 算法研究 Ｄ 算
（ 常州信息职业技术学院，江苏 常州 ２３ ６） １１４
摘 要 ：本 文主要研 究决策树 Ｉ Ｄ３算 法及其改进算 法， 阐述 了 Ｉ Ｄ３算法的基本 思想及 存在 的不足 ， 由此 引 出根据 Ｉ 并 Ｄ３
算法 中的信息增益计算原理的特点 ， 利用凸函数 的性质 简化信 息增益的计算 ， 高 了 Ｉ ３算法 中信息增益的计算 效率。 提 Ｄ 关键词 ：Ｉ ３算法； Ｄ 改进 ； 成绩 中图分类号 ：Ｐ １ Ｔ ３２ 文献标识 码 ： Ａ 文章编号 ：６ ３ ３ ３ （０ １０ — ９ １０ １７ — ２ １２ １ ）４ ０ ０ — ３
决策树ID3算法的分析与改进
Ａｎ ｌ ｓｓａ ｄ ｉ ｒ ｖ ｍｅ ｔ ｆ Ｄ３ ｄ ｃ ｓｏ ｅ ｌ ｏ ｉ ｍ ａｙ ｉ ｎ ｍｐ ｏ ｅ ｎ ｅ ｉｉｎ ｔ ｅａｇ ｒｔ ｏ ｌ ｒ ｈ
Ｗ ＡＮ Ｇ ａ ． ｉ ＪＡＮ Ｇ — ｉｇ Ｘｉｏ ｗｅ ， Ｉ Ｙｕ ｍ ｎ
（ｃ ｏ ｌ ｆ ｏ ｕｅ ｃ ｎ ｅ Ｓｃｕ ｎ ｎｖ ｒ ｔ Ｃ ｅｇ ｕ６ ６ ， Ｃ ｉ ） Ｓｈ ｏ ｏ ｍｐ ｔ Ｓ ｉ ｃ， ｉ ａ ｉ ｓｙ ｈ ｎ ｄ １０４ ｈｎ Ｃ ｒ ｅ ｈ Ｕ ｅ ｉ， ０ ａ
样 本是 按照 已知值 的相 对频 率随机 分布 的思 想 ， 以处理缺 少属 性值 的样 本。 可 描述 了通 过改进 的 Ｉ Ｄ３算法生成 决策树 的具 体 步骤 ， 改进 算法应 用到 了客 户关 系管理 系统 中的客 户流 失分析 问题 当中。通过对 实验 结 果的分析 比较 ，得 到改进 算法 将
计 算 机 工 程 与 设计 Ｃ ｍ ｕ ｒ ｎｉ ｅｎ ｄ ｅ ｇ ２ １， ｏ． ， ｏ ３６ ｏ ｐｔ Ｅ ｇ ｅｒ ｇ ｎ Ｄ ｓ ｎ ｅ ｎ ｉ ａ ｉ ０１ Ｖ １ ２ Ｎ ． ０９ ３ ９
ห้องสมุดไป่ตู้
决策树 Ｉ ３ Ｄ 算法的分析与改进
王 小巍 ， 蒋玉 明
（ 川大 学 计 算机 学 院 ，四 川 成 都 ６０６） 四 １０４
与原 Ｉ Ｄ３算法相 比具有 更 高的预 测准确 率 ， 明了该算 法的有 效性 表
关键词 ： 数据 挖掘 ； 决粜树 ；Ｉ Ｄ３算法； 聚类 ；剪 枝 中 图法分类 号 ： Ｐ ０ ． Ｔ ３１ ６ 文 献标识 码 ： Ａ 文章编 号 ：０ ０７２ ２ １） ９３ ６ —４ １０ —０ ４（０ １ ０－０９０
Ａｂ ｔ ａ ｔ Ａｃ ｏ ｄ ｎ ｅ ｓ ｏ ｔｏ ｎ ｓｏ ｅ Ｉ ｌ ｏ ｉｈ ｓｒ ｃ ： ｃ ｒ ｉ ｇｔ ｔ ｈ ｒ ｍｉ ｇ ｆ ｈ Ｄ３ ａ ｇ ｒ ｍ， ａ ｒ ｖ ｄ ａ ｇ ｒ ｈ ｉ ｄ ｓｇ ｅ ａ ｅ ｎ ｔ ｅ Ｉ ｌ ｏ ｔ ｍ． Ｔｈ ｓ ｏｈ ｃ ｔ ｔ ｎｉ ｍｐ ｏ ｅ ｌ ｏ ｔ ｍ ｅ ｉ ｎ ｄ ｂ ｓ ｄ ｏ Ｄ３ ａ ｇ ｒ ｈ ｉ ｓ ｈ ｉ ｉ ａ ｇ ｒ ｈ ｏ ｒ ｃ ｅ ｉ ｆ ｒ ｔ ｎ ｇ ｉ ｙ ｕ ｉ ｇ ａｍ ｏ ｉ ｅ ａ ａ ｔｒａ ｄ ｏ ｅ ｃ ｍｅｔ ｅ ｄ ｓ ｄ ａ ｔｇ ａ ａｓｔ ｅ ｅ ｔ ｈ ｔ ｉ ｕ ｅｈ ｓ ｌｏ ｉ ｔ ｍ ｃ ｒｅ ｔ ｈ ｏ ｍａ ｉ ａ ｎ ｂ ｓ ｄ ｆ ｄ ｐ ｒ ｍｅｅ ｎ ｖ ｒ ｏ ｉａ ｖ ａ ｅｔ ｔ ｉ ｏ ｓ ｌ ｃ ｅ ａｔ ｂ ｔ ａ ｔ ｎ ｏ ｎ ｉ ｈ ｎ ｈ ｂ ｔ ｒ ｍｏ ｅｖ ｌ ｅａ ｄ ｔ ｅｄ ｓ ｒ ｔ ｆ ｏ ｔ ｕ ｕ ｒ ｐ ｒｉ ｓｔ ｏ ｖ ｅｐ ｏ ｌｍ ｆ ｅ ｃ ｎ ｉ ｕ ｕ ｔ ｉ ｕ ｅ ． Ａｓｆ ｒｔ ｅ ｉｅ ａ ａ ｌ ｆ ｒ ａｕ ｎ ｉｃ ｅｅ ｏ ｎ ｉ ｏ ｓｐ ｏ ｅ ｅ ｓ ｌ ｅ ｔ ｒ ｂ ｅ ｏ ｏ ｔ ｏ ｓａｔ ｂ ｔ ｓ ｈ ｃ ｎ ｔ ｏ ｈ ｈ ｔ ｎ ｒ ｏ ａｔ ｔ ａ ｓ ｍｐ ｅ ｏ ｈ ｄ ｈ ｕ ｋ ｏ ａｕ ｃ ｏ ｄ ｃ ｔ ｅｋ ｏ ａｕ ｓ ｆ ｈ ｌ ｔ ｅ ｆｅ ｕ ｎ ｙ ｏ ｒ ｄ ｍ， Ｉ ｃ ｎ ｄ ａ ｔ ｅｍｉｓｎ ｔ ｉ ｕ ｅｖ ｌ ｅ ｎ ｎ ｗｎ ｖ ｌ ｅｉ ｉ ａ ｃ ｒ ａ ｅｗｉ ｔ ｎ ｗｎ ｖ ｌ ｅ ｔ ｅｒ ａｉ ｑ ｅ ｃ ｆ ａ ｏ ｓｎ ｎ ｈｈ ｏ ｅ ｖ ｒ ｎ ｔ ａ ｅ ｌ ｈｔ ｓｉ ｇ ａｔ ｂ ｔ ａｕ ｓ ｗｉ ｈ ｒ ｏ ｅ ｓ ｍｐ ｅ Ｌａ ｔ ｅ ｃ ｉ ｅ ｅ ｓｅ ｓｔ ａ ｏ ｔ ｅ ｅ ａ ｅｄ ｃｓｏ ｅ ｙ ｔ ｅｍ ｏ ｉ ｅ Ｄ３ ａ ｇ ｒ ｈ ． Ｔ ｅｉ ｒ ｖ ｄ ａ ｇ ｒ ｈ ｉ ｆ ａ ｌ． ｈ ｔ ｓ ｄ ｓ ｒｂ ｄ ｔ ｔ ｐ ｔ ｗ ｏ ｇ ｎ ｒ ｔ ｅ ｉｉｎ ｔ ｅｂ ｄ ｆ ｄ Ｉ ｌ ｏ ｔ ｈ ｈ ｈ ｒ ｈ ｉ ｉｍ ｈ ｍｐ ｏ ｅ ｌｏ ｔ ｍ ｓ ｉ ａ ｐ ｉｄ ｔ ｅ ａ ａｙ ｉ ｏ ｕ ｔ ｍｅ ｓ ｅｃ ｓｏ ｒｒ ｌｔ ｎ ｈ ｐ ｍａ ａ ｅ ｎ ｙ ｔ ｍ． Ｔ ｒ ｕ ｈｔ ｅｃ ｍｐ ｒｓ ｎ ｏ ｅｅ ｐ ｒｍｅ ｔ ｌ ｐ ｌ ｔ ｌ ｓｓ ｆ ｓｏ ｒｌ ｔ ｎ ｔ ｕ ｔ ｍｅ ｅ ａｉ ｓ ｉ ｎ ｇ ｍｅ ｔ ｓｅ ｅ ｏｈ ｎ ｃ ｏ ｉ ｈ ｏ ｓ ｈ ｏ ｇ ｏ ａ ｉｏ ｆ ｈ ｘ ｅ ｈ ｔ ｉ ｎ ａ ｒ ｓ ｌ ， ｔ ｅｉ ｒ ｖ ｄ ａｇ ｒ ｈ ａ ｉ ｈ ｒ ｏ ｅ ａ ｔ ｃ ｕ ａ ｙ ｔ ａ ｅｏ ｇ ｎ ｌ Ｄ３ａ ｇ ｒ ｈ ｅｕｔ ｓ ｈ ｍｐ ｏ ｅ ｌ ｏ ｉ ｔ ｈ ｓａｈ ｇ ｅ ｒ ｃ ｓ ａ ｃ ｒ ｃ ｎ ｔ ｒ ｉ ａ ｌ ｏ ｔ ｍ． Ｆ ｎ ｌ ， ｔ ｅｆ ａ ｉｉｉ ｆ ｈ ｔ ｏ ｍ ｆ ｈ ｈ ｉ Ｉ ｉ ｉａｌ ｙ ｈ ｅ ｓｂ ｌ ｙ ｏ ｔ ｅｍｅ ｄ ｉ ｔ ｈ ｓ ｖ ｌ ａ ｅ ｙ ｐ ａ ｔ ａ ｐ ｌ ａ ｉｎ ａｉ ｔ ｄｂ ｒ ｃ ｉ ｌ ｐ ｉ ｔ ． ｄ ｃ ａ ｃ ｏ
决策树ID3算法分析及改进
ｃ ｌｇｅ ｄ ｌｏ ｔｍ ｓ ｇ ｉｄ ｃ ｖ ｅ ｒｉｇ ａｇ ｒ ｈ ， ｔｅ ｇｅ ｄ ｌｏ ｔｍ ｓｎ ｅ ｒｃ ｒｉｅｍｅ ｏ ｓ ｄ ｔ ａ ｒｅ ｙａｇ ｒ ｉ ｈ ｕ ｉ ｎ ｕ ｔ ｅ ｌａｎｎ ｌｏ ｔｍ ｈ ｒｅ ｙａｇ ｒ ｎ ｉ ｉ ｉ ｈ ｕ ｉｇ ｔ ｅ ｕｓｖ ｔ ｄ ｕ ｅ ｏ ｈ ｈ
Ａｎ ｌ ｓｓ ａ ｄ Ｉ ｐ ｏ ｅ ｎ ｆＩ ｃｓｏ ｅ ｇ ｒｔ ｍ ａ ｙ ｉ ｎ ｍ ｒ ｖ ｍｅ ｔ Ｄ３ Ｄｅ ｉｉ ｎ Ｔｒ ｅ Ａｌ ｏ ｉ ｏ ｈ Ｗ ＡＮＧ ｈ ｎ Ｓ ｅｇ
（ ｎｕ ｏａｉ ａ ｏｅｅｏ ｅｎｅＴｃｎｌ ｙ ｉ’ａ ３ ０ １ ｈｎ ） Ａ ｈｉＶｃｔｎ ｌ ｌｇ ｆ ｓ ｅｈｏ ｇ ，Ｌｕ ｒ２ ７ １ ，Ｃ ｉａ ｏ Ｃ ｌ ｆＤ ｅ ｏ ｔ
摘
要 ：决 策树通 过对 获取 的样 本数 据属 性使 用信 息论 知识 原理 进行 解析 和 归纳 ，最终形 成
类似于流程 图的树型结构形式。Ｉ３ Ｄ 算法是典型采用贪心算法的归纳学习算法 ，其使用递 归方式 采 用贪 心 算 法来 生成 决策树 。 与其他 分 类技 术 算 法 比较 ，Ｉ３算 法有 着 自己的优 势 ，但 在 实 际应 Ｄ 用中，采用决策树 Ｉ３算法进行分类时 ，需要先对数据进行一些处理或改进。 Ｄ 关 键 词 ：数据 挖掘 ；决策树 ；Ｉ３算 法 Ｄ 中 图分类 号 ：Ｔ ３ １ １ 文献 标 志码 ：Ａ 文章 编号 ：１７ — ８ Ｘ （ ０ ２ ４— ０ ７— ３ Ｐ １．３ ６ １ ３ ０ ２ １ ）０ ０ ０ ０
程 图的树 型 结 构 形 式 。树 型结 构 节 点 为样 本 的属
益， 作为特征判别 能力 的度量 ，并提 出 的 Ｉ ３算 Ｄ 法。这种算法对对象分类所需要 的期望测试数 目实 现最小 ，从而得到一个简单 的树型结构 图。
《2024年决策树ID3算法的改进研究》范文
《决策树ID3算法的改进研究》篇一一、引言决策树算法是一种常用的机器学习算法，广泛应用于分类问题。
ID3（Iterative Dichotomiser 3）算法作为决策树算法的一种，具有简单易懂、易于实现等优点。
然而，随着数据集的复杂性和规模的增加，ID3算法在处理高维、非线性等问题时存在一定局限性。
本文旨在研究ID3算法的改进方法，以提高其分类性能和泛化能力。
二、ID3算法概述ID3算法是一种基于信息增益的决策树学习算法。
它通过计算各个特征的信息增益，选择信息增益最大的特征进行划分，递归地构建决策树。
ID3算法具有简单、直观、易于理解等优点，但在处理高维、非线性等问题时，容易受到噪声和无关特征的影响，导致过拟合和分类性能下降。
三、ID3算法的改进思路针对ID3算法的局限性，本文提出以下改进思路：1. 特征选择：引入新的特征选择方法，如基于基尼指数、卡方统计量等，以提高信息增益计算的准确性和鲁棒性。
同时，可以考虑使用多特征组合或特征融合的方法，提高决策树的分类性能。
2. 剪枝策略：引入预剪枝和后剪枝策略，以避免过拟合和提高泛化能力。
预剪枝通过提前停止树的生长来控制模型复杂度，后剪枝则通过剪去决策树的部分分支来优化模型。
3. 参数优化：对ID3算法的参数进行优化，如选择合适的阈值、惩罚项等，以提高算法的分类性能和稳定性。
四、改进的ID3算法实现根据上述改进思路，本文提出一种改进的ID3算法实现方法：1. 特征选择：采用基尼指数作为特征选择的标准。
基尼指数越小，说明数据的纯度越高，因此选择基尼指数最小的特征进行划分。
同时，可以考虑将多个特征进行组合或融合，以充分利用特征之间的互补信息。
2. 剪枝策略：引入预剪枝和后剪枝两种策略。
预剪枝通过设定一个阈值，当信息增益小于该阈值时停止树的生长。
后剪枝则从完全生长的决策树开始，逐步剪去部分分支以优化模型。
3. 参数优化：通过交叉验证等方法确定最佳参数值，如阈值、惩罚项等。
《2024年决策树ID3算法的改进研究》范文
《决策树ID3算法的改进研究》篇一一、引言决策树算法是一种常用的机器学习算法，广泛应用于分类问题。
ID3（Iterative Dichotomiser 3）算法作为决策树算法的一种，以其简单、直观的特点在数据挖掘和机器学习中得到了广泛的应用。
然而，随着数据集的复杂性和规模的增加，ID3算法在处理某些问题时存在一些局限性。
本文旨在研究ID3算法的不足，并提出相应的改进措施，以提高算法的准确性和效率。
二、ID3算法概述ID3算法是一种决策树学习算法，它采用信息增益作为选择划分属性的标准。
算法从根节点开始，对数据集进行训练和学习，根据信息增益选择最优划分属性，将数据集划分为子集，然后递归地对子集进行划分，直到满足停止条件为止。
ID3算法具有简单易懂、计算量小、易于实现等优点。
三、ID3算法的不足虽然ID3算法在许多问题上表现良好，但在处理一些复杂的数据集时，仍存在一些不足。
主要问题包括：1. 对噪声数据敏感：ID3算法在选择划分属性时，容易受到噪声数据的影响，导致划分不准确。
2. 倾向于选择取值较多的属性：当某个属性取值较多时，其信息增益往往较大，导致ID3算法倾向于选择该属性进行划分，这可能导致过拟合。
3. 处理连续属性能力有限：ID3算法主要针对离散属性进行划分，对于连续属性的处理能力有限。
四、改进措施针对ID3算法的不足，本文提出以下改进措施：1. 引入噪声过滤机制：在划分属性前，对数据进行噪声过滤，降低噪声数据对划分结果的影响。
可以通过设置阈值、聚类等方法实现。
2. 属性选择策略优化：在选择划分属性时，引入属性之间的相关性分析，避免选择取值较多且与目标属性相关性较小的属性。
同时，可以采用基于代价复杂度的剪枝策略，对决策树进行后剪枝，以降低过拟合的风险。
3. 扩展处理连续属性的能力：针对连续属性，可以采用离散化处理方法，将连续属性转换为离散属性。
同时，可以引入基于距离的划分方法，以更好地处理连续属性的划分问题。
ID3算法的改进和优化
Ｅ ／ ３决 策 树 算 法 描 述 如 下 ： 一１ ９
ｆ 在 现 有 的属 性 中选 择 任 意 的一 个属 性Ａ ， ｛Ａ有口个 属 性 ｌ １ 假 殳
． ．
值 ， 应 的 概率 分别 为ｐ 对 … 设 属
有 属 性 值 ， …， 个
１ ２
福
建
电
脑
２１ ０ ０年第 ７期
Ｉ ３算法 的改进和优化 Ｄ
胡 国华 ．赵 青 杉
（忻 州 师 范 学 院 计算 机 系 山西 忻 州 ０４０ ３ ００）
【 摘
要】 Ｄ ：Ｉ ３算法是 最基本 的决策树 学习算法， 有广泛的应 用。 于 Ｉ ３算法的层间不相 关性 与生成树 中相邻层 的耦 基 Ｄ
Ｅｔ ｙ ） ∑一 ｌ ２ ） ｎｏ （ ＝ ｏ （ 性 结 点 １ ）
（） 用 步 骤 ） ４利 的计 算 结 果 ， 立 结 点Ａ 的 其 后 继 子 结 点 为 建
ｆ１ 息 增 益 ： ２信 属性 的 信 息 增 益 度 是 按 该 属 性 分 割 后 熵 的 消 ｆ ， Ｂ｝ Ｂｌ …， 。 Ｂ
（） 续 选 择 属 性Ａ Ａ … ， 据 步骤 、 骤 ｆ 汁 算 出相 ３继 ， ， 根 步 ２ 对 应 的Ｅ ｊ ， Ｅ 土 ； … 然后 在 现 有 的全 部 属 性 加 权 熵 Ｅ 似
ｊ ， ｊ 中 ， 过 比较计算 出最 小的加权 熵Ｅ （ ， ， … 通 ４ 使 大 的类 别 信 息 ．期望 该 非 叶结 点 到 达 各 后 代 叶 结 点 的 平 均 路 径 Ｅ 最 短 ， 生 成 的决 策 树平 均 深 度 较 小 ． 使 提高 分类 速 速 和 准 确率 。 Ｅ ） 小 ， 。 为 新 选 的属 性 结 点 ， 最 将Ａ 作 同时 扩展 其 属 性 值 的 个
改进ID3决策树算法——SS_ID3算法
以描述属性 的取值为行 ， 分类属
性 ｃ的取值为列 ， 可以通过 得到一个 凡 ｍ列 行
的矩 阵 Ａ， 照 Ｂ 的顺 序定 位 矩 阵 Ａ 的行顺 序 ， 按 按
３ 属性结构相似矩 阵
计 算样本 结构相 似 度需要 在样 本 数据 集上 建立
摘
睿
（． １ 兰州城市 学院 传媒学 院 ， 甘肃 兰州 ７００ ；． ３００２ 中国人 民银行兰州 中心支行科技处 ， 甘肃 兰州 ７００ ） ３００ 要： 从分析 Ｉ３ Ｄ 决策树 算法及解析人手 ， 引入属性样本结构 相似度 概念 ， 构建 了样本 结构相似度模 型 ， 以该模 并
型和属性 的信息 增益共 同作为决策 树内部结点的选择标准。改进 Ｓ—Ｄ 决策 树算法 ， ＳＩ３ 着眼于决策 树非叶结点 的选 择标准 的优化 ， 了原始 Ｉ３ 继承 Ｄ 决策树算法的优点 ， 并在多值偏 向性 的修正 、 决策树 的大小控制及分类预测性能等方
有考虑到描述属性和分类属性间的联系关系， 以， 所 提 出了一种改进 的 Ｉ３决策树算法——ｓ—Ｄ Ｄ Ｓ Ｉ３决 策 树算 法 。 ｓ ｊＤ 算法将描述属性和分类属性问的关联
Ｉ３ Ｄ 决策树算法选用当前层次信 息增益最大 的
属性来作为节点进行 分支判断 ， 而每次信息增益 的
算 法 同样可 以用于数 据分 类 ， 各 种专 家 系统 、 融 如 金
度不确定的情况下构建的 Ｉ３ Ｄ 决策树存在忽视重要 的非多值属性的趋势 。为提高分类预测 的准确性 ， 针对 Ｉ ３ Ｄ 决策树算法引入样本结构相似度模型对原 算法的多值偏向性问题进行改进 。
２ Ｓ Ｓ
—
Ｉ３决 策树算法简介 Ｄ
计算很大程度上会受到多值偏向性问题 的影响 ， 即
基于属性值的ID3算法改进
第 ２ 卷 第 ｌ 期 ９ ２
ＶＯ ． ９ １２ 计
Ｃｏ ｍｐ ｔ ｒＥ ｇ ｎ ｅ ｉ ｎ ｓｇ ｕｅ ｎ ｉｅ ｒ ｎｇａ ｄ Ｄｅ ｉ ｎ
２０ 年 ６ ０８ 月
Ｊｎ ０ ｕ ｅ ２０ ８
０ 引 言
随 着 信 息技 术 的 飞速 发 展 ， 数 据 量 以惊 人 的速 度 增 长 ， “ 富 的数 据 与 贫 乏 的知 识 ” 间 的 矛 盾 日 见 突 出 ， 个 领 域 丰 之 各 的 人 们 迫 切 需 要 有 种 能够 从 这 些 超 大 数 据 中 寻求 有 用 信 息 的 工具 ， 据挖 掘就是在这 种需要下 出现的 。 数 目前 ， 策 树 已成 决 为 一 种 重 要 的 数 据 挖 掘 方 法 。 １８ 年 由 Ｑ ｉｌ 提 出的 Ｉ ９６ ｕ ａ ｎｎ Ｄ３ 算 法 是 最 具 有 影 响 的 一 种 决 策 树 生 成 算 法 Ⅲ ｕｎ ｎ以及 其 。Ｑ ｉｌ ａ 它 专 家 学 者 详 细 阐述 了决 策 树 和 Ｉ３算 法 及 其 相 关 理 论 ，并 Ｄ 对 决策 树 进 行 了深 入 的 研 究 “’但 Ｉ 算 法 对 噪 声 比较 敏 感 ， 。 Ｄ３ 当 训练 数据 集 加 大 时 ， 策 树 可 能 会 随 之 改 变 ； 决 策 树 的 构 决 在 造 过程 中 ， 需要 对 数 据 集 进 行 多 次 的顺 序 扫 描 和 排 序 ， 而 导 因 致 算 法 的低 效 ；同 时 Ｉ ３算 法 以 最 高 信 息 增 益 作 为 选 择 属 性 Ｄ 的 标 准 ， 析 发 现 此 标 准 是 倾 向于 选 择 属 性 取 值 较 多 的 属 性 。 分 因 此 ， 文 基 于 Ｉ ３ 法 以上 的不 足 做 出 如 下 修 改 ， 训练 样 本 Ｄ 算 当 本 的各 属性 的 取值 个 数相 差较 大 时 ，将划 分 标 准 改进 为 ： Ｇ ｉ ） ａｎＡｉ， 中 ， 属 性 Ａ的 取 值 个 数 。从 而 对 Ｉ ３ ａｎ ：Ｇ ｉ（） 其 ｎ 为 Ｄ
基于改进的ID3算法的嵌入式Web服务单元测试策略
都将 失效［ ２ １ ３ 基于 改进 的 Ｉ ３算 法的测试 用例生 成策 略 、 Ｄ ３１改进 的 Ｉ ３算 法 ． Ｄ
决 策树［ ３ １ 的构 造 方法 很 多 ． 中使用 的改 进 的 Ｉ ３ 文 Ｄ 首 先根据公 式 （ ） 行计算 ： １进 因为 ｍ＝ ，ｌ ｌ ，２ ２ｐ ＝／ ｐ ＝ ８ 算法 是基 于最 有影 响力 和最早 的决策 树算 法一 Ｉ ３算 ７８所 以 Ｉ ｌ２＝ １ ｏ２／）７８ ｌ ２／） ． ４ Ｄ ／， （ ， ）一 ／ ｌ （８－／ ｏ （ ８＝０５ 。 ｓｓ ８ ｇ１ ｇ７ ４ 法 。但是 该方 法有 个 明显的 缺陷就 是对 取值 较 大者得 其 次 ．根据 计算 信 息 增量 公式 计算 每个 属性 的信 依 赖性 。因此 文 中我们使用 一种 加入 属性 重要 度 ｆ ４ １ 息增 益 ． 如先从 用户 名字 段开 始 ． 户名 正确 与否登 的 假 用
ｓ＝ ： ２ ７ 总的样本 数是 Ｓ １ ． ＝ ４ 则
ｐ ＝ ｌＳ ／ ｐ ＝ ２Ｓ ７ ８ ｌ ｓ ／ ＝ｌ８； ２ ｓ ／ ＝ ／ ；
８ １服 务 以接 口的形式 发布 ． 部分 白盒测 试 技术 性 ． 类 别数 位 Ｉ， 字段 有两 个 类 别 ， ｍ＝ ； ｓ 大 设 Ｔ该 Ｉ 故 ２设 ｌ
验验证 ． 结果表 明该方 法一种有 效的测 试策略 。
【 键词 】 Ｏ ｗｅ 关 ：Ｓ Ａ； ｂ服务 ； Ｉ Ｄ３算 法 ； ｎｔ Ｎｕ ｉ
１ 引 言 、
嵌 入式 Ｗｅ ｂ服务 单元测 试过程 中．测试用 例 往往 是 由程序员 根据 直觉或 者主 观经验 设计 出来 的 ．带有
较 大的盲 目性和冗 余性 。数 据挖 掘 中的 Ｉ ３决 策树算 Ｄ 法是 一种极 其有效 的数 据分类 技术 。本 文利用 改进 的
基于属性间交互信息的预剪枝ID3算法
第２ ５卷 第 ５期
２０ ０ ８年 ９月
贵州大学学报 （ 自然科学版） Ｊｕｎｌ ｆ ｕｚｏ ｎ ｅｓｙ（ ａ Ｍ Ｓ ｉ ｃ ｓ ｏｒａ ｏ ｉ ｕＵ ｉ ｒ ｔ Ｎ ￣ｒ ｃ ｎｅ ） Ｇ ｈ ｖ ｉ ｅ
Ｖ０．２ ．５ １ ５ Ｎｏ
Ａｂ ｔ ａ ｔ Ｄ３ ａ ｇ ｒｔ ｍ ｓａ ｐ ｐ ｌｒａ ｄ ｅ ｉｉ ｎ ｅ ｒ ｔ ｌｏ ｉ ｍ ｎ ｄ ｃｓｏ ｒ ｅ ｉｄ ｃｉｎ ｓ ｒ ｃ ：Ｉ ｌ ｏ ｉ ｈ ｉ ｏ ｕ ａ ｎ ｆ ｃｅ ｔ ｕ ｉ ｉ ａｇ ｒ ｈ ｉ ｅ ｉｉ ｎ ｔｅ ｎ ｕ ｔ ．Ｔ ｉ ｈ ｓｃ ｔ ｏ ｈｓ ｐ ｐ ｒａ ａｙ ｅ ｈ ｈ ｒｃ ｍｉ ｇ ｆ ｔ ｅ Ｉ ｌｏ ｉ ｍ ｄ ｐ ｏ ｏ ｅ ｎ ｅ ｔｎ ｅ ｅ ｓｏ ｎ ｗ ｉ ｈ ｔ ｅ ａ ｅ ｎ ｌ ｚ ｓｔ ｅ ｓ ｏ ｔｏ ｎ ｓ ｏ Ｄ３ ａ ｇ ｒ ｈ ａ ｒ ｐ ｓ ｓ ａ ｘ ｅ ｄ ｄ ｖ ｒ ｉｎ ｉ ｈ ｃ ｈ ｈ ｔ ｎ ｔ ｓｉ ｇ ａ ｔ ｂ ｔ ｓｉ ｅ ｅ ｔｄ ｂ ｓ ｄ ｏ ｏ ｎｙ ｔ ｅ ｍｏ ｅ ｍｕｕ ｌｉｆ ｒ ｔ ｎ ｂ ｔ ｅ ａ ｄ ｄ ｔ ｔ ｉ — ｅ ｔ ｔ ｉ ｕ ｅ ｓ ｓ ｌｃ ｅ ａ ｅ ｎ ｎ ｔ ｌ ｈ ｒ ｔ ａ ｏｍａ ｉ ｅｗｅ ｎ ａ ｃ ｎ ｉ ａ ｅ ａｔ ｂ ｎ ｒ ｏ ｎ ｏ ｒ ｕ ｅ ａ ｄ ｔ ｅ ｃａ ｓｂ ｔ ｌ ｅ ｌｓ ｔ ａ ｏ ｍａｉｎ ｂ ｔ ｅ ａ ｄ ｄ ｔ ｔ ｉ ｕ ｅ ａ ｄ ｔ ｅ ａｔ ｂ ｔ ｆ ｔ ｎ ｈ ｌ ｓ ｕ ｓ ｔ ｅ ｓｍｕ ｕ ｌｉ ｒ ｔ ｅｗｅ ｎ ａ ｃ ｎ ｉ ａ ｅ ａｔ ｂ ｔ ｎ ｔ ｉ ｕ ｅ ｏ ａ ｏ ｈ ｆ ｎ ｏ ｒ ｈ ｒ ｉ ｃ ｓｏ ｏ ｅ ，ｉ ｒ ｅ ｖ ｉ ｅ ｅ ｔ ｇ ｔ ｅ ｒ ｄ ｎ ａ ｔａｔ ｂ ｔｓ ａ ｄ ａ ｈ ｅ ｅ ｔ ｅ ｒ ａ ｅ ｕ ｅ ｉ ｔ ａ ｅ ｔｒ ｎ ｄ ｓ ｎ ｏ ｄ ｒｔ ａ ｏｄ ｓ ｌｃｉ ｅ ｕ ｄ ｎ ｔ ｕ ｅ ｎ ｃ ｉｖ ｅ ｌｒ ｄ ｃ ｎ ｓｎ ｏ ｎ ｈ ｉ ｒ ｈ ｅ ｔ ｐ ．Ａｎ ｅ ｐ ｏ ｅ ｓｏ ｕ ｌ ｉ ｇ ｔ ｅ ｒ ｎ ｅ ｔｅ ｉ ｒ — ｐ ｃ ｆ ｄ ｔ ｒ ｓ ｏｄ，ｔ ｖ ｉ ｉ ｇ ｎｒ ｙ ｏ ｄ ｉ ｔ ｒ ｃ ｓ ｆｂ ｉ ｎ ｒ ，ｐ ｕ ｅｔ ｅ ｗ ｔ ａ ｐ ｅ ｓ ｅ ｉ ｅ ｈ ｅ ｈ ｌ ｎ ｈ ｄ ｅ ｈ ｒ ｈ ｉ ｏ ａ ｏｄ ｎ
大学生体育训练决策支持系统中ID3算法的改进研究
研究报告科技创新导报 Science and Technology Innovation Herald19大学生体育训练决策支持系统是随着人工智能理论与数据挖掘技术的发展而不断发展的，通过对大学生身体素质和训练等数据来进行有效的挖掘，产生用于辅助决策的规则，进而为大学生体育训练制定相应的训练方案[1]。
系统中应用了数据挖掘的决策树I D 3算法对不同特征的学生进行分类，但传统的ID3算法存在多值倾向的问题，选择分裂属性不符合客观事实，同时，在构造树的过程中，需要多次自上而下对数据集的排序和扫描，因而导致算法的处理效率较低[2]，如何改进算法从而使分类更加精确是我们亟需解决的问题。
1 ID3算法的改进灰色关联分析是指对一个系统发展变化态势的定量描述和比较的方法，分析考虑了各因素之间的相关性，比系统分析中常用的因素两两对比法要更合理，更科学[3]。
同时考虑到正弦函数的曲线变化比较缓和，对信息增益因子修正不会出现过度的问题。
因此，本文引入灰色关联度的正弦值作为ID3算法的修正因子进行改进。
改进的ID3算法的具体流程是：(1)计算各特征属性与类别属性之间的灰色关联度，并将它们排序；(2)对取值较多的属性通过灰色关联度来判断是否最优，从而确定是否降低它的信息增益；(3)对取值较多但灰色关联度低的属性，在计算其信息增益时通过灰色关联度的正弦值作为修正因子，而其它属性计算信息增益时修正因子设为0。
改进的ID3算法的描述如下：算法：G B I D (S a m p l e _s e t ，Attribute_set)输入：由多个属性描述的训练样本集Sample_set；候选属性集Attribute_set。
输出：一棵决策树。
Begin如果 Sample_set为空则返回null；创建结点L；如果结点L中的所有样本均属于同一类C则返回L作为叶结点，并以类C为标记；如果Attribute_set为空则返回L作为叶结点，并以Sa mple_set 中最普通的类标记；计算出Attribute_set中每个属性的信息增益，并选择出信息增益最大的属性A和取值个数最多的属性B如果 A=B，该条件成立说明选择信息增益最大和取值个数最多的属性作为测试属性易产生多值偏向问题，需要用修正因子降低该属性的信息增益则根据公式sin (),()0r A CF A ⎧=⎨⎩属，其属性A 具有多值倾向是其它来计算该属性的修正因子；再根据公式1121()(,,)()n Gain A I s s s E A =− 重新计算该属性的信息增益；否则该属性的修正系数为0，信息增益最大的属性不是取值个数最多属性，选择该属性作为分裂属性不会产生多值偏向问题，不需要用修正系数降低该属信息增益从Attribute_set中选择出信息增益最大的属性Splitting _Attribute作为分裂属性；标记结点L 为S p l i t t i n g _Attribute；For Each Splitting _Attribute中的已知),...,2,1(m i a i =；m为Splitting_Attribute的取值个数∥根据Splitting _Attribute的取值划分Sample_set根据Splitting_Attribute=i a ，从结点L产生相应分支表示测试条件；设)...,2,1(m i S i =为S p l i t t i n g _Attribute=i a 所获得的样本集；如果i S 为空则加上一个叶结点，并标记为Sample_set中最普通的类；否则加上G B I D（A t t r i b u t e _set,Splitting _Attribute)返回的结点；End。
机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点
5-1简述机器学习十大算法的每个算法的核心思想、工作原理、适用情况及优缺点等。
1）C4.5算法：ID3算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。
ID3算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。
C4.5算法核心思想是ID3算法，是ID3算法的改进，改进方面有：1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足；2）在树构造过程中进行剪枝3）能处理非离散的数据4）能处理不完整的数据C4.5算法优点：产生的分类规则易于理解，准确率较高。
缺点：1)在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。
2)C4.5只适合于能够驻留于内存的数据集，当训练集大得无法在内存容纳时程序无法运行。
2）K means 算法：是一个简单的聚类算法，把n的对象根据他们的属性分为k个分割，k < n。
算法的核心就是要优化失真函数J,使其收敛到局部最小值但不是全局最小值。
，其中N为样本数，K是簇数，r nk b表示n属于第k个簇，u k是第k个中心点的值。
然后求出最优的u k优点：算法速度很快缺点是，分组的数目k是一个输入参数，不合适的k可能返回较差的结果。
3）朴素贝叶斯算法：朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
算法的基础是概率问题，分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。
朴素贝叶斯假设是约束性很强的假设，假设特征条件独立，但朴素贝叶斯算法简单，快速，具有较小的出错率。
在朴素贝叶斯的应用中，主要研究了电子邮件过滤以及文本分类研究。
4)K最近邻分类算法（KNN）分类思想比较简单，从训练样本中找出K个与其最相近的样本，然后看这k个样本中哪个类别的样本多，则待判定的值（或说抽样）就属于这个类别。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
0引言
随着信息技术的飞速发展，数据量以惊人的速度增长，“丰富的数据与贫乏的知识”之间的矛盾日见突出，各个领域的人们迫切需要有种能够从这些超大数据中寻求有用信息的工具，数据挖掘就是在这种需要下出现的。
目前，决策树已成为一种重要的数据挖掘方法。
1986年由Quinlan提出的ID3算法是最具有影响的一种决策树生成算法[1]。
Quinlan以及其它专家学者详细阐述了决策树和ID3算法及其相关理论，并对决策树进行了深入的研究[1-8]。
但ID3算法对噪声比较敏感，当训练数据集加大时，决策树可能会随之改变；在决策树的构造过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效；同时ID3算法以最高信息增益作为选择属性的标准，分析发现此标准是倾向于选择属性取值较多的属性。
因此，本文基于ID3算法以上的不足做出如下修改，当训练样本的各属性的取值个数相差较大时，将划分标准改进
为：
=/
ΪÊôÐÔ
=
2
=
2
»®·ÖÇ°µÄìØ£ºÉèÊý¾Ý
¼¯1，，
共有
有
1，，，
即数据集个类别。
设数据集
，
分类属性值为
2，
1，，。
那么划分之前，
数据集
2,
=2
－3011－
－3012－
式中：估计。
容易看出，
数据集
划分后的熵：
假设属性
个不同的离散
属性值，
可使用属性
划分成1
，，1
，
，的
记录数分别为，，。
子集
*
(4)式中：
——
/估计。
使用属性
划分成
1
,
,
µÄ×ÜìØΪ
»®·ÖºóµÄìØΪ
=
估计。
(3)信息增益：表示系统由于分类获得的信息量。
由系统熵的减少值定量描述。
数据集划分后的信息增益为
数据集
=
2
,
µÄֵѡÔñÊôÐÔ£¬×ª²½Öè7；
步骤6
根据
的值选择属性；
步骤7
判断属性是否选择完毕，是则结束，否则转步骤3。
2.2算法说明
首先，判断训练样本的各属性的取值个数是否相差较大，
判断标准设定为：属性中的最大取值个数/其它属性的取值个数的平均值≥2，若成立则改进选择属性的标准；不成立则按原信息增益划分。
在计算各个属性的信息增益之前，先判断分类属性中占最多数量的值的比例是否已超过阈值，若超过，则把分类属性的该值标记到当前结点，不再向下分支建树。
其次，引入剪枝策略，通过提前停止树的构造而提高建树效率。
设定剪枝阈值
≤1)，建树过程中，当分类属性
中占最多数量的值的比例超过value 时，停止这一分支的递归。
3仿真实验及分析
(1)本实验对某保健药品的理想客户(P )和非理想客户(N )
进行分类分析，提取分类规则，训练数据集如表1所示。
传统ID3算法生成如图1的决策树，因为训练数据集中的“健康状况”属性的取值有4个，而其它属性的取值只有2个，而传统ID3算法倾向于选择取值较多的属性作为决策树的根结点，即“健康状况”。
而根据AVID3算法，属性中的最大取值个数÷其它属性的取值个数的平均值≥2，所以，采用新的划分标准
(
=
/
ΪÊôÐÔ
－3033－
4.2
DBMS 影响
(1)失去对密文数据的分组、排序和分类功能。
数据库应
用中，经常要对检索的数据进行分组、排序和分类。
这些数据项如果加密，则不能使用这些操作，即，SELECT 语句中的group by 、order by 和having 子句无法在加密数据上使用。
(2)无法实现数据之间的约束条件。
在数据库系统中数据之间定义了完整的约束条件。
但是，数据加密后，DBMS 将无法实现这一功能。
此外，数据加密后，数值类型的数据只能在数据规定的范围内加密，加密后的数据长度不能超过字段定义的长度，否则DBMS 无法接受不符合定义的数据。
(3)SQL 语言中的内部函数将对加密数据失去作用。
DBMS 对各类数据均提供了一些内部函数，显然这些函数不可直接作用于加密后的数据。
(4)DBMS 自带的应用开发工具的使用受限。
DBMS 的一些应用开发工具不能直接对加密的数据进行操作。
5结束语
数据库加密技术是保障数据库安全的一种有效手段。
本
文对数据库加密系统进行了详细研究和设计。
采用基于DBMS 外层的加密系统，对敏感数据实行基于字段级粒度的加密方式，并提出了3级密钥管理体制，保证了密钥自身的安全可靠。
同时，根据实践讨论了加密系统对DBMS 带来的影响。
参考文献:
[1]张敏,徐震,冯登国.数据库安全[M ].北京:科学出版社,2005.[2]汤庸.数据库理论及应用基础[M ].北京:清华大学出版社,2004.[3]全亿.数据库外层加密策略的分析与设计[J ].高等函授学报,2005(6):54-57.
[4]刘可.数据库加密系统研究[D ].合肥:合肥工业大学,2006.[5]Bruce Schneier.应用密码学[M ].北京:机械工业出版社,2004.[6]冯朝胜,袁丁.数据库加脱密引擎的设计与实现[J ].计算机工程与应用,2005,41(30):171-174.
[7]李新.密文数据库系统的设计[J ].计算机工程与应用,2005,41(32):169-171.
[8]
宋雨,赵文清.密钥管理在管理信息系统中的应用研究[J ].计算机工程与应用,1999,35(10):91-93.
(上接第3012页)
实验结果符合理论的推导。
另一方面，设定的阈值越低不仅使算法的执行时间大大提高，更有可能提高分类的准确率。
究其原因，是所剪去的分支恰好是训练数据中的噪音或孤立点。
实验表明，阈值设为0.8较为有效，既能够保持准确率，又能把算法速度提高30％以上。
4结束语
本文首先针对ID3算法所存在的属性取值偏向问题，实
现一种新的优化：
在计算划分标准时引入了属性值
表2
A VID3算法与ID3算法的实验对比(执行时间单位：s )
训练集(均为公共数据集)数据集规模ID3算法
阈值为0.9阈值为0.8阈值为0.7实例数属性执行时间
准确率/%执行时间
准确率/%执行时间
准确率/%执行时间
准确率/%Contact-leses
245070.83070.83075.00075.00crx 69050.0185.80085.65085.65085.50car 172870.0588.770.0389.400.0389.58073.44Census-income
32561
6
1.09
81.36
0.84
81.76
0.69
81.85
0.1
75.92。