基于加权熵的重要性不对等样本学习的知识约简

往是不对等 的 ， 为了能够在知识约简过程 中考虑到 学习样本的不对等性 ， 提出 了基于加权熵 的知识 约简方法 。 针对 各类别样本 分布不均 匀的样本 重要性不对 等情况 ， 了加强小类 样本所 蕴含的知识 在知识 约简 中的体 为 现 ， 出一种逆 类概率加权的不对等样本加权方法 ， 提 实验表 明该方法 能够 明显提高 小类样本 的分类正 确率 ， 也 验证 了基于加权熵 的知识 约简方法能够将样本的不对等性体现在知识 约简结果 中。 关键词 ： 糙集 ； 粗 知识 约简 ； 加权熵 ； 不对 等样本 中图分类号 ： Ｐ ８ Ｔ １ 文献标识码 ： Ａ 文章编号 ：０ １６ ０ （ ０ ６ ０— ０ ８０ １ ０ —６ ０ ２ ０ ）４０ ３ —４
粗 糙集 理论 ［是 一 种处 理不 精 确 、 １ ］ 不确 定 和模 糊 知识 的软计 算 工 具 ， 已被成 功 地 应用 于 数据 挖 掘 、 模 式识别 、 能信 息处理 等领域 ［ ， 智 ２ 并越 来越 引起 国际 学术 界 的关 注 。 ］ 知识 约 简是粗 糙集 的核 心 问题 ， 目前 已 提 出了大 量 的知识 约 简方法 ［ 。 而 ， ３ 然 ］ 目前 的各种 粗糙 集 知识 约简 方法 和规 则提 取方 法平 等对 待所 有样
问题 的方法 Ｌ 。 ６ 叫］
为了能够 在 知识 约简过 程 中体 现不 同样本 的重 要性 差 异 ， 虑 样本 的 不对等 性 ， 考 本文提 出了基于 加权
熵 的 知识 约 简方 法 。
１ 加权 熵 的基 本 定 义 及 扩 展
为 了度量 一个 信 息源 的不确 定性 的量 （ 息量 ） １４ 信 ，９８年 Ｓ ａ ｎｎ提 出了信 息熵 的概念 ［ 然而 ， ｈｎｏ 。 信息 熵 在度量 信 息源不 确 定性 时仅考 虑事 件发 生 的客观 概率 ， 无法 描 述 主观 意 义上对 事件 判断 的差别 。 了把 为 主观价 值和 主观 意义反 映 出来 ， ｉ ｕＳ引入 加权熵 的概 念［］其 定义 如下 ： Ｇｕａ ｓ ，
ｆ Ｘ Ｘ２ … ， Ｘ ， ， ］
定义１ 设一个信息源ｘ， 引入事件的权重后， 其概率空间描述为Ｘ一｛ （ ，（。， Ｐｘ）｝ ｐＸ）Ｐｘ ）…，（ ，
Ｌ （ １ ， （ ） … ， （ ） ｗ Ｘ ） Ｗ Ｘ２ ， Ｗ Ｘ Ｊ
其 中 Ｐ ｘ 为 事 件 Ｘ （ ） 的概率 ， 足 Ｐ（ ） 满 ｘ ≥０且 Ｐ（ ） ， Ｘ 为 事 件 Ｘ ｘ 一１ｗ（ ） 的权 重 ， 足 ｗ（ ） ０ 满 Ｘ ≥ ，
维普资讯
第２卷 ４
第 ４期
广西 师范大 学 学报 ： 自然科 学版
Ｊｕｎ ｌ ｆ ａ ｇ ｉ ｒ ｌ ｉｅｓ ｙ Ｎ ｔｒｌ ｃ ｎ ｅＥ ｉｏ ｏ ｒａ ｏ ｎ ｘ ｍａ Ｕｎｖ ｒｉ ： ａｕａ Ｓ ｉ ｃ ｄｔ ｎ Ｇｕ Ｎｏ ｔ ｅ ｉ
则信息 源 ｘ 的加权 熵 ＨⅣ ｘ） （ 定义 为 ＨⅣ ｘ） （ 一一 ｗ（ ） ｘ ｌｇ ｘ 。 Ｘ， （ ） Ｐ（ ） ｏ
为 了能够 度量 引入 事 件权重 后 已知一个 信 息源 的情 况 下 另一 个 信 息源 的不 确 定性 的 量 （ 信息 量 ）在 ， 加 权熵概 念和 定 义的基 础上 ， 我们 扩 展加权 熵 的定 义 ， 出条 件 加权熵 和 联合 加权 熵 。 提 定 义 ２ 设 ｗ（ ） Ｘ 为事 件 ｘ 的权 重 ， ｗ（ 为 事 件 ｙ 的 权重 ， ｗ（ ＵＹ，为 事 件 ｘ Ｕｙ， 设 Ｙ） ， 设 Ｘ ） 的权
Ｖｏ ． ４ Ｎｏ ４ １２ ．
Ｄｅ ２０ ｃ． ０６
２０ ０ ６年 １ ２月
基于加权熵 的重 要性 不对等样本学 习的知识 约简
刘 金福 ，究所 ， 黑龙江 哈尔滨 １ ０ ０ ） ５ ０ １
摘
要： 由于学 习样本的分布特性和所 反映的主观特性 的不 同， 每一个 样本 相对于学 习算 法的重要性 程度往
维普资讯
第 ４期
刘金 福等 ： 基于加权熵的重要性不对等样本学习的知识约简
定 义 ３ 设 （ ） 事 件 ｘ ｘ 为 的权重 ， （ ｎＹ ） ｘ 为事 件 ｘ 事 件 ｙ 的联 合 事 件 ｘ ｎｙ 的权 重 ， 和
（Ｊ ） ｙ 为事件 ｘ ｌ 发生 的条 件下 事件 ｙ 的权重 ， 义 户（ Ｊ ） （ Ｊｘ 一 定 ｙ ｙ ） ｌ Ｉ 。
定义 ３ 给出了事件加权概率、 条件加权概率和联合加权概率三者的关系。
ｆ ｘ１ ｘ２ ・ ， ｘ １ ， ， ・ ・
重 ｘＹ 定事 ｘＹ 权 叫 ｆｊ 立 ， ｊ ， 件 ｊ 重 （ Ｙ一 熹 当 ｎ一 义 ｕ 的 Ｘ ． ｕ）
收 稿 日期 ：０ ６０— １ ２ ０ —５３
。
基金项 目： 国家 自然科 学基金 资助项 目（ ０ ００ ３ ； ５ ３ ６ ０ ） 哈尔滨工业大学基金 资助项 目（ Ｔ２ Ｏ ． ５ ＨＩ Ｏ ３３ ） 作者简介 ： 刘金福 （ ９ ７ ， ， １ ７ 一） 男 吉林 永吉人 ， 哈尔滨工业大学 博士研 究生 。
本 ， 有考虑 不 同 样本 之 间重要 性 的差 异 ， 在 很 多实 际 问题 中 ， 没 但 或者 由于分 布 不均 衡 、 噪声 、 误分 类 风 险
等原因， 样本 的重 要性 往往是 不 同 的 。 在学 习算 法 中考虑 样 本的 重要性 差 异 一直是 机 器学 习和数 据挖 掘所 关 注 的 问题 ， 目前 已经提 出了许 多在 决 策树 、 持 向量机 、 支 神经 网络 等 学 习算 法 中处 理 样本 重要 性 不对 等