一种对贝叶斯算法的改进算法分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
山 东 省 农 业 管 理 干 部 学 院学 报
２ １ 年 ０１
第２ ８卷
第 ５期
一
种对 贝叶斯算法的改进算法分析
李 欣
（ 东省 农 业 管理 干部 学 院 ， 东 济 南 ２ ００ ） 山 山 ５ １０
摘 要 ： 贝叶 斯 理 论 在 信 息 过 滤 中得 到 了很 好 的 应 用 ， 与 ＫＮＮ、 持 向 量机 等 相 比 。 油 高 效 、 约 空 间 以及 他 支 加 节
所 说 的 贝叶 斯 公 式 。
Ｐ ｉ） （Ｉ： Ｂ ｛ Ａ
ｉ ‘
ห้องสมุดไป่ตู้
Ｌ ：２ ，） ｉ， ｎ １， （ …．３
Ｐ ＢＩ Ｐ Ｂ （ｉ Ａ） （ ） ２贝 叶 斯 方 法 的 特 点 ．
简 单 贝 叶 斯 在 英 文 信 息 过 滤 中得 到 了很 好 的 应 用 ， 与 他 Ｋ Ｎ 支 持 向 量 机 等 相 比 ， 在 以 下 几 个 独 到 之处 ： Ｎ 、 存
关 键 词 ： 息 过 滤 ； 叶 斯 ： 征 词 信 贝 特
中 图 分 类 号 ：３ ５ Ｆ２
文献标识码 ： Ａ
文章 编 号 ：０ ８ ７ ４ （０ ｌ ５ ０ ５— ３ ｌｏ — ５ ０ ２ １ 卜０ — １６ ０
一
、
贝 叶 斯 理 论 概 述
Ｐ ＡＩ 是 Ａ 发生 下 Ｂ 的概 率 。计 算 公 式 如 下 ： （ Ｂ）
（ ） 利 于 实 现个 性 化过 滤 ３有 应 用 贝 叶 斯 分类 方 法 实 现 的 网 络 信 息 过 滤 器 适 合 每 个
那 么 ， 们 把 Ｐ Ａ） 事 件 Ａ发 生 的概 率 。 我 （ 为 定 义 ２条 件 概 率
评 估 未 来 要 发 生 的 事 件 的 可 能 性 ， 只 能 用 已经 发 生 的 相 关 就 事件发生 的概率进行 窥测 和评判 。 这也就是说如果我们 已经 知 道 某 一 事 件 在 过 去 的试 验 中者 发 生 的概 率 ， 们 就 可 以运 我 用 贝 叶 斯 理 论 以计 算 出该 事件 在 未 来 可 能 出 现 的 概率 。 下 面 给 出 贝 叶斯 理 论 的数 学 表 达 方 式 ， 就 是 我 们 通 常 也
有 利 于 实现 个性 化 过 滤 的 优 势 。但 是 也存 在 忽 略 了特 征 词 之 间 的 联 系 、 略 误 判 所 带 来 的 风 险 以及 不 支持 增 量 忽 学 习机 制 等 缺 陷 。 本 文 着重 分 析 贝 叶 斯 算 法 在 信 息过 滤 方 面 的 不 足 ， 后 针 对这 些 不 足 ， 合 应 用要 求 ， 出 改 然 结 提 进 的 贝 叶斯 算 法 。
定义如下 ： 如 果 正 在 发生 的 事件 的结 果 不 确 定 ， 么 我 们 如 果 要 想 那
Ｐ ｌ： 』 （ （） １ Ｂ 粤 ） Ａ ，
定 理 ｌ乘 法 公 式 ： ， Ｐ Ａ ＝ （ 『 Ｐ Ａ） 设 则 （ Ｂ）Ｐ ＢＡ） （
定 理 ２ 全 概率 公 式 ： Ｂ ， ２ 为 Ｓ的 一 个 划 分 ， Ｐ Ｂ ）Ｏ ｉ１ ， ， ）则 对 。 … Ｂ 且 （ ｉ＞ （ ， … １ ， ＝ ２ ＇ １ 任 一 事 件 ＡｃＳ， ： （ ＝ （ ＩＩ Ｐ Ｂ ） Ｐ ＡＢ ） Ｂ ） 有 Ｐ Ａ） Ｐ ＡＢ ） （ Ｉ ＋ （ Ｉ２ Ｐ（ ２ ＋
的特点 。 （ ） 约 空 间 ２节
② ＰＳ＝ ： （）１
③对 于满足定 义的任意 两个 两两互 不相容 的事件 Ａ１ 、
Ａ ， 在一个概率 Ｐ 满足如下条件 ： ２存 ， Ｐ Ａ ） Ｐ Ａ１ （ １＝ （ ）
ｉ ｔ ｄ ｊ
贝 叶 斯 在 信 息 过 滤 的 具 体 应 用 中 ． 要 计 算 、 计 和存 需 统 储 的 只 是 特 征 词 及 其 频 率 ， 不 存 储 实 际 文本 信 息 ， 就 为 并 这 计 算 机 节 约 了大 量 的 内存 空 间 。
１ 单 贝 叶斯 简 简 单 贝 叶 斯 以 其 创 始 人 Ｔ ｏ ａ ａｅ 的 名 字 命 名 ． ｈ ｍ ｓＢ ｙｓ 它 是 一 种 基 于 概 率 分 析 的 可 能 性 推 理 理 论 。 托 马 斯 ・ 叶 斯 贝 １ ６ 年 在 《 有 关 机 遇 问 题 的求 解 》 文 中 ， 次 提 出 了 贝 ７１ 论 一 首 叶 斯 统 计 理 论 ， 是 我 们 所 说 的 简单 贝 叶 斯 ， 所 以 说 它 是 就 之 简 单 贝 叶斯 ， 因 为 他 仅 仅 根 据 已经 发 生 的事 件 就 能 预 测 相 就 关 未 来 事 件 发 生 的 可 能性 ［— 】 １ ３。 贝 叶 斯 理 论 假 设 是一 种基 于 简单 贝 叶斯 的假 设 机 制 。 其
… …＋ （ Ｂ ） （ ｎ （） Ｐ Ａｌｎ Ｐ Ｂ ） ２ 定 理 ３ 贝 叶斯 公 式 ： Ｂ ， ２ 为 Ｓ的一 个 划 分 ， Ｐ Ｂ） ０ ｉｌ ， ，） 则 对 ｌ … Ｂ 且 （ ｉ＞ （ ， … １ ， ＝２ １ 任 一 事 件 ＡＣＳ 若 Ｐ ０ 则 有 ： ， ＞，
（ ） 效 １高
定 义 １在 随 机 试 验 中 ， 样 本 空 间 ， 果 我 们 对 于 中 的 为 如 任 一 个 事 件 都 能 赋 予 一 个 实 数 ． 且 这 个 实 数 满 足 下 面 三 个 并
条件 ： ）＜ ｐ（ ＝１ ｏ ： Ａ） ；
相 对 于 Ｓ Ｍ、ｏ ｓｎ Ｖ Ｂ ｏｔ ｇ等 方 法 需 要 多 次 扫 描 训 练 样 本 ． ｉ 贝 叶 斯 训 练 阶 段 只需 对 所 有 训 练 样 本 扫 描 一 遍 并 提 取 特 征 词 ， 后 统 计 每 个 特 征 词 在该 样本 中 出现 的次 数 即可 ， 然 因此 ， 从 训 练 和 分类 所 用 的 时 间 效 用 考 虑 ， 叶斯 具 有 快 捷 、 效 贝 高
２ １ 年 ０１
第２ ８卷
第 ５期
一
种对 贝叶斯算法的改进算法分析
李 欣
（ 东省 农 业 管理 干部 学 院 ， 东 济 南 ２ ００ ） 山 山 ５ １０
摘 要 ： 贝叶 斯 理 论 在 信 息 过 滤 中得 到 了很 好 的 应 用 ， 与 ＫＮＮ、 持 向 量机 等 相 比 。 油 高 效 、 约 空 间 以及 他 支 加 节
所 说 的 贝叶 斯 公 式 。
Ｐ ｉ） （Ｉ： Ｂ ｛ Ａ
ｉ ‘
ห้องสมุดไป่ตู้
Ｌ ：２ ，） ｉ， ｎ １， （ …．３
Ｐ ＢＩ Ｐ Ｂ （ｉ Ａ） （ ） ２贝 叶 斯 方 法 的 特 点 ．
简 单 贝 叶 斯 在 英 文 信 息 过 滤 中得 到 了很 好 的 应 用 ， 与 他 Ｋ Ｎ 支 持 向 量 机 等 相 比 ， 在 以 下 几 个 独 到 之处 ： Ｎ 、 存
关 键 词 ： 息 过 滤 ； 叶 斯 ： 征 词 信 贝 特
中 图 分 类 号 ：３ ５ Ｆ２
文献标识码 ： Ａ
文章 编 号 ：０ ８ ７ ４ （０ ｌ ５ ０ ５— ３ ｌｏ — ５ ０ ２ １ 卜０ — １６ ０
一
、
贝 叶 斯 理 论 概 述
Ｐ ＡＩ 是 Ａ 发生 下 Ｂ 的概 率 。计 算 公 式 如 下 ： （ Ｂ）
（ ） 利 于 实 现个 性 化过 滤 ３有 应 用 贝 叶 斯 分类 方 法 实 现 的 网 络 信 息 过 滤 器 适 合 每 个
那 么 ， 们 把 Ｐ Ａ） 事 件 Ａ发 生 的概 率 。 我 （ 为 定 义 ２条 件 概 率
评 估 未 来 要 发 生 的 事 件 的 可 能 性 ， 只 能 用 已经 发 生 的 相 关 就 事件发生 的概率进行 窥测 和评判 。 这也就是说如果我们 已经 知 道 某 一 事 件 在 过 去 的试 验 中者 发 生 的概 率 ， 们 就 可 以运 我 用 贝 叶 斯 理 论 以计 算 出该 事件 在 未 来 可 能 出 现 的 概率 。 下 面 给 出 贝 叶斯 理 论 的数 学 表 达 方 式 ， 就 是 我 们 通 常 也
有 利 于 实现 个性 化 过 滤 的 优 势 。但 是 也存 在 忽 略 了特 征 词 之 间 的 联 系 、 略 误 判 所 带 来 的 风 险 以及 不 支持 增 量 忽 学 习机 制 等 缺 陷 。 本 文 着重 分 析 贝 叶 斯 算 法 在 信 息过 滤 方 面 的 不 足 ， 后 针 对这 些 不 足 ， 合 应 用要 求 ， 出 改 然 结 提 进 的 贝 叶斯 算 法 。
定义如下 ： 如 果 正 在 发生 的 事件 的结 果 不 确 定 ， 么 我 们 如 果 要 想 那
Ｐ ｌ： 』 （ （） １ Ｂ 粤 ） Ａ ，
定 理 ｌ乘 法 公 式 ： ， Ｐ Ａ ＝ （ 『 Ｐ Ａ） 设 则 （ Ｂ）Ｐ ＢＡ） （
定 理 ２ 全 概率 公 式 ： Ｂ ， ２ 为 Ｓ的 一 个 划 分 ， Ｐ Ｂ ）Ｏ ｉ１ ， ， ）则 对 。 … Ｂ 且 （ ｉ＞ （ ， … １ ， ＝ ２ ＇ １ 任 一 事 件 ＡｃＳ， ： （ ＝ （ ＩＩ Ｐ Ｂ ） Ｐ ＡＢ ） Ｂ ） 有 Ｐ Ａ） Ｐ ＡＢ ） （ Ｉ ＋ （ Ｉ２ Ｐ（ ２ ＋
的特点 。 （ ） 约 空 间 ２节
② ＰＳ＝ ： （）１
③对 于满足定 义的任意 两个 两两互 不相容 的事件 Ａ１ 、
Ａ ， 在一个概率 Ｐ 满足如下条件 ： ２存 ， Ｐ Ａ ） Ｐ Ａ１ （ １＝ （ ）
ｉ ｔ ｄ ｊ
贝 叶 斯 在 信 息 过 滤 的 具 体 应 用 中 ． 要 计 算 、 计 和存 需 统 储 的 只 是 特 征 词 及 其 频 率 ， 不 存 储 实 际 文本 信 息 ， 就 为 并 这 计 算 机 节 约 了大 量 的 内存 空 间 。
１ 单 贝 叶斯 简 简 单 贝 叶 斯 以 其 创 始 人 Ｔ ｏ ａ ａｅ 的 名 字 命 名 ． ｈ ｍ ｓＢ ｙｓ 它 是 一 种 基 于 概 率 分 析 的 可 能 性 推 理 理 论 。 托 马 斯 ・ 叶 斯 贝 １ ６ 年 在 《 有 关 机 遇 问 题 的求 解 》 文 中 ， 次 提 出 了 贝 ７１ 论 一 首 叶 斯 统 计 理 论 ， 是 我 们 所 说 的 简单 贝 叶 斯 ， 所 以 说 它 是 就 之 简 单 贝 叶斯 ， 因 为 他 仅 仅 根 据 已经 发 生 的事 件 就 能 预 测 相 就 关 未 来 事 件 发 生 的 可 能性 ［— 】 １ ３。 贝 叶 斯 理 论 假 设 是一 种基 于 简单 贝 叶斯 的假 设 机 制 。 其
… …＋ （ Ｂ ） （ ｎ （） Ｐ Ａｌｎ Ｐ Ｂ ） ２ 定 理 ３ 贝 叶斯 公 式 ： Ｂ ， ２ 为 Ｓ的一 个 划 分 ， Ｐ Ｂ） ０ ｉｌ ， ，） 则 对 ｌ … Ｂ 且 （ ｉ＞ （ ， … １ ， ＝２ １ 任 一 事 件 ＡＣＳ 若 Ｐ ０ 则 有 ： ， ＞，
（ ） 效 １高
定 义 １在 随 机 试 验 中 ， 样 本 空 间 ， 果 我 们 对 于 中 的 为 如 任 一 个 事 件 都 能 赋 予 一 个 实 数 ． 且 这 个 实 数 满 足 下 面 三 个 并
条件 ： ）＜ ｐ（ ＝１ ｏ ： Ａ） ；
相 对 于 Ｓ Ｍ、ｏ ｓｎ Ｖ Ｂ ｏｔ ｇ等 方 法 需 要 多 次 扫 描 训 练 样 本 ． ｉ 贝 叶 斯 训 练 阶 段 只需 对 所 有 训 练 样 本 扫 描 一 遍 并 提 取 特 征 词 ， 后 统 计 每 个 特 征 词 在该 样本 中 出现 的次 数 即可 ， 然 因此 ， 从 训 练 和 分类 所 用 的 时 间 效 用 考 虑 ， 叶斯 具 有 快 捷 、 效 贝 高