一种对贝叶斯算法的改进算法分析
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
山 东 省 农 业 管 理 干 部 学 院学 报
2 1 年 01
第2 8卷
第 5期
一
种对 贝叶斯算法的改进算法分析
李 欣
( 东省 农 业 管理 干部 学 院 , 东 济 南 2 00 ) 山 山 5 10
摘 要 : 贝叶 斯 理 论 在 信 息 过 滤 中得 到 了很 好 的 应 用 , 与 KNN、 持 向 量机 等 相 比 。 油 高 效 、 约 空 间 以及 他 支 加 节
有 利 于 实现 个性 化 过 滤 的 优 势 。但 是 也存 在 忽 略 了特 征 词 之 间 的 联 系 、 略 误 判 所 带 来 的 风 险 以及 不 支持 增 量 忽 学 习机 制 等 缺 陷 。 本 文 着重 分 析 贝 叶 斯 算 法 在 信 息过 滤 方 面 的 不 足 , 后 针 对这 些 不 足 , 合 应 用要 求 , 出 改 然 结 提 进 的 贝 叶斯 算 法 。
的特点 。 ( ) 约 空 间 2节
② PS= : ()1
③对 于满足定 义的任意 两个 两两互 不相容 的事件 A1 、
A , 在一个概率 P 满足如下条件 : 2存 , P A ) P A1 ( 1= ( )
i t d j
贝 叶 斯 在 信 息 过 滤 的 具 体 应 用 中 . 要 计 算 、 计 和存 需 统 储 的 只 是 特 征 词 及 其 频 率 , 不 存 储 实 际 文本 信 息 , 就 为 并 这 计 算 机 节 约 了大 量 的 内存 空 间 。
定义如下 : 如 果 正 在 发生 的 事件 的结 果 不 确 定 , 么 我 们 如 果 要 想 那
P l: 』 ( () 1 B 粤 ) A ,
定 理 l乘 法 公 式 : , P A = ( 『 P A) 设 则 ( B)P BA) (
定 理 2 全 概率 公 式 : B , 2 为 S的 一 个 划 分 , P B )O i1 , , )则 对 。 … B 且 ( i> ( , … 1 , = 2 ' 1 任 一 事 件 AcS, : ( = ( II P B ) P AB ) B ) 有 P A) P AB ) ( I + ( I2 P( 2 +
( ) 效 1高
定 义 1在 随 机 试 验 中 , 样 本 空 间 , 果 我 们 对 于 中 的 为 如 任 一 个 事 件 都 能 赋 予 一 个 实 数 . 且 这 个 实 数 满Байду номын сангаас足 下 面 三 个 并
条件 : )< p( =1 o : A) ;
相 对 于 S M、o sn V B ot g等 方 法 需 要 多 次 扫 描 训 练 样 本 . i 贝 叶 斯 训 练 阶 段 只需 对 所 有 训 练 样 本 扫 描 一 遍 并 提 取 特 征 词 , 后 统 计 每 个 特 征 词 在该 样本 中 出现 的次 数 即可 , 然 因此 , 从 训 练 和 分类 所 用 的 时 间 效 用 考 虑 , 叶斯 具 有 快 捷 、 效 贝 高
所 说 的 贝叶 斯 公 式 。
P i) (I: B { A
i ‘
L :2 ,) i, n 1, ( ….3
P BI P B (i A) ( ) 2贝 叶 斯 方 法 的 特 点 .
简 单 贝 叶 斯 在 英 文 信 息 过 滤 中得 到 了很 好 的 应 用 , 与 他 K N 支 持 向 量 机 等 相 比 , 在 以 下 几 个 独 到 之处 : N 、 存
关 键 词 : 息 过 滤 ; 叶 斯 : 征 词 信 贝 特
中 图 分 类 号 :3 5 F2
文献标识码 : A
文章 编 号 :0 8 7 4 (0 l 5 0 5— 3 lo — 5 0 2 1 卜0 — 16 0
一
、
贝 叶 斯 理 论 概 述
P AI 是 A 发生 下 B 的概 率 。计 算 公 式 如 下 : ( B)
… …+ ( B ) ( n () P Aln P B ) 2 定 理 3 贝 叶斯 公 式 : B , 2 为 S的一 个 划 分 , P B) 0 il , ,) 则 对 l … B 且 ( i> ( , … 1 , =2 1 任 一 事 件 ACS 若 P 0 则 有 : , >,
1 单 贝 叶斯 简 简 单 贝 叶 斯 以 其 创 始 人 T o a ae 的 名 字 命 名 . h m sB ys 它 是 一 种 基 于 概 率 分 析 的 可 能 性 推 理 理 论 。 托 马 斯 ・ 叶 斯 贝 1 6 年 在 《 有 关 机 遇 问 题 的求 解 》 文 中 , 次 提 出 了 贝 71 论 一 首 叶 斯 统 计 理 论 , 是 我 们 所 说 的 简单 贝 叶 斯 , 所 以 说 它 是 就 之 简 单 贝 叶斯 , 因 为 他 仅 仅 根 据 已经 发 生 的事 件 就 能 预 测 相 就 关 未 来 事 件 发 生 的 可 能性 [— 】 1 3。 贝 叶 斯 理 论 假 设 是一 种基 于 简单 贝 叶斯 的假 设 机 制 。 其
评 估 未 来 要 发 生 的 事 件 的 可 能 性 , 只 能 用 已经 发 生 的 相 关 就 事件发生 的概率进行 窥测 和评判 。 这也就是说如果我们 已经 知 道 某 一 事 件 在 过 去 的试 验 中者 发 生 的概 率 , 们 就 可 以运 我 用 贝 叶 斯 理 论 以计 算 出该 事件 在 未 来 可 能 出 现 的 概率 。 下 面 给 出 贝 叶斯 理 论 的数 学 表 达 方 式 , 就 是 我 们 通 常 也
( ) 利 于 实 现个 性 化过 滤 3有 应 用 贝 叶 斯 分类 方 法 实 现 的 网 络 信 息 过 滤 器 适 合 每 个
那 么 , 们 把 P A) 事 件 A发 生 的概 率 。 我 ( 为 定 义 2条 件 概 率
2 1 年 01
第2 8卷
第 5期
一
种对 贝叶斯算法的改进算法分析
李 欣
( 东省 农 业 管理 干部 学 院 , 东 济 南 2 00 ) 山 山 5 10
摘 要 : 贝叶 斯 理 论 在 信 息 过 滤 中得 到 了很 好 的 应 用 , 与 KNN、 持 向 量机 等 相 比 。 油 高 效 、 约 空 间 以及 他 支 加 节
有 利 于 实现 个性 化 过 滤 的 优 势 。但 是 也存 在 忽 略 了特 征 词 之 间 的 联 系 、 略 误 判 所 带 来 的 风 险 以及 不 支持 增 量 忽 学 习机 制 等 缺 陷 。 本 文 着重 分 析 贝 叶 斯 算 法 在 信 息过 滤 方 面 的 不 足 , 后 针 对这 些 不 足 , 合 应 用要 求 , 出 改 然 结 提 进 的 贝 叶斯 算 法 。
的特点 。 ( ) 约 空 间 2节
② PS= : ()1
③对 于满足定 义的任意 两个 两两互 不相容 的事件 A1 、
A , 在一个概率 P 满足如下条件 : 2存 , P A ) P A1 ( 1= ( )
i t d j
贝 叶 斯 在 信 息 过 滤 的 具 体 应 用 中 . 要 计 算 、 计 和存 需 统 储 的 只 是 特 征 词 及 其 频 率 , 不 存 储 实 际 文本 信 息 , 就 为 并 这 计 算 机 节 约 了大 量 的 内存 空 间 。
定义如下 : 如 果 正 在 发生 的 事件 的结 果 不 确 定 , 么 我 们 如 果 要 想 那
P l: 』 ( () 1 B 粤 ) A ,
定 理 l乘 法 公 式 : , P A = ( 『 P A) 设 则 ( B)P BA) (
定 理 2 全 概率 公 式 : B , 2 为 S的 一 个 划 分 , P B )O i1 , , )则 对 。 … B 且 ( i> ( , … 1 , = 2 ' 1 任 一 事 件 AcS, : ( = ( II P B ) P AB ) B ) 有 P A) P AB ) ( I + ( I2 P( 2 +
( ) 效 1高
定 义 1在 随 机 试 验 中 , 样 本 空 间 , 果 我 们 对 于 中 的 为 如 任 一 个 事 件 都 能 赋 予 一 个 实 数 . 且 这 个 实 数 满Байду номын сангаас足 下 面 三 个 并
条件 : )< p( =1 o : A) ;
相 对 于 S M、o sn V B ot g等 方 法 需 要 多 次 扫 描 训 练 样 本 . i 贝 叶 斯 训 练 阶 段 只需 对 所 有 训 练 样 本 扫 描 一 遍 并 提 取 特 征 词 , 后 统 计 每 个 特 征 词 在该 样本 中 出现 的次 数 即可 , 然 因此 , 从 训 练 和 分类 所 用 的 时 间 效 用 考 虑 , 叶斯 具 有 快 捷 、 效 贝 高
所 说 的 贝叶 斯 公 式 。
P i) (I: B { A
i ‘
L :2 ,) i, n 1, ( ….3
P BI P B (i A) ( ) 2贝 叶 斯 方 法 的 特 点 .
简 单 贝 叶 斯 在 英 文 信 息 过 滤 中得 到 了很 好 的 应 用 , 与 他 K N 支 持 向 量 机 等 相 比 , 在 以 下 几 个 独 到 之处 : N 、 存
关 键 词 : 息 过 滤 ; 叶 斯 : 征 词 信 贝 特
中 图 分 类 号 :3 5 F2
文献标识码 : A
文章 编 号 :0 8 7 4 (0 l 5 0 5— 3 lo — 5 0 2 1 卜0 — 16 0
一
、
贝 叶 斯 理 论 概 述
P AI 是 A 发生 下 B 的概 率 。计 算 公 式 如 下 : ( B)
… …+ ( B ) ( n () P Aln P B ) 2 定 理 3 贝 叶斯 公 式 : B , 2 为 S的一 个 划 分 , P B) 0 il , ,) 则 对 l … B 且 ( i> ( , … 1 , =2 1 任 一 事 件 ACS 若 P 0 则 有 : , >,
1 单 贝 叶斯 简 简 单 贝 叶 斯 以 其 创 始 人 T o a ae 的 名 字 命 名 . h m sB ys 它 是 一 种 基 于 概 率 分 析 的 可 能 性 推 理 理 论 。 托 马 斯 ・ 叶 斯 贝 1 6 年 在 《 有 关 机 遇 问 题 的求 解 》 文 中 , 次 提 出 了 贝 71 论 一 首 叶 斯 统 计 理 论 , 是 我 们 所 说 的 简单 贝 叶 斯 , 所 以 说 它 是 就 之 简 单 贝 叶斯 , 因 为 他 仅 仅 根 据 已经 发 生 的事 件 就 能 预 测 相 就 关 未 来 事 件 发 生 的 可 能性 [— 】 1 3。 贝 叶 斯 理 论 假 设 是一 种基 于 简单 贝 叶斯 的假 设 机 制 。 其
评 估 未 来 要 发 生 的 事 件 的 可 能 性 , 只 能 用 已经 发 生 的 相 关 就 事件发生 的概率进行 窥测 和评判 。 这也就是说如果我们 已经 知 道 某 一 事 件 在 过 去 的试 验 中者 发 生 的概 率 , 们 就 可 以运 我 用 贝 叶 斯 理 论 以计 算 出该 事件 在 未 来 可 能 出 现 的 概率 。 下 面 给 出 贝 叶斯 理 论 的数 学 表 达 方 式 , 就 是 我 们 通 常 也
( ) 利 于 实 现个 性 化过 滤 3有 应 用 贝 叶 斯 分类 方 法 实 现 的 网 络 信 息 过 滤 器 适 合 每 个
那 么 , 们 把 P A) 事 件 A发 生 的概 率 。 我 ( 为 定 义 2条 件 概 率