基于贝叶斯算法和费舍尔算法的垃圾邮件过滤系统设计与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
可 以使 用 个性化 的垃圾 邮件 过 滤方案 ， 支持使 用邮件 下载协 议 （ ＯＰ 、Ｍ Ｐ ３ Ｉ ＡＰ协议 ） 邮件服 务 器下载 邮件 ， 从
以及使 用邮件 解析 协议 （ ＭＥ协议 ）对 于邮件 进行 解析 ，支持 邮件 发送 协议 （ ＭＴ ＭＩ Ｓ Ｐ协 议 ）帮 助 用户发
ｌ ｏ ｈｍ Ｄｅ ｉ ｎ ａ ｄ Ｉ Ａ ｇ ｒｔ ｓｇ ｎ ｍ ｐｌｍ ｅ ｔ ｔｏ ｉ ｅ ｎ ａｉ ｎ
Ｆ Ｎ ｈ． ｎ ＸＵＥＴａ － ｎ ＸＩ Ａ Ｓ ｉｕ ． １ ｉｎｊ ， ＡＷｅ ｕ ｉ
（ ｉ ｊ Ｎ ｒ ａ Ｕ ｉ ｒｉ， Ｔｎｉ ３ ０ ８ ， ｈ ａ Ｔ ｎｉ ｏｍ ｌ ｎｖ ｓｙ Ｉ ａ ０ ３ ７ Ｃ ｉ ） ａ ｎ ｅ ｔ ａｆ ｎ ｎ
摘 要 ： 贝叶斯过 滤 算法和 费舍 尔过 滤 算 法均是 利 用统计 学知 识 对于 垃圾 邮件进 行 过 滤的算 法 ，有 着
良好 的过 滤效 果。 该文设 计将 某一词 组 （ 单词 ）出现概 率使 用加 权计 算的 方 法 ，改善 了朴素 贝叶 斯算 法和
朴素 费舍 尔的 邮件 过 滤算 法对 于 出现 较 少的单 词误 判情 况 ，使 系统对 于垃 圾 邮件判 断 的准确 率上 升 。设计
ｐｏａｉｔ ｉ ｒｖｓ ｉ ａ ｏｓ ｈｃ ｅ ａ ｅ ａｅｉ ｇ ｒｈ ｄｈ ａ ｅ ｉ ｅ ａ ｏ ｔ ａｅ ｓ ｄｅ ｒｂｂ ｉ ｏｅ ｔ ｔ ｎ ｉ ｔ ｉ ｙｓ ｎａ ｏｉ ｍ ａ ｅ ｉ ｓ ｒ ｌ ｒ ｍ ｊ ｇｄ ｌｙ ｍｐ ｓｕ ｉ ｗ ｈ ｈ Ｎ ｖ Ｂ ａ ｌ ｔ ｎ ｔ Ｎ ｖ Ｆ ｈ ｇｉ ｈ ｒ ｍｉｕ
雪釜进
■ ｄ ｉ １ ９ ９ｊｓ ｎ１ ７ － １ ２２ １ ９０ ６ ｏ： ０ ３ ６ ／ｉｓ ６ １１２ ０ ２０ ０
基于 贝叶斯 算法和费 舍尔算法 的 垃圾 邮件过 滤 系统设 计与实现
范仕伦 ，薛天俊 ，夏玮
（ 天津师范大 学，天津 ，３ ０ ８ ０ ３ ７）
ｗｈｃ ｅ Ｍ ＴＰ ｒ ｔ ｃ １ ｉｈｕｓ ｓＳ ｐ ｏ ｏ ｏ．
Ｋ ｅ ｒ ：ｓ ａ ｆｌ ｒｎ ｂ ｙ ｓａ ｌｏ ｔ ｍ ； ｓ ｅ ｌｏ ｉｈ ｙｗｏ ｄｓ ｐ ｍ ｔｉ ｇ； ａ ｅ ｉｎ ａｇ ｒ ｈ ｆ ｈ ｒａｇ ｒｔ ｉ ｅ ｉ ｉ ｍ
１ 相关 工作
ｔｅｓ ａ ｆ ｔｒ ｇａｇ ｒｔｍ ａ ｅａｇ ｏ ｌ ｒ ｇ ｅ ｅ ｔ Ｔ ｅｄ ｓｇ ｉｈ ｕ ｅ ｉ ｈ ｅ ｔｏ ａｃ ｌｔ ｒ ｓ ｈ ｍ ｌ ｉ ｌｏ ｈ ｈ ｖ ｏ ｄ ｆ ｔ ｉ ｆ ｃ． ｈ ｅ ｉ ｎｗｈ ｃ ｓ ｓ ｐ ｉｅｎ ｉ ｉｅｎ ｗｅ ｇ ｔｄｍｅｈ ｄ ｔ ｃ ｌｕ ａｅｗｏ ｄ ｏ
ｐ ｒｏ ｌｚ ｄ ｆ ｔｒｎ ｃ ｅ ｌｅ ｓｓ ｒ ｍ ａｌ． ｅ ｉ ｎｗｈｉｈ ｅ ｅ ｓ ｎａｉ ｅ ｌｅ ｇ ｓ ｈ ｍｅｆ ｔｒ ｐａ ｅ ｉｓＴｈｅｄ ｓｇ ｉ ｉ ｉ ｅ ｃ ｕｓ ｓＰＯＰ３ｐ ｏ ｏ ｏ ｒＩ ＡＰ ｐ ｏ ｏ ｏ ｕｐ ｒｓ ｒ ｔ ｃ ｌｏ Ｍ ｒ ｔ ｃ ｌｓ ｐｏｔ
１１算法 比较器的设计与实现 ．
１１１算法模拟器概 述 ．．
在 进行 系统设计之前 ，首先制作 算法模拟器 ，该算法模拟器从 ９ ７ ２ ２封正常邮件和 ２ ０ ８封垃圾 邮件 中随机选择 需要进行训 ５８
练 和过滤的邮件，在挑选 邮件 的过程 中，使用哈希表 数据结构 ， 保证 抽取邮件的唯一 性，即训练邮件和过滤 邮件 每封不 同，同 时为了 现出算法 的随机性 ，采用随机抽取 阈值 （ 体 贝叶斯算法 和上下限概率值 （ 。） 费舍尔算法 ） 的方法，每个算法选用 ５ 个不
送邮件 。
关键词 ：垃圾 邮件过 滤 ； 贝叶斯 算 法 ；费舍 尔算法 中图分 类号 ：Ｔ ３ ３ ８ 文 献标识 码 ： 文章 编号 ：１７— １２（ ０ ２ ９ ０ １— ５ Ｐ９． ０ Ａ ６ １ １２ ２ １ ）０— ０８ ０
Ｓ ｍ ａｌ ｌｔｒＳ ｓｅ ｂ ｓ ｄｏ ｙ ｓａ ｇ ｒｔ ｐａ Ｅｍ ｉＦｉ ｅ ｙ ｔ ｍ ａ ｅ ｎＢａ ｅｉｎＡｌ ｏ ｉｈｍ ｎ ｓ ｅ ａ ｄＦｉｈ ｒ
ｔ ｏ ｏ ｄ ｗｎｌａ ｍ ａｌ ｒ ｍ ｈ ａｌｓ ｒｅ ，ｎａｙ ｅ ｍ ａｌ ｉｈ ｕ ｅＭ Ｉ Ｅ ｏｏ ｏｌ ｎ ｅｐ ｓ ｒ ｏ ｓｎｄｅ ａｌ ｏ ｄｅ ｉ ｆｏ ｔｅｍ ｉ ｅｖ ｒａ ｌｚ ｓｅ ｉｓｗｈｃ ｓ Ｍ ｐｒ ｔｃ ｄ ｈ ｌｓｕ ｅ ｓｔ ｅ ｍ ｉｓ ｓ ａ
同的参数对 同样邮件进行过滤 ，最后对过滤算法的查准率 、查全率 、计算 时间进行对比，得出实验结果。
１１２算 法 模 拟 器 的 设 计 实 现 ．＿
算法模拟器制作过程中使用 的编程工具是 Ｖｓａ Ｓｕ ｉ２ １ ， ｉ ｌ ｔｄｏ ００ 采用 ｃ ｕ ＃语言进 行编程， 整个算法模拟器的代码数量在 ５ ０ ０ ０行 ， 制作过程 中使用 了ｃ ＃的窗体编程 知识 、线程知识、Ｉ Ｏ操作知识 、贝叶斯概率知识 、数据结构的哈希表知识。
Ａｂｓｒ ｃ ： ｙ ｓａ ｌｅ ｎｇａｇ ｒｔｍ ｎ ｓ ｒｆｌｅ ｎｇａｇｏｉｈቤተ መጻሕፍቲ ባይዱ ｉｈ ａｅｕ ｅｏｆｓａｉｔｃ ｌ ｎｏ ｅ ｇｅｆｒ ｔ ａ ｔ Ｂａ ｅ ｉｎｆ ｔｒ ｌｏ ｉｈ ａ ｄＦｉｈｅ ｔｒ ｌ ｒｔｍ ｗｈ ｃ ｒ ｓ ｔｓｉａ ｗｌｄ ｏ ｉ ｉ ｉ ｉ ｔ ｋ
ｗｈ ｎｔｅ ｎ ｗ ｗｏｄ ｍａ ｓａ ｄｉｃ ａｅ ｐ ｍ ｊｄ ｍｅ ｔ ｃｕ ａｙｒｔ． ｈ ｅｉｎｗ ｉ ｓｓ ｓｒ ｅ ｙ ｆ ｄ ｆ ｒｓ ｎｅ ｉ ｎ ｒ ｓｓｓａ ｇ ｎ ｃｒｃ ｅ Ｔ ｅｄ ｓ ｈｃ ｕ ｅ ｕ ｅ Ｓ ｈ ｉ ｅ ｉ ｌ ｎ ｅ ｕ ａ ａ ｇ ｈ ’
以及使 用邮件 解析 协议 （ ＭＥ协议 ）对 于邮件 进行 解析 ，支持 邮件 发送 协议 （ ＭＴ ＭＩ Ｓ Ｐ协 议 ）帮 助 用户发
ｌ ｏ ｈｍ Ｄｅ ｉ ｎ ａ ｄ Ｉ Ａ ｇ ｒｔ ｓｇ ｎ ｍ ｐｌｍ ｅ ｔ ｔｏ ｉ ｅ ｎ ａｉ ｎ
Ｆ Ｎ ｈ． ｎ ＸＵＥＴａ － ｎ ＸＩ Ａ Ｓ ｉｕ ． １ ｉｎｊ ， ＡＷｅ ｕ ｉ
（ ｉ ｊ Ｎ ｒ ａ Ｕ ｉ ｒｉ， Ｔｎｉ ３ ０ ８ ， ｈ ａ Ｔ ｎｉ ｏｍ ｌ ｎｖ ｓｙ Ｉ ａ ０ ３ ７ Ｃ ｉ ） ａ ｎ ｅ ｔ ａｆ ｎ ｎ
摘 要 ： 贝叶斯过 滤 算法和 费舍 尔过 滤 算 法均是 利 用统计 学知 识 对于 垃圾 邮件进 行 过 滤的算 法 ，有 着
良好 的过 滤效 果。 该文设 计将 某一词 组 （ 单词 ）出现概 率使 用加 权计 算的 方 法 ，改善 了朴素 贝叶 斯算 法和
朴素 费舍 尔的 邮件 过 滤算 法对 于 出现 较 少的单 词误 判情 况 ，使 系统对 于垃 圾 邮件判 断 的准确 率上 升 。设计
ｐｏａｉｔ ｉ ｒｖｓ ｉ ａ ｏｓ ｈｃ ｅ ａ ｅ ａｅｉ ｇ ｒｈ ｄｈ ａ ｅ ｉ ｅ ａ ｏ ｔ ａｅ ｓ ｄｅ ｒｂｂ ｉ ｏｅ ｔ ｔ ｎ ｉ ｔ ｉ ｙｓ ｎａ ｏｉ ｍ ａ ｅ ｉ ｓ ｒ ｌ ｒ ｍ ｊ ｇｄ ｌｙ ｍｐ ｓｕ ｉ ｗ ｈ ｈ Ｎ ｖ Ｂ ａ ｌ ｔ ｎ ｔ Ｎ ｖ Ｆ ｈ ｇｉ ｈ ｒ ｍｉｕ
雪釜进
■ ｄ ｉ １ ９ ９ｊｓ ｎ１ ７ － １ ２２ １ ９０ ６ ｏ： ０ ３ ６ ／ｉｓ ６ １１２ ０ ２０ ０
基于 贝叶斯 算法和费 舍尔算法 的 垃圾 邮件过 滤 系统设 计与实现
范仕伦 ，薛天俊 ，夏玮
（ 天津师范大 学，天津 ，３ ０ ８ ０ ３ ７）
ｗｈｃ ｅ Ｍ ＴＰ ｒ ｔ ｃ １ ｉｈｕｓ ｓＳ ｐ ｏ ｏ ｏ．
Ｋ ｅ ｒ ：ｓ ａ ｆｌ ｒｎ ｂ ｙ ｓａ ｌｏ ｔ ｍ ； ｓ ｅ ｌｏ ｉｈ ｙｗｏ ｄｓ ｐ ｍ ｔｉ ｇ； ａ ｅ ｉｎ ａｇ ｒ ｈ ｆ ｈ ｒａｇ ｒｔ ｉ ｅ ｉ ｉ ｍ
１ 相关 工作
ｔｅｓ ａ ｆ ｔｒ ｇａｇ ｒｔｍ ａ ｅａｇ ｏ ｌ ｒ ｇ ｅ ｅ ｔ Ｔ ｅｄ ｓｇ ｉｈ ｕ ｅ ｉ ｈ ｅ ｔｏ ａｃ ｌｔ ｒ ｓ ｈ ｍ ｌ ｉ ｌｏ ｈ ｈ ｖ ｏ ｄ ｆ ｔ ｉ ｆ ｃ． ｈ ｅ ｉ ｎｗｈ ｃ ｓ ｓ ｐ ｉｅｎ ｉ ｉｅｎ ｗｅ ｇ ｔｄｍｅｈ ｄ ｔ ｃ ｌｕ ａｅｗｏ ｄ ｏ
ｐ ｒｏ ｌｚ ｄ ｆ ｔｒｎ ｃ ｅ ｌｅ ｓｓ ｒ ｍ ａｌ． ｅ ｉ ｎｗｈｉｈ ｅ ｅ ｓ ｎａｉ ｅ ｌｅ ｇ ｓ ｈ ｍｅｆ ｔｒ ｐａ ｅ ｉｓＴｈｅｄ ｓｇ ｉ ｉ ｉ ｅ ｃ ｕｓ ｓＰＯＰ３ｐ ｏ ｏ ｏ ｒＩ ＡＰ ｐ ｏ ｏ ｏ ｕｐ ｒｓ ｒ ｔ ｃ ｌｏ Ｍ ｒ ｔ ｃ ｌｓ ｐｏｔ
１１算法 比较器的设计与实现 ．
１１１算法模拟器概 述 ．．
在 进行 系统设计之前 ，首先制作 算法模拟器 ，该算法模拟器从 ９ ７ ２ ２封正常邮件和 ２ ０ ８封垃圾 邮件 中随机选择 需要进行训 ５８
练 和过滤的邮件，在挑选 邮件 的过程 中，使用哈希表 数据结构 ， 保证 抽取邮件的唯一 性，即训练邮件和过滤 邮件 每封不 同，同 时为了 现出算法 的随机性 ，采用随机抽取 阈值 （ 体 贝叶斯算法 和上下限概率值 （ 。） 费舍尔算法 ） 的方法，每个算法选用 ５ 个不
送邮件 。
关键词 ：垃圾 邮件过 滤 ； 贝叶斯 算 法 ；费舍 尔算法 中图分 类号 ：Ｔ ３ ３ ８ 文 献标识 码 ： 文章 编号 ：１７— １２（ ０ ２ ９ ０ １— ５ Ｐ９． ０ Ａ ６ １ １２ ２ １ ）０— ０８ ０
Ｓ ｍ ａｌ ｌｔｒＳ ｓｅ ｂ ｓ ｄｏ ｙ ｓａ ｇ ｒｔ ｐａ Ｅｍ ｉＦｉ ｅ ｙ ｔ ｍ ａ ｅ ｎＢａ ｅｉｎＡｌ ｏ ｉｈｍ ｎ ｓ ｅ ａ ｄＦｉｈ ｒ
ｔ ｏ ｏ ｄ ｗｎｌａ ｍ ａｌ ｒ ｍ ｈ ａｌｓ ｒｅ ，ｎａｙ ｅ ｍ ａｌ ｉｈ ｕ ｅＭ Ｉ Ｅ ｏｏ ｏｌ ｎ ｅｐ ｓ ｒ ｏ ｓｎｄｅ ａｌ ｏ ｄｅ ｉ ｆｏ ｔｅｍ ｉ ｅｖ ｒａ ｌｚ ｓｅ ｉｓｗｈｃ ｓ Ｍ ｐｒ ｔｃ ｄ ｈ ｌｓｕ ｅ ｓｔ ｅ ｍ ｉｓ ｓ ａ
同的参数对 同样邮件进行过滤 ，最后对过滤算法的查准率 、查全率 、计算 时间进行对比，得出实验结果。
１１２算 法 模 拟 器 的 设 计 实 现 ．＿
算法模拟器制作过程中使用 的编程工具是 Ｖｓａ Ｓｕ ｉ２ １ ， ｉ ｌ ｔｄｏ ００ 采用 ｃ ｕ ＃语言进 行编程， 整个算法模拟器的代码数量在 ５ ０ ０ ０行 ， 制作过程 中使用 了ｃ ＃的窗体编程 知识 、线程知识、Ｉ Ｏ操作知识 、贝叶斯概率知识 、数据结构的哈希表知识。
Ａｂｓｒ ｃ ： ｙ ｓａ ｌｅ ｎｇａｇ ｒｔｍ ｎ ｓ ｒｆｌｅ ｎｇａｇｏｉｈቤተ መጻሕፍቲ ባይዱ ｉｈ ａｅｕ ｅｏｆｓａｉｔｃ ｌ ｎｏ ｅ ｇｅｆｒ ｔ ａ ｔ Ｂａ ｅ ｉｎｆ ｔｒ ｌｏ ｉｈ ａ ｄＦｉｈｅ ｔｒ ｌ ｒｔｍ ｗｈ ｃ ｒ ｓ ｔｓｉａ ｗｌｄ ｏ ｉ ｉ ｉ ｉ ｔ ｋ
ｗｈ ｎｔｅ ｎ ｗ ｗｏｄ ｍａ ｓａ ｄｉｃ ａｅ ｐ ｍ ｊｄ ｍｅ ｔ ｃｕ ａｙｒｔ． ｈ ｅｉｎｗ ｉ ｓｓ ｓｒ ｅ ｙ ｆ ｄ ｆ ｒｓ ｎｅ ｉ ｎ ｒ ｓｓｓａ ｇ ｎ ｃｒｃ ｅ Ｔ ｅｄ ｓ ｈｃ ｕ ｅ ｕ ｅ Ｓ ｈ ｉ ｅ ｉ ｌ ｎ ｅ ｕ ａ ａ ｇ ｈ ’