基于应用系统的不良信息监控系统

基 于 应 用 系 统 的不 良信 息 监控 系统
朱梦熙 上海交通大学信息安 全工程 学院
【 摘 要】 由于应用 系统信息源的开放性 ， 导致一些不 良信息或者恶意信 息鱼龙混杂 ， 为运营商的服 务质量带来影响 。本文结合网络文本的特点 ， 对应 用系统 中的不良信 息的监控检 索模 式进行 了探讨。通过本 文的研究 ， － － ￣对网络 文本 的不 良信息检 索监控命 中率的提 高做一 些有 意义的探 索和 ｑ ．
●．
ｒ １ ｉ ｒｏ ａｚ —Ｙ ｔ ， ｅ ｈ ｒ ｉ ｉ —Ｎ ｔ ６ Ｒｃ ｄ ｅａ ａ ｓ Ｂ ｒ ｉ ｂ ｒ ａ Ｂ ｅ ｔｅ Ｒ ｅｏ ｅ ｏ等著． 现代 信忠检 索（ 英文版 ） Ｍ３ 机械工业出版社．０ ５ ［ ． ２０ ．
５ ６
中国电子商务● ２ １ ０ ０ ０・ ２
消 掩 瓣
史 ◆漏 ． 化 ； — － 权 ● 湖 物
砥 之 炙ห้องสมุดไป่ตู้
翊
始
奉
｝ ．
傻 改
文
本
斑
瞅
蜘
进
仅将查询与文本 的词条集表示 为一个词 与另一个词的简单集 合 ， 而不考 虑其间所存在的广泛 的语义关联， 就会使查全率和查准率 大大降低。
ｆ ｒＴｅ ｔ Ｒｅｒｅ ａ ． Ｉ ｏ ｘ ｔｉｖ １ ＥＥＥ Ｔ ａ ｓ ｃ ｉｎ Ｏｎ Ｋｎ ｗｌｄ ｅ ａ ｄ Ｄａａ Ｅｎ ｉ ｅ ｒ ｇ， ｒ ｎ ａ ｔｏ ｏ ｅ ｇ ｔ ｇｎ ｅ ｉ ｎ ｎ
１９ ，（ ） ４３— ３ ． ９ ５７ ３ ：２ ４ ５
Ｎ ｔｏｋ ｅ ｒｓ田．Ｅ Ｅｔ ｎａｔｎ ｎｓｓ ｍ ，０ １ （ １ ． ｗ ＩＥ ｒ ｓｃｉ ｓｏ ｙｔ ｓ２０ ，３ ） ａ ｏ ｅ ｆ ］ ｅ ． ． Ｋ ｍ Ｙ Ｍ，ｎ ａｅ ｆｅｅｔ ｉｎｔｒ Ｆｌ Ｍｅ ｏ ｓ ５ Ｌ ｅＤ Ｌ ． ｉ ． ａ ｄＰｔ１ ｆ ｉ ｇ ａ ｅ ｉ ｔ ｄ ．Ｅ ｉ ｎ Ｓ ｕ ｅ ｈ
（） ３ 想要尽可能高的提升 系统的统 检索 、 监控 的准确性 ， 就应使 系 统支持 自动网页的分类／ 网页的 聚类 。在 对网页进行 自动归类之后 ， 用 户只需限制搜索的范围 ， 就能感受到更加准确和快捷 的检索。 （） ４ 引入样本模板库 ， 来取代传 统的不 良信息库 。由于前者是 由来 自典型样本集得重复词条 ， 对于不 同的词条 还被赋 予 了相 应 的权 重信 息 ， 以， 所 所得出的样本模板具备更高的准确度和查准率。 （） ５ 在检测 的内核中首先选择所谓 的疑似文本 ， 接着对其 进行分析 和判别 。对于本 文所设 计的 系统而言 ， 可以首 先选择 一些 简单 的关键 词， 与被检测 文本进行匹配 ， 如定义其为疑似文本 ， 假 则继续 进行 聚类和 检索 ， 得到不良信息的文本 ， 这样 的做法保证 了系统的高精度 。
３系统 设 计
３ １系统 总 体 设计 ．
４结 束 语 对于基于应用 系统 的业务来讲 ， 良信息的监控和检索意义十分重 不
大， 由于网络上的数据量 日益增大 ， 内容处于动态变化之中 ， 这种特点很 容易导致各种不 良信息的侵入 ， 为用户获取有效服务带来 障碍。本 文结 合网络文本 的特点 ， 对应用系统中的不良信息的监控检索模式进行 了探
ｔｏ ．Ｉ Ｅ， ０ ２ ｉ ｎ ＥＥ ２ ０ ．
‘
［］ ２ 于江生， 中文概念词典的结构［ ］ 中文信息报， ０ ， （ ） Ｊ． ２ ９１ ４ ． ０ ６ ［］ ３ 李蕾． 中文搜 索 引擎概念 检 索初 探 ［ ］ 计算机 应用 ，０ ７ ３ Ｊ． ２０ ，６
（ ） ６ ．
［ Ｓ ｙ —Ｍ ｎ Ｄ ｃｍｅｔＲ ｔｅａ Ｕ ｉｇ Ｆｚｙ—Ｖ ｌｅ ｏ ｃｐ ４］ ｈｉ ｉｇ． ｏｕ ｎ ｅｒ ｖｌ ｓｎ ｕｚ ｉ ａ ｄ ｃｎｅｔ ｕ
检索子系统的功能是匹配样本模板与处理过 的页 面文本 。该过程 可以细分如下 ： 第一步 ， 引人关 键词匹 配对 疑似文本进行 检索 ， 第二步 ， 通过聚类操作对疑似文本进行聚类 ， 进行基于向量空间模型的相似度计 算， 并找到不 良文本 。 定期监控 子系统 的功能是监控检索到的不 良信息并建立相关 Ｈ志 ， 在不 良信息 日志库中存储 日 志信息。 ３ ３系统 的工作流程 ． 首先 ， 由系统采集器对 指定 范围的应用系统信息进行 收集 ， 并将有 管信息 保存在本地硬盘 中。 其次， 对所收集的信息进行预处理操作 ， 目的是将半结 构化、 非结构 化的信息转换为结构化数据 ， 用于计算机的计算与处理操作。 第三 ， 将应用系统中采集 的的文本用空间向量模型表达。 第 四， 在用户的要求条件下进行检索 ， 如果发现不 良信息 ， 则提交给 监控系统 。 第五 ， 定期对不 良信息进行检索与监控 。
本系统所基于 的平 台为 Ｗｉｄｗ ｎ ｏ ｓ操作 系统 ， 台数据 库选择 Ｓ Ｌ 后 Ｑ Ｓｒｅ ００， ｅｖｒ ０ 开发语言为标准 Ｊｖ。考虑 到 Ｊｖ 言对标 准 Ｕ ｉ ｄ ２ ａａ ａａ语 ｎｃ ｅ编 ｏ 码的支持 ， 系统采用模块化的结构 ， 模块之 间使用标准的借 口， 保证具备 高的内聚性以及低 的耦合性。这样 的整体设计 易于使模块 的可移植性 和通用性大大提升 ， ３２系统结构设计 ． 系统按 照整体功能可以进一步分为 四个子系统 ， 如图所示 ：
一
些基 础 性 的 工 作 。
【 关键词】 用系统 应
不良信 息 监控 系统
中图 分 类 号 ：Ｐ ９ 文献 标 识 码 ： 文 章 编 号 ：０ ９— ０ ７ ２ １ ）２— ０ ６一 １ Ｔ３３ Ａ １０ ４ ６ （０ ０ Ｏ ０ ５ Ｏ
ｌ引言
随着信息技术和网络的发展完善 ， 一些基于应用系统的业务逐步被开发 出 ， 来 为运营商的服务提供 了更加易用可靠的平 台， 也新增 了利润增长点。 然而与此同时， 由于应用系统信息源的开放性， 导致一些不良信息或者恶意 信息鱼龙混杂， 为运营商的服务质量带来影响。因此， 如何构建一套业务性 能及不 良 信息监控系统就成为—个亟待解决的问题。网络上的信息大部分 是音频视频以及图像、 文本等， 国际上对于文本信息的监控模式主要包括关 键词过滤分析以及基于分级标签的文本过滤， 通常效果不是很理想。本文结 合信息正文的提取和分析 、 信息特征的表达和提取 、 引入网页聚类和精度检 索来实现不良信息检索和监控系统的整体构建。 ２系统 分析 基于应用系统 的业务是建立在 网络之上的 ， 对业务信 息中的不 良内 容进行监控与检索 ， 结合当前对于 网络中信息 的监控 存在 的一些 困难 ， 并结合对于不 良信息检索的精确度要求以及高覆盖要求 ， 本文所设计 的 系 统 主 要从 以下 方 面 进 行 考虑 。 （） １ 如何表示位 版本 以及 查询条 件。运 营商业 务系统之 中 的数据 信息属于半结构化或者非结构化的属性 ， 因此只有将其表示为结构化数 据。 才能被计算机进行进一步的处理。我们 知道对 于文本信息的查询通 常引入的是词条集的模式 ， 因此 ， 文所设计 的形态是基 于词 条集的方 本 法， 即采取将查询与文本表示为词的集合模式 。 （） ２ 在信息的预处理部分 ， 应结合词与词 之问的语义关 系。假如仅
， 、
—
讨 。通过本文 的研究 ， 可以对 网络 文本的不 良信 息检索 、 监控提高命 中 率， 做一些有意义的探索和一些基础性 的工作。
参考文献 ： ［ ］ ａ ｉ Ｋ ａｋｒＡ Ｆ ｚ ｏ ｃ ｔ ｅ ｏ ｏｅ ａ ｓ ｐ ｌ ａ Ｉ Ｍ ｒｎ ｒ ｅ． ｕｚ ｃｎｅ ｔ ｒ Ｍ ｄｌ ｎ ｉ ｐ ｃ－ ｔ ｅ ｙ ｐＮｗ ｋ ｄ ｔＡ ｉ
图中， 信息收集子系统 的主要功能是结合用 户的具体需求 ， 在指定 范围内按照应用系统 中先进先出的调度策略对信息进行 搜集， 搜集 到得 结果将作为原始文本数据。在应用 系统 的页面跳转中， 采用规 范化 的模 式来避免相 同站点的重复采集 。 文本处理子系统的主要 功能是对应于系统中文本信息进行处理 ， 专 门提取 出其 中的纯文本信息 ， 进而进行 词组处理和快 速词干提取处理 ， 将信息表示为词的集合 ， 每一词条 的权 重进行计算 ， 在索引库里存 对 并 储索 引内容 。这一部分是系统检索 和监控 的基 础。其处理流 程具体可 以描述如下 ： 文本去噪——词于提取——词语组合—— 特征提取——词 权重改进 ， 最后得到结构化文本 。如图所示