结合聚类思想神经网络文本分类技术研究

结构 ， 训练速度快 ， 不存 在局部 最小 问题 。Ｒ Ｆ神 经网络 的特 Ｂ 性使其在越来越多 的领 域取代 Ｂ Ｐ神 经 网络。 目前 Ｒ Ｆ神 经 Ｂ
均运算得到 的中心 向量 ， 分类精 度不高 ； 因而 传统 的神 经网
络对文本分类规则 的判别 具有 独特的优势 ， 但文本特 征维数过
高导致神经 网络不 易 收敛 ， 习时 问太 长 。所 以 目前 很难 学
图１ 文本分类系统
找到一个执 行 效 率 高、 确率 和 召 回率 都 很理 想 的算 法 Ｊ 精 。
ｗ ｒ ｏ ｏｌ ｈ ｓ ｉ ｅ ｓｅｄａｄｓ ｏｇｒ ｏ ｌ ｅｒ ｐｉｇｃｐ ｃｙ ｂ ｔｌ ａ ｓ ｒ ｏｖｒｅｃ ｐｅ ｎ ｅ ｅ ａｃ— ｏｋｎｔ ｎ ａ ｇ ｒ ｐ ｅ ｎ ｒ ｅ ｎｎｉ ａ ｐｎ ａｉ ，ｕ ｓ ｈｓ ａ ｅ ｎｅｇｎｅｓｅｄａｄｂｔ ｒ ｅｕ ｙ ｈｈ ｔ ｎ ｎ ｍａ ａ ｔ ａｏ ｆｔ ｃ ｔ
一
个典型 的文本分类系统如 图 １ 所示。
目前 已有大量 的统计 分类技术应用于文本 自动分类 中 ， 这
些传统 的分类方法有 着不 同的缺 陷。传统 的支持 向量机 方法
具有较好 的分 类 精度 ， 但其 训 练 时 间较 长… ； 向量距 离 分类
法 具 有算 法简单 、 分类 速度快等 特点 ， 但是过 于依 赖经过平
ｎ ｕａ ｎ ｔｏ ， ｎ ｔ ｄ ｃｄｔｅｃｒ ｉｅ ｆ ｌ ｔ ｉｇａ ｏｉ ｍ，ｔ ｉ ｐｏｅｔｅｂ ｃ—ｒｐ ｇｔ ｎ（ Ｐ ｅｒ ｅ ｏ ｅｒｌ ｅ ｒ ａ ｄｉ ｒ ｕ ｅ ｏｅ ｄ ａｏ ｕ ｅ ｎ ｌ ｒｈ ｗ ｋ ｎｏ ｈ ｃｓｒ ｇ ｔ ｏ ｍ ｒｖ ｈ ａｋｐｏ ａａｉ Ｂ ）ｎ ｕａ ｎｔ ｒ ｏ ｌ ｗ ｋ
小的指定区域 内隐层神经元 的径 向基 函数 才会作 出有意义 的
非 零 回应 。
采 词 类 的信 量ｇ 用和别互息 ｌ ｏ （
的判断标准 。其 中：
） 特项取 作 征 抽 为
ｂ 中心对称衰减是指与径向基 函数 中心点 Ｃ 径 向距 离相 ） ｊ
同的输入都会产生相同的输出 ， 并且 输入 向量与 ｃ越 近 ， ｊ 隐层 神经元的 回应越大 。 Ｒ Ｆ神经 网络 的隐层径 向基 函数 选用如下 非线性 高斯 函 Ｂ
关键技术 。
的 内容 自动地确定文本 关联 的类别 。 自动 文本分类 即根 据统
计模式识别思想 ， 将文本表示 成特征 向量 ； 后用训 练文本对 然 事先选定 的分类器进行训练 ， 直接或间接地 提取 出蕴涵在训练 文本 中有关各个文本类 的统计特性 ， 并根据这些特性确定 出分 类准则 ； 最后依据这些准则对未知文本 进行 分类决策 。
ｄｉ１ ． ９ ９ ｊｉ ｎ １ ０ — ６ ５ ２ １ ． １０ ４ ｏ：０ ３ ６ ／ ．ｓ ．０ １３ ９ ．０ ２ ０ ． ４ ｓ
Ｔｅ ｔｃａ ｓｆｃ ｔ ｎ ａｇ ｒｔ ｍ ｅ ｅ ｒ ｈ ｂ ｓ ｄ ｏ ｌｓｅ ｉ ｇ ａ ｄ ｎ ｕ ａ ｅｗｏ ｋ ｘ ｌｓ ｉ ａｉ ｌｏｉｈ ｒｓ ａ ｃ ａ ｅ ｎ ｃｕ ｔｒｎ ｎ ｅ ｒｌｎ ｔ ｒ ｉ ｏ
第２ ９卷 第 １期
２１ ０ ２年 １月
计 算 机 应 用 研 究
Ａｐ ｌ ａｉｎ Ｒｅ ｅｒ ｈ ｏ ｏ ｕ ｅ ｐｉ ｔ ｓａ ｃ ｆＣ ｍｐ ｔ￣ ｃ ｏ
Ｖｏ ． ９ Ｎｏ １ １２ ．
Ｊｎ ２ ２ ａ ． ０１
当口 口
聚 类 思 想 神 经 网络 文 本 分 类 技 术研 究 水
文本分类是 中文信息处 理 的一 个重要 的研 究领域 。其 目 标是在分析 文本 内容的基础上 ， 给文本 分配一个或多个 比较合 适 的类别 ， 从而提高文 本检索 、 存储 等应用 的处 理效率 。 目前 国内外基于 内容信息 过滤的研究主要集 中在核心算法上 ， 基本 上可 以概括 为用 户模 板的构建 及其算 法研究 和用户 模板 与文 本 的匹配技术两个方 面。这两 个方 面是文本 信息过 滤 的两大
朱云霞
（． １ 南京 大 学 信 息管理 系，南京 ２０９ ； ． １０３ ２ 南京人 口管理 干部 学院 信 息科 学 系， 南京 ２０４ ） １０２
摘
要 ：针对传统的基于神经网络文本分类算法收敛速度慢等缺点， 在分析 了文本分类 系统的一般模型， 以及
在 应 用 了互信 息 量的特 征提取 方 法提取 特征 项后 ， 出了一种 基 于样 本 中心 的径 向基 神 经 网络 文本 分 类算 法 ； 提 并 引入 了聚 类算 法的核 心 思想 ， 改进 误差反 向传播神 经 网络 分 类算 法 收敛 速 度较 慢 的缺 点 。 实验 结 果表 明， 提
Ⅳ Ｗ， ） （ ｄ 为词 在 ｄ 中的词频 ； １ ｌ 为 类 的总词数 ；
Ⅳ（ ， 为所有 词在 该类 的词频 和。而 Ｐ（ ） ｄ） 与计 算式 （ ） ２
相同 ， 只是把所有 的训练样本组成一个“ 总类 ”， 就是计算词条
在总类中的 比重 。
Ｉ １ ｑ
ＺＨＵ ｎ． ｉ Ｙｕ ｘａ ，
（ ． ｅｔｏ ｆｒ ｔｎＭａａ ｅ ｅｔ Ｎ ｎｉｇＵ ｉ ｒｔ， ｎ １０ ３ Ｃ ｉａ ２ Ｄｐ．ｏ ｆｒ ａｉｎＳｉ ｃ， ａｊ ｇＰｐ ｌｔ ｎＭａ — １Ｄ ｐ．ｆＩ ｏｍａｉ ｎｇｍ ｎ， ａｊ ｎ ｅｓｙ Ｎａ ｇ２ ０９ ， ｈｎ ； ． ｅｔ ｆＩ ｏｍ ｔ ｃ ｎｅ Ｎ ｎ ｎ ｏｕａｉ ｎ ｎ ｏ ｎ ｖ ｉ ｎ ｏ ｅ ｉ ｏ ａ ｅ ｎ ａ ｒ Ｃ ｌｇ ， ａｊ ｇ２ ０４ ，Ｃ ｉａ ｇｍｅｔＣ ｄｅ ｏｌ ｅ Ｎ ｎｉ １０ ２ ｈｎ ） ｅ ｎ
出的改进算法与传统的 Ｂ Ｐ神经网络分类算法相比， 具有较 高的运算速度和较强的非线性映射能力， 在收敛速度
和 准确程 度上 也有 更好 的分 类效果 。 关键 词 ：文本 分 类 ； 经 网络 ；聚 类算 法 ；互信 息量 神
中图分 类号 ：Ｔ １３ Ｐ ８
文 献标志 码 ：Ａ
文章 编 号 ：１０ —６５ ２ １ ） １０５ —３ ０ １３９ （０２ ０ —１５０
点通常是简单 的线性 函数 。
所属 的类 ， ｍ是分类体 系的类 别数 ； 为 ｄ 所属 的类 Ｇ 的第 Ｗｋ
ｋ个特征相的权重 ； Ｃ 包含的特征项数 目。 ｎ为 Ｊ
Ｒ Ｆ分类算法基本思想是用径 向基 函数作为 隐层神经元 Ｂ
２ 样 本特 征提 取
向量空间模型表达文档效果 的优劣 直接依赖 于特征项 的 选取 以及权重的计算 ， 如何选择和提取文本 的特征是提高分类 器的效率和分类准确性 的关键 和基础性 工作 。常用的特征 提 取方法有潜在语 义索引 、 文档频数 、 信息增 益 、 期望 交叉熵 、 互
・
１ ６・ ５
计 算 机 应 用 研 究
第２ ９卷
其 中： ｄ 属于 （ ＝ｌ … ， ， 示要处 理 的文本 ， 是 ｄ ， ｍ） ｄ 表
典型前 向神经网络 。输入层节点传递输入信号 到隐含层 ， 隐含 层节点 由像高斯 函数那样的辐射状作用函数构成 ， 而输 出层节
Ａｂ ｔａ ｔ Ｔ ｉ ｐ ｐ ｒａ ａｙ ｅ ｈ ｅ ｅ ａ ｄ ｌｏ ｅ ｔｃ ｔｇ ｒ ａｉｎ ｓ ｓ ｍ ｅ ｈ ｏｏ ｙ，ａｔ ｒｔｅ ａ ｐ ｉ ａｉｎ ｏ ｅ ｍｕ ｕ ｌ ｓ ｒ ｃ ： ｈ ｓ ａ ｅ ｎ ｌ ｚ ｄ ｔ ｅ ｇ ｎ ｒ ｌｍｏ ｅ ｆ ｘ ａｅ ｏ ｉ ｔ ｙ ｔ ｔｃ ｎ ｌ ｇ ｔ ｚ ｏ ｅ ｆ ｈ ｐ ｌ ｔ ｆｔ ｔ ａ ｅ ｃ ｏ ｈ
本文提出 了一种基于样本 中心 的径 向基 神经 网络文本 分类算
在对文档进行 特 征提 取前 ， 采用 中 国科学 院 的 ＩＴ Ｌ Ｓ ＣＣＡ
分词系统进行分词处理 。 目前 ， 文本信 息处理 问题 上 ， 本 在 文 的表示主要采用向量空间模 型。向量空 间模 型的基本思想是
法 ， 引人 了聚类算 法的核心 思想 ， 并 改进 了误差 反 向传 播神经
信息 、 文本证据权 、 Ｈ 统计 等 。 ＣＩ
的基 ， 构成隐层空间 ， 实现输入空 间到输 出空 间的映射 。
构成 Ｒ Ｆ神经 网络 隐层 的径 向基 函数 是一种 局部分 布 、 Ｂ 中心对称衰减的非负非线性函数 ：
ａ 局部分布是指 当且仅 当输 入 向量 落在输入 空间一个 很 ）
ｃａ ｓ ｉａ ｉｎ ａｇ ｒ ｈ ｃ ｎ ｅ ｇ ｎ ｅ ｓ ｗ ｒｓ ｏ ｔｏ ｎ ｓ ｌ ｓｉ ｃ ｔ ｌｏ ｉ ｍ ｏ ｖ ｒ ｅ ｃ ｌ ｅ ｈ ｒ ｍｉ ｇ ．Ｅｘ ｅ ｉ ｎａ ｅ ｕ ｓｓ ｏ ｈ ｔ ｃ ｍｐ ｒ ｄ ｗｉ Ｐ ｎ ｔ ｏ ｋ， Ｆ ｎ ｔ ｆ ｏ ｔ ｏ ｃ ｐｒ ｍｅ ｔｌ ｓ ｈ ｈ ｗ ｔ ａ ， ｏ ａ ｅ ｔ Ｂ ｅｗ ｒ ＲＢ ｅ— ｒ ｈ
ｉｆ ｍａｏ ａ ｒ ｅｔ ｃ ｏ ，ｒｐｓｄａｔ ｔ ｈｓｆ ａｉ ｌｏ ｔｍ ｂ ｓ ｎａｓｍ ｌ ｃｎｅ ｄ ｔ ｂｓ ｎｔ ｎ（ Ｂ ） ｎ ｒ ｔ ｎｆ ｔ ｅ ｘｒ ｔｎ ｐｏｏｅ ｘ ｃ ｔｉｃｔ ｎａ ｒｈ ａｅ ｏ ｐｅ ｅｔｒ ａｉ ｅ ａｉ ｆ ｃｉ Ｒ Ｆ ｏ ｉ ｅｕ ａｉ ｅ ｓ ｉ ｏ ｇｉ ｄ ａ ｒ ａ ｓｕ ｏ
网络分类 算法收敛速度较慢 的缺点 。
以向量的形式 来表示文本 ， 如相似度 ：
（ ×ｗ／ ）
１ 文本分 类原 理
文本 分类 系统的任务 是 ： 给定 的分 类体 系下 ， 在 根据 文本
收稿 日期 ：２ １ －８ ０ ；修 回日期 ：２ １ －７ ２ ０ １０ ．４ ０ １０ — ５
为词条 在类别 ｃ 中占的比重；Ｄ ｛ ｃ 类的训练文本数； ， ｌ， 为 ，
ｌ ｆ ｌ Ｉ Ｄ
赫
（） ３
（ ： ）
（） Biblioteka Baidu
隐层 神经元采用径 向基 函数使得 Ｒ Ｆ神经 网络模拟 了人 Ｂ 脑中局部 调整 、 相互覆盖感 受域 的特性 。因此 ， Ｂ Ｒ Ｆ神经 网络 是一种局部逼 近神经 网络 。现 已证 明了 Ｒ Ｆ神经 网络能 以任 Ｂ 意精度逼近任 一连续 函数 ， 并且可以根据问题确定相应 的网络
ｕ ｎ ｒ ｃｉａ ｐ ｌ ａ ｉｎ ｐ ｏ ｐ ｃ ． ｅ ａ ｄ ｐ ａ ｔ ｌａ ｐ ｉ ｔ ｒ ｓ ｅ ｔ ｃ ｃ ｏ
Ｋｅ ｙ ｗｏｒ ： ｔｘ ｌｓ ｉ ｃ ｔｏ ｄｓ ｅ ｔｃａ ｓｆ ａｉ ｎ；ｎ ｕ ａ ｅｗｏ ｋ； ｃｕ ｔ ｒｎｇ ａｇ ｒｔ ； ｍｕ ｕ ｎ ｏｍ ａｉｎ ｉ ｅ ｒ ｌｎ ｔ ｒ ｌ ｓｅ ｉ ｌ ｏｉｈｍ ｔ ｌｉ ｆ ｒ ｔ ｏ
ｓ （ ） ｉ ｄＪ ｍ ｃ
—。 面
×
（）
√善２√ ｗ×
基金项 目：江 苏省 高校 自然科学研 究计 划资助 目
作者简介 ： 朱云 霞 （ ９９ ） 女， １７ － ， 江苏镇 江人 ， 师， ＝研 究生， 讲 博 ｝ 主要研 究方 向数据挖掘和智能信 息处理 （ｈｙ ｎｉ ａ ｈ １３ ｅ ｚｕｕｘ ｌ ｓｉ ６ ．ｏ ａｏ ＠ ｍ）
ｒ ｃ ｎ ｃａ ｓｆｃ ｔｏ ｆｅ ｔ Ｃｏ ｉ ｉ ｈ ｌ ｔ ｒｎ ｈ ｕ ｈ ＲＢＦ ｔ ｘ ｌｓ ｉ ｃ ｔｏ ｌｏ ｔ ｍ ｓｌ ｒｅ ｈｅ ｒ ｅ ｅ ｒ ｈ ｖ ｌ ａ ｙ ｏ ｌｓ ｉ ａｉ ｎ ｅｆ ｃ． ｍｂ ｎｎｇ ｔｅ ｃｕｓｅ ｇ ｔ ｏ ｇ ｔ， ｉ ｅ ｔｃａ ｓｆ ａｉ ｎ ａｇ ｒ ｈ ｈａ ａ ｇ ｒｔ ｏｙ ｒ ｓ ａ ｃ ａ— ｉ ｉ