基于语义的中文文本关键词提取算法

（小结）基于语义的中文文本关键词提取算

法

该方法核心关键是：在基于传统统计词频的基础上，参考了不同词之间是否为同义关系。判断同义关系的基础是结合了代汉语较常用的一部类义词典——哈工大的《同义词词林》扩展版。

本文根据《同义词词林》中词关系之间的定义，定义了词语词之间的近似度。因此对于一篇文章中的不同词，词之间根据近似度数值关系可以组成网络（词语语义相似度网络）。然后分析该网络中节点（词）的居间度，即聚集程度。

词语与主题越相关，词语的居间度密度越大。该方法出于作者认为：聚集文档围绕主题构建，与主题越相关，词语越密集，即与主题最相关的词语占的比例较大。并且主题相关词语与主题有语义相关性，所以他们彼此也有一定的语义相似度。最终关键词的提取同时参考了词语的居间度与词频。

附算法示意图:

文中提出算法示例结果：《我爱逛农贸市场》关键词提取结果为：

SKE 算法提取的关键词为农贸市场、爱、鱼、乌骨鸡、羊肉、花生；

基于统计特征的算法提取的关键词为农贸市场、逛、爱、变化、美、生活。

个人对算法示例结果评价：具体某些场合可能会好于传统算法，该例子也并不表明该算法明显优秀，例如个人觉得关键字《逛》很重要。

附《我爱逛农贸市场》

我/r 爱/v 逛/v 农贸市场/n

19980101-07-008-002/m 董/nr 其中/nr

19980101-07-008-003/m 近些年/t 来/f ，/w 生活/vn 中/f 必不可少/l 的/u 便/d 是/v 逛/v 农贸市场/n 。/w

19980101-07-008-004/m 大概/d 是/v 我/r 为着/p 生活/v 而/c 操持/v 家务/n ，/w 又/d 从事/v 美术/n 创作/vn 而/c 需/v 感受/v 生活/vn ，/w 所以/c 对/p 逛/v 农贸市场/n 特别/d 感/Vg 兴趣/n 。/w 即使/c 我/r 每次/r 出差/v 外地/n ，/w 也/d 尽可能/d 要/v 去/v 农贸市场/n 转转/v 。/w

19980101-07-008-005/m 在/p 离/v 我家/n 不/d 远/a 的/u 一/m 条/q 小/a 街/n 里/f ，/w 有/v 一个/m 很/d 热闹/a 的/u 早市/n 。/w 蔬菜/n 、/w 瓜果/n 、/w 家禽/n 、/w 水产/n 、/w 日用/b 工业品/n 都/d 有/v 。/w 不过/c ，/w 还/d 是/v 农副产品/j 居多/v ，/w 而/c 农副产品/j 中/f 又/d 数/v 蔬菜/n 最/d 多/a ，/w 品种/n 也/d 非常/d 丰富/a ，/w 连/u 南方/f 的/u 苦瓜/n 、/w 蕻菜/n 、/w 苋菜/n 也/d 多/a 起来/v 了/y 。/w 尤其/d 在/p 夏/Tg 秋/Tg 两/m 季/Ng ，/w 映入/v 你/r 眼帘/n 的/u 尽/d 是/v 那/r 绿茵茵/z 的/u 芹菜/n 、/w 油菜/n 、/w 菠菜/n ，/w 红澄澄/z 的/u 西红柿/n 、/w 红/a 辣

椒/n 、/w 胡萝卜/n ，/w 水灵灵/z 的/u 白萝卜/n 、/w 大白菜/n 、/w 大/a 柿椒/n ，/w 还/d 有/v 那/r 紫蓝蓝/z 的/u 茄子/n 、/w 洋葱/n ，/w 等等/u 。/w 这些/r 蔬菜/n 纯真/a 的/u 色彩/n 我/r 一/d 见/v 就/d 爱/v 。/w 它/r 是/v 自然/n 之/u 美/an ，/w 是/v 画家/n 调色板/n 上/f 的/u 色彩/n 无法/v 与/p 之/r 相比/v 的/u 。/w 19980101-07-008-006/m 我/r 来到/v 水产/n 摊位/n 前/f ，/w 两/m 只/q 大/a 铁盆/n

内/f 盛/v 满/a 了/u 鲜活/a 鱼儿/n ，/w 有/v 鲤鱼/n 、/w 鲫鱼/n 、/w 武昌鱼/n 、/w 鲶鱼/n 等/u 。/w 鱼/n 是/v 我们/r 常见/a 的/u 美食佳肴/l ，/w 又/d 是/v 我们/r 画家/n 描绘/v 的/u 生动/a 对象/n ，/w 在/p 高手/n 笔下/n 便/d 是/v 人们/n 钟爱/v 的/u 一幅幅/m 艺术/n 作品/n 。/w 我/r 观察/v 那/r 各种/r 鱼儿/n 的/u 体态/n 结构/n 和/c 活动/vn 变化/vn ，/w 它们/r 在/p 水中/s 是/v 那样/r 自由/a 欢快/a ，/w 水/n 给/v 鱼/n 以/p 活力/n ，/w 水/n 是/v 鱼/n 的/u 生命/n 。/w 有/v 两/m 位/q 卖主/n 是/v 一/m 对/q 四川/ns 夫妇/n ，/w 他们/r 代/v 客/Ng 对/p 鱼/n 进行/v 粗/d 加工/v ，/w 手活/n 十分/m 利落/a ，/w 令/v 观者/n 赞叹不已/l 。/w 在/p 家禽/n 摊位/n 中/f ，/w 有/v 一个/m 摊位/n 专卖/v 乌骨鸡/n 。/w 嘴脸/n 乌黑/z 、/w 羽毛/n 洁白/z 轻柔/a 的/u 乌骨鸡/n 被/p 圈/v 在/p 几/m 只/q 铁丝/n 笼子/n 里/f 。/w 它/r 原本/n 是/v 两千五百/m 公里/q 之外/f 我/r 老家/n 江西/ns 泰和/ns 的/u 一/m 大/a 特产/n ，/w 记得/v

我/r 小时/n 就/d 吃/v 过/u 。/w 如今/t 在/p 身边/s 见到/v 此/r 物/Ng ，/w 让/v 更/d 多/a 的/u 人/n 能/v 品尝/v 到/v 这种/r 美食/n ，/w 感到/v 格外/d 高兴/a 。/w 同时/c 我/r 又/d 想/v ，/w 像/p 这样/r 在/p 异地/n 繁殖/v 乌骨鸡/n ，/w 原产地/n 的/u 优势/n 不/d 就/v 小/a 了/y 吗/y ？/w 不过/c ，/w 由于/p 气候/n 、/w 水土/n 和/c 饲料/n 等/u 因素/n ，/w 同一/b 物种/n 的/u 味道/n 南北/f 是/v 有/v 差异/n 的/u 。/w 19980101-07-008-007/m 在/p 农贸市场/n 如何/r 识别/v 和/c 选购/v 物品/n 大/d 有/v

学问/n 。/w 冬季/t ，/w 上市/v 的/u 羊肉/n 一块块/m 的/u 钩挂/v 起来/v 一/m 溜/q 排/v 开/v ，/w 当/p 我/r 在/p 这些/r 羊肉/n 摊位/n 前/f 徘徊/v 时/Ng ，/w 就/d 听见/v 有人/r 在/d 评头论足/i ，/w 说/v 那/r 肉色/n 暗红/z 的/u 是/v 山羊肉/n ，/w 那/r 肉色/n 淡红/b 的/u 才/d 是/v 绵羊肉/n 。/w 当/p 有人/r 在/p 一/m 堆/q 死/a 鱼/n 前/f 举棋不定/i 时/Ng ，/w 我/r 也/d 会/v 上前/v 去/v 告/v 他们/r 说/v ，/w 抠/v 开/v 那/r 腮壳/n 看看/v 里面/f 的/u 腮/n ，/w 若是/c 鲜红色/n 便/d 是/v 较/d 新鲜/a 的/u ，/w 如/v 腮/n 的/u 颜色/n 发/v 白/a 就/d 欠佳/a 了/y 。/w 我/r 从小/d 长/v 在/p 河边/s ，/w 可以/v 说/v 是/v 吃/v 鱼/n 长/v 大/a 的/u ，/w 懂得/v 这/r 方面/n 的/u 一点/m 知识/n 。/w

19980101-07-008-008/m 农贸市场/n 上/f 为什么/r 一时/t 生姜/n 跌/v 到/v 一/m 元/q

一/m 市斤/q ，/w 而/c 一/m 年/q 之后/f 竟/d 涨/v 到/v 十/m 元/q 一/m 市斤/q ，/w 再/d 过/v 一/m 年/q 价格/n 便/d 趋向/v 合理/a ？/w 物价/n 的/u 大/d 跌/v 大/d 涨/v ，/w 物品/n 的/u 时缺时剩/l ，/w 供求/n 从/p 平衡/v 到/p 失衡/v ，/w 又/d 从/p 失衡/v 到/p 平衡/v 等/u ，/w 属于/v 市场经济/n 的/u 一些/m 问题/n ，/w 也/d 可/v

从/p 一个/m 小小的/z 市场/n 引发/v 思考/v ，/w 悟出/v 道理/n 以至/c 求得/v 答案/n ，/w 使/v 我们/r 也/d 增加/v 了/u 点/q 经济/n 头脑/n 。/w

19980101-07-008-009/m 人们/n 围/v 在/p 一/m 车/q 玉茭/n 前/f 争相/d 选购/v ，/w 玉茭/n 很快/d 被/p 买/v 光/v 。/w 作为/v 卖主/n 的/u 那位/r 农民/n 兄弟/n ，/w 半/m 躺/v 在/p 那/r 剥弃/v 的/u 松软/a 的/u 玉茭皮/n 里/f ，/w 数点/v着/u 钞票/n ，/w 那/r 惬意/a 和/c 舒心/a 劲儿/n ，/w 那/r 憨态可掬/l 的/u 神情/n ，/w 使/v 我/r 驻足/v 留连/v ，/w 那/r 农民/n 的/u 形象/n 不/d 就是/v 当今/t 中国/ns 农民/n 的/u 一个/m 缩影/n ，/w 它/r 深深/d 地/u 印/v 在/p 我/r 脑海/n 里/f 。/w