中文同义词自动抽取研究

基于模式匹配的方法-实验结果
◦ 对于给定的9455个目标词，其中有8268个词 语能够获取到对应的词条百科。 ◦ 基于词条概述能够获取到同义词的有815个 目标词。
目录

基于语义词典的方法
◦ 基于《同义词词林（扩展版）》 ◦ 基于中文概念词典CCD

基于网络资源的方法
◦ 基于模式匹配的方法 ◦ 基于并列结构的方法 ◦ 同义词传递性扩充的方法
最终“爱好”的同义词为
0.4 1.0 0.25 0.75 0.125 0.125 0.75
{嗜好，喜好，业余爱好， 偏好，偏爱，偏袒, 喜欢} 。
基于语义词典-实验结果
◦ 基于同义词词林获取到5277个目标词的同 义词，平均每个词语对应13个同义词。 ◦ 基于CCD获取到5727个目标词的同义词，平 均每个对应6个同义词。 ◦ 基于字典的方法获取到的同义词的目标词 大多是普通名词、动词、形容词。
例4： 浅谈责任感与责任心。 例5： 可贵的责任感与事业心。
基于并列结构的方法

◦ “责任感”与“责任心” ◦ “责任感”与“事业心”则不是。相同数为0。 ◦ 文档 -> 文件 -> 档案 -> 案例
基于并列结构的方法

基于并列结构的方法-实验结果

自动模式获取
◦ 基于百科全文获取包含同义词词对的句子。 在获得的句子集合上，提取左右词语列表、 左三元组列表，并根据获得的列表进行同义 词穷尽自动抽取。如下表所示：
模式类型 左词语列表 、 ， 称 和 又 74 右词语列表 、 ， 。 ； 等 24 左三元组列表 、「同义词」、 ，「同义词」， ，又称 称「同义词」、 ”、“ 131
◦ 基于《同义词词林（扩展版）》 ◦ 基于中文概念词典CCD

基于网络资源的方法
◦ 基于模式匹配的方法 ◦ 基于并列结构的方法 ◦ 同义词传递性扩充的方法
《同义词词林（扩展版）》

在《同义词词林（扩展版）》中，编码末 尾为 = 的词语集合表示的是同一个语义。 因此，目标词的同义词即为包含目标词的 编码末尾为 = 的词语集合。
排名前5
总计
基于模式匹配的方法-规则过滤

由于网络资源存在不规范性，需要对获取到的同义 词进行筛选。 筛选方法：
◦ 首先对获取到的同义词进行分词， ◦ 然后使用如下规则进行筛选：
◦ 规则1 若候选同义词是一个完整的分词结果，同义词有效。 ◦ 规则2 若候选同义词分词结果中包含{ 共和国，市，州，镇， 县，郡，帝国 }中任一后缀，同义词有效。 ◦ 规则3 若候选同义词分词结果是两个字数词性一致的词语，同 义词有效。 ◦ 规则4 若候选同义词分词结果包含目标词语，同义词无效。 ◦ 上述四个规则，优先度依次递减。
中文同义词自动抽取研究
南京师范大学计算机学院 自然语言处理小组 曹冉 孙玉霞 狄颖 指导老师： 曲维光 周俊生
目录

基于语义词典的方法
◦ 基于《同义词词林（扩展版）》 ◦ 基于中文概念词典CCD
来自百度文库
基于网络资源的方法
◦ 基于模式匹配的方法 ◦ 基于并列结构的方法 ◦ 同义词传递性扩充的方法
目录

基于语义词典的方法
目录

基于语义词典的方法
◦ 基于《同义词词林（扩展版）》 ◦ 基于中文概念词典CCD

基于网络资源的方法
◦ 基于模式匹配的方法 ◦ 基于并列结构的方法 ◦ 同义词传递性扩充的方法
基于模式匹配方法-基本思想
在互联网上抓取目标词的百度百科词条 2. 在百科词条概述中，利用人工提取的“目 标词+模式词+候选同义词”模式取得高质 量同义词。 3. 利用高质量同义词在百科全文中获取限定 语料，自动提取出上下文环境模式。 4. 利用目标词和上下文环境模式提取同义词。
宏平均 宏平均 宏平均 微平均 微平均 微平均 准确率 召回率 F1值 准确率 召回率 F1值 TYCL CCD Final 0.294 7 0.223 6 0.358 0.344 7 0.229 8 0.604 0.276 4 0.195 5 0.396 0.322 5 0.311 7 0.302 0.418 3 0.211 8 0.635 0.364 2 0.252 2 0.410
基于中文概念词典
本文提出基于典型同义词的过滤方法。 基本思想：

◦ 在包含目标词的Synset中统计出典型同义 词。 ◦ 使用典型同义词按照一定规则在Synset中 过滤出同义词。
典型同义词统计方法

典型同义词统计方法

基于典型同义词的过滤算法

概念编号i 01745360
00273902 04463325 04700175 05565069 05608483 05573285
目标词 “规则”对应的同义词集合：
Di24A01= 规则 守则 准则 则 规 律 章法 轨道 清规 戒律 规例 规约
目录

基于语义词典的方法
◦ 基于《同义词词林（扩展版）》 ◦ 基于中文概念词典CCD

基于网络资源的方法
◦ 基于模式匹配的方法 ◦ 基于并列结构的方法 ◦ 同义词传递性扩充的方法
基于并列结构的方法-基本思想
◦ 并列结构包含的两个词语一般有共同的形态，语 义相似或相关，中间使用 “和，或，逗号，顿号” 等并列连词进行连接。 ◦ 假设并列结构包含的两个词语中一个是目标词， 则另一个可以作为该目标词的候选同义词。 ◦ 采用基于词素和知网的方法进行过滤，提高同义 词抽取的正确性。
中文概念词典 CCD

CCD中使用Synset字段来描述概念。 但是在Synset中的词语并不完全是同义词，而是 某种意义上的相关词。

一个词语也可能出现在多个Synset中 。
◦ 如目标词“爱好”:
概念编号 01745360 00273902
定义 吸引普通大众 一种附属的活动
Synset 喜好 流行 爱好 盛行 风行 嗜好 爱好 业余爱好
1.
基于模式匹配的方法

人工模式提取
◦ 基于770个词条百科，手动进行模式提取，这 里的模式是指同义词提示词。
模式类型 前置名词模式 前置动词模式
模式数量 39 64
实例 模式：昵称 例：周笔畅的昵称是笔笔。 模式：又名 例：栀子花又名栀子。 模式：美称 例：杭州素有人间天堂的美称。
后置模式
8
基于模式匹配的方法