一种消除中文分词中交集型歧义的方法

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第２１卷第５期２１年５月０１
计算机技术与发展
ＣＯＭＰＵＩＲＥＣＨＮＯＩＴＯＧＹＤＡＮＤＥＶＥ１ＭＥＮＴＯＰ
Ｖｏ１２１Ｎｏ．．５Ｍａ２０１ｖ１
一
ห้องสมุดไป่ตู้
种消除中文分词中交集型歧义的方法
Ｏ引言
ｓｓｅ．ｅｅｐｒｍｅｔｒｓｌｋｈｏｄｐｒｃｐｅｐｏｒｓ．ｙｔｍＴｈｘｅｉｎｅｕｔｍａｅｔｅｇｏａｔｉｌｒｇｅｓｓｉＫｅｒｓＣｈｎｓｒｅｍｅｔｔｎ；ｔａｎｏｍａｉｎ：ｖｒａｐｎｍｂｇｉｙｗｏｄ：ｉｅｅｗｏｄｓｇｎａｏｍｕｕｌｉｆｒｔｉｏｏｅｌｐｉｇａｉｕｔｙ
ＰｒｄｉｇｉｏｕｃｎｎＣｈｉｓａｃｉｇｎｅｅＭｔｈｎ
ＷＥｏｃｅｇＷＡＧＡ－ｉｇＳｉ－ｕ，ＮｎＩ－ｈｎ，Ｎｉｐ，ＨＡＸａｊｎＷＡＧＹｏｇＢｎｎ
（ｉｉｔｆＥｕａｉｎＫｅａ．ｆＩｔｌｇｎｍｐｔｇ＆ＳｇａＰｏｅｓｎＭｎｓｙｏｄｃｔｙＬｂｏｎｅｌｅｔｒｏｉＣｏｕｉｎｉｎｌｒｃｓｉｇ．
高的问题，采用了双层ｈｓ结构的明典机制来提升分词的速度，ａｈ对于匹配结果中出现的交集型歧义字段，通过互信息的方
法来消除，以提高分词精度。ｌ对该分词系统进行实现。通过传统的中文分词系统的分词速度以及分谢效果的对并比，发现该系统在分词速度和精度上都有所进步，而取得较好的分词效果。从
关键词：中文分测；互信息；交集型歧义
中图分类号：Ｐ１Ｔ３文献标识码：Ａ文章编号：６３６９２１）５０６ — ４１７ — ２Ｘ（０１０ — ０００
ＡｅｈｏｂｏｔＲｅｏｉｇＯｖｒａｐｉｇＡｍｂｇｔＭｔｄａｕｍｖｎｅｌｐｎｉｕｉｙ
Ａｈｉｎｖｒｔ，ｅｅ２０３，ｈｎ）ｎｕＵｉｅｓｙＨｆ３０９Ｃｉａｉｉ
ＡｂｔａｔＳｇｎａｉｎａｃｒｃｎｐｅｒｈｗｏｍａｎｐｆｏｎｎｅｉｄｘｓｏｈｉｅｅｗｏｄｓｇｓｒｃ：ｅｍｅｔｔｏｃｕａｙａｄｓｅｄａｅｔｅｔｉｅｎａｃｎｅｅｆｔｅＣｈｎｓｒｅｍｅｔｔｎｓｓｅ．ｃｒｉｇｎａｉｙｔｍＡｃｏｄｎｏｔｈｕｓｉｎｏｌｗｐｅｄｐｅｉｉｎｏｅｗｏｄｉｈｒｄｔｎｌＣｈｎｓｒｅｍｅｔｔｎ，ｔｕｅｈｔｕｔｒｉｔｎｒｆｏｔｅｑｅｔｆｓｏｏｓｅｄａｒｃｓｆｔｒｎｔｅｔａｉｏａｉｅｅｗｏｄｓｇｎａｉｉｓｓｔｅｓｒｃｕｅｄｃｉａｙｏｎｏｈｉｏｏｄｕｌ—ｄｃｅａｈｍｅｈｎｓｔｒｎｅｔｅｓｅｄｏｒｅｍｅｔｔｎｏｂｅｅｋｄｈｓｃａｉｍｏｐｏｍｔｐｅｆｗｏｄｓｇｎｉ．Ｔｏｉｒｖｈｅｍｅｔｔｎａｃｒｃｕｅｔｅｍｅｏｆｈａｏｍｐｏｅｔｅｓｇｎａｉｃｕａｙ，ｓｈｔｄｏｏｈ
魏博诚，爱平，王沙先军，王永
（安徽大学计算智能与信号处理教育部重点实验室，安徽合肥２０３）３０９
摘
要：分速度和精度足中文分词系统的两个主要性能指标。针对传统的中文分浏［出脱的分词速度慢币分词精度不切｝Ｊ ¨
ｔｏｙｔｍｓａｈｅｅＴｈｙｓｍｓｉｐｏｖｎｔｅｓｅｄａｄａｃｒｃｏｐｒｄｗｉｅｔｄｔｏａｉｅｏｄｓｇｅｔｔｎｌｉｎｓｓｅｉｃｉｖｄｅｓｔｅｉｍｒｅｉｈｐｅｄｎｃｕａｙｃｍａｅｔｔｒｉｎｌＣｈｎｓｗｒｅｍｎａｉａｈｈａｉｅｏ
ｔｅｍｕａｎｏｍａｉｎｔｌｎｔｔｅｏｅｌｐｉｇａｉｕｔｔｎｉｈａｐａｅｎｔｅｍａｃｉｇｒｓｌ，ｔｅＣｈｎｓｒｅｍｅｔ－ｈｔｌｉｆｒｔｏｅｉａｅｈｖｒａｐｎｍｂｇｉｓｒｇｗｈｃｐｅｄｉｔｈｎｅｕｔｈｉｅｅｗｏｄｓｇｎａｕｏｍｉｙｉｒｈｓ