一种改进的最大匹配中文分词算法

合集下载

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第２１卷第１Ｏ期２１年１０１０月
计算机技术与发展
Ｃ０ＭＰＥＲＥＣＨＮＯＬＵＴＴ０ＧＹＡＮＤＤＥＶＥＬＭＥＮＴ０Ｐ
Ｖｏ．１Ｎ．０１２ｏ１０ｃ．２１ｔ０１
一
种改进的最大匹配中文分词算法
闻玉彪，贾时银，邓世昆，李远方
（云南大学信息学院，云南昆明６０９）５０１
摘
要：大匹配算法包括正向最大匹配和逆向最大匹配两种算法，中文分词领域的基础性算法，最是目前被广泛应用于众
多领域。文中在详细分析了最大匹配算法的优缺点的基础上，出了一种改进的最大匹配分词算法。改进算法在分词前提
ＷｏｄＳｅｍｅａｉｎｒｇｎｔｔｏ
ＷＥＮＹｕ－ｂａＪＡｈ－ｙｎ，ｉｏ，ＩＳｉｉＤＥＮＧｈｉｕｎ，ａｆｎｇＳ－ｋＬＩＹｕｎ－ａ
（ｏｅｅｏｆｒｔｎＹｎａｎｖｒｔ－Ｋｎｎ５０１ＣｉａＣＨｇｆｎｏｍａｏ。ｕｎｎＵｉｅｓｙｕｍｉｇ６０９－ｈｎ）Ｉｉｉ
先对词库进行了规范化预处理，分词时由汉字检索到该字开头的词组，按词组长度由长到短的顺序使用传统最大匹配再
算法检索词库。目的是解决传统方法匹配效率低下和不能切分长词的问题。经算法分析结果表明，进的算法较传统的改
ｏｅｆｐｒｓｓｅｇ．Ｔｈｉｉｏｒｄｃｅｉｅｃｅｃｅｆｔａｉｏａｔｏｓａｄｓｌｅｔｅｐｏｌｍａｈ０ｇｗｏｄｃｏｄｒｒｏｈａｅ ’ｌｎｔｈｅａｍｓｔｅｕｅｔｎｆｉｎｉｓｏｒｄｔｎｍｅｈｄｏｖｒｂｅｔｔｔｅｌｎｒａｎｔｈｉｉｌｎｈｈｎｓｉｗｅ１ｐｌｌ．Ｔｈｇｒｔｍｅｕｌｈｗａｅｉｒｖｇｒｔｍｅｔｒｔａｅｔａｉｏａｔｅａｏｈｒｓｔｓｏｔｔｍｐｏｅａｏｈｉｂｔｎｔｒｄｔｎｌｍ￣ｉｍｔｈｎｌｏｔｍｆｉｉｎｌｉｓｈｔｈｄｌｉｓｅｈｈｉｍｕｍｃｇａｇｒｈｉｅｃｅ — ａｉｉｎ
ｗｉｈｔｅｂｇｎｉｇｃａａｔｒｏｆｔｅｗｏｄ。ｔｅｔｈｅｉｎｎｈｒｃｅｈｒｈｎｍａｃｅｔｈｓｗｏｄｗｉｔｅｔａｉｏａｍａｉｍｍａｃｎａｇｒｔｍｆｏｌｎｔｈｒｆｔｅｒｈｔｈｒｄｔｎｉｌｘｍｕｔｈｇｌｏｉｉｈｒｍｏｇｏｓｏｔｏｈ
ＡｂｔａｔＭａｉｍｔｈｎｌｏｔｍｎｌｄｓｔｓｒｃ：ｘｍｕｍａｃｉｇａｇｒｈｉｃｕｅｉｗｏ．ｔｅｒｏｗａｄａｄｒｖｒｅｍａｉｌａｃｎｌｏｉｈ．ｔｓａｆｎａｎａ－ｈｙａｅｆｒｒｎｅｅｓｘｎｍｍｔｈｇａｇｒｔｍＩｕｄｍｅｔｌａｉｉｌｇｒｔｍｉｔｅｆｅｄｏｉｎｓｏｉｈｎｈｉｌｆＣｈｅｅｗｏｄ。ｉｒｓｗｉｅｙｕｅｉｄｌｓｄｎｍａｙｆｌｓｎｔｉａｅ－ｅｅａｌｄａａｙｎｉｄ．Ｉｈｓｐｐｒｇｔａｄｔｉｅｎ￣ｓｏｄａｔｇｓａｄｄｓｄａｔｇｓｅｌｆａｖａｅｎｉｖａｅｎａｎｏｅｍａｉｍａｃｉｇａｇｒｔｍ，ｂｓｄｏ，ｐｏｏｅｎｉｒｅｇｒｔｍｆｒｍａｉｕｌａｔｈｎｆｗｏｄｓｇｎａｉｎ．Ｉｉｆｔｘｍｕｍｔｈｎｌｏｈｈｉａｅｎｉｒｐｓｄａｍｐｏｖａｏｈｏｔｄｌｉｘｌｌｎｌｍｃｉｇｏｒｍｅｔｔｅｏｎｍ－ｐｏｅａｇｒｔｍｅｔｅａｒｓｗｉｏｕｅｔｆｓ，ｗｈｎｄｉｇＣｈｎｓｗｏｄｓｇｎｔｎｉｓａｃｅｈｅａｉｅＣｈｎｓｈａｅｒｖｄｌｏｈｄａｈｓｕｕｉｌｔｓｍｅｒｌｓａｉｔｈｒｅｏｎｉｅｅｒｅｍｅｔｉａｏｔｅｒｈｓｔｅｒｌｔｖｉｅｅｐｒｓｓ
最大匹配算法高效，分词能力更强。关键词：大匹配；引；最索词库；分词中图分类号：Ｐ９．Ｔ３１１文献标识码：Ａ文章编号；６３６９（０１１－０２０１７－２Ｘ２１）００９－３
Байду номын сангаас
ＡｎＩｐｏｅｇｒｔｍｏａｉｕＭａｃｉｇｏｉｎｓｍｒｖｄＡｌｏｉｈｆｒＭｘｍｍｔｈｎｆＣｈｅｅ