汉语自动分词词典新机制--词值哈希机制

合集下载

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

ｉｍｐａｃｔｏｎｓｙｓｔｅｍｅｉｃｆｉｅｎｃｙ．ＴｈｅＣｈｉｎｅｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎｈａｓｂｅｅｎｓｔｕｄｉｅｄｓｉｎｃｅｔｈｅｌａｔｅ１９８０ｓ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｅｘｉｓｔｎｇｉｗｏｒｄｑｕｅｙｒｅｉｃｆｉｅｎｃｙ，ｆｏｒｓｈｏｒｔｗｏｒｄｏｆｎｏｍｏｒｅｔｈａｎ４Ｃｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓ，ａｎｅｗｈａｓｈａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄ，ｎａｍｅｄＺｉｐｐｅｒ－ｓｔｙｌｅｈａｓｈｎｄｉｅｘｉｎｇｂａｓｅｄｏｎｔｈｅｖａｌｕｅｏｆｅａｃｈｃｈａｒａｃｔｅｓｒｉｎＣｈｉｎｅｓｅｗｏｒｄ．Ｔｈｅｈａｓｈｖａｌｕｅｉｓｃａｌｃｕｌａｔｅｄａｃｃｏｒｄｎｇｉｔｏｍａｃｈｉｎｅｃｏｄｅｏｆｅａｃｈｃｈａｒａｃｔｅｒ，ｈｅｔｗｅｉｇｈｔｏｆｔｈｅｌｅｔｆｃｈａｒａｃｔｅｒｉｓｂｉｇｔｈａｎｈｅｔｒｉｇｈｔ．Ｔｈｅｗｅｉｇｈｔ
２０１３年第２２卷第２期
ｈｔｔｐ：／／ｗｗｗ．Ｃ－Ｓ — ａ．ｏｒｇ．Ｃｒｌ Biblioteka 计算机系统应用
汉语自动分词词典新机制一词值哈希机制①
韩莹，王茂发，陈新房，潘志安，张艳霞
（防灾科技学院灾害信息工程系，北京１０１６０１）
ｚｉｐｐｅｒ－ｓｙｌｔｅＣｈｉｎｅｓｅｗｏｒｄｖａｌｕｅｈａｓｈｉｎｄｅｘｉｎｇ
ｉｍｐｒｏｖｅｄｗｉｈｔｔｈｉｓｋｉｎｄｏｆＺｉｐｐｅｒ－ｓｙｌｔｅＣｈｎｅｉｓｅｗｏｒｄｖａｌｕｅｈｓｈａｎｄｉｅｘｉｎｇ．
Ｋｅｙｗｏｒｄｓ：Ｃｈｉｎｅｓｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｎｇ；ｉＣｈｎｅｉｓｅｗｏｒｄｓｅｇｍｅｎｔａｔｉｏｎ；ｄｉｃｔｉｏｎａｒｙｍｅｃｈａｎｉｓｍ；ｔｗｏｔｈｏｕｓｎｄａｄｅｃｉｍａｌ；
ＮｅｗＤｉｃｔｉｏｎａｒｙＭｅｃｈａｎｉｓｍｆｏｒＣｈｉｎｅｓｅＷｏｒｄＳｅｇｍｅｎｔａｔｉｏｎ
ＨＡＮＹｉｎｇ，ＷＡＮＧＭａｏ－Ｆａ，ＣＨＥＮＸｉｎ－Ｆａｎｇ，ＰＡＮＺｈｉ－Ａｎ，ＺＨＡＮＧＹａｎ－Ｘｉａ
摘
要：汉语词典查询是中文信息处理系统的重要基础部分，对系统效率有重要的影响．国内自８０年代中后期
就开展了中文分词词典机制的研究，为了提高现有基于词典的分词机制的查询效率，对于词长不超过４字的词提出了一种全新的分词词典机制——基于汉字串进制值的拉链式哈希机制即词值哈希机制．对每个汉字的机内码从新编码，利用进制原理，计算出一个词语的词值，建立一个拉链式词值哈希机制，从而提高查询匹配速度．关键词：中文信息处理；中文分词；词典机制；２０００进制；拉链式词值哈希机制
（ＤｅｐａｒｔｍｅｎｔｏｆＤｉｓａｓｔｅｒＩｎｆｏｒｍａｔｉｏｎＥｎｇｍｅｅｒｍｇ，ＩｎｓｔｉｔｕｔｅｏｆＤｉｓａｓｔｅｒＰｒｅｖｅｎｔｉｏｎ，Ｂｅｉｊｉｎｇ１０１６０１，Ｃｈｉｎａ）
ｉｓｅｑｕａｌｔｏｈｅｔｍａｘｉｍｕｍｖａｌｕｅｏｆａｌｌＣｈｉｎｅｓｅｃｈａｒａｃｔｅｒｓｍｉｎｕｓｔｈｅｍｉｎｉｍｕｍｖａｌｕｅ．Ｔｈｅｓｐｅｅｄｏｆｗｏｒｄｑｕｅｒｙｉｓ
Ａｂｓｔｒａｃｔ：ＷｏｒｄｑｕｅｒｙｉｎＣｈｉｎｅｓｅＤｉｃｔｉｏｎａｒｙｉｓｅｓｓｅｎｔｉａｌｐａｒｔｎｉＣｈｎｅｉｓｅｎｆｉｏｒｍａｔｉｏｎｐｒｏｃｅｓｓｎｇｉｓｙｓｔｅｍ．Ｉｔｈａｓａｇｒｅａｔ