计算机中同义词的识别

同义词的识别
具体算法如下：
对待匹配词甲与匹配词乙进行字面相似性分析,统计两个词中共同含有的 相同语素的个数,同时对词甲和词乙中各个语素加权。根据相同语素在两词中 的位置及次序,统计相同语素在各个词中所占的权值,拟定算法计算两词的相似 度,确定其同义、准同义关系。设定两个词之间的相似度受两方面的影响:两个 词含有相同语素的个数的影响占60 %;相同语素在各个词中的位置关系的影响 占40 %。由此拟定相似度匹配公式：
(1) (2) (3) (4) 以单汉字为单位的字面相似度算法具有直观、简单、易行的特点。 以语素为单位的字面相似度算法对处理一字多义的情况效果比较好。 字面相似度算法不适合识别由非纯汉字组成的词汇。 字面相似度算法中的主观因素较多。
同义词的识别
下周工作： 继续研究计算机同义词识别相关的算法……
THANKS！
同义词的识别
式中xsword表示两个词中含有相同语素的个数，
表示匹配字在待匹配词中所处的位权之和。
表示匹配字在被匹配词中所处的位权之和。
dp 表示位置系数,其值为被匹配词与待匹配词语素总数之比,如 果被匹配词语素总数大于待匹配词语素总数, dp = keyword/ ctrlword ,反之则为dp =ctrlword/ keyword。 该相似度计算公式是通过计算匹配字串与被匹配词和待匹 配词的比例的算术平均数,以及匹配字串在被匹配词和待匹配词 的位置次序关系的权数之和的算术平均数,然后分别乘以两个影 响的加权数,最终得出两词的相似度。例如,“经济信息管理”与 “商业信息管理”的相似度：
同义词的识别
计算机识别同义词主要有两种方法：
以单汉字为单位的字面相似度测定。 以词素为单位的字面相似度测定。 字面相似度算法主要根据字面相似性原理，即汉语中绝大多数同义词准 意词都含有相同语素这一特点计算出词与词之间的相似程度。
以单汉字为单位的字面相似度算法
在计算中考虑匹配字数和词汇结构两个方面的因素，并加入汉语构成的 重心后移的特点。所谓的重心后移就是指表达某一具体的专指概念时，其主 题中心词往往在词的后半部分。
同义词的识别
公式成立的条件是以下信息已知：
待匹配词ctrlword 的信息量总和为A ； 匹配词keyword 的信息量总和为B ； 两词中表示相同语义的信息量为C1 ，C2 ； 共同部分C1 对A 的表达度为x ，C2 对B 的表达度为y。
根据这些条件可得：
相似度为：
同义词的识别
具体做法是建立以词素为单位的语义词典,将词素按语义上的分类 体系进行相似比较,再将组成语词的各个词素相似度按一定的权重计 算出表达度,再通过两词的表达度计算出相似度。 两种方法的比较
同义词的识别
基于语义的词素相似度识别算法
字面相似度算法只适用于识别由纯汉字构成的词汇,不适用于识别纯粹由 非汉字组成的词汇。因此开始有人致力于研究以词素为单位识别同义词的 方法。 词素相似度识别算法的主要思想是： 首先，建立常用词素的语义词典，对识别词进行切分,在此基础上以词素 为单位，以相似性原理为依据,将词素的字面形式转换为语义代码进行相似度 判别，在考虑词组的结构关系的前提下进行同义词的识别。其中引入了表达 度这一概念，表示词的部分对整体的涵义所起的作用大小，据此进行加权。 表达度是表示词的部分对整体的涵义所起的贡献的大小，整个词的表达 度为100%，空串对整体的表达度为0%，词的部分对整体的表达度等于其词 素表达度之和。
同义词的识别
xsword = 4 ; ctrlword = 6 ; keyword = 6 ;
同义词的识别
这种算法还存在许多缺陷： 1. 在词这个层面上汉字歧义现象比较多。 2. 阈值的选取比较困难。 用这种方法计算出来的相似度值是一个可穷举的序列，这必然导 致在处理大数据样本集时候产生相似度聚集的现象。在这种聚集区 域改变阈值将导致遗漏率的较大变化。 3.不能识别非字面相似的现Biblioteka Baidu。 4.难以应用于法规则进一步提高识别率。 5.算法存在理论上的支持，存在逻辑错误。 a) 相似度的表达和基本公式存在逻辑缺陷。 b) dp的作用缺乏科学性。