【CN110110082A】多源异构数据融合优化方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910294678.8

(22)申请日 2019.04.12

(71)申请人 黄红梅

地址 510610 广东省广州市天河区沾益直

街1号

申请人 何卓华　谢新屋

(72)发明人 黄红梅　何卓华　谢新屋　

(74)专利代理机构 北京联瑞联丰知识产权代理

事务所(普通合伙) 11411

代理人 张学府

(51)Int.Cl.

G06F 16/35(2019.01)

G06F 16/903(2019.01)

(54)发明名称

多源异构数据融合优化方法

(57)摘要

本发明公开了一种多源异构数据融合优化

方法，包括如下步骤：A)对数据实例、类别和属性

进行提取和分析，建立词库和短文本库；B)从互

联网获取多源异构数据；C)对多源异构数据进行

规范化处理，生成短文本；短文本有多个词构成，

规范化处理包括分词和去除停用词；D)将短文本

作为待匹配短文本，将待匹配短文本与短文本库

中存储的短文本进行匹配，得到短文本匹配结

果；E )根据短文本匹配结果对数据进行融合，建

立大数据内容模型，得到数据融合结果；F )对数

据融合结果进行评价，得到评价结果；评价结果

包括优、良、中和差。本发明能建立完整性、准确

性和一致性较强的高质量的大数据知识库。权利要求书2页 说明书5页 附图1页CN 110110082 A 2019.08.09

C N 110110082

A

1.一种多源异构数据融合优化方法，其特征在于，包括如下步骤：

A)对数据实例、类别和属性进行提取和分析，建立词库和短文本库；

B)从互联网获取多源异构数据；

C)对所述多源异构数据进行规范化处理，生成短文本；所述短文本由多个词构成，所述规范化处理包括分词和去除停用词；

D)将所述短文本作为待匹配短文本，将所述待匹配短文本与短文本库中存储的短文本进行匹配，得到短文本匹配结果；

E)根据所述短文本匹配结果对数据进行融合，建立大数据内容模型，得到数据融合结果；

F)对所述数据融合结果进行评价，得到评价结果；所述评价结果包括优、良、中和差。

2.根据权利要求1所述的多源异构数据融合优化方法，其特征在于，所述步骤D)进一步包括：

D1)计算所述待匹配短文本与短文本库中的短文本之间的字符匹配因子；

D2)计算所述待匹配短文本与短文本库中的短文本之间的词匹配因子；

D3)根据所述字符匹配因子和词匹配因子，对所述待匹配短文本与短文本库中的短文本进行匹配，计算短文本匹配因子。

3.根据权利要求2所述的多源异构数据融合优化方法，其特征在于，所述字符匹配因子

采用如下公式进行计算：

其中，F 1表示所述字符匹配因子，c 1表示所述待匹配短文本包含的字符数，c 2表示所述短文本库中的短文本包含的字符数，p表示匹配的字符数，h表示换位的数目。

4.根据权利要求3所述的多源异构数据融合优化方法，其特征在于，所述词匹配因子采

用如下公式进行计算：

其中，F 2表示所述词匹配因子，n表示维数较高短文本向量的维数，σ表示修正因子，σ∈

[0.9，1.3]，用于修正增加词带来的误差，A i 为所述待匹配短文本中的第i个词，B i 为短文本库中的短文本中的第i个词。

5.根据权利要求4所述的多源异构数据融合优化方法，其特征在于，所述短文本匹配因

子采用如下公式进行计算：

其中，Y表示短文本的匹配因子；设定匹配阈值Y 0，若Y≥Y 0，则说明所述待匹配短文本与短文本库中的短文本相匹配，若Y＜Y 0，则说明所述待匹配短文本与短文本库中的短文本不匹配。

6.根据权利要求5所述的多源异构数据融合优化方法，其特征在于，所述步骤E)具体

权　利　要　求　书1/2页2CN 110110082 A