基于模型的多源融合算法法及优缺点适用条件

基于模型的多源融合算法法及优缺点适用条件

多源异构数据的融合方法:

1、数据采集过程中，针对原始数据进行准确、实时的采集，为数据集成阶段提供原始数据源，对原始数据源进行数据描述，并建立对应的多种协议解析引擎。

2、依据多种不同类的数据源使用hbase和nosql数据库对来自各个子系统的数据进行分布式存储。

3、通过加载hibernateogm并基于其上建立统一的hbase和nosql数据库访问模型，使两个数据库按照统一的规则并在同一个框架下进行读写完成整体的数据接入。

4、利用同类均值插补方式对于错误数据，首先利用统计分析的标准差方法

对预估出现的错误值识别，并对识别后的错误数据进行清除，完成对数据进行筛选。

5、对数据清理后，其数据通过extract-transform-load，进行筛选加工转换，然后加载到一个数据仓库模型中去存储。

6、通过采用fp-growth并行算法针对数据仓库模型中的数据进行提取分析并标记出关联信息，将关联信息导入相应的建模算法即可。