数据整合方法、设备、设备及存储介质的生产技术
数据存储技术
3.1.1 数据存储
但在实际应用中,NAS也存在着以下缺乏: 〔1〕在文件访问的速度方面。NAS采用的是File
I/O方式,这带来巨大的网络协议开销。正是 由于这个原因,NAS不适合对访问速度要求高 的应用场合,如数据库应用、在线事务处理。 〔2〕在数据备份方面。需要占用LAN的带宽,浪 费珍贵的网络资源,严重时甚至影响客户应用 的顺利进行。 〔3〕在资源的整合和NAS的管理方面。NAS只能 对单个存储〔单个NAS内部〕设备中的磁盘进
•
分级存储设备是可以根据具体应用变化的,这种存储级别
的划分是相对的,可以分为多种级别。例如,可以采取FC磁盘—
ቤተ መጻሕፍቲ ባይዱ
SCSI磁盘—SATA磁盘这种三级存储结构,也可以采取SSD盘—
FC磁盘—SCSI磁盘—SATA磁盘—磁带这种五级存储结构,具体
采用哪些存储级别需要根据具体应用而定。
3.1.1 数据存储
4.网络存储解决方案 随着网络应用的增强和网络数据量的增大,网络管理中越来越
要介绍高性能、大容量存储技术。
3.1.1 数据存储
1.数据存储的概念 数据存储是数据流在加工过程中产生的临时文件或加工过程
中需要查找的信息。数据以某种格式记录在计算机内部或外部存 储介质上。数据存储要命名,这种命名要能够反映信息特征的组 成含义。数据流反映了系统中流动的数据,表现出动态数据的特 征;数据存储反映系统中静止的数据,表现出静态数据的特征。 总体来说,数据存储包含两方面内容: 〔1〕作为数据临时或长期存储的物理媒介。 〔2〕保证数据平安、完整地存取过程或者方法。
光盘的本钱最低但是适用性不强,故使用不广泛。磁带的本钱适
中,多用于大型、超大型数据存储。磁盘的本钱最高,存取性能
工业大数据的存储与分析
工业大数据的存储与分析随着工业 4.0的推进,工业大数据的存储与分析越来越成为了企业发展的关键。
工业大数据的核心是数字化,通过对各种生产信息进行数字化,将各种生产过程所产生的数据存储在信息系统里,以便于对其进行分析和利用。
工业大数据的存储需要选择适合的存储方式,包括存储介质、存储容量、存储速度等,而数据分析则是针对这些数据进行加工整合、分析提炼,形成具有指导意义的信息。
1. 工业大数据的存储关于工业大数据的存储方式,可分为三种:传统存储、云存储和边缘存储。
传统存储,指的是基于公司自己的服务器和设备,使用企业自己的技术团队来构建和维护的存储环境。
这种方式包括磁盘和带式存储,较为安全和可靠,存储成本较低,但是在可扩展性和性能上可能会出现瓶颈,需要进行优化和升级。
云存储,是利用互联网上的云服务商提供的存储服务,收到了广大企业的青睐。
云存储第一大优势是极其便捷,只需要在云端购买一定存储容量即可。
另外,在可扩展性上也很出色,可随时根据实际需求进行扩容和缩容。
但是,云存储也存在一些问题,例如网络带宽和存储成本等,需要综合考虑之后做出合理的选择。
边缘存储,是一种将存储技术延伸到离生产场所更近的本地设备,如传感器和控制器等。
这种存储方式不仅可降低网络流量和存储成本,更能提高网络连接稳定性。
而随着物联网技术的不断发展,这种方式正在逐渐受到关注和应用。
2. 工业大数据的分析随着工业大数据的产生越来越多,对数据的分析和利用也越来越重要。
分析工业大数据的目的是对工作流程进行改进和优化,并为企业做出更准确、更高效的决策提供支持。
数据分析包括数据的智能处理、数据的相关分析以及数据的模拟试验等技术。
其中,数据智能处理是关键的一步,它包含了数据清洗、去重、归一化等技术。
数据清洗是指将数据中的杂质去掉,去重是指去除重复数据,而归一化则是将数据转化为统一的数据单位,便于后续的数据分析操作。
在数据相关分析中,还可以使用一些常用的数据分析方法,如时间序列方法、神经网络方法和决策树方法等,来对数据进行处理和提取。
数据处理基本方法
数据处理基本方法数据处理是指对数据进行采集、分析、清洗、转换、存储和可视化等过程中所使用的方法和技术。
随着数据规模和种类的日益增长,数据处理已经成为现代社会不可或缺的一部分。
本文将介绍数据处理的基本方法,及其在不同领域的应用。
一、数据采集与整合数据采集是指从各种数据源中获取所需数据的过程。
常见的数据源包括数据库、API、传感器、文件等。
在采集数据时,需要注意数据的质量和完整性,并尽可能减少数据错误和冗余。
常见采集数据的方法包括爬虫、API接口调用和传感器读取等。
在数据采集过程中,数据的整合也是很重要的一个环节。
数据整合是指将不同数据源中的数据进行合并,以便进行后续的分析和处理。
常见的数据整合方法包括数据库连接、数据清洗和格式转换等。
二、数据分析与挖掘数据分析是指根据数据所包含的信息,进行统计分析、建模和预测等工作。
数据分析的过程中,需要选择恰当的算法和工具,以得到准确和有用的结果。
常见的数据分析方法包括聚类分析、分类分析、时间序列分析和关联规则挖掘等。
数据挖掘则是指在大量数据中寻找有用的信息和模式的过程。
数据挖掘依赖于数据分析技术,但更加注重对数据中隐含的信息和规律的发掘。
数据挖掘常见的方法包括决策树、神经网络、关联挖掘和聚类分析等。
三、数据清洗与处理数据分析的前提是准确和完整的数据。
在数据采集和整合的过程中,由于各种原因可能会导致数据出现错误,需要进行数据清洗和处理。
数据清洗是指通过自动或手动的方法,删除、纠正或填充数据中的错误或缺失值,以保证数据的质量和完整性。
数据清洗的常用方法包括格式化数据、删除重复值、填充缺失值和处理异常值等。
数据处理则是指使用各种技术和工具对数据进行加工和转换。
数据处理的目的是将原始数据转换为有用的信息和知识。
常见的数据处理方法包括数据加密、数据压缩、数据编码和数据转换等。
四、数据可视化数据可视化是指将数据用图形的方式展现,以帮助人们更好地理解数据。
数据可视化通常包括图表、地图、热力图等。
数据管理计划
数据管理计划数据管理计划一、背景和目的数据管理是指对数据进行有效的组织、收集、存储、整理和维护,以实现数据的可靠性、一致性和安全性。
数据管理计划是为了规范和管理整个数据的生命周期,确保数据的质量和有效性。
本文旨在制定一个全面的数据管理计划,以提高数据管理的效率和效果。
二、范围和方法1.数据收集:确定数据收集的范围和方式,包括数据的来源、采集的频率和方法。
2.数据存储:确定数据的存储方式和位置,包括数据的存储介质、存储设备和存储位置。
3.数据整理:制定数据整理的流程和方法,包括数据清洗、数据转换和数据集成等。
4.数据维护:设立数据维护制度和规范,包括数据备份、数据恢复和数据完整性检查等。
5.数据安全:建立数据安全策略和措施,包括数据权限控制、数据加密和数据备份等。
6.数据质量:设立数据质量评估指标和标准,包括数据准确性、数据一致性和数据完整性等。
7.数据分析:确定数据分析的目的和方法,包括数据挖掘、数据建模和数据可视化等。
三、时间框架本数据管理计划将按照以下时间框架进行实施:1.数据收集:每周定期进行数据收集,确保数据的及时性和准确性。
2.数据存储:采用云存储方式,每日自动备份数据,确保数据的安全性和可靠性。
3.数据整理:定期进行数据清洗和数据整合,确保数据的一致性和完整性。
4.数据维护:每周进行数据维护,包括数据备份、数据恢复和数据完整性检查等。
5.数据安全:每月进行数据安全评估和加密,确保数据的保密性和完整性。
6.数据质量:每季度进行数据质量评估,制定数据质量改进计划。
7.数据分析:根据数据分析需求,定期进行数据分析和报告生成。
四、人员和资源本数据管理计划需要的人员和资源包括:1.数据管理团队:由专业的数据管理人员组成,负责数据的收集、存储、整理和维护。
2.数据管理软件:使用专业的数据管理软件,提高数据管理的效率和准确性。
3.数据存储设备:采用高质量的存储设备,确保数据的安全性和可靠性。
4.数据分析工具:使用专业的数据分析工具,提供准确、可靠的数据分析结果。
农业机械智能化生产线的智能制造技术应用方案
农业机械智能化生产线的智能制造技术应用方案第一章智能制造概述 (2)1.1 智能制造的定义与特点 (2)1.2 智能制造技术的发展趋势 (3)第二章农业机械智能化生产线概述 (3)2.1 农业机械智能化生产线简介 (3)2.2 智能化生产线的组成与功能 (4)2.2.1 传感器系统 (4)2.2.2 控制系统 (4)2.2.3 执行系统 (4)2.2.4 数据分析与处理系统 (4)2.2.5 信息传输系统 (4)2.2.6 功能概述 (4)第三章智能感知技术 (5)3.1 传感器技术及其应用 (5)3.1.1 传感器技术概述 (5)3.1.2 传感器技术在农业机械中的应用 (5)3.2 视觉检测技术在农业机械中的应用 (5)3.2.1 视觉检测技术概述 (5)3.2.2 视觉检测技术在农业机械中的应用 (6)第四章技术 (6)4.1 概述 (6)4.2 在农业机械智能化生产线中的应用 (6)第五章自动化控制系统 (7)5.1 自动化控制原理 (7)5.2 自动化控制系统的集成与优化 (8)第六章数据采集与处理 (8)6.1 数据采集技术 (8)6.1.1 传感器技术 (8)6.1.2 数据传输技术 (8)6.1.3 数据存储技术 (9)6.2 数据处理与分析方法 (9)6.2.1 数据清洗 (9)6.2.2 数据整合 (9)6.2.3 数据分析 (9)6.2.4 数据可视化 (10)第七章互联网农业机械智能化 (10)7.1 互联网在农业机械智能化中的应用 (10)7.1.1 农业机械智能化生产线的网络化 (10)7.1.2 农业机械智能化生产线的自动化 (10)7.1.3 农业机械智能化生产线的远程监控与管理 (10)7.2 云计算与大数据在农业机械智能化生产线中的作用 (10)7.2.1 云计算在农业机械智能化生产线中的应用 (11)7.2.2 大数据在农业机械智能化生产线中的作用 (11)第八章智能优化算法 (11)8.1 遗传算法在农业机械智能化生产线中的应用 (11)8.1.1 设计参数优化 (11)8.1.2 调度优化 (11)8.1.3 故障诊断与预测 (12)8.2 粒子群优化算法在农业机械智能化生产线中的应用 (12)8.2.1 设备布局优化 (12)8.2.2 生产调度优化 (12)8.2.3 参数优化 (12)8.2.4 能耗优化 (12)第九章安全与环保 (12)9.1 安全生产在农业机械智能化生产线中的重要性 (13)9.1.1 保障人员安全 (13)9.1.2 防止设备损坏 (13)9.1.3 促进可持续发展 (13)9.2 环保技术在农业机械智能化生产线中的应用 (13)9.2.1 节能减排 (13)9.2.2 污染物处理 (13)9.2.3 废料回收利用 (13)9.2.4 绿色包装 (14)9.2.5 生态农业 (14)第十章项目实施与效益分析 (14)10.1 项目实施策略 (14)10.2 智能制造技术应用效益分析 (14)第一章智能制造概述1.1 智能制造的定义与特点智能制造作为一种新兴的制造模式,是在信息技术、网络技术、自动化技术、人工智能技术等多种技术的基础上,对传统制造业进行深度融合与创新的产物。
计算机数据存储与处理技术
计算机数据存储与处理技术随着计算机技术和网络技术的高速发展,数据处理和存储技术也得到了极大的提升。
本文将详细介绍目前计算机数据存储与处理技术的相关知识和最新动态。
一、计算机数据存储技术计算机数据存储技术是实现数据持续存储的关键因素,其采用了许多方式和方法来确保数据的完整性、可靠性和安全性。
1. 磁盘存储技术磁盘存储技术是最常见的数据存储方式之一,它基于磁性材料在磁盘表面上形成的磁道,记录和存储数据。
磁盘存储技术通过改变磁性材料的磁场方向来记录数据,读取数据时则是通过检测磁性材料的磁场方向来读取数据。
磁盘存储技术适用于大容量存储,高速度读取和写入等优点,但也存在许多缺点,如易受到物理外力的影响,读写速度较慢等。
2. 固态硬盘存储技术相比于传统的磁盘存储技术,固态硬盘存储技术使用了固态闪存芯片作为存储介质,采用了电子存储的方式来记录和存储数据。
因此,固态硬盘存储技术的读取速度明显快于磁盘存储技术,且具有低功耗、耐用等优点。
然而,固态硬盘存储技术还存在着价格较高、容量较小等缺点。
目前,随着技术的进步和价格的下降,固态硬盘的应用范围也在不断扩大。
3. 网络存储技术网络存储技术是指将数据存储在网络中的服务器上,通过网络传输进行读写数据。
它采用了分布式存储的方式,能够灵活地扩充存储容量,获得更好的数据共享性和访问速度等好处。
但是,网络存储技术也存在一些风险,例如数据被黑客攻击、网络故障等情况会导致数据丢失或泄露。
二、计算机数据处理技术计算机数据处理技术是指对数据进行操作、加工、变换、整合等过程。
1. 高速计算技术高速计算技术是指采用了多核处理器、分布式计算、GPU加速等方式,实现大规模数据计算和处理。
采用这种方式,可以大幅度地提高数据处理效率,同时也可以减少数据传输时间和成本。
2. 人工智能技术人工智能技术是指机器学习、深度学习等技术的应用,其通过数据模型和算法来实现智能处理和决策。
它能够在处理大数据时,自动发现规律和趋势,避免了人为因素带来的误差和偏差。
网络存储整合解决方案
网络存储整合解决方案一、背景介绍在当今信息化时代,数据的存储需求越来越大,传统的本地存储已经无法满足企业和个人的需求。
因此,网络存储成为了一种重要的解决方案。
网络存储整合解决方案是指将多个存储设备通过网络连接起来,形成一个统一的存储系统,提供高效、可靠、安全的数据存储和管理。
二、方案设计1. 存储设备选择根据不同的需求,可以选择不同类型的存储设备,如网络附加存储(NAS)、存储区域网络(SAN)等。
NAS适合于小型企业或者个人用户,提供简单易用的文件共享功能;SAN适合于大型企业,提供高性能的块存储服务。
2. 存储协议选择存储设备之间的通信需要使用一种存储协议,常见的有NFS、CIFS、iSCSI 等。
根据实际需求和环境,选择合适的存储协议进行数据传输。
3. 存储容量规划根据数据的增长速度和存储需求,进行存储容量的规划。
可以根据不同的业务需求,将数据进行分类,确定不同类型数据的存储优先级和容量需求。
4. 存储性能优化在设计网络存储整合方案时,需要考虑存储性能的优化。
可以通过使用高速存储设备、优化存储协议、合理配置网络带宽等手段,提高存储系统的性能。
5. 数据备份和恢复数据备份是网络存储整合方案中不可或者缺的一部份。
通过定期备份数据,可以保证数据的安全性和可靠性。
同时,还需要设计合适的数据恢复机制,以应对意外情况下的数据丢失或者损坏。
6. 安全性保障在网络存储整合方案中,数据的安全性是非常重要的。
可以通过访问控制、加密技术、防火墙等手段,保障数据的机密性和完整性,防止未经授权的访问和数据泄露。
7. 管理和监控网络存储整合方案需要配备相应的管理和监控工具,以便对存储系统进行实时监控和管理。
通过监控存储设备的状态、性能指标等,及时发现和解决潜在问题,确保存储系统的稳定运行。
三、方案实施1. 网络存储设备的部署根据方案设计,选择合适的网络存储设备,并按照规划的存储容量和性能要求进行部署。
需要注意的是,设备之间的网络连接需要稳定可靠,以确保数据的传输和访问效率。
数据存储与处理技术融合
数据存储与处理技术融合
数据存储与处理技术的融合原理
数据存储与处理技术的融合原理
▪ 分布式存储技术
1.分布式存储技术利用多台存储服务器分担存储负荷,提高存 储效率,并通过副本机制保证数据可靠性。 2.随着云计算的发展,分布式存储技术已成为大数据存储的主 流架构,能够灵活扩展、高效利用存储空间。 3.分布式存储技术将与人工智能、机器学习等技术结合,实现 更智能的数据存储和管理。
▪ 环境保护与治理
1.利用大数据和人工智能技术,实现环境数据的实时监测和分析。 2.通过数据融合技术,提高环境治理的精准度和效率。 3.结合遥感技术,实现环境资源的全面监测和管理。 环境保护与治理是全球面临的共同挑战。通过融合技术,环保部门可以更全面地了解环境的 状况,提高环境治理的效果和效率。同时,数据融合技术也可以帮助环保部门更有效地监测 和管理环境资源,推动生态环境的可持续发展。
▪ 数据存储与处理技术的发展历程
1.数据存储与处理技术的发展可以追溯到计算机的出现,随着 计算机技术的不断发展,数据存储与处理技术也在不断进步。 2.在大数据时代,数据存储与处理技术得到了更为广泛的应用 和重视,成为各个领域中的热门技术之一。
数据存储与处理技术的概述
▪ 数据存储与处理技术的核心技术和原理
数据处理技术的分类和特点
▪ 分布式处理
1.分布式处理技术可以将大规模数据处理任务分配给多个计算 节点进行处理。 2.分布式处理技术可以提高数据处理能力和效率,降低单个节 点的负担。 3.但是,分布式处理技术需要保证各个节点之间的通信和数据 一致性,实现难度较大。
▪ 机器学习
1.机器学习技术可以利用数据集中的规律进行预测和分类,适 用于数据挖掘和智能分析。 2.机器学习技术可以提高数据处理的准确性和自动化程度。 3.但是,机器学习技术需要大量的训练数据和算法优化,需要 不断投入资源和研发成本。
数据资产图谱使用方法、装置、计算机设备和存储介质[发明专利]
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201811640788.7(22)申请日 2018.12.29(71)申请人 亚信科技(南京)有限公司地址 210013 江苏省南京市鼓楼区古平岗4号鼓楼紫金智梦园B座(72)发明人 叶良顺 梅珂夫 刘睿 汪超 姚豪 于清水 (74)专利代理机构 北京华进京联知识产权代理有限公司 11606代理人 孙岩(51)Int.Cl.G06F 16/28(2019.01)(54)发明名称数据资产图谱使用方法、装置、计算机设备和存储介质(57)摘要本申请涉及一种数据资产图谱使用方法、装置、计算机设备和存储介质。
所述方法包括:获取数据资产图谱和任务指令;根据所述任务指令,得到对所述数据资产图谱的应用策略;根据所述应用策略,对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作,得到所述任务指令的执行结果。
采用本方法能够对于数据质量问题的快速自动预见。
权利要求书2页 说明书9页 附图4页CN 109800278 A 2019.05.24C N 109800278A1.一种数据资产图谱使用方法,其特征在于,所述方法包括:获取数据资产图谱和任务指令;根据所述任务指令,得到对所述数据资产图谱的应用策略;根据所述应用策略,对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作,得到所述任务指令的执行结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述应用策略,对所述数据资产图谱执行查询操作、关系发现操作或事件影响操作,得到所述任务指令的执行结果包括:根据所述应用策略,得到所述查询操作对应的目标数据资产实体;在所述数据资产图谱中,查询所述对应的数据资产实体的信息。
3.根据权利要求2所述的方法,其特征在于,所述在所述数据资产图谱中,查询所述数据资产实体的信息包括:在所述数据资产图谱中查询所述数据资产实体的实体描述信息。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
图片简介:本技术提供一种数据整合方法、装置、设备及存储介质,即获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将调整配置信息存储至所述初始数据库;在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息;若存在,则通过所述初始数据库中的预设更新引擎,获取所述目标调整配置信息,通过所述目标调整配置信息更新所述目标数据,并将更新后的目标数据反馈至对应系统。
本技术将多系统数据汇集至同一数据库中,实现了数据统一归集整合,实现了数据共享。
技术要求1.一种数据整合方法,其特征在于,所述数据整合方法包括以下步骤:获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将用于调整所述初始数据的调整配置信息存储至所述初始数据库;在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息;若所述初始数据库中存在所述目标调整配置信息,则通过所述初始数据库中的预设更新引擎,获取所述目标调整配置信息,通过所述目标调整配置信息更新所述目标数据,并将更新后的目标数据反馈至对应系统。
2.如权利要求1所述的数据整合方法,其特征在于,所述获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将用于调整所述初始数据的调整配置信息存储至所述初始数据库的步骤包括:获取系统的初始数据,根据预设安全规则,将所述初始数据进行安全等级划分,并将各个安全等级数据添加对应的安全等级标识;将所述各个安全等级数据以及对应的安全等级标识分开存储至所述初始数据库中的相应区域;将用于调整所述各个安全等级数据的调整配置信息与所述各个安全等级数据进行关联存储。
3.如权利要求1所述的数据整合方法,其特征在于,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据;判断所述初始数据库中是否存在所述目标数据关联对应的调整配置信息;若所述初始数据库中不存在所述目标数据关联对应的调整配置信息,则生成并输出目标数据不可被配置的提醒消息;若所述初始数据库中存在所述目标数据关联对应的调整配置信息,则根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,判断预设缓存列表中是否存在所述数据更新指令对应的目标数据;若所述预设缓存列表中不存在所述目标数据,则在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
5.如权利要求4所述的数据整合方法,其特征在于,所述在接收到数据更新指令时,判断预设缓存列表中是否存在所述数据更新指令对应的目标数据的步骤之后,还包括:若所述预设缓存列表中存在所述目标数据,则将所述目标数据反馈至所述对应系统。
6.如权利要求1所述的数据整合方法,其特征在于,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,获取所述对应系统的系统账号,并根据预设权限用户列表,判断所述对应系统是否为合法用户;若所述对应系统为非法用户,则生成并显示非法操作的提醒消息;若所述对应系统为合法用户,则在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤之后,还包括:若所述初始数据库中不存在与所述更新规则匹配的目标调整配置信息,则根据所述更新规则生成更新配置信息;根据所述更新配置信息更新所述目标数据,将更新后的目标数据反馈至对应系统,并将所述更新配置信息存储至所述初始数据库。
8.一种数据整合装置,其特征在于,所述数据整合装置包括:数据提取模块,用于获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将用于调整所述初始数据的调整配置信息存储至所述初始数据库;信息判断模块,用于在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息;数据更新模块,用于若所述初始数据库中存在所述目标调整配置信息,则通过所述初始数据库中的预设更新引擎,获取所述目标调整配置信息,通过所述目标调整配置信息更新所述目标数据,并将更新后的目标数据反馈至对应系统。
9.一种数据整合设备,其特征在于,所述数据整合设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的数据整合程序,其中所述数据整合程序被所述处理器执行时,实现如权利要求1至7中任一项所述的数据整合方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据整合程序,其中所述数据整合程序被处理器执行时,实现如权利要求1至7中任一项所述的数据整合方法的步骤。
技术说明书数据整合方法、装置、设备及存储介质技术领域本技术涉及数据处理领域,尤其涉及一种数据整合方法、装置、设备及计算机可读存储介质。
背景技术随着互联网的发展,越来越多的业务事项需要通过平台系统进行处理。
为了保证数据安全,一个企业一般具有多个不同功能的信息系统,各信息系统之间物理分离。
例如,在金融领域,随着各个金融机构业务的不断发展以及IT规划的深入开展,越来越多的IT系统(比如ERPF、DW&MIS、SMIS等)相继投入使用,另外还有很多的管理信息系统已在运行中,如CMIS等等。
这些系统中都存储了大量的管理信息数据,并产生各自的业务分析报表。
由于各信息系统会对应管理本系统数据,因此获取其他系统数据需要开通对应的数据获取权限。
另外,不同系统数据具有不同的存储模式,所以不同系统之间的数据难以共享、缺乏一致性,由此给业务分析造成了不便。
因此,如何解决现有技术中不同系统之间的数据难以共享,成为了目前亟待解决的技术问题。
技术内容本技术的主要目的在于提供一种数据整合方法、装置、设备及计算机可读存储介质,旨在解决现有技术中不同系统之间的数据难以共享的技术问题。
为实现上述目的,本技术提供一种数据整合方法,所述数据整合方法包括以下步骤:获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将用于调整所述初始数据的调整配置信息存储至所述初始数据库;在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息;若所述初始数据库中存在所述目标调整配置信息,则通过所述初始数据库中的预设更新引擎,获取所述目标调整配置信息,通过所述目标调整配置信息更新所述目标数据,并将更新后的目标数据反馈至对应系统。
可选地,所述获取系统的初始数据,将所述初始数据按照预设格式存储至初始数据库,并将用于调整所述初始数据的调整配置信息存储至所述初始数据库的步骤包括:获取各系统的初始数据,根据预设安全规则,将所述初始数据进行安全等级划分,并将各个安全等级数据添加对应的安全等级标识;将所述各个安全等级数据以及对应的安全等级标识分开存储至所述初始数据库中的相应区域;将用于调整所述各个安全等级数据的调整配置信息与所述各个安全等级数据进行关联存储。
可选地,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据;判断所述初始数据库中是否存在所述目标数据关联对应的调整配置信息;若所述初始数据库中不存在所述目标数据关联对应的调整配置信息,则生成并输出目标数据不可被配置的提醒消息;若所述初始数据库中存在所述目标数据关联对应的调整配置信息,则根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
可选地,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,判断预设缓存列表中是否存在所述数据更新指令对应的目标数据;若所述预设缓存列表中不存在所述目标数据,则在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
可选地,所述在接收到数据更新指令时,判断预设缓存列表中是否存在所述数据更新指令对应的目标数据的步骤之后,还包括:若所述预设缓存列表中存在所述目标数据,则将所述目标数据反馈至所述对应系统。
可选地,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤包括:在接收到数据更新指令时,获取所述对应系统的系统账号,并根据预设权限用户列表,判断所述对应系统是否为合法用户;若所述对应系统为非法用户,则生成并显示非法操作的提醒消息;若所述对应系统为合法用户,则在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息。
可选地,所述在接收到数据更新指令时,在所述初始数据库中获取所述数据更新指令对应的目标数据,并根据所述数据更新指令中的更新规则,判断所述初始数据库中是否存在与所述更新规则匹配的目标调整配置信息的步骤之后,还包括:若所述初始数据库中不存在与所述更新规则匹配的目标调整配置信息,则根据所述更新规则生成更新配置信息;根据所述更新配置信息更新所述目标数据,将更新后的目标数据反馈至对应系统,并将所述更新配置信息存储至所述初始数据库。