基于大数据的遥感数据质量管理探索

基于大数据的遥感数据质量管理探索

发表时间：2018-07-23T12:20:00.747Z 来源：《基层建设》2018年第18期作者：孙立军李小强仲健民[导读] 摘要：大数据几乎对每个领域都产生了影响，遥感数据作为大数据重要组成部分，其自身也在发生深刻变革。 32023部队辽宁大连 116023

摘要：大数据几乎对每个领域都产生了影响，遥感数据作为大数据重要组成部分，其自身也在发生深刻变革。本文结合大数据时代背景和遥感数据质量管控现势情况，对大数据在遥感数据质量管控方面进行初步探索，浅要分析大数据下的遥感数据质量管理模式。

关键词：大数据；遥感数据；质量管理；探索

1 引言

21世纪，人类进入信息社会，传感器和社会网络产生海量数据，数据积累的量变引发质变，越来越多的企业、行业和国家以数据为资源进行知识和智力开发，挖掘了数据内在的价值，逐步形成了大数据的概念。大数据指的其实就是“海量数据+复杂数据类型”及非结构化数据，其核心在于数据的挖掘和应用产生的多方位价值。具有数据体量（V olumes）巨大、数据类别（Variety）繁多、价值（Value）密度低、处理速度（Velocity）快的特点（简称4V）。

大数据几乎对每个领域都产生了影响，从表象看，大数据就是一个容量特别大，数据类别特别多的数据集，大概能达到PB的级别，其并不是一种新的技术，也不是一种新的产品，而是我们这个时代出现的一种新的现象。从内涵看，大数据的价值还在于大数据内部的关联、挖掘数据与数据的复杂关系以及数据（结构化与非结构化）与业务和决策间的关联等。从资源应用角度看，大数据是一种海量的数据状态以及应对这种状态的处理技术工具，还是未来社会的一项重要基础设施。

2遥感数据质量管理瓶颈

2.1 遥感大数据质量验收

遥感技术正在逐渐建立大数据体系结构，面对海量遥感数据，如何实现数据的质量与数量同步发展是当前一大难题。传统遥感数据质量验收数据量较少，所有项目可以实现一、二级验收100%，部分项目可以实现三级验收100%，数据量在人工验收能力承受范围之内。面对日益增加的遥感数据，验收任务陡增，传统的人工验收已逐渐不能适应当前任务形势。以立体测图为例，现在每年千幅级的任务数量，包含空三、采集、入库等工序，如果每一幅图、每一道工序都通过传统人工验收，需要1个人验收4年，一个验收组（4人）验收1年，才能够基本实现100%验收。传统验收模式效率低，并且对人的主观能动性要求极高，正面临巨大挑战。

2.2 遥感大数据的存储管理

数据生产过程中，产生的一些过程数据，极大地占用了存储空间。以正射影像为例，每一道数据处理工序都需要留存，以备在后期验收过程中出现问题可以及时修改，这就使得实际生产过程中需要原始数据量5倍之多的存储空间来完成任务。大数据对数据传输和数据管理都提出了较高的要求，在海量数据中，如何更快捷的检索、定位、传输数据，都是目前需要解决的难题，而目前的测绘软硬件都不能够完全满足大数据管理要求。

3 基于大数据的质量检验模式的探索

3.1 健全大数据下质量管理体系

建立完善的质量管理体系是加强遥感产品质量管理的重要措施，为及时生产高标准、高质量的遥感产品，从设计、生产建立起一套严密协调的高效能的管理系统。实施全面质量控制，对顶层设计、作业力量、业务机制、业务创新、奖惩措施等各个影响质量建设的因素，进行全面规范、完善和提高。明确规定各部门和每个岗位在测绘生产中的职责，使各项工作正规化、标准化、程序化。制定质量计划，加强质量过程跟踪机制建设，从数据源、数据资料、数据流转、阶段成果等各方面进行全方位的跟踪管控，抓好每一道工序的成果质量。

3.2 完善大数据下遥感数据管理系统

由于数据量大，造成数据在传输、管理上显得有些“笨重”，如何高效快捷的实现数据管理和传输，可以从以下2个方面突破。一是依托集群系统，研究制定协同作业方案，实现数据实时共享和可视化，为数据接边和阶段性成果监视构建交流平台。同时，建立合理有效的数据管控级别，对作业员、指导工程师、验收员、网络管理员分别设置不同级别的访问和使用权限，既节省时间，同时对协同作业有极大的促进作用。二是减少数据流通次数，建立健全合理畅通的数据流通渠道，并且应避免数据的重复存储和版本信息的混乱。

3.3 研发大数据下智能质量分析系统

研发并配备大数据下遥感数据管理系统相应的软件系统，进一步提高质量检查的智能化水平。一方面，针对每一项任务，制定质量评定标准和相应的匹配模板，将所有的数据（成品和半成品）按照模板进行统一规范，利用智能匹配技术和结构分析技术，在少量人工干预的情况下，进行数据的统一质量评定。对作业人员每天提交的数据，可以充分利用夜间空闲时间，利用大数据分析系统和相关质量评定系统，统计数据质量情况、生成相应报告并反馈作业人员，以此实现数据质量跟踪检查。另一方面，依靠自身解决生产过程当中的小问题。充分调动人员积极性，依托科技创新，鼓励作业人员开发小程序、小软件，提高自查能力和效率。同时应考虑集中单位技术力量，研发系统高效的质量检查评价系统。

3.4 根据任务性质和需求把握主次

每一项任务都有其特定需求，如立体采集重点把握数据定位、影像判读、要素取舍、表示方法等，入库数据重点把握属性性质、拓扑关系等，地形图、军事交通图与军事地理图等不同类型的图表示的重点和方法也不同……这就需要根据任务需求、产品性质，明确验收重点，在坚持原则性问题不动摇的基础上合理把握，减少不必要的工作量。

4 结束语

大数据时代的到来，标志人类将进入数字化信息社会，构建世界信息架构。测绘数据作为基础性数据，既可以是大数据的框架数据，也可以依托大数据对自身进行不断的丰富完善。遥感数据成果质量的管理验收工作，必将在大数据的支撑下实现质的飞跃。

参考文献：

[1]孔德智，杨晓明，张莹莹.大数据浅析[J].计算机科学与技术，2013，31（11）：85-89.

[2]胡雄伟，张宝林，李抵飞.大数据研究与应用综述（上）[J].标准科学，2013，9：29-34.