基于多源异构的城市地质数据集成关键技术研究
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
云计算技术的产生，使数据的处理从个人计算机或服务器转移到了因特网，而且实现了超级计算，用户只需要购买或通过因特网租用计算能力，不再需要购买成本昂贵的硬件系统（朴德慧，2015）。云计算通过将各种互联的计算、存储、数据、应用等资源进行有效整合并实现多层次的虚拟化与抽象，有效地将大规模的计算资源以可靠服务的形式提供给用户，从而将用户从复杂的底层硬件逻辑、网络协议、软件架构中解放出来（吴吉义等，2009）。云计算在科研、医学、天文学等各个领域有着广泛的应用前景（陈全等，2009）。而对于地质领域，中国地调局建设的“地质云”采用混合云技术架构，汇聚了大量的异构地质数据。系统完成了数十个国家地质数据库的云端统一注册管理，并实现13万余档地质资料的统一接入。地质调查专业用户可基于“地质云”业务网获取各类共享数据，普通社会用户可基于互联网在线获取地质信息产品。“地质云”开创了全新的工作模式，地质调查用户可以随时随地上传调查结果至云端，实现云端数据处理和储存，也可以实时从云端获取数据。野外作业人员可以通过地质云实现各类背景数据的自动推送，地调业务管理人员可实现云端在线处理项目管理。
关键词：多源异构;城市地质;监测预警;数据集成
Research on Key Technologies of Urban Geological Data Integration based on Multi-source Heterogeneity
FU Bo1，WANG Wenwen1，ZHANG Shimeng1，HAN Zheng1，LIU Zhao1，TAO Guangyi2
（rmation Center of Beijing Institute of Geology，Beijing 100195;
2.Beijing Zhongkeguanggu Languang Technology Co.，Beijing100041）
Abstract：Information islands of urban geological data are common. Breaking the information islands and realizing data fusion is an inevitable requirement for urban geological big data construction. Therefore，it is necessary to use multi-source heterogeneous technology to achieve data fusion. Structured，spatial，and unstructured urban geological data are processed according to aunified classification method，a unified ETL standard，a unified storage mode，and a unified scheduling method in relational and non-relational databases，so that data can be effectively managed and stored. The key technologies of multi-source heterogeneity are multi-source structured and unstructured data integration methods and the construction method of information resource management system，which are introduced in this paper.
基于多源异构的城市地质数据集成关键技术研究
作者：付博王文文张诗檬韩征刘钊陶光毅
来源：《城市地质》2020年第01期
摘;要：城市地质数据存在“信息孤岛”，打破“信息孤岛”实现数据融合是城市地质大数据建设的必然要求。因此，采用多源异构技术实现数据融合是十分必要的。多源异构数据集成方法是将结构化、空间、非结构化的城市地质数据按照统一的分类方式、统一的ETL标准、统一的存储模式和统一的调度方法在关系型、非关系型数据库中进行有效的存储和管理，其中涉及的关键技术包括用于多来源、多格式、多用途调查监测数据集成的结构化数据集成方法，用于不同介质、不同格式、不同标准成果资料集成的非结构化数据集成方法，以及用于存储多源异构城市地质数据的信息资源管理系统的建设方法。
Keywords：Multi-source heterogeneity; Urban geology; Monitoring and forecast; Data integration
0前言
大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程（张引等，2013）。就学术界而言，Nature早在2008年就推出了Big Data专刊，Science在2011年2月推出专刊《Dealing with Data》（孟小峰等，2013），说明大数据对于科学研究的重要性。越来越多的国家将大数据引入到生产生活的各个领域中，如美国6个联邦部门和机构宣布投资2亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术;英国政府发布了对公开数据进行研究的战略决策，建立了有“英国数据银行”之称的网站，进一步支持和开发大数据技术在科技、商业、农业等领域的发展。而在国内，2015年国务院发布了《促进大数据发展行动纲要》，明确指出了大数据的重要意义，大数据成为推动经济转型发展的新动力、重塑国家竞争优势的新机遇、提升政府治理能力的新途径（程学旗等，2016）。
物联网的概念于1999年由麻省理工学院的Auto-ID实验室提出，将书籍、鞋、汽车部件等物体装上微小的识别装置，就可以时刻知道物体的位置、状态等信息（刘强等，2010）。目前，就物联网概念而言，目前较为公认的物联网的定义是：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络（刘楷华等，2011）。物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段（刘晓峰等，2018），物联网用途广泛，遍及智能交通、环保、公共安全、智能消防、工业监测、卫生医疗、食品、敌情侦查和情报搜集等多个领域（刘浩力等，2011）。而在地质方面，北京市已经建成的“突发地质灾害监测预警系统”已经部署了各類野外传感器一千余台套，实现了对崩塌、滑坡、泥石流及采空塌陷等山区重点突发地质灾害隐患点的监测全覆盖。系统以GPRS和北斗卫星双通道传输模式实现数据传输，通过对其形变数据的自动和人工采集、分析，实现对其变化趋势的中短期预报。
关键词：多源异构;城市地质;监测预警;数据集成
Research on Key Technologies of Urban Geological Data Integration based on Multi-source Heterogeneity
FU Bo1，WANG Wenwen1，ZHANG Shimeng1，HAN Zheng1，LIU Zhao1，TAO Guangyi2
（rmation Center of Beijing Institute of Geology，Beijing 100195;
2.Beijing Zhongkeguanggu Languang Technology Co.，Beijing100041）
Abstract：Information islands of urban geological data are common. Breaking the information islands and realizing data fusion is an inevitable requirement for urban geological big data construction. Therefore，it is necessary to use multi-source heterogeneous technology to achieve data fusion. Structured，spatial，and unstructured urban geological data are processed according to aunified classification method，a unified ETL standard，a unified storage mode，and a unified scheduling method in relational and non-relational databases，so that data can be effectively managed and stored. The key technologies of multi-source heterogeneity are multi-source structured and unstructured data integration methods and the construction method of information resource management system，which are introduced in this paper.
基于多源异构的城市地质数据集成关键技术研究
作者：付博王文文张诗檬韩征刘钊陶光毅
来源：《城市地质》2020年第01期
摘;要：城市地质数据存在“信息孤岛”，打破“信息孤岛”实现数据融合是城市地质大数据建设的必然要求。因此，采用多源异构技术实现数据融合是十分必要的。多源异构数据集成方法是将结构化、空间、非结构化的城市地质数据按照统一的分类方式、统一的ETL标准、统一的存储模式和统一的调度方法在关系型、非关系型数据库中进行有效的存储和管理，其中涉及的关键技术包括用于多来源、多格式、多用途调查监测数据集成的结构化数据集成方法，用于不同介质、不同格式、不同标准成果资料集成的非结构化数据集成方法，以及用于存储多源异构城市地质数据的信息资源管理系统的建设方法。
Keywords：Multi-source heterogeneity; Urban geology; Monitoring and forecast; Data integration
0前言
大数据具有规模大、种类多、生成速度快、价值巨大但密度低的特点。大数据应用就是利用数据分析的方法，从大数据中挖掘有效信息，为用户提供辅助决策，实现大数据价值的过程（张引等，2013）。就学术界而言，Nature早在2008年就推出了Big Data专刊，Science在2011年2月推出专刊《Dealing with Data》（孟小峰等，2013），说明大数据对于科学研究的重要性。越来越多的国家将大数据引入到生产生活的各个领域中，如美国6个联邦部门和机构宣布投资2亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术;英国政府发布了对公开数据进行研究的战略决策，建立了有“英国数据银行”之称的网站，进一步支持和开发大数据技术在科技、商业、农业等领域的发展。而在国内，2015年国务院发布了《促进大数据发展行动纲要》，明确指出了大数据的重要意义，大数据成为推动经济转型发展的新动力、重塑国家竞争优势的新机遇、提升政府治理能力的新途径（程学旗等，2016）。
物联网的概念于1999年由麻省理工学院的Auto-ID实验室提出，将书籍、鞋、汽车部件等物体装上微小的识别装置，就可以时刻知道物体的位置、状态等信息（刘强等，2010）。目前，就物联网概念而言，目前较为公认的物联网的定义是：通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接起来，进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种网络（刘楷华等，2011）。物联网是新一代信息技术的重要组成部分，也是“信息化”时代的重要发展阶段（刘晓峰等，2018），物联网用途广泛，遍及智能交通、环保、公共安全、智能消防、工业监测、卫生医疗、食品、敌情侦查和情报搜集等多个领域（刘浩力等，2011）。而在地质方面，北京市已经建成的“突发地质灾害监测预警系统”已经部署了各類野外传感器一千余台套，实现了对崩塌、滑坡、泥石流及采空塌陷等山区重点突发地质灾害隐患点的监测全覆盖。系统以GPRS和北斗卫星双通道传输模式实现数据传输，通过对其形变数据的自动和人工采集、分析，实现对其变化趋势的中短期预报。