时空大数据与云平台之GIS关键技术
时空大数据平台能力汇总
地名地址规范化处理 数据质检
56
数据清洗
57
数据融合
58
数据入库
59
分析模型库
知识服务
60
知识服务
推演模型库
61
业务知识链
能力描述 要素服务（WFS）支持用户在分布式的环境下通过HTTP对地理要素进行插入，更新，删除，检索和发现服务。该 服务根据HTTP客户请求返回要素级的GML(Geography Markup Language、地理标识语言)数据，并提供对要素的 增加、修改、删除等事务操作，是对Web地图服务的进一步深入。WFS通过OGC Filter构造查询条件，支持基于 空间几何关系的查询，基于属性域的查询，当然还包括基于空间关系和属性域的共同查询。
WFS提供如下操作: GetCapabitities：返回服务级元数据，它是对服务信息内容和要求参数的一种描述。 DescribeFeatureType：生成一个Schema用于描述WFS实现所能提供服务的要素类型。Schema描述定义了在输入 时WFS实现如何对要素实例进行编码以及输出时如何生成一个要素实例。 GetFeature：可根据查询要求返回一个符合GML规范的数据文档。 LockFeature：用户通过Transaction请求时，为了保证要素信息的一致性，即当一个事务访问一个数据项时， 其他的事务不能修改这个数据项，对要素数据加要素锁。 地图服务（WMS）利用具有地理空间位置信息的数据制作地图。其中将地图定义为地理数据可视的表现。能够根 据用户的请求返回相应的地图（包括PNG，GIF，JPEG等栅格形式或者是SVG和WEB CGM等矢量形式）。WMS支持 网络协议HTTP，所支持的操作是由URL定义的。 WMS提供如下操作: GetCapabitities：返回服务级元数据，它是对服务信息内容和要求参数的一种描述。 GetMap：返回一个地图影像，其地理空间参考和大小参数是明确定义了的。 GetFeatureInfo：返回显示在地图上的某些特殊要素的信息。 目录服务（CSW）用来协助用户在已有的 Web 服务中搜索、发现及注册空间数据和服务元信息（元数据）的网 络目录服务协议。 目录中的元信息（元数据）是指可以被人类或计算机软件查询并呈现的资源的规格参数，是关于资源的不同类 型的描述信息，可用于资源的评估和进一步的信息处理。资源的元信息在 CSW 服务中以记录的形式存在，一条 记录就代表了一个资源的元信息，资源可以是空间数据或者空间服务，甚至指定 URI 地址的任何 MIME 类型的 文件。 CSW提供如下操作： 地名地址要素服务（Web Feature Gazetteer Services简称WFS-G），主要是提供地名、地址数据的查询、检 索功能。 WFS-G提供如下支持 GetCapabilities请求用于查询WFS-G服务的能力信息，包括支持的操作、支持的格式、空间坐标、包含的资源 等。它主要的目的是使客户端在使用GetFeature请求前可以对WFS-G服务有一个基本的了解，从而可以设置正确 的参数。 用于生成一个 Schema 描述，该 Schema 描述了 WFS-G 服务提供的要素类型（Feature Type），以及要素类 覆盖服务是面向空间影像数据，它将包含地理位置的地理空间数据作为"覆盖（COverage）"在网上相互交换， 如卫星影像、数字高程数据等栅格数据。
智慧城市时空大数据汇聚系统关键技术研究
第４２卷第９期２０１９年９月测绘与空间地理信息ＧＥＯＭＡＴＩＣＳ＆ＳＰＡＴＩＡＬＩＮＦＯＲＭＡＴＩＯＮＴＥＣＨＮＯＬＯＧＹＶｏｌ.４２ꎬＮｏ.９Ｓｅｐｔ.ꎬ２０１９收稿日期:２０１８－０７－０９基金项目:智慧广州时空信息云平台建设项目(广州市工信委项目ＧＺＩＰ２０１６－Ａ５－１４７)资助作者简介:杨㊀梅(１９８７－)ꎬ女ꎬ贵州贵阳人ꎬ高级工程师ꎬ硕士ꎬ２０１１年毕业于武汉大学计算机专业ꎬ主要从事ＧＩＳ应用系统开发及应用工作ꎮ智慧城市时空大数据汇聚系统关键技术研究杨㊀梅ꎬ周㊀勍ꎬ杨卫军ꎬ何华贵ꎬ张鹏程(广州市城市规划勘测设计研究院ꎬ广东广州５１００６０)摘要:智慧城市建设依赖于物联网㊁云计算㊁大数据㊁人工智能等新一代信息技术ꎬ时空大数据是智慧城市建设的基础ꎬ实现海量㊁多源㊁异构的时空大数据的接入和融合是智慧城市建设的首要任务ꎮ本文在地理时空大数据概念的基础上ꎬ首先分析了时空大数据的内容㊁汇聚方式和数据仓库建设ꎻ其次重点研究了时空大数据汇聚系统框架及关键技术ꎬ使用基于ＦＭＥ的时空数据汇聚ꎬ基于Ｋａｆｋａ的数据收集及转发ꎬ基于Ｆｌｕｍｅ的数据采集和基于流式技术的数据采集与处理来设计ꎮ该技术在智慧广州时空信息云平台建设项目中得到了实现和应用ꎮ关键词:时空大数据ꎻ智慧城市ꎻ汇聚ꎻ多源异构中图分类号:Ｐ２０８㊀㊀㊀文献标识码:Ａ㊀㊀㊀文章编号:１６７２－５８６７(２０１９)０９－００７８－０３ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＴｉｍｅａｎｄＳｐａｃｅＢｉｇＤａｔａＣｏｎｖｅｒｇｅｎｃｅＳｙｓｔｅｍｉｎＳｍａｒｔＣｉｔｙＹＡＮＧＭｅｉꎬＺＨＯＵＱｉｎｇꎬＹＡＮＧＷｅｉｊｕｎꎬＨＥＨｕａｇｕｉꎬＺＨＡＮＧＰｅｎｇｃｈｅｎｇ(ＧｕａｎｇｚｈｏｕＵｒｂａｎＰｌａｎｎｉｎｇ＆ＤｅｓｉｇｎＳｕｒｖｅｙＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅꎬＧｕａｎｇｚｈｏｕ５１００６０ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:ＴｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙｄｅｐｅｎｄｓｏｎｔｈｅｎｅｗｇｅｎｅｒａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙꎬｓｕｃｈａｓｔｈｅＩｎｔｅｒｎｅｔｏｆｔｈｉｎｇｓꎬｃｌｏｕｄｃｏｍｐｕｔｉｎｇꎬｌａｒｇｅｄａｔａꎬａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅａｎｄｓｏｏｎ.Ｌａｒｇｅａｎｄｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａｉｓｔｈｅｆｏｕｎｄａｔｉｏｎｏｆｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙ.Ｉｔｉｓｔｈｅｐｒｉｍａｒｙｔａｓｋｏｆｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙｔｏｒｅａｌｉｚｅｔｈｅａｃｃｅｓｓａｎｄｉｎｔｅｇｒａｔｉｏｎｏｆｌａｒｇｅꎬｍｕｌｔｉ－ｓｏｕｒｃｅａｎｄｈｅｔｅｒｏｇｅｎｅｏｕｓｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａ.Ｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｃｏｎｃｅｐｔｏｆｇｅｏｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａꎬｔｈｉｓｐａｐｅｒｆｉｒｓｔａｎａｌｙｚｅｓｔｈｅｃｏｎ￣ｔｅｎｔｏｆｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａꎬｔｈｅｗａｙｏｆａｇｇｒｅｇａｔｉｏｎａｎｄｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｄａｔａｗａｒｅｈｏｕｓｅ.Ｔｈｅｎｉｔｆｏｃｕｓｅｓｏｎｔｈｅｆｒａｍｅｗｏｒｋａｎｄｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａａｇｇｒｅｇａｔｉｏｎｓｙｓｔｅｍꎬｕｓｉｎｇＦＭＥｂａｓｅｄｓｐａｔｉｏ－ｔｅｍｐｏｒａｌｄａｔａａｇｇｒｅｇａｔｉｏｎꎬｄａｔａｃｏｌｌｅｃｔｉｏｎａｎｄｆｏｒ￣ｗａｒｄｉｎｇｂａｓｅｄｏｎＫａｆｋａꎬｂａｓｅｄｏｎＦｌｕｍｅＤａｔａａｃｑｕｉｓｉｔｉｏｎａｎｄｄａｔａａｃｑｕｉｓｉｔｉｏｎａｎｄｐｒｏｃｅｓｓｉｎｇｂａｓｅｄｏｎｓｔｒｅａｍｉｎｇｔｅｃｈｎｏｌｏｇｙａｒｅｄｅ￣ｓｉｇｎｅｄ.ＩｔｈａｓｂｅｅｎｒｅａｌｉｚｅｄａｎｄａｐｐｌｉｅｄｉｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｐｒｏｊｅｃｔｏｆｓｍａｒｔＧｕａｎｇｚｈｏｕｓｐａｔｉｏｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎｃｌｏｕｄｐｌａｔｆｏｒｍ.Ｋｅｙｗｏｒｄｓ:ｓｐａｃｅ－ｔｉｍｅｂｉｇｄａｔａꎻｓｍａｒｔｃｉｔｙꎻｃｏｎｖｅｒｇｅｎｃｅꎻｍｕｌｔｉ－ｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｉｔｙ０㊀引㊀言智慧城市是运用物联网㊁云计算㊁大数据㊁地理信息集成等新一代信息技术ꎬ促进城市规划㊁建设㊁管理和服务智慧化的新理念和新模式ꎮ时空大数据是同时具有时间和空间维度的数据ꎬ现实世界中的数据超过８０％与地理位置有关ꎻ时空大数据包括时间㊁空间㊁专题属性三维信息ꎬ具有多源㊁海量㊁更新快速的综合特点[１]ꎮ智慧城市与大数据密切相关ꎬ在智慧城市建设中ꎬ实现多源数据的汇聚ꎬ并对汇聚的数据统一格式㊁统一时空基准ꎬ添加三域标识(空间㊁时间㊁属性)ꎬ实现多源数据的融合和关联中一项非常重要的基础工程[２－３]ꎮ智慧城市时空大数据汇聚系统实现两点内容:①时空信息汇聚ꎮ实现海量㊁多源㊁异构的时空信息大数据的接入和数据输出ꎻ②时空信息融合ꎮ对数据进行清洗ꎬ将汇聚过来的原始数据进行清洗㊁关联和重新组织ꎬ将数据拼装成有规则信息ꎬ为业务系统提供数据服务ꎮ１㊀概㊀述１.１㊀时空大数据汇聚内容智慧城市时空大数据主要包括时序化的基础地理信息数据㊁公共专题数据㊁智能感知实时数据和空间规划数据ꎬ构成智慧城市建设所需的地上下㊁室内外㊁虚实一体化的时空数据资源ꎬ如图１所示中的资源汇聚内容ꎮ其中ꎬ基础地理信息数据包括传统数据ꎬ以及实景影像㊁倾斜影像和激光点云等新型测绘产品数据ꎻ公共专题数据包括人口㊁法人㊁宏观经济㊁ＰＯＩ兴趣点等数据ꎻ智能感知实时数据包括各种公共设施及各类专业传感器感知的具有时间标识的即时数据ꎻ空间规划数据包括城市发改㊁国土㊁规划㊁环保等不同行业部门制定的发展蓝图ꎮ集成基础地理信息数据ꎬ建立地上下㊁室内外㊁虚实一体化的全空间ꎻ汇聚公共专题数据㊁智能感知的实时数据和空间规划数据ꎬ并进行时空化ꎬ为智慧城市建设提供强大数据支撑ꎮ图１㊀时空大数据处理架构Ｆｉｇ.１㊀Ｓｐａｔｉｏｔｅｍｐｏｒａｌｄａｔａｐｒｏｃｅｓｓｉｎｇａｒｃｈｉｔｅｃｔｕｒｅ１.２㊀时空大数据汇聚方式时空大数据汇聚ꎬ或者称作ＥＴＬꎬ将不同的业务系统的数据加载到数据仓库中ꎮ数据汇聚有多种方式ꎬ按照数据汇聚的传输方式ꎬ可以分为文件传输㊁数据抽取㊁内容爬去和消息推送等方式ꎮ１)文件传输ꎮ时空大数据包括结构化㊁半结构化㊁非结构化数据ꎬ不同的数据类型均可用文件形式传输ꎮ文件传输又分为离线和在线方式传输ꎬ离线方式即为存储介质拷贝ꎬ此方式较为安全ꎬ在线方式在网络允许并保证安全情况下开展ꎮ２)数据抽取ꎮ针对关系型数据库数据的汇聚ꎬ需要适配多种数据库类型ꎬ解决增量数据抽取㊁数据传输中断和系统数据库变更等情况:①多数据源适配ꎮ业务系统的数据库是不确定的ꎬ可能是ＭｙＳｑｌ㊁ＭＳＳＱＬ㊁ＤＢ２㊁Ｏｒａｃｌｅ等各种各样的数据源ꎬ需要适配各种数据源ꎬ并将数据抽取到数据库中ꎮ②增量数据抽取ꎮ业务系统是２４ｈ不停歇运转ꎬ对数据量较大的表ꎬ无法全量抽取ꎬ只能增量抽取ꎬ如何判断哪些数据是增量成为一个难点问题ꎮ主流的方法包括时间戳㊁ＯＲＡＣＬＥ的ＣＤＣꎬ以及数据备份日志ꎮ③数据传输过程中断ꎮ由于业务系统㊁网络等原因ꎬ会出现数据同步过程中同步任务中断ꎮ如何确保任务重启后不出现数据重复㊁断点续传的问题ꎮ④上游系统数据结构变更未通知ꎮ经常会出现上游业务系统升级改造ꎬ数据库表结构发生变更ꎬ而未及时通知下游的数据中心ꎬ导致抽取的数据不对㊁缺失ꎮ３)内容爬取ꎮ针对互联网上的公开数据ꎬ根据爬取数据的类型ꎬ确定爬虫程序进行数据收集ꎬ如非结构化的图片文件类采用文件传输方式ꎬ结构化数据采用数据抽取或直接入库方式ꎮ４)消息推送ꎮ针对平台中需要的疫情信息ꎬ制定规则进行实时收集㊁分析ꎬ分析结论可通过定时消息推送方式进行数据汇聚㊁知识提取ꎮ２㊀时空大数据汇聚系统设计２.１㊀系统架构基于ＦＭＥ和Ｈａｄｏｏｐ的ＲＥＳＴＡＰＩ实现多源数据进行汇聚㊁更新㊁交换ꎮ系统存储采用ＨＤＦＳꎮ在登录方面ꎬ调用平台统一身份验证系统实现用户登录和单点跳转ꎬ界面遵循扁平化的设计风格ꎬ系统框架采用ＡＳＰ.ＮＥＴＭＶＣꎬ前端使用ＪＱｕｅｒｙ㊁Ｂｏｏｔｓｔｒａｐ技术ꎮ总体的时空大数据汇交系统框架结构如图２所示ꎮ图２㊀时空大数据汇交系统框架结构图Ｆｉｇ.２㊀Ｆｒａｍｅｗｏｒｋｏｆｓｐａｔｉｏ－ｔｅｍｐｏｒａｌｌａｒｇｅｄａｔａ㊀㊀㊀㊀ｉｎｔｅｒｃｈａｎｇｅｓｙｓｔｅｍ２.２㊀功能设计时空大数据汇聚系统通过接入统一资源目录ꎬ对全市可以共享的数据进行汇聚和交换ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户管理㊁资源管理㊁工作空间管理㊁任务计划管理㊁日志监控等功能ꎮ时空大数据汇聚系统功能结构如图３所示ꎮ图３㊀时空大数据汇聚系统功能结构图Ｆｉｇ.３㊀Ｆｕｎｃｔｉｏｎａｌｓｔｒｕｃｔｕｒｅｏｆｓｐａｔｉｏｔｅｍｐｏｒａｌｌａｒｇｅ㊀㊀㊀㊀ｄａｔａａｇｇｒｅｇａｔｉｏｎｓｙｓｔｅｍ９７第９期杨㊀梅等:智慧城市时空大数据汇聚系统关键技术研究３㊀关键技术３.１㊀基于ＦＭＥ的时空数据汇聚ＦＭＥ(ＦｅａｔｕｒｅＭａｎｉｐｕｌａｔｅＥｎｇｉｎｅꎬ简称ＦＭＥ)是一套第三方空间数据转换处理系统ꎬ它是完整的空间ＥＴＬ解决方案ꎮ实现了超过２５０种不同空间数据格式(模型)之间的转换[４]ꎬ为进行快速㊁高质量㊁多需求的数据转换应用提供了高效㊁可靠的手段ꎮ借助于ＦＭＥ强大的空间数据处理转换的能力ꎬ汇聚系统集成了ＦＭＥ的数据处理接口[５]ꎬ形成了一套流程化时空数据汇聚系统ꎮ数据汇聚流程如图４所示ꎮ图４㊀数据汇聚流程图Ｆｉｇ.４㊀Ｄａｔａａｇｇｒｅｇａｔｉｏｎｆｌｏｗｃｈａｒｔ３.２㊀基于Ｋａｆｋａ的数据收集与分发面对平台所需要的海量数据传输及数据类型众多的特点ꎬ采用Ｋａｆｋａ集群作为消息中间件[７]ꎬ来应对物联网海量实时数据的接收ꎮＫａｆｋａ集群架构如图５所示ꎮ利用它具有高吞吐的特性ꎬ将实时数据快速导入分布式系统的内存当中ꎬ当消息队列中消息过多时还可以写入磁盘ꎮ这个特性保证了大数据实时导入数据不会因写入过慢而丢失ꎮ在Ｋａｆｋａ中还可以将不同的物联网数据写入不同的主题ꎬ例如温度㊁ＰＭ２.５等ꎬ以便消费者依据不同的主题进行消费ꎬ这样也方便不同主题分类以便于之后的数据挖掘ꎮ３.３㊀基于Ｆｌｕｍｅ的数据采集面对大数据收集㊁多数据源以及高并发的特点ꎬ我们采用Ｆｌｕｍｅ作为数据收集工具ꎮＦｌｕｍｅ可以实时监控数据源ꎬＦｌｕｍｅ具有ｍｅｍｅｒｙ和ｄｉｓｋ两种传输途径ꎮ采用Ｆｌｕｍｅ集群实现负载均衡来应对高并发压力ꎬ采用ｍｅｍｅｒｙｃａｎｎｅｌ才作为数据传输通道使传输速度更快ꎬ来保证数据的实时性ꎮ采用Ｋａｆｋａ作为消息队列ꎬ将数据导入Ｋａｆｋａ集群ꎬＦｌｕｍｅ集群架构如图６所示ꎮ３.４㊀基于流式技术的数据采集与处理日志数据是时空云平台重要的大数据之一ꎬ通过对图５㊀Ｋａｆｋａ集群架构Ｆｉｇ.５㊀Ｋａｆｋａｃｌｕｓｔｅｒａｒｃｈｉｔｅｃｔｕｒｅ图６㊀Ｆｌｕｍｅ集群架构图Ｆｉｇ.６㊀Ｆｌｕｍｅｃｌｕｓｔｅｒａｒｃｈｉｔｅｃｔｕｒｅｄｉａｇｒａｍ日志数据的分析挖掘ꎬ可以多方位分析平台的各种指标ꎬ支撑平台运维ꎬ辅助决策ꎮ日志数据的特点是数据增长快ꎬ总量大ꎬ要想实时对存量日志数据进行分析几乎不可能ꎮ利用流式技术可以解决日志实时分析的问题ꎮ流式数据采集流程如图７所示ꎮ图７㊀流式数据采集流程Ｆｉｇ.７㊀ＦｌｏｗｄａｔａａｃｑｕｉｓｉｔｉｏｎｐｒｏｃｅｓｓＦｌｕｍｅ是一个高可用的㊁高可靠的ꎬ分布式的海量日志采集㊁聚合和传输的系统[８]ꎬＦｌｕｍｅ支持在日志系统中定制各类数据发送方ꎬ用于收集数据ꎮＫａｆｋａ是一个分布式㊁高可用的消息系统ꎬ最大的特性就是可以实时地处理大量数据以满足各种需求场景:比如基于ｈａｄｏｏｐ的批处理系统㊁低延迟的实时系统㊁ｓｔｏｒｍ/Ｓｐａｒｋ流式处理引擎[６]ꎬＷｅｂ/ｎｇｉｎｘ日志㊁访问日志ꎬ消息服务等ꎮ汇聚系统利用Ｆｌｕｍｅ进行增量日志的采集ꎬ源源不断地传输到Ｋａｆｋａꎬ由Ｋａｆｋａ针对不同类型的数据按不同的㊀㊀(下转第８４页)２０１５至２０２０年光伏发电量将增加２.５倍(一)[ＥＢ/ＯＬ].ｈｔｔｐ://ｗｗｗ.ｓｏｌａｒｐｗｒ.ｃｎ/ｍ.ｐｈｐ?ｉｄ＝３１２７１ꎬ２０１７.６.１３/２０１８.３.６.[２]㊀徐福圆.基于遥感图像的屋顶面积识别及屋顶光伏容量估计[Ｄ].杭州:杭州电子科技大学ꎬ２０１６. [３]㊀郭晓林.基于屋顶面积的徐州市屋顶太阳能光伏潜力评估[Ｄ].徐州:中国矿业大学ꎬ２０１５.[４]㊀刘光旭.屋顶可用太阳能资源评估研究 以２０００年江苏省数据为例[Ｊ].长江流域资源与环境ꎬ２０１０ꎬ１９(１１):１２４４－１２４８.[５]㊀梅晓丹ꎬ毛学刚ꎬ范文义ꎬ等.[Ｊ].测绘工程ꎬ２０１５ꎬ２４(５):２４－２７.[６]㊀Ｔ.Ａ.ＨｕｌｄꎬＭ.úｒｉꎬＥ.Ｄ.Ｄｕｎｌｏｐ.ＧＩＳ－ｂａｓｅｄｅｓｔｉｍａｔｉｏｎｏｆｓｏｌａｒｒａｄｉａｔｉｏｎａｎｄｐｖｇｅｎｅｒａｔｉｏｎｉｎｃｅｎｔｒａｌａｎｄｅａｓｔｅｒｎｅｕｒｏｐｅｏｎｔｈｅｗｅｂ[Ｃ]//Ｐｒｏｃ.Ｏｆ９ｔｈＥＣＧＩ＆ＧＩＳＷｏｒｋ￣ｓｈｏｐꎬＥＳＤＩＳｅｒｖｉｎｇｔｈｅＵｓｅｒꎬＡＣｏｒｕñａꎬＳｐａｉｎꎬ２００３. [７]㊀吕扬ꎬ张显峰ꎬ刘羽.建筑物尺度的太阳能资源潜力估算模型研究[Ｊ].北京大学学报:自然科学版ꎬ２０１３ꎬ４９(４):６５０－６５６.[８]㊀刘羽ꎬ张显峰ꎬ吕扬.基于风云卫星数据的新疆太阳能资源潜力评价方法研究[Ｊ].太阳能学报ꎬ２０１４ꎬ３５(７):１２９５－１３０２.[９]㊀姜红艳ꎬ梁立恒ꎬ王明常.基于ＬｉＤａｒ点云数据的地物几何特征提取与制图[Ｊ].测绘与空间地理信息ꎬ２０１８ꎬ４１(４):４７－５０.[１０]㊀曹林ꎬ代劲松ꎬ庞勇ꎬ等.集成ＬｉＤＡＲ和辐射模型的植被遮挡下城市屋顶太阳能估算[Ｊ].林业科学ꎬ２０１４ꎬ５０(２):９９－１１０.[１１]㊀张显峰ꎬ吕扬ꎬ刘羽.顾及树木的城市三维建模及其在太阳能潜力评价中的应用[Ｊ].应用基础与工程科学学报ꎬ２０１４ꎬ２２(３):４１５－４２５.[１２]㊀Ｐ.ＲｅｄｗｅｉｋꎬＣ.ＣａｔｉｔａꎬＭ.Ｂｒｉｔｏ.Ｓｏｌａｒｅｎｅｒｇｙｐｏｔｅｎｔｉａｌｏｎｒｏｏｆｓａｎｄｆａｃａｄｅｓｉｎａｎｕｒｂａｎｌａｎｄｓｃａｐｅ[Ｊ].ＳｏｌａｒＥｎｅｒｇｙꎬ２０１３ꎬ９７:３３２－３４１.[１３]㊀王志敏ꎬ任艳男ꎬ齐井超ꎬ等.竖直面上太阳辐射的模拟计算研究[Ｊ].可再生能源ꎬ２０１７ꎬ３２(２):２０７－２１２. [１４]㊀杨卫国ꎬ夏红卫ꎬ魏生贤ꎬ等.竖直墙面不同方位上太阳辐射量的计算分析[Ｊ].西南师范大学学报ꎬ２００８ꎬ３３(２):２２－２５.[１５]㊀Ｔ.Ｔ.ＣｈｏｗꎬＡ.Ｌ.Ｓ.ＣｈａｎꎬＫ.Ｆ.ＦｏｎｇꎬＺ.Ｌｉｎ.ＨｏｎｇＫｏｎｇｓｏｌａｒｒａｄｉａｔｉｏｎｏｎｂｕｉｌｄｉｎｇｆａｃａｄｅｓｅｖａｌｕａｔｅｄｂｙｎｕｍｅｒｉｃａｌｍｏｄｅｌｓ[Ｊ].ＡｐｐｌｉｅｄＴｈｅｒｍａｌＥｎｇｉｎｅｅｒｉｎｇꎬ２００５(２５):１９０８－１９２１.[１６]㊀周芳ꎬ胡明辅ꎬ周国平ꎬ等.铅垂面上太阳辐射计算方法探讨[Ｊ].建筑节能ꎬ２００７ꎬ３５(１９５):５５－５９.[编辑:任亚茹](上接第８０页)模式进行分发ꎬ最后由ＳｐａｒｋＳｔｒｅａｍｉｎｇ进行流式计算ꎬ从而达到日志实时分析的目的ꎮ４㊀时空大数据汇聚系统实现通过时空大数据汇交系统对广州市可以共享的数据进行汇聚融合[９]ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户登录㊁系统首页㊁仓库管理㊁任务管理㊁日志监控㊁资源管理㊁分布式文件(ＨＤＦＳ)管理等功能ꎮ通过任务管理ꎬ可查看任务信息和任务运行情况ꎬ任务管理可通过任务的状态查看任务列表(已完成㊁正在排队㊁正在运行)㊁根据关键词搜索任务㊁删除已完成的任务记录㊁取消正在运行和正在排队的任务ꎮ日志主要记录用户对工作空间的操作(上传㊁删除㊁运行等)㊁工作空间的名称㊁访问路径㊁用户的ＩＰ地址㊁用户名称㊁操作类型㊁开始时间㊁操作结果ꎮ通过日志监控ꎬ可按时间㊁查询类型㊁结果等查询相关日志ꎮ分布式文件(ＨＤＦＳ)管理ꎬ用户可以将大数据文件上传至时空大数据汇聚系统的ＨＤＦＳ集群ꎬ也可以下载ＨＤＦＳ集群上的文件ꎮ５㊀结束语本文研究了智慧城市时空大数据汇聚系统建设的关键技术ꎬ以广州市为例开展了实验ꎬ实现了智慧广州时空大数据汇聚系统ꎬ取得了合理的结果ꎮ该项研究成果作为智慧广州时空信息云平台的重要组成部分ꎬ已汇聚融合了国土㊁城管㊁园林㊁教育㊁公安等多个局委办的时空数据ꎬ并在城市规划和城市建设中得到应用ꎮ后续工作主要是继续汇聚多个部门专题数据和实时感知数据ꎬ更好地为其他行业或部门的应用及决策提供数据支撑ꎮ参考文献:[１]㊀王家耀ꎬ武芳ꎬ郭建忠ꎬ等.时空大数据面临的挑战与机遇[Ｊ].测绘科学ꎬ２０１７ꎬ４２(７):１－７.[２]㊀向红梅ꎬ郭明武.城市地理时空大数据管理与应用平台建设技术和方法研究[Ｊ].测绘通报ꎬ２０１７(１１):９１－９５. [３]㊀顾荣.大数据处理技术与系统研究[Ｄ].南京:南京大学ꎬ２０１６.[４]㊀李刚ꎬ朱庆杰ꎬ张秀彦ꎬ等.基于ＦＭＥ的城市ＧＩＳ基础空间数据格式转换[Ｊ].测绘通报ꎬ２００６(４):１７－２０. [５]㊀熊登亮ꎬ贵仁义ꎬ赵俊三ꎬ等.基于ＦＭＥ的空间数据处理实现[Ｊ].四川测绘ꎬ２００７(３):１１９－１２１.[６]㊀李祥池.基于ＥＬＫ和ＳｐａｒｋＳｔｒｅａｍｉｎｇ的日志分析系统设计与实现[Ｊ].电子科学技术ꎬ２０１５(６):６７４－６７８. [７]㊀牛牧.基于Ｋａｆｋａ的大规模流数据分布式缓存与分析平台[Ｄ].长春:吉林大学ꎬ２０１６.[８]㊀陈飞ꎬ艾中良.基于Ｆｌｕｍｅ的分布式日志采集分析系统设计与实现[Ｊ].软件ꎬ２０１６(１２):８２－８８. [９]㊀吴张峰ꎬ夏兰芳.多源异构ＰＯＩ融合方法及应用[Ｊ].测绘通报ꎬ２０１８(３):１４３－１４６.[编辑:任亚茹]。
地理信息系统中的数据融合技术
地理信息系统中的数据融合技术地理信息系统（Geographic Information System，简称GIS）是一种将地理空间数据与非空间数据进行集成、存储、检索、分析和展示的技术系统。
它在许多领域起到了重要的作用，如城市规划、自然资源管理和应急响应等。
而在GIS的应用过程中，数据融合技术是至关重要的环节。
一、数据融合技术的定义及意义数据融合技术是指将来自不同数据源的数据进行整合和处理的技术方法。
在GIS中，数据源可以包括卫星遥感数据、空间数据库、传感器数据等，而这些数据往往具有不同的格式、分辨率和精度。
通过数据融合技术，可以有效地将这些异构数据整合为统一的数据集，提高数据质量和准确性。
数据融合技术在GIS中的应用具有广泛的意义。
首先，数据融合可以减少数据冗余和重复采集，提高数据利用率。
其次，通过整合不同来源的数据，可以获得更全面、综合的地理信息，进而为决策提供更准确的依据。
此外，数据融合还可以用于监测和分析，帮助发现数据之间的关联性和规律性，为问题的解决提供更深入的洞察。
二、数据融合技术的方法在GIS中，有多种方法可用于数据融合，常见的方法包括：1. 特征级融合：特征级融合是指将不同源数据中的特征进行提取和融合。
通过分析各类数据的特征，并将它们进行统一的表示和处理，可以得到更综合的地理信息。
2. 图像级融合：图像级融合是指将来自不同传感器的图像进行融合，生成更高分辨率和更丰富信息的影像数据。
这种方法常用于卫星遥感数据的处理，可以在细节上提高图像的清晰度和质量。
3. 数据库级融合：数据库级融合是指将来自不同数据库的数据进行整合和管理。
通过建立统一的数据库模型和数据标准，可以实现各个数据库的数据共享和交互，提高数据的一致性和可访问性。
4. 规则级融合：规则级融合是指结合专家知识和规则，通过一定的逻辑和推理方法，对不同数据进行融合和推断。
这种方法常用于模型建立和预测分析等应用中，可以提高数据的解释性和应用价值。
时空大数据与云平台建设方案
Ⅴ
Ⅳ
加入共享目录（租户）
管理员经过审核后将数据或服务 地址映射至衡阳市时空信息大数 据共享目录.
3 核心需求之四—应用更加简单
2 市县一体化理论基础—六位一体化的原则
标准一体化
一体化平台建设标准、基础测绘数 据标准、地理框架数据标准、地理 信息服务标准
硬件一体化
计算资源、存储资源、网络资源一 体化建设、一体化管理、
0 数据资源方面
空
时
DLG数据 DOM数据 三维数据 专题数据 。。。
看到超市的过去
二维
动态更新 实时数据 民生数据（水电气） 运营商数据
展在示。城。市 。
的现
规划数据 数据挖掘 模拟推算 大数据分析 。。。
展望城市的未来
多维
0 平台主要功能
按需提供软、硬件、数据资源 按需快速搭建平台 按需提供在线GIS功能服务
15 0
10 0
5 0
0 数据生产费用
3 0 2 0
软件开发费用
5
3
0
0
3
3
0
0
0
0
基础硬件费用
基础软件费用
单位：万元
3 0
0 0
人力资源费用
1
0
基础版
政务版
公众版
2 县级平台建设技术的问题—技术能力不足
建设前所需技术能力
项目设计删选能力
项目招投标把关
常规模式—依据一期建设经验
按照国家标准一个完整县级数字城市建设项目，建设单位的工作
一个平台
多种应用模式
2 一套标准体系
市县一体化基础测绘数据标准
建立衡阳市地理实体编码体系，规范数据生产标准与流程，建 立数据存储模型，增加地理实体时间域属性
地理信息技术专业空间大数据研究地理信息技术专业空间大数据的处理和分析方法
地理信息技术专业空间大数据研究地理信息技术专业空间大数据的处理和分析方法地理信息技术专业空间大数据的处理和分析方法地理信息技术（Geographic Information Technology，简称GIT）是一门以地理信息科学为基础，运用信息技术手段进行地理信息获取、处理、分析和应用的学科。
随着时代的进步和科技的发展，地理信息技术已经成为空间大数据处理和分析的重要工具。
本文将就地理信息技术专业在空间大数据的处理和分析方法方面进行探讨。
一、地理信息技术在空间大数据中的作用大数据时代的到来为地理信息技术专业带来了新的机遇和挑战。
地理信息技术专业擅长处理和分析地理信息，并将其转化为可视化的地图形式。
在空间大数据的背景下，地理信息技术专业可以利用其独特的技术和方法，将海量的数据融合在一起，形成更加全面和准确的空间信息。
首先，地理信息技术专业可以通过采集、整理和处理数据，将大数据转化为地图形式。
地图作为空间信息的表达方式，可以直观地展现出各种地理现象和分布规律。
通过地图，人们可以快速理解和分析空间大数据中潜藏的信息。
其次，地理信息技术专业能够利用各种算法和模型对空间大数据进行分析和挖掘。
通过空间统计、空间回归、空间插值等方法，地理信息技术专业可以发现地理现象之间的关联性和规律性。
这些分析和挖掘结果可以为决策者提供科学的依据，帮助其做出合理的决策。
最后，地理信息技术专业还能够将空间大数据与其他领域的数据进行融合。
通过数据的融合，地理信息技术专业可以发现不同领域之间的交叉点和关联性。
这种融合分析不仅可以丰富和完善空间大数据的内容，还可以为其他领域提供新的视角和思路。
二、地理信息技术在空间大数据中的处理方法在处理空间大数据时，地理信息技术专业需要使用到一系列的处理方法。
下面将介绍几种常用的处理方法。
1.数据采集和清洗：地理信息技术专业需要从各种数据源中采集和获取相关的地理信息数据。
同时，由于数据质量的不一致性和不完整性，还需要对数据进行清洗和预处理，保证数据的准确性和可用性。
大数据时代空间信息与数字技术专业建设探讨
空间信息技术是20世纪60年代兴起的一门新兴技术，主要包括地理信息系统（GIS ）、遥感（RS ）和卫星定位系统（GNSS ）等的理论与技术，同时结合计算机技术和通信技术，实现空间数据的采集、量测、分析、存储、管理、显示、传播和应用。
此后，随着空间信息技术的快速发展，其在资源、环境、灾害应急、地理位置服务以及国民经济数字化建设中得到广泛应用，呈现出新的人才需求和学科增长点[1]。
2004年，武汉大学在全国首次开设“空间信息与数字技术”专业。
该专业以“3S ”技术为核心，旨在培养具有深厚软件工程理论基础和空间信息技术、通信技术、计算机网络技术，能够对资源环境、人文、社会、经济等各类信息进行数字化处理、网络化传输、可视化表达、智能化决策的专业技术人才[2]。
目前，国内已有武汉大学、中国地质大学（武汉）、云南师范大学等多所院校开设该专业，各校依托优势学科开展地理空间信息机理研究及应用，人才培养各具特色[3-4]。
1专业建设面临的挑战“空间信息与数字技术”专业作为一个新兴交叉专业，与计算机科学与技术、软件工程、地理信息科学和测绘工程专业均有交叉。
但计算机科学与技术、软件工程专业缺乏领域知识，实际应用能力不高；地理信息科学、测绘工程专业领域知识突出，但受信息技术水平所限，也难以在大数据浪潮中发挥作用。
尤其是近年来，随着大数据、云计算、物联网、移动收稿日期：2022-08-09。
项目来源：教育部产学合作协同育人资助项目（202102245028、202102102148）。
第一作者简介：袁磊（1977—），博士，副教授，主要从事地学时空数据挖掘、自然资源规划与配置工作，E-mail ：***************。
引文格式：袁磊,杨昆,罗毅,等.大数据时代空间信息与数字技术专业建设探讨[J].地理空间信息,2024,22(4):125-127.doi:10.3969/j.issn.1672-4623.2024.04.030Apr.,2024Vol.22,No.4地理空间信息GEOSPATIAL INFORMATION2024年4月第22卷第4期大数据时代空间信息与数字技术专业建设探讨袁磊1，杨昆1，罗毅1，王加胜1，朱彦辉1（1.云南师范大学地理学部，云南昆明650500）摘要：面对大数据时代“空间信息与数字技术”专业建设的挑战，如何适应经济社会发展的人才需求，培养兼具“信息技术”+“领域知识”的“空间信息与数字技术”专业的复合型人才，是该专业持续建设需要着重探讨的问题。
数字城市所采用的GIS技术概述
数字城市所采用的GIS技术概述随着城市的发展和人口的增加，现代城市管理越来越注重科技化和数字化。
数字城市，顾名思义，就是应用数字技术，利用各种数据资源，通过一系列技术手段对城市进行管理、运营和服务的一种城市发展模式。
而GIS技术是数字城市的重要组成部分，扮演着决定性的角色。
本文将从GIS技术的定义、应用、发展等方面对数字城市所采用的GIS技术进行概述。
一、GIS技术的定义GIS全称Geographic Information System，中文名为地理信息系统，是一种将空间分析与地理信息技术结合的信息处理系统。
它主要通过收集、管理、存储、分析、展示地理信息数据来获取对地理数据特征的认识和理解，并根据这些数据作出决策。
GIS技术的主要功能包括：地图制作，空间数据分析、地图表达、GIS系统集成等。
二、GIS技术的应用GIS技术被广泛应用于各类领域，如环境、城市规划、农业、地质勘查、公共安全等。
事实上，GIS技术在城市规划、管理、运营和服务方面的应用最为广泛，这也正是数字城市离不开GIS技术的主要原因。
在城市规划方面，GIS技术可以用来综合考虑城市建设、土地利用、环境保护和交通等因素，提供城市规划的基础数据和信息，同时通过模拟分析和空间分析技术帮助规划者优化规划方案、预测城市未来发展趋势。
在城市管理方面，GIS技术可以用来建设城市管理信息化平台，方便管理部门对城市各种信息资源的管理，准确掌握城市各个方面的信息，优化工作流程、提高工作效率。
例如，公安部门采用GIS技术对社区犯罪进行分析，提高犯罪预防能力和打击犯罪行动的精准性。
在城市运营方面，GIS技术可以用来打造智慧城市，提供居民的生活便利和优质服务，例如提供实时交通信息，方便居民选择出行路线，以及对城市公共设施的管理和维护。
三、GIS技术的发展随着数字城市的迅速发展，GIS技术也在不断发展和创新。
GIS技术现在已经跨足了三维、实时和智能化等领域，实现了在立体化、科技化方面的突破。
智慧如皋时空信息云平台建设及应用
在数字如皋地理空间框架的基础上，按照云平台技术大 纲要求、评价指标体系和各部门企业的时空信息服务需求， 突出如皋本地特色，开展顶层设计，围绕时空大数据中心、 支撑环境、时空云平台和应用示范，推进项目建设，促进城 市的智慧化、智能化、精细化运行管理。
1.1 时空大数据中心建设 时空大数据中心建设的主要任务包括时空大数据、政务
图 2 应用中心
2.1 智慧环保示范应用 智慧如皋时空信息云平台结合如皋市生态环境局的生态
功能区空间信息管理系统，利用基础矢量电子地图、影像地 图、专题数据，形成生态红线“一张图”，实现生态功能区展示、 生态红线界桩和告示牌信息在线查询和定位、项目红线辅助 分析等功能，为如皋市开展生态红线区域保护工作提供地图 辅助工具，使决策者全面了解生态功能区情况，为领导决策 提供有力支撑。
时空大数据中心需要从各职能部门的业务数据中对接获 取数据，而各个业务系统的数据库分布广泛、结构不同，需 要一个支撑平台完成从这些数据库提取数据并装载到时空大 数据中心。因此，通过时空大数据交换系统，可以实现各业 务系统数据的融合汇聚。 1.1.5 时空大数据挖掘系统
时空大数据挖掘系统将用户上传的数据和共享的数据，
服务资源池提供时空数据服务和时空分析功能服务，如 空间分析服务、地理处理服务、地理编码服务、实时数据分 析处理服务等，供用户调用。同时，面向各类业务用户提供 应用宿主环境，能够将一个完整的地理信息系统运行平台作 为一种服务提供给用户，并且能够针对大数据、高并发访问， 按需动态分配资源。 1.2.3 运维管理系统
2 应用示范建设
以构建的时空信息云平台为支撑，结合如皋市的发展需 要以及城市信息化的总体要求，建设具有实时性、自主性和 智能化的示范系统，具体示范应用有：自然资源服务系统、 智慧环保、市政排水、市政管养、市域治理现代化指挥中心 等应用系统，如图 2 所示。
省级北斗时空大数据底座的建设及应用成效
省级北斗时空大数据底座的建设及应用成效文 | 李亚平1 魏国2 吴凯2 赵晓梅2 张静2 孟奇21.中科院空天信息创新研究院2.内蒙古自治区军民融合发展研究中心随着“数字经济”时代的到来，数据已经成为第五大生产要素，正在逐渐形成流通和交易制度。
随着北斗导航的大众化、规模化应用，北斗用户终端以及服务于北斗用户终端的信息系统所产生的海量数据是一种具有特殊意义的数据，也具有重要挖掘价值，已经被政府和行业重点关注。
近年来省级北斗时空大数据底座建设被作为推动北斗产业发展和规模化应用的重要举措，正在加速推进。
本文针对省级北斗时空大数据底座建设的背景、现状、关键技术、预期成效以及面临的挑战进行了初步探索研究，为未来省级北斗时空大数据底座建设提供参考。
一、省级北斗时空大数据底座建设概念与建设现状1. 省级北斗时空大数据底座概念时空大数据是指基于统一的时空基准（空间参照系统、时间参照系统），存在于空间与时间中，与位置直接（定位）或间接（时空分布）相关联的大规模海量数据集，由“基础地理时空数据”和“部门行业专题数据”融合而成[1]。
省级北斗时空大数据底座是时空大数据平台和国家北斗大数据中心省级分中心融合的产物，主要完成以北斗导航为时空基准的省级基础地理数据和行业应用中动态要素数据的汇聚、处理、管理、共享分发，把省级各种分散的（点数据）和分割的（条数据）时空大数据汇聚到一个特定的自主可控的平台上,并使之发生持续的聚合效应。
因此，省级北斗时空大数据中心底座可以定义为汇聚省级北斗连续运行参考站（CORS）站网数据、北斗用户终端数据、省级基础时空数据，利用北斗系统的导航、定位、授时、短报文四大服务，打造具备省级泛在、智能、可信的定位、导航与授时（PNT）服务能力的基础服务平台。
其核心要素包括地基增强感知网、北斗大数据中心（基础设施、数据中台）、灾备中心、北斗位置服务云平台、基础地图、标准规范体系、行业示范应用共性插件(业务中台）。
地理信息技术专业技能要求掌握哪些技能才能成为优秀的地理信息技术人才
地理信息技术专业技能要求掌握哪些技能才能成为优秀的地理信息技术人才地理信息技术（Geographic Information Technology，简称GIT）作为一门综合性学科，综合应用了地理学、测绘学、计算机科学等多个学科，已经成为当代社会不可或缺的重要工具。
然而，要想成为一名优秀的地理信息技术人才，需要掌握一系列的专业技能。
本文将探讨地理信息技术专业技能的要求，帮助读者了解为什么这些技能对于地理信息技术人才的重要性。
一、地理信息系统（GIS）技能地理信息系统是地理信息技术的核心，掌握GIS技能是成为优秀地理信息技术人才的必备条件之一。
在GIS技能方面，优秀的地理信息技术人才需要掌握地理数据收集与处理的能力，了解地图投影、坐标系统及地理数据的输入输出等基本概念。
此外，熟悉GIS软件的使用和地理空间分析方法也是必不可少的。
二、遥感技能遥感技术是地理信息技术中重要的数据源之一。
了解遥感技术并掌握相关的操作技能对于地理信息技术人才至关重要。
优秀的地理信息技术人才需要了解主要的遥感技术原理、遥感数据的获取和处理方法，能够利用遥感数据进行地表覆盖分类、环境监测等研究。
三、地理统计分析技能地理统计分析技能是优秀的地理信息技术人才的重要特点之一。
地理统计分析能够帮助人们理解地理现象和问题，并在决策制定过程中提供有力的支持。
优秀的地理信息技术人才需要掌握地理统计分析的方法，了解统计应用软件的使用，能够进行空间分析、聚类分析等，进而为地理决策提供可靠的数据支持。
四、数据库管理技能数据库管理技能是地理信息技术人才的重要技能之一。
地理信息系统中涉及到的数据量庞大，因此，熟悉数据库管理系统以及相关的数据管理技术是必不可少的。
优秀的地理信息技术人才需要了解数据库的基本原理，具备数据库的设计和管理能力，并熟悉地理信息数据的组织和存储。
五、编程与软件开发技能编程与软件开发技能在地理信息技术中具有重要作用。
地理信息技术人才需要具备一定的编程基础，能够使用编程语言进行自动化处理，开发地理信息系统和应用软件。
时空数据的集成与融合方案
时空数据的集成与融合方案时空数据的集成与融合方案时空数据的集成与融合是指将不同来源、不同格式的时空数据整合在一起，形成一种综合性的数据资源，以便更好地支持地理信息系统（GIS）的应用和决策支持。
该方案涉及到数据的采集、处理、存储、分析和展示等环节，需要综合运用多种技术手段和方法。
首先，在时空数据集成与融合方案中，合理的数据采集是基础。
不同来源的时空数据通常具有不同的格式和结构，因此需要通过合适的采集设备和技术手段来获取数据。
例如，可以使用无人机、卫星遥感、传感器等设备进行数据采集，获取地表高程、遥感影像、气象数据等多种时空信息。
其次，在数据处理和存储方面，需要开展数据清洗、格式转换、数据融合等工作。
由于时空数据的多样性和复杂性，数据的质量和一致性往往成为集成与融合的难点。
因此，需要对数据进行清洗，去除重复、缺失和错误的数据，保证数据的准确性和完整性。
同时，还需要进行格式转换，将不同来源、不同格式的数据统一为一种格式，以便进行后续的数据融合和分析。
此外，还可以借助数据库等技术手段，对数据进行存储和管理，提高数据的访问效率和安全性。
然后，在数据分析方面，可以利用时空数据的集成与融合来进行空间分析和时序分析。
通过将不同来源的数据进行融合，可以获取更全面、更细致的地理信息，帮助用户了解地理现象的时空变化规律。
例如，可以通过融合遥感影像和地面观测数据，对土地利用、植被覆盖等进行监测和分析；可以通过融合气象数据和人口数据，对气候变化对人口迁移和社会经济发展的影响进行研究。
此外，还可以利用时空数据的集成与融合，进行模型构建和预测分析，为决策者提供科学依据。
最后，在数据展示方面，可以通过地图、图表、动画等形式，将时空数据以直观、可视化的方式呈现出来。
这样可以帮助用户更好地理解和利用数据，提高决策的准确性和效率。
例如，可以利用地图软件，将不同时间段的遥感影像进行叠加，形成地表覆盖的时序变化图；可以利用图表工具，将不同地点的气象数据进行比较，揭示地理区域的气候特征。
测绘技术中的地理信息系统与空间数据库
测绘技术中的地理信息系统与空间数据库随着科技的不断进步和发展，测绘技术在现代社会中扮演着重要的角色。
地理信息系统（Geographic Information System，简称GIS）和空间数据库作为测绘技术中的两大核心概念，对于地理信息的收集、管理、分析和应用起着至关重要的作用。
一、地理信息系统的概述地理信息系统是以空间数据为基础，通过软件技术对地理现象进行描述、分析和预测的系统。
它将地图、数据库和计算机技术有机地结合在一起，使得地理现象和空间关系可以通过数字化的方式进行管理和处理。
地理信息系统包括数据采集、数据存储、数据管理、数据分析和数据展示等多个环节。
数据采集是GIS的基础，通过遥感、GPS定位、测绘等技术手段，可以获取大量的地理数据。
其中，遥感技术的应用尤为广泛，可以高效地获取广大范围的地理信息。
数据存储和管理使得大量的数据可以被有效地组织和管理起来，以便后续的分析和应用。
数据分析是GIS的核心功能之一，通过对数据的处理和分析，可以发现地理现象之间的关联性和规律性。
数据展示是最终向用户展示结果的环节，通过地图、图表等形式，将复杂的地理信息转化为直观的可视化结果。
二、空间数据库的重要性空间数据库是地理信息系统的基础设施，负责存储和管理地理信息的空间数据。
与传统的关系型数据库相比，空间数据库不仅具备储存和管理数据的能力，还包含了对地理数据进行空间查询和分析的功能。
空间数据库的设计和实现需要考虑到地理数据的特殊性。
地理数据具有空间关联性和拓扑关系，因此空间数据库需要支持空间查询、空间索引和拓扑关系的维护。
同时，由于地理数据的大小和复杂性往往超出了传统数据库的承载能力，因此空间数据库需要具备高效的数据存储和检索性能。
空间数据库的应用范围广泛，包括地理空间分析、地理空间模拟、地理空间预测等多个领域。
例如，在城市规划中，通过对空间数据库中的地理数据进行分析，可以有效地评估城市交通、环境和人口分布等问题，从而为城市规划提供科学依据。
PostGIS3新特性及Ganos核心能力介绍
案例2: 亿级航班轨迹实时查询分析
• 20亿航班轨迹点
• Ganos原生轨迹模型 • 存储空间节约2/3 • 时间+空间查询，毫秒级
响应
select dynamic_id, traj, st_leafcount(traj) from flight_track where ST_intersects(traj,
within、equals操作符
改进：矢量瓦片处理增强
ST_AsMVT
• 引入mapbox的wagyu算法，更稳定、更高效 • 支持Feature ID聚合，支持多CPU并行 • 点、线类型生成简化对象、坐标变换等
ST_TileEnvelope
时空大数据 分析处理
Ganos六大核心能力
核心能力1: 时空多模型
核心能力2: 兼容PostGIS并增强
GeoServer
PostGIS
RDS PostgreSQL
Ganos免费、免费、免费！ PostGIS++
核心能力3: 影像全分辨率像素级存储与访问
核心能力4: 灵活多形态输出
公有云 专有云 一体机 纯软件
改进：利用PG12新特性
• Partial TOAST decompression， speed up index created(30%).
• Parallel query automatically. • Index support funtion(API).
改进：几何排序支持Hilbert Curve
option.
Bug fixes
地理信息类的技术总结
地理信息类技术总结一、引言随着科技的飞速发展，地理信息技术在各个领域的应用越来越广泛。
从城市规划、资源管理到环境保护，地理信息类技术都发挥着至关重要的作用。
本文将围绕地理信息类技术的核心内容进行总结，包括其基本概念、应用场景、关键技术以及未来发展趋势。
二、地理信息类技术概述地理信息类技术，简称GIS技术，是一种基于地理空间数据的综合信息技术。
它通过采集、存储、处理、分析和管理地理空间数据，为决策者提供可视化信息和决策支持。
GIS 技术包括地图制作、地理数据查询、空间分析、地理信息可视化和地理数据建模等。
三、应用场景1. 城市规划：GIS技术可用于城市规划的各个环节，如土地利用规划、交通规划、环境评估等。
通过GIS分析，规划师可以更好地理解城市空间结构和人口分布，制定出更合理的规划方案。
2. 资源管理：GIS技术可以帮助管理者更好地管理和保护自然资源，如森林、水域和矿产等。
通过实时监测和数据分析，可以实现资源的合理开发和有效保护。
3. 环境保护：GIS技术可用于环境监测、污染源分析、生态保护等领域。
通过GIS分析，可以及时发现环境问题，为环境保护提供决策支持。
4. 灾害预警与应急管理：GIS技术可以用于灾害预警和应急管理，如地震、洪水等自然灾害。
通过实时监测和数据分析，可以快速响应灾害事件，减少灾害损失。
四、关键技术1. 地理数据采集与处理：GIS技术的基础是地理数据，因此数据采集与处理技术至关重要。
包括全球定位系统（GPS）、遥感技术等。
2. 地理数据库管理：地理数据库是存储和管理地理数据的核心。
关键技术包括空间数据库引擎（SDE）、数据仓库等，用于高效存储和查询地理数据。
3. 空间分析：空间分析是GIS技术的核心，包括空间查询、拓扑分析、缓冲区分析、网络分析等。
这些技术可以帮助决策者理解空间关系和模式，进行科学决策。
4. 可视化技术：可视化是GIS技术的关键组成部分，通过地图、图表等形式展示地理信息。
面向时空大数据的地理信息系统发展趋势及应用
YAN JIU大型机时代个人机时代互联网时代大数据时代20002010图1 GIS发展历程随着地理空间信息采集技术的泛在化与实时化，时空数据分析的自动化与智能化，硬件、软件、数据与用户联系的网络化与普适化，地理信息系统正渗透到人类社会日282YAN JIUJIAN SHE提升和应用推广的相关技术，以推动建立一个开放的面向时空大数据的GIS 技术研究环境。
面向时空大数据的地理信息系统涉及以下关键技术。
1.面向时空大数据的GIS 总体架构面向时空大数据的GIS 将新型高性能计算资源和海量时空大数据资源有机结合，快速形成能够为人们决策服务的地理信息和地理知识，这牵涉到从硬件环境、数据模型、计算分析到信息表达等一系列关键技术。
按照层次化系统分析方法，从基于的高性能硬件架构，到面向的最终应用，与面向时空大数据的GIS 密切相关的技术拟分为五个层次，总体架构如图3。
2.面向时空大数据的多模式存储管理技术随着传感网、物联网和移动互联网技术的发展，导致了地理空间数据的飞速增长，在传统遥感影像、矢量数据基础上，各类传感器流式时空数据、模型分析数据等也逐渐凸显其重要性。
如何对这些多元化时空大数据进行多维、多尺度的建模成为当今地理信息系统急需解决的问题。
此外，面向地理数据综合分析处理和地理世界实时与动态变化需求，单一模式存储的时空大数据越来越无法应对高性能GIS 的分析和可视化挑战。
3.多范式高性能地理计算技术针对多元多态时空大数据不同的处理需求，需要设计结合消息传递、映射-规约、内存计算、实时计算、流式计算等计算架构优势的多范式地理计算解决方案，研究多范式高性能计算模型、多层次调度系统、时空关联分析与地理知识发现、复杂地理计算流程、流程建模工具等关键理论、技术、产品。
基于多范式地理计算引擎，研发相关的地理计算工具集。
4.高并发时空大数据动态制图与可视化技术在分布式计算、时空大数据分布式存储的环境中，在资源与计算环境性能不变的情况下，要想提高海量用户对时空大数据并发显示的性能，需要从减少网络数据传输量、充分利用计算资源和加快符号化绘制效率等方面切入。
基于大数据的省级国土空间基础信息平台关键技术研究及应用
LI Bing, GUAN Xianming, GU Yiming (Heilongjiang Geomatics Centre, Ministry of Natural Resources, Harbin 150081, China)
Abstract: This paper focuses on the overall layout of ecological civilization construction and the deployment requirements of the estab lishment and supervision of the implementation of the land space planning system. Based on the big data technology and various data resources such as natural resources, surveying and mapping geographic information, this paper studies the key technologies of the pro vincial land space basic information platform, builds the provincial land space basic information platform, and expounds the provincial land space basic information platform. The case study aims to provide strong information support for the planning, management, deci sion-making and service of provincial land space. Key words: big data ； land ； basic information platform ； planning decision
基于PDCA 循环的时空大数据云平台软件测试管理方法研究
科技与创新┃Science and Technology&Innovation ·104·2019年第19期文章编号：2095－6835（2019）19－0104－03基于PDCA循环的时空大数据云平台软件测试管理方法研究李亚君1，王洪宇2（1.中国人民大学信息学院，北京100872；2.北京星球时空科技有限公司，北京100191）摘要：时空大数据云平台软件测试作为保证软件质量的重要方法，其测试的质量管理工作对于建设时空大数据云平台的质量保证具有重要意义。
基于PDCA循环，采用观察、文献研究、实验等研究方法，初步构建了一套贴合时空大数据云平台建设实际的软件测试管理方法，希望能够为类似企业的软件测试管理提供参考的方法。
关键词：PDCA；时空大数据；云平台；软件测试管理方法中图分类号：TP311.13文献标识码：A DOI：10.15913/ki.kjycx.2019.19.0431引言近年来，随着测绘技术、互联网、大数据、云计算、人工智能等高新技术的快速发展，中国传统地理信息系统（GIS）已经不能满足社会各界对测绘的需求，为了适应当前测绘新技术的发展，时空大数据云平台应运而生。
目前，国内很多学者都围绕智慧城市建设进行时空大数据云平台的研究，很多企业也在建设时空大数据云平台[1-3]。
新型平台的出现随着传统的GIS软件与高新技术的进一步融合，形成了更广泛、多层次和多尺度的应用格局，在各空间信息相关领域得到了广泛的应用和发展。
高光军等人面对丰富的自然资源数据，依托云平台，建设了国土空间大数据平台[4]。
时空大数据云平台与传统的GIS软件产品一样，其用户群体大多数是地理信息行业相关的企事业单位，对软件质量的要求很高。
但截至目前，由于地理空间数据对标准规范的依赖性很高，数据种类多、数据结构复杂，导致时空大数据云平台的建设十分复杂。
另外，在技术方面，GIS软件的专业化要求也很高，而且在GIS软件开发企业中，大多数人都是GIS专业出身，缺乏计算机软件测试和质量管理相关的知识，导致GIS软件行业仍然没有标准的软件测试质量管理规范。
地理空间大数据创新技术及应用
• 多云共生平衡架构
双态云计算方法
• 本地存储、本地处理、独立服务
• 智能感知的计算任务调度体系
高 效
稳 定
• 最大限度减少数据传输损耗
• 适用分布式计算模型
• 多云并算协同机制
内存云
硬盘云
• 分布式部署的内存云，提供了海量内存计算空间
• 计算过程在内存云中，无硬盘I/O
关键技术二、地理国情大数据高性能地理计算
传统计算效率存在问题
单机处理方式效能低
• 计算作业时间长 • 交互等待时间长 • 无法应对大规模时空数据处理需求
MPP架构下大规模并行计算
• 基础设备昂贵 • 基于MPI框架，并行效率存在瓶颈 • 计算过程仍需网络I/O
16
关键技术二、地理国情大数据高性能地理计算
大要素集、计算频繁的数据以 WKT格式基于HDFS存储，并 使用HBase存储空间索引
影像数据、文档数据采用分布 式文件系统与元数据表结合的 方式管理
文件数据组织结 构 传感器名
年份
月份 日数 卫星名称
日数
矢量数据组织结
构 Geodatabase
地
分区数据
理
国
情
要 素
不分区数据
WKT
数 据
组
Geodatabase
网格包含的 geo_ID文件
合并文件
HBase
HDFS
查询任务1 （StartKey，
EndKey）
查询任务2
（StartKey，
...
EndKey）
查询任务n （StartKey，
EndKey）
查询结果合并
➢ 数据模型：OGC+WKT ➢ 空间定位：网格索引 ➢ 关键字查询：倒排索引 ➢ 空间查询：最小外接矩形过滤
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Parcel fabrics GPS datasets Representations
Terrain datasets Schematics
Toolboxes
Tool
Model
Script
Behavior
Attribute defaults Connectivity rules Attribute domains Relationship rules
来自人
• 基础测绘数据 • 社会统计数据 • 问卷调查数据 • 规划设计数据 • 行为记录数据 • 社交网站数据
来自系统
• 业务系统数据 • 办公文档资料 • 网页资料数据 • 交易往来数据 • 系统日志数据
传统的企业级地理数据库
Geodatabase Feature dataset
Spatial reference
时空大数据与云平台关键技术与实现探讨
规则
欢迎你们
1 时空大数据时代
GIS正变得更加智能 与新技术集成
Discover the Digital Twin
Discover Distributed GIS
The Science of Where
通过对人、事、物等与位置有关的各类 时空大数据的汇聚、管理、挖掘、呈现 ，形成对某个地理位置的画像，从而更 智慧的服务于生活、生产等活动
3
关键技术二：时空信息云平台之
大数据挖掘与分析
地理分析是GIS的传统强项
桌面
统计
数据探索 聚合
Web端
位置分配
异常检测
支持科学数据
贝叶斯回归(EBK)
基于出现模式的导航
图表
缓冲
集成 在线地图集
插值
分析工具集成
热点
快速地理编码(230+%)
大数据时代呼唤新的计算技术
• 1. 上亿条城市出租车位置记录，如何获取城市的车辆分布状态？ • 2. 国情普查、土地调查等专题数据，如何按照一定的条件进行统计分析？ • 3. 全国高精度DEM、温度光照等栅格数据，如何快速的进行光伏电厂的选址分
2 关键技术一：时空大数据
传统的地理信息数据
来自设备
• 遥感卫星数据 • 大小飞机数据
来自人
• 基础测绘数据
来自系统
• 业务系统数据
时空大数据已经发生很大的不同
来自设备
• 遥感卫星数据 • 大小飞机数据 • 视频监控数据 • 气象台站数据 • 空气质量数据 • 传感器类数据 • 车辆GPS数据 • 手机信令数据
开发定制 协作共享
分析挖掘
制图可视化
ArcGIS
资产管理
信息采集
大数据时代国家对智慧城市空前重视
时空大数据在智慧城市建设中作用
时空大数据与云平台的变化与提升
智慧的时空应用
时空基准
时空大数据
时空信息云平台
时空云支撑平台
时空大数据与云平台的总体架构
应用即服 务层
（SaaS）
智慧规划 智慧环保 智慧管网 智慧国土 智慧民生
Polygon Line Point Annotation
Route Dimension
Relationship classes
Geometric networks
Topology
Network datasets
Tables
Raster datasets
Raster Catalogs
Additional geodatabase elements
析？ • 4. 如何更高效率的对高分辨率影像进行信息的提取和识别？
空间计算架构的变化
CPU
存储
CPU
存储
处理过程
CPU瓶颈
网络瓶颈
单点计算
网络瓶颈
多线程
分布式
框架重构——矢量、栅格大数据
门户
通过各种渠道去访问大数据
分布式集群
FFilieless
文件
HDFS
Hive
S3
待分析大数据
RDMS
NoSQL
务层
(IaaS)
云存储 云 对象 服务 盘 存储
块存 数据 储 获取
私有云 / 政务云
大数据 服务
HDFS
Hive/ Spark
时空大数据与云平台建设的挑战
• 从数据层面——走向异构多元的大数据整合 • 从平台功能层面——深度的时空大数据分析 • 从应用层面——敏捷的业务工作流建设 • 从支撑平台层面——智能弹性的基础资源管理
缓冲分析
50
40
1 节点
4节点
16节点
30
(大数据)
(大数据)
(大数据)
20
10
0
1
2
4
8
16
32
64
1 节点 (传统)
30
25
20
15
10
5
0
1
2
网格点聚合
1 节点 (大数据)
4节点 (大数据)
Split/merge policy Topology rules
新时期的时空大数据存储与管理
关系型数据库
— 用于存储传统空间数据
NoSQL文档型数据库
— 用于小文件型数据的存储、快速访问
分布式数据引擎
— 适用于大数据的存储、快速访问
时空大数据的汇聚、整理
电子表格
空间化 ETL
Sqool/Flume 攫取
成果大数据库
GeoAnalytics大数据分析性能实例
• Esri美国：
- 4 核CPU/节点 - 16 GB 内存/节 - S3对象存储 - 基于Amazon云环境
数据内容：
‐2015年1-12月份 ‐纽约街区打车数据 ‐1.7亿点，4万街区面 ‐点聚合分析，1km六边形格网
1 节点 (传统)
60
统一服务门户
时空 信息Leabharlann 地名地址匹配引擎业务流建模引擎
云服
云
务
时空信息数据服务
知识化挖掘服务
接口服务
云
平 (PaaS)
平台运维管理
平
台
服务监控 服务度量 基础资源管理 弹性策略 资源隔离 审批管理 日志管理
台
安
标
全
准
保 障 体
时空 大数 据层
时空 大数 据库
静 矢量数据 影像数据 三维数据
态 数
地名地址及建筑物数据
时空大数据库
结构化数据库 非结构化数据库
实时动态数据
无人机快速采集时空大数据
无人机快速采集时空大数据
案例：实时公交和实时人流接入
奥克兰市交通信息实时接入
• 868辆公交车，407辆市政服务车辆 • 摄像头、高速路标志、红绿灯 • 实时调整信号灯，缓解拥堵
实时大数据高效接入
上亿等车人流的手机实时位置信息 53个节点实时处理，每秒最高20万+事件
据 规划设计数据 其他公共专题数据
动 历史地理信息数据 远景规划地理信息数据
态 数
实时位置数据
实时感知流式及摘要信息
据 物联网智能感知设备位置信息
体 系 规
系 (DaaS)
汇聚区
处理区
管理区
范
三域 标识
在线 提交
离线 拷贝
统一 格式
统一时 间基准
空间 化
动态数 据获取
大数据 管理
大数据 挖掘
基础设 基础云 VDC 计算 施即服 服务 服务 服务