Python在批量处理GIS数据中的应用

Python在批量处理GIS数据中的应用
吴建晔1姜建1卢晓鹏2吴嘉琪3
（1.湖州市测绘院浙江湖州313000；2.湖州市城乡规划编制中心浙江湖州313000；
3.上海市测绘院上海200333）
摘要：面对海量的GIS数据，传统处理方法复杂而费时。

现结合实际地理数据处理项目探索利用Python 语言调用ArcPy编程，实现GIS数据的批量自动化处理，从而大大提高了GIS数据处理工作效率。

关键词：Python GIS数据批量处理应用
1引言
ArcGIS是当前最流行的地理信息系统平台软件，它提供了非常丰富的地理处理工具[1]，但是在具体工作实践中,常常需要根据特定业务定制相应的工具。

ArcGIS软件支持多种脚本语言，随着近几年的发展，Python已经成为目前ArcGIS首选的脚本工具，其功能强大，简单易学，是解决GIS数据批量处理行之有效的方法。

在湖州市测绘院多个测绘地理信息项目实施过程中，经常会遇到各种空间数据批量处理任务，如去除字段空格、表重命名、数据提取、模糊匹配、记录合并、投影变换、数据转换、裁剪拼接等等。

如此大量的重复性操作如果仅仅采用手工处理完成，不但效率低下、成本高而且非常容易出错。

为确保空间数据质量，提高工作效率，我们采用Python来批量处理GIS数据。

2Python脚本批量处理的优势
实现数据批量处理要解决两个关键问题：一是遍历所有要处理的数据；二是将遍历后的结果用一种数据结构(如数组、链表等)存储起来。

Python在这两方面具有独特的优势[2]，在Python中，用OS 模块中的walk()函数就可以轻易实现。

它将所遍历的目录、子目录、文件返回到列表中，这便于我们批量处理某个目录及其子目录下面所有文件；在Python中的列表和字典是非常实用的数据结构，它具备高级语言集合类数据结构的优点，同时摒弃了高级语言集合类中一些相对复杂晦涩的内容。

Python是面向对象的编程语言，它犹如“粘合剂”，将不同的组件组合起来，从而实现新的功能[3]。

由于Python的开源性，它被封装在ArcGIS软件中，并被直接嵌入到ArcGIS的多个地理处理工具集中，如Analysis工具箱、Cartography工具箱等。

这些工具箱中的工具一般用于处理单个数据集，而借助于Python脚本语言却可以运行现有的工具或创建新的工具对任务执行自动批处理。

3批处理的主要应用
3.1批量重命名
在空间数据批量导入Oracle SDE数据库时，由于Oracle中数据表命名规则的限制，不能在表名中出现中英文格式的’(’、’)’、’-’等符号。

而实际应用中，大量空间数据集经常会用到这些符号，如利用括号标注数据类型，从而导致这些空间数据无法入库，因此有必要对数据集进行批量重命名。

现统一利用Python，将中英文格式的’(’、’)’、’-’等符号替换为下划线’_’。

批量重命名前后效果分别见图1、图
2。

图1
批量重命名前
图2批量重命名后
3.2批量修改字段
利用Python 库内置的字符串、数字、日期处理函数，为空间数据的字段批量处理带来极大的便利性。

例如，在字段中FNAME 中无规律地包含大量
空格，利用ArcGIS 内置的Filed Calculator 可以批量去除FNAME 字段中的空格。

在Filed
Calculator 中选中Python 作为处理语言，选择数据类型为String ，选中replace 函数。

仅仅需要!FNAME!.replace('','')一行代码就能去除FNAME 字段所有记录行中包含的空格，非常方便。

批量修改字段前后效果分别见图3、图4。

图3批量修改字段前图4批量修改字段后
3.3正则表达式提取用地类型
在地理国情普查项目中，需要从规划用地红线DWG 格式图中提取各种用地类型数据，利用Python 库中的正则表达式函数来提取，非常快捷便利。

正则表达式批量提取用地类型部分代码见图5，批量提取用地类型前后效果分别见图6、图7。

图5正则表达式批量提取用地类型部分代码
图6批量提取用地类型前图7批量提取用地类型后
3.4模糊匹配属性数据
为了地理国情普查的需要，我们从湖州市卫生
局、教育局、环卫局、电力局等部门收集了调查区
域内更新的医疗机构、教育机构、环卫设施、变电
站等带名称的属性数据。

我院已有前期湖州全市高
分辨率航空航天影像、POI成果数据库（包含前期
医院、学校、环卫、供电站等数据），现需要将收
集来的数据更新补充到已有数据中。

由于从各单位收集到的为Excel表格数据，名
称和地址信息表述不严格，不规范，并且无坐标信
息，通常情况下，是通过在线电子地图搜索其在影
像上的位置，再在影像相应位置上逐个进行核对补
充，造成了极低的效率。

为了保证信息匹配不遗漏、不重复，并且坐标
位置准确，我们利用Python模糊匹配库fuzzywuzzy
模块将POI库中的医院、卫生院、诊所、幼儿园、
小学、公厕等数据与收集到的Excel表格中相应名
称作模糊匹配关联，能关联上的说明在POI库中已
有，不用再手工添加。

因此大大减少了数据匹配的
工作量，提高了作业效率。

模糊匹配属性数据效果
见图8。

图8模糊匹配属性数据
4结束语
上述几个基于python脚本开发的GIS数据批
量处理模块已成功应用于我院主持完成的湖州市
第一次地理国情普查、长兴县1:500基础地理数据
建库、湖州市数字城管部件普查更新、湖州市地名
地址数据库更新、天地图湖州数据融合、湖州市规
划一张图数据建库项目等多个实际生产项目中。

从实际应用来看，利用Python批量处理GIS
数据简单、快捷、高效，不仅提高了GIS数据批处
（下转第74页）
吉市。

划分成果符合相应两市县主体功能区规划。

5结束语
昌吉市和特克斯县经济社会发展总体规划“三类空间”划分迈出了新疆市县级“多规合一”工作的第一步，通过试点，总结、归纳出了市县“三类空间”划分工作的技术流程和方法，同时，修改完善了《市县经济社会发展总体规划技术规范与编制导则（试行）》，为新疆其他市县开展“多规合一”奠定了基础。

参考文献：
[1]程永辉，宋月莹，樊健彬，等.西部地区“多规合一”的内涵及编制重点研究——以宁夏回族自治区泾源县为例[J].未来与发展，2015(9)：109-113.
[2]王唯山，魏立军.厦门市“多规合一”实践的探索与思考[J].规划师，2015(2)：46-51.
[3]王玉慧，万莹，王美菊.浅析临沂市兰山区“多规合一”[J].山东国土资源，2015，31(6)：78-80.
（上接第77页）
理的效率与准确性，而且更有助于解放多余劳动力，节省单位投入成本，从而成为批量处理空间数据的有效方法之一。

随着Python第三方函数库越来越完备，Python在GIS开发领域的应用也越来越广泛[4，5]。

今后，我们考虑将上述Python脚本程序升级，做成更通用的ArcGIS Python Add-In小插件，进一步提高通用性，哪怕是不懂编程的工作人员，也可以像使用ArcGIS Toolbox中的工具一样，为日后GIS数据处理带来极大的便利。

参考文献：
[1]牟乃夏，刘文宝，王海银，等.ArcGIS10地理信息系统教程—从初学到精通[M].北京：测绘出版社，2012：530-543．
[2]彭海波，向洪普.基于Python的空间数据批量处理方法[J].测绘与空间地理信息2011，34(4)：81-87.
[3]赞德伯根.面向ArcGIS的Python脚本编程[M].北京：人民邮电出版社，2013：2-18.
[4]巨擘.ArcGIS中应用Python脚本提高数据生产力的研究[J].测绘技术装备，2017(3)：12-14，11.
[5]王路希，邓吉秋，李娜，等.基于Python的开源GIS应用开发[J].科技创新与生产力，2015(6).
（上接第79页）
4.默认的纵横比例为1︰100和1︰1000，如果需要更改可以在“设置比例”菜单中进行更改。

如果断面图太长需要分张，可以在“分张”菜单中进行分张。

6结束语
通过人工将生成的断面图和实地进行对比，断面图的走向基本符合实地地形情况，证明反距离加权法插入的高程可以用来绘制断面图。

程序是以送水管线绘制断面图为例，介绍了基于.net的AutoCAD二次开发的应用，然而AutoCAD 二次开发的应用是非常广泛的，.net可以根据工程的需要，方便快速地开发出各种程序，并且容易掌握，开发速度很快。

参考文献：
[1]李冠亿.深入浅出二次开发[M].北京：中国建筑工业出版社，2012.
[2]武晓丽，刘荣珍，王欣.AutoCAD2010基础教程[M].北京：中国铁道出版社，2010.
[3]王文波，邹清源，张斯衍，等.AutoCAD2010二次开发实例教程(Object ARX)[M].北京：机械工业出版社，2013.
[4]郭秀娟，徐勇，郑馨，等.AutoCAD二次开发实用教程[M].北京：机械工业出版社，2014.。