海量数据渲染解决

通信行业网优海量数据渲染解决方法

上海办罗政东

1.需求场景

在无线通讯中，运营商或者供应商需要直观的看到在某个区域内，哪里通话质量好，哪里通话质量差，哪里接通率低，哪里掉话率等等

电信开发商在杭州移动在解决以上问题时，采用的解决方法的思路为：在用户通话过程中，每隔0.5秒会在数据库中写入一条相关通话信息的记录（杭州一天粗略估计会产生5-10亿条记录），这是最原始的通话记录的信息；然后把杭州市的最大外接矩形，按100*100米的小格进行分割，大概会生成400万个面；最后把所有的通话信息归纳到100*100米的小方格中，然后根据每个小方格内值渲染不同的颜色，通过不同的眼神渲染可以直观的给用户展示区域的通话情况。

用户要求整个工作流程结束，时间不能超过30秒，包括：原始通话信息数据整理，整理的业务表和地图数据进行关联，地图最终渲染成图。其中通话时间范围，小方格渲染颜色，渲染区域（杭州：上城区，下城区等行政区划）均可以定制化，而且系统必须使用B/S架构。

2.解决方法

在本解决方案中不涉及通话数据的优化处理（空间数据保存在RDBMS索引均做个设置），只针对GIS图形数据处理优化。开发商考虑到用户体验和未来的技术发展，采用Flex技术，使用ArcGIS Rest接口。

具体步骤：

把通话记录归纳为匹配每个小格子的记录，一个小格子对应数据库中一条记录。

工作流程：

这样一次操作的时间为120秒－150秒不等，由于采用Rest的技术，用户在每次更改不同渲染颜色后，需要重新刷新服务。

分析时间的消耗，发现地图渲染的时间耗费最多，达到100－120秒，优化的方向就集中在地图渲染出图这方面。

1.解决步骤一

裁剪400万面数据，减少多边形的数量，减少数据量，提高Join的效率和绘图的速度。用杭州市行政区域图层选择数据，做完数据处理，有效多边形数据为170W个多边形。

测试发现地图渲染速度提高到80-120秒，还是不能满足用户的需求。

2.解决步骤二

转换思路，采用栅格数据方式解决用户需求，把处理过的170W多边形数据转换为栅格数据，在转换时在Value字段中写入以后要做管理的ID值。

矢量数据转换为栅格数据后，地图出图速度大幅提高，整个流程的时间缩减到30秒，满足用户需求。

3.总结

在优化的过程中，对于大数据量不同的存储方式，矢量出图的效率差别很大，基本为：

1.Shapefile最快

2.File gbd第二

3.RDBMS最慢

在某些场景中，采用栅格方式处理数据，并且ArcGIS栅格功能非常强大做应用可以起到意想不到的效果。