兰州市三维数字城市建设方案

兰州市“三维数字城市”
建设方案
二0一一年九月
1、兰州市“三维数字城市”建设现状
目前，兰州的5个区已经各自建设了”三维数字城市”系统，其中，城关、安宁、七里河、红古采用的是电信的线路，西固区采用的是移动的线路，各个社区通过VPN接入区政府数据化社区系统。

由于各个区政府的”三维数字城市”系统独立运行，数据无法共享，对综合管理和数据分析造成很大不便。

2、总体需求分析
兰州市政府提出要建立全市综合性的“三维数字城市”系统，在原有5个区各自建设的系统基础之上，建立一套“三维数字城市”数据共享平台，将各个区的数据进行抽取，存放在市政府的数据库当中，便于综合管理和数据分析。

3、系统整体方案设计
3.1方案拓扑图
根据以上需求分析，网络拓扑如下图所示。

3.2网络设计
由于5个区中有电信和移动两个运营商的线路，因此，需要在兰州市政府接入口采用一个双出口的中高端路由器，以便同时接入电信和移动的VPN，确保流畅的从各个区政府“三维数字城市”系统中抽取数据。

中心路由器：提供与各个区政府的高速下联和业务线速交换，需确保业务增长对核心设备处理性能的高要求。

中心路由器采用MSR多业务开放路由器，提供1Mpps包转发率，具备很强的路由处理能力、丰富的接口模块和高品质业务功能，支持形式多样的广域网接口，满足丰富的接入方式的需求。

MSR 50系列路由器在硬件设计方面充分地考虑到集成综合业务的需要，采用了先进的N-Bus多总线设计方案，语音、数据、交换、安全四大业务分别经由不同的总线，由专门的协处理引擎并行完成处理，
消除总线和CPU性能瓶颈，大大提高了该系列路由器集成的多业务部署和实施
能力。

可满足企业网络内部多种高质量并发业务无缝集成、完美融合。

MSR 50基于OAA（Open Application Architecture）理念设计，创新性的推出了对外开放的业务平台。

该平台提供了一套完整、标准的对外接口（API接口）。

厂商与合作伙伴均可以在此平台上直接开发各类高级功能（例如应用层攻击抵御、网络病毒防护、多媒体集合通信、Web优化与加速等），用户只需安装开发出的软件，便可以将上述业务与MSR 50无缝融合，为日渐细分的个性化需求提供完整的解决方案。

3.3服务器集群设计方案
3.3.1 Web集群负载均衡系统
Web服务器主要为用户登录、浏览等信息的查询以及发布各种信息提供服务，在用户访问系统时，由Web服务器提供友好登录界面，数据库服务器提供身份验证服务和信息服务。

Web服务器可采用Linux/Apache搭建。

市政府”三维数字城市”系统为全市用户提供信息服务，高峰期web并发访问量在1500-2000人，高峰期日累计访问量很大，单台服务器无疑已经难以作为Web发布服务器提供电教用户的访问，因此必须考虑采用计算机集群的方式提供服务。

在选择WWW服务器时，必须考虑CPU、内存、存储、网络的综合性能，同时，采用负载均衡技术，保证WWW服务器提供高质量的服务。

网站这种中等规模的门户网站需要支持较多的并发用户（特别是访问高峰时），也需要24*7小时连续运行的高可用性，因此在Web接入层建议采用“WEB负载均衡集群”。

我们建议由1台F5 负载均衡器来构成“WEB负载均衡集群”。

3.3.2 并行数据库集群系统
在Oracle的并行数据库技术（RealApplicationClusters，简称RAC）中，采用了共享高速缓存（即CacheFusion）体系结构，它是Oracle并行数据库的核心技术之一，它结合了共享磁盘和无共享数据库两种模式的好处，同时又避免了二者体系结构的弊端，从而为大规模的数据集中应用提供了一个非常理想的选择。

备注：CacheFusion为高速缓存的相干性使用了可伸缩的共享高速缓存，最大限度的消除了磁盘I/O。

下面从几个方面对CacheFusion结构的数据库Oracle RAC系统做一个更详细的介绍。

1、可伸缩性
用户通过虚拟数据库服务名连接到数据库上。

Oracle RAC系统将在各个计算节点之间自动平衡用户负载，客户端不用关心具体节点服务器的物理地址。

服务器负载均衡功能的实现，提升了数据库的性能，主要是通过两种途径：第一、将大用户量的并发访问分担到多台节点机上并行处理，缩短用户等待响应的时间，并且能够接受更多用户的并发访问；第二、将单个用户重负载的运算分担到多个节点机上并行处理，系统处理能力得到大幅度提高。

另外，在硬件Oracle RAC 体系结构中采用了高速的数据通道和磁盘节点，大大减少了数据传输的延迟，释放了系统的处理资源。

RAC数据库能够自动适应快速变化的业务需求及随之而来的工作负荷的改变。

通过动态地重新分配数据库资源，从而可以在节点之间用最小化的磁盘I/O 和低的延迟通信来优化利用Oracle RAC系统资源。

随着业务的增长，系统也可以从容的增加处理能力。

在系统建设初期，先使用2节点Oracle RAC进行数据处理，随着业务的发展，可以对系统进行升级，或动态增加节点数，即可获得处理性能的提高，这体现了Oracle RAC系统很好的可扩展性和可伸缩性。

CacheFusion体系结构通过以下两个方面的技术突破提高了系统的可伸缩
性。

共享高速缓存的全局高速缓存服务管理传统数据库系统使用磁盘I/O 同步多个节点之间的数据访问。

当多个节点争用同一数据块时，获得优先权的节点将锁定此数据块，其他节点处于等待状态，只有这个节点写操作完成后，其他节点才能访问。

这需要有大量的磁盘I/O操作，相对来说比较慢。

CacheFusion 体系结构通过使用Oracle RAC中所有节点的集合高速缓存（数据库在内存中创建）来满足数据块要求，从而克服了传统共享磁盘系统的根本弱点。

共享高速缓存的相干性使用了可伸缩的共享高速缓存，节点的查询要求可以直接从任何一个高速缓存获得所需信息，更新操作也不需要磁盘I/O来同步，只有当所有集合高速缓存中没有所需的数据或者当进行需要磁盘写权限的Commit操作的更新事务时，才会进行花费较高的磁盘I/O。

所以，CacheFusion结构最大程度的减小了磁盘I/O的限制，大大加速了数据库操作。

高效的节点间消息传递和资源管理节点间需要交流沟通信息，如加锁状态等，效率主要决定于消息数量的多少、同步频率的大小和通信延迟的高低三个方面。

共享高速缓存可以大大减少了需要传递的消息数量。

在CacheFusion结构中采用动态配置资源和有效行级锁定技术，也大大降低了需要节点间同步的频率。

2、高可用性
基于浪潮服务器的Oracle并行数据库Oracle RAC系统提供了真正的高可用性解决方案，是满足24*7可用性的最佳平台。

关键突破是在大多数数据库恢复期间能提供完整的数据块访问。

由于内存结构的重建很快，磁盘IO操作较慢，所以本系统很快将失败节点排除在Oracle RAC映像之外，使失败屏蔽开用户，实现了透明的应用切换，并提供了容错能力。

3、可管理性
基于浪潮服务器的OracleRAC实现了真正意义上的单系统访问数据库，它提供了从任何节点到所有磁盘设备和远程高速缓存进行无缝数据访问的能力。

此单系统映像延伸到所有数据库管理操作。

安装、配置、备份、升级以及监控等操作只需进行一次，然后会自动发布到Oracle RAC中所有的节点上去。

通过各种
Oracle工具可以帮助管理和配置Oracle RAC系统。

4、灵活的并行机制
数据库表的并行操作，支持智能化计算默认值。

在多用户多并行计算环境中，支持自适应多用户特征。

相对于基于静态分区的方法，Oracle RAC在负载分布的功能传递和节点间数据传输方面，将得到更优的性能。

5、灵活的实施
相对于传统的小型机的方案，浪潮服务器OracleRAC非常容易实施，并提供最大的灵活性。

应用程序可以动态地移动数据库资源，来适应变化的业务需求和工作负载。

浪潮服务器在部署Oracle或DB2并行数据库后，可以满足从在线事务处理到决策支持的多种应用。

为了测试整个系统的处理性能和可扩展性，浪潮分别对两种主要的应用进行了TPC基准测试。

TPC-C是在线事务处理(OLTP)的基准程序，模拟一个批发商的货物管理环境。

该批发公司有N个仓库，每个仓库供应10个地区，其中每个地区为3000名顾客服务。

在每个仓库中有10个终端，每一个终端用于一个地区。

在运行时，10×N 个终端操作员向公司的数据库发出5类请求。

TPC-H基准测试模拟了一种拥有大量数据并且需要与在线生产数据库实现同步的决策支持系统。

从测试结果看，浪潮服务器在数据库领域表现出了良好的性能和可扩展性，数据库的事务处理性能随着处理器规模的增加几近线性增长。

4、服务器设计
采用机架式服务器浪潮NF8560：
浪潮英信NF8560服务器为业界最先进的，具备优异计算性能、卓越可靠性及易用性的四插槽设计多路服务器系统，基于intel QPI技术NEHALEM-EX微架构多路多核处理器设计，强调灵活扩展、适用功能、高性能、高安全，定位于核心业务；在完善对传统应用的良好支持前提下，优化更高的内存、灵活I/O扩展，使之成为更加适用于基础架构优化的虚拟化整合、IT应用模式变革的云计算等前沿技术的最佳硬件平台。

产品特性：
更高的计算能力：
采用最新基于QPI高速互联技术，最高达8计算核心16计算线程24MB高速缓存的INTEL NEHALEM-EX XEON多路多核处理器，四插槽直连设计，提供高达32计算核心64处理线程，搭配TURBO智能加速技术，与前代基于FSB前端总线技术设计的服务器，系统联机事务综合处理性能提升2.5倍以上，高性能浮点计算能力提升3.8倍以上；
更大的数据带宽：
NEHALEM-EX处理器集成内存控制器，每CPU高达四条内存高速互联通道，采用ONBOARD MILL BROOK内存缓冲芯片，继承FBD DIMM高速特性，降低内存功耗及发热量，32DIMM设计使用DDR3 800/1066MHZ内存，最大容量高达256GB（32×8GB），支持内存四路交叉存取、内存镜像、内存工作频率的提高和运行方式的串行化全面提升了内存传输速率和安全性，相较上一代内存控制技术提供9倍的理论内存带宽提升；
更强的数据控制：
主板集成优化的新一代SAS2 控制器，全面支持SAS/SAS2硬盘，数据通讯速率高达6GB，采用板载的高性能RAID组件，在提高数据安全性的同时不占用高端企业客户宝贵的PCI-E扩展槽位；系统提供高速大容量3.5”硬盘设计，提供存储系统性能、容量、数量的综合优化，满足对现有资源保护；
更高的系统可靠：
系统各个关键部件如电源，系统散热风扇，硬盘等均支持热拔插技术，方便客户的维护，使得客户在系统单点故障的情况下也能够不停机进行系统维护，让客户的应用系统真正做到永不停顿；
更快的数据通讯：
标配集成两个具备IOAT2/VT/VMDQ技术的高性能千兆网络控制器，在全面提升网络I/O能力的同时，对虚拟化应用提供良好支持。

有效的降低对系统宝贵的处理资源，带给客户毫无顿滞的网络传输能力； KVM-OVER-IP功能可以让用户更好的配合浪潮睿捷管理套件进行远程的管理和维护；
更完善的管理能力：
NF8560产品采用了最新的浪潮服务器高级管理模块，搭配全新版本的浪潮睿捷服务器管理套件，可提供全面的远程系统监测、维护、管理、控制功能，确保客户的系统管理轻松自如，降低高昂的IT架构维护成本。

5、存储系统设计
采用光纤存储系统华赛OCSTORE-S5600T。

华为赛门铁克Oceanspace S5000T系列（以下简称T系列）产品是面向中高端存储应用的新一代产品，以业界领先的硬件规格为支撑，融合了高密磁盘设计，TurboModule高密度IO模块及热插拔设计，TurboBoost三级性能加速技术，多重数据保护等高端技术，能够满足大型数据库OLTP/OLAP，高性能计算，数字媒体，互联网运营，集中存储，备份，容灾，数据迁移等不同业务应用的需求，有效保证用户业务安全性与连续性。

高性能，高扩展性
∙业界领先的硬件：64位多核处理器以及高速大容量缓存，高交换带宽，整体性能较上一代产品提升50%
∙按需选择多种类型的硬盘：FC/SAS/NL SAS/SATA/SSD
∙领先的IO扩展性和灵活性：最大12个IO模块，48个IO接口（包括前后端接口）；支持4/8Gb FC，1/10Gb Ethernet与6Gb SAS接口；独创的T urboModule技术大幅提升IO模块密度，支持前后端IO模块灵活配比，降低维护成本
∙TurboBoost按需提升系统性能：业界领先的硬件支撑固有高性能，Smart Cache技术持续监测系统热点数据并缓存至SSD盘片，最高可获得数倍的读性能提升；纯SSD Raid组将系统性能大幅提高。

三级性能加速机制，按需提升系统性能，降低整体拥有成本
高可靠，高可用性
∙热插拔设计： TurboModule技术实现控制器、风扇、电源、IO模块、备
∙掉电保护技术：系统掉电后内置的电池模组自动将Cache数据写入数据保险箱，保证数据不丢失
∙硬盘预拷贝技术：提前发现即将故障的硬盘，主动迁移故障盘数据，规避系统降级的风险，有效降低数据丢失的风险
∙高级数据保护技术：利用HyperImage与HostAgent实现针对应用系统数据的一致性快照，并能从快照中瞬间恢复数据； HyperClone、HyperCopy 实现本地数据备份恢复；跨存储平台卷拷贝技术实现异构存储间的数据保护；远程复制技术实现数据异地备份容灾保护
高效，灵活，简单
∙统一的IO模块：T系列全线产品使用统一的IO模块，极大降低了总体拥有成本
∙24盘位高密设计：2U/4U高密度硬盘框（24块/框），平均1U空间最高可容纳12块硬盘（2.5英寸），相对于低密度盘框设计来讲，扩容成本降低6 0%
∙自动精简配置：HyperThin技术支持容量自动扩展，提高磁盘利用效率，实现用户按需购买，降低初次购买成本和TCO
∙易用的管理维护工具：通过ISM统一管理界面，5步即可完成基本配置；
支持声音，灯光，手机短信，邮件等多种告警手段；一键式双控在线Firm ware升级，有效地降低用户运维成本
绿色节能
∙硬盘节能技术：依据业务负载，实现硬盘智能休眠，可降低超过40%的能耗
∙16档智能风扇调速技术：根据系统当前温度智能调节风扇转速，降低风扇功耗及噪音，增强设备环境适应能力
∙CPU智能变频：根据业务压力智能调节CPU工作频率，在业务压力小时，降低CPU工作频率，大大降低系统功耗
6、路由器设计
路由器采用H3C MSR50-40多业务开放路由器。

●先进的硬件体系架构
MSR 50路由器在硬件设计方面充分地考虑到集成综合业务的需要，采用了先进的N-Bus多总线设计方案，语音、数据、交换、安全四大业务分别经由不同的总线，由专门的协处理引擎并行完成处理，消除总线和CPU性能瓶颈，大大提高了该路由器集成的多业务部署和实施能力。

可满足企业网络内部多种高质量并发业务无缝集成、完美融合。

图1 MSR路由器N-Bus体系结构
●开放式的增值业务平台
MSR 50基于OAA（Open Application Architecture）理念设计，创新性的推出了对外开放的业务平台。

该平台提供了一套完整、标准的对外接口（API接口）。

厂商与合作伙伴均可以在此平台上直接开发各类高级功能（例如应用层攻击抵御、网络病毒防护、多媒体集合通信、Web优化与加速等），用户只需安装开发出的软件，便可以将上述业务与MSR 50无缝融合，为日渐细分的个性化需求提供完整的解决方案。

多业务集成并发能力
集成安全业务
安全已经成为网络的基本功能，由于安全性需要内嵌于整个网络之中，因此路由器在网络防御战略中起着重要作用。

MSR 50产品提供专门的安全数据连接设计技术，采用内置硬件加密功能的CPU和主板上内置的硬件加密引擎（NDE），通过硬件的方式大大提高数据加密性能，保证转发和加密同步高性能，同时节省接口插槽。

MSR 50提供了丰富的安全功能，包括Firewall、IPSec VPN、MPLS VPN、CA、Secure Shell（SSH）协议2.0、入侵保护、DDoS防御、攻击防御等。

集成语音业务
MSR 50路由器采用了全新的硬件语音设计方案，提供了FXS/FXO/VE1/VT1等各种语音接口类型，支持SIP等主流的语音通讯协议，实现了紧急呼叫/掉电求救/拨号策略/传真/E-PHONE等各种语音业务。

MSR 50提供TDM交换能力，使用户的TDM交换在本地完成，大大节省网络资源的同时，使本地话音的接通率和通话质量完全达到电信水准。

MSR50路由器还支持高密度模拟语音模块：FIC-24FXS和DFIC-24FXS:24FXO，并通过支持FXS和FXO接口的1:1绑定功能及DFIC-24FXS:24FXO单板的断电逃生功能，大大提高了路由器产品的语音部署的灵活性和组网能力。

集成数据交换
MSR 50提供灵活扩展的以太网交换模块，支持丰富的二层交换特性，极大地满足了企业对于路由交换一体化组网方案的需要。

集成统一通信
MSR 50路由器通过基于OAA架构的开放通信引擎模块（OCE）提供呼叫处理、IP-PBX、IP电话会议和即时通讯等功能,为用户提供基于MSR路由器完美的统一通讯解决方案。

多业务线速并发
MSR 50路由器将全新的硬件架构和结构化的软件系统有机结合，可以为用户提供集成数据、安全、语音、视频以及各种上层应用业务的服务，满足用户现有的以及未来的互联网应用，而且路由器的原有数据传输性能丝毫未受影响。

7、防火墙设计
防火墙采用天融信 NGFW4000-UF(TG-600S)。

支持透明、路由、混合、（虚拟线）模式。

性能参数：2U机架式机型：最大配置26个接口，默认包括2个可插拔的扩展槽和4个10/100/1000BASE-T接口和4个SFP插槽，2个10/100/1000BASE-T接口（作为HA口和管理口）；支持双电源，整机吞吐量>8G；最大并发连接数>260W；功能参数：
能够对三维图像的安全审核，以及对三维图像中的文字过滤、或在图像中随意添加文字（敏感文字、反动文字）；
能够对区、街道、社区等级别用户进行授权访问控制，从而达到保证数据访问的安全性；采用因子认证（用户名+口令+证书+KEY）的安全输入和安全查询以及对操作对象的身份认证，操作权限，过滤敏感信息、个人隐私（地址、电话）等功能；
支持对HTTP、SMTP、POP3、IMAP、FTP等协议的深度内容过滤；可屏蔽受保护主机/服务器系统信息，如替换服务器（FTP、SMTP、POP3、telnet,HTTP）的BANNER信息；支持TOPSEC协议的IDS设备联动，以提高入侵检测效率；能够自动收集日志并能进行关联分析；支持双机热备。

1)人口数据方面
公众开放信息的分类方法进行过滤算法优先，保证人口数据的安全和系统的稳定可靠运行。

2)地图数据、格式方面：
对bmp,jpg,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf, eps,ai等文件类型的安全访问控制，也增加了对三维图像的安全审核，以及对三维图像中的文字过滤、或在图像中随意添加文字（敏感文字、反动文字）。

同时，安全系统在对图像访问控制的同时要保证图像加载、展现，地图数据包在网络上传输的流畅性。

3)数据安全访问
对不同行政级别的领导、部门、街道社区用户进行授权访问控制，结合三维数字社区自身的权限体系，从而达到保证数据访问的安全性。

4)视频信号流畅性
对高清全景视频监控系统信号，运用流扫描、流过滤技术，既保证视频数据的安全又保证了视频图像的流畅性。

5)灵活的接口扩展能力
考虑到统一平台的设计理念，硬件要求采用模块化设计，接口数量最大可扩至26个，接口类型可支持电口以及光口。

6)安全高效的操作系统
硬件产品要具有完全自主知识产权的安全操作系统，同时要通过优化的结构与设计，减少了系统对硬件的依赖性，有效保障了防火墙、SSL VPN、IPSEC VPN、防病毒、内容过滤、抗攻击、带宽管理等功能模块的优异性能。

提供了强大的网络应用控制功能。

7)对网络访问的控制
考虑到政府工作要求特点和带宽的要求，防火墙设备要通过管理员对一些典型网络应用进行访问控制和阻断，如MSN，QQ、Skype、新浪UC、阿里旺旺、Google Talk 等即时通信应用，以及BT、Edonkey、Emule、讯雷等p2p应用实行灵活的访问控制策略，如禁止、限时、乃至流量控制，还提供了定制功能，可以对用户所关心的网络应用进行全面控制。

8、IDS入侵监测系统设计
IDS入侵监测系统采用天融信TopIDP 2000 TI-500-IDP。

支持直连，路由，IDS监听及混合模式接入
性能参数：
1U机架式机型：最大配置12个接口，默认包括4个10/100/1000BASE-T接口（其中ETH2和ETH3支持bypass）,1个扩展槽，默认含1年特征库升级。

整机吞吐量>1.2G；最大并发连接数>40W；IPS性能>500Mbps。

规则库>2800条；
功能参数：
对视频监控信号运用流扫描、流过滤技术，既保证视频数据的安全又保证了视频图像的流畅性；支持防火墙联动；
支持规则库手动、自动升级；能对当前主流的溢出类攻击进行检测和阻断，如：Solaris.Rpc、Microsoft IIS、SendMail、Samba、Apache、、Radius、HP Openview、Oracle、Sybase、Norvell、CA等应用系统类溢出攻击；
能对当前主流的蠕虫病毒进行检测和阻断，如：Win32/Bagle.worm、Win32/LovGate.worm、红色代码、震荡波、SQL Slammer（蓝宝石）、SMTP MyDoom 等；
具备丰富的木马特征库，能检测包括灰鸽子、冰河、NoSecure、Gh0st、灰熊猫、亚麻、上兴、红蜻蜓、蓝色火焰、广外女生等多种热点木马及其变种，以及识别多种网页挂马攻击；能对当前主流的拒绝服务攻击进行检测和阻断，如：Land、Smurf、Winnuke、teardrop、targa3、UDP Flooding、SYN Flooding、Icmp Flooding等；支持在线检测、旁路监听或者混合部署方式；
支持攻击总数/检测总数仪表盘显示；支持按事件类别的分布饼图统计；
支持双机热备（Active-Standby模式）；
支持专业的硬件bypass功能，保证网络通畅；支持WEB图形配置、命令行配置、远程配置。

由于三维数字社区管理系统庞大的访问群体和用户数，入侵检测防御设备应具有高吞吐量和低延时,能够与网络中的其它网络设备的性能相匹配。

2）强大的入侵防御能力
设备要求具备对2到7层网络的线速、深度检测能力，同时配合以及时更新的攻击特征库，即可以有效检测并实时阻断隐藏在海量网络中的病毒、攻击与滥用行为，也可以对分布在网络中的各种流量进行有效管理，从而达到对网络架构防护、网络性能保护和核心应用防护。

3）高可用性和冗余性
设备需要具备胜任骨干网及数据中心的带宽需求，当出现软硬件故障和电源故障时，系统能够在短时间内自动切换到旁路模式以保障网络的畅通，不影响数据传输速率。

同时，设备要求支持双机热备份和负载均衡，支持Active-Active、Active-Passive模式，保证了网络环境的高度畅通性。

9、负载均衡器设计
负载均衡器采用F5-BIG-LTM-1600。

吞吐量:1Gbps;硬件SSL:默认支持500个,最大支持5000个,最大支持1Gbps加密数据流;数据压缩:默认50Mbps,最大1Gbps;处理器:双核CPU;内存:4GB;硬盘:320GB;千兆以太网接口:4个;SFP接口:2个;。