平安城市建设技术解决方案

目录
1概述 (2)
1.1建设背景 (2)
1.2设计范围 (2)
1.3总体设计原则 (2)
2系统架构 (3)
2.1系统基本组成 (4)
2.2系统功能描述 (5)
3云存储系统平台设计 (12)
3.1项目需求 (12)
3.2设计思想 (13)
3.3云存储系统方案 (13)
3.4系统优势和特点 (14)
4工作机制 (16)
4.1数据写入机制 (16)
4.2数据读出机制 (16)
5接口描述 (17)
5.1POSIX通用文件系统接口访问 (17)
5.2应用程序API接口调用 (18)
6本地容错与诊断技术 (18)
7.1cStor高可靠性 (18)
7.2cStor数据完整性 (18)
7.3cStor快照技术 (19)
7异地容灾与恢复技术 (19)
8.1cStor数据备份与恢复系统功能 (19)
8.2cStor异地文件恢复 (20)
8关键技术 (21)
8.1负载自动均衡技术 (21)
8.2高速并发访问技术 (21)
8.3高可靠性保证技术 (21)
8.4高可用技术 (22)
1概述
1.1建设背景
云存储平台为本次平安城市建设总体解决方案的一部分。

主要针对海量的办公文件、关键数据、知识库文件、音视频文件、共享资料及其它各类数据的集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。

为平安城市数据存储提供便捷、统一管理和高效应用的基础平台支撑。

1.2设计范围
本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。

1.3总体设计原则
针对本次工程的实际情况,充分考虑平安城市建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。

1.3.1先进性原则
在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。

选择实用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统发展平滑扩展。

1.3.2安全性原则
数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。

同时配置安全的备份系统，对应用数据进行更加安全的数据保护，降低人为操作失误或病毒袭击给系统造成的
数据丢失。

在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、自动冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。

1.3.3成熟性原则
为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供统一的通用稳定访问接口。

1.3.4开放性原则
系统建设具有开放性的标准体系，提供符合POSIX标准的通用文件系统访问接口，开放的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。

遵循规范的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享。

充分考虑系统的升级和维护问题，维护采用在线式的，即在系统不停止工作的情况下，可以更换单元备件。

系统的维护和升级操作由系统管理员即可完成。

1.3.5经济性原则
现有业务系统存储数据量较大，且数据的增长速度较快。

因此在建设系统存储架构时，应从长远的角度考率，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。

结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。

通过软件实现在较廉价普通服务器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和降低系统建设的硬件成本。

2系统架构
在本次共享平台建设中，云存储系统属于基础平台支撑层，以用于数据集中存储和共享，实现对数据的统一管理和高效应用。

将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。

下面具体说明cStor云存储资源管理系统的基本组成和主要功能。

2.1系统基本组成
cStor云存储资源管理系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。

它采用包括卷管理服务器、元数据管理服务器（Master Server）、数据存储节点服务器（Chunk Server）和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。

在每个服务器节点上运行cStor云存储资源管理系统的相应的软件服务程序模块。

系统架构框图如下图所示。

cStor云存储资源管理系统架构
其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server 在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；Chunk Server 负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk Server上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。

由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。

管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。

这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的Chunk Server即可，而不需要添加整套设备。

在实现大规模扩展时也可方便地添加整个卷设备。

2.2系统功能描述
cStor云存储资源管理系统从功能上划份为三大部分：
1)cStor分布式文件系统
分布式文件系统实现文件数据存储、可靠性容错、可伸缩性保证、高可用保证、负载均衡和流量分担等功能。

2)存储访问接口
cStor提供符合POSIX规范的文件系统访问接口，通过cStor访问挂接程序可将
云存储空间挂接为本地目录或磁盘。

同时可提供专用的API接口，支持业务应
用层程序对云存储系统的直接访问。

3)管理监控中心
管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障
管理等功能。

下面逐一详细介绍各部分系统功能。

2.2.1cStor分布式文件系统
cStor分布式文件系统包括卷管理、元数据管理、块数据管理服务。

参考上面系统架构框图左侧部分。

元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。

因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。

由于
元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机高可用，切保７×２４小时不间断服务。

通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，切保数据可以完整找回。

块数据是指文件数据被按照一定大小（默认64MB）分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。

块数据服务是运行在每个存储节点服务器上的块数据管理程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能。

相比较传统业界的云存储采用块数据简单备份冗余容错机制，编解码容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。

由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。

卷管理服服务器负责将多个卷虚拟化整合，对外提供统一的整体访问云存储空间。

文件系统采有中心服务器模式分布式存储架构，控制流与数据流分离，通过增加存储节点
系统采用自动注册机制，实现系统高可伸缩性，增加或减少存储节点规模，不影响系统正常提供存储访问服务。

该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。

同时在多个不同的存储节点之间实现根据空间比例进行优化配置，数据优先存储的空间利用比例相对较低的磁盘或存储服务器上。

cStor分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。

2.2.2存储访问接口
cStor分布式文件系统提供符合POSIX规范的文件系统访问接口。

支持Linux、Windows、MaxOS X等操作系统平台。

可将云存储系统提供的存储空间挂接为本地目录或本地盘符来使用。

用户操作云存储空间和操作本地文件相同。

另外cStor提供专用的高速存取访问API接口，供性能要求很高的高端应用程序对
接使用。

2.2.3管理监控中心
管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维护性。

管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。

以下为部分系统管理界面。

设备管理
●系统监控
●告警信息
●告警配置
●告警日志
●故障处理
●卷管理
●帐户管理
●添加帐户
3云存储系统平台设计
3.1项目需求
3.1.1容量需求
针对本次建设实际数据容量，一期拟建设37048TB有效容量数据存储平台，主要存储办公文档、音视频文件、共享资料及其它各种文件类型数据。

3.1.2吞吐量需求
为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。

3.1.3扩展性需求
未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。

3.1.4低成本需求
要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。

3.1.5可维护性需求
要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB 配置管理监控平台，实现智能化管理。

3.1.6接口需求
要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。

3.2设计思想
采用业界成熟先进的云平台架构思想，采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，将系统控制流与数据流分离，同时使得数据在逻辑上集中、物理上分散，每台服务器同时对外提供服务，以达到多并发高吞吐量的性能要求，采用自注册机制和故障自动屏蔽及自动冗余重建技术实现系统自我维护和平滑扩展，系统服务7×24小时不间断。

系统采用先进的编解码容错技术，可根据数据可靠性要求设置适当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数据容错。

3.3云存储系统方案
采用业界已经成熟的cStor云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次平安城市云数据中心存储平台，其应用部署示意图如下图所示。

存储节点/服务节点 1存储节点/服务节点 2存储节点/服务节点 3
存储节点/服务节点 n
cStor云存储资源管理系统部署示意图
3.4系统优势和特点
cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）；该系统相比传统存储系统有如下技术优势：
3.4.1高度可靠
存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并
重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。

3.4.2优异性能
cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点
上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

3.4.3无限容量
系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。

3.4.4在线伸缩
cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的
存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

3.4.5通用易用
cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下
的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。

同时，也提供专用的API接口，供开发人员调用。

3.4.6智能管理
提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。

通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况；同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。

系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

4工作机制
4.1数据写入机制
数据写入过程参考下图：
(1)客户端向元数据服务器请求写入文件数据，元数据服务器返回写入服务器列表；
(2)客户端进行文件切块写入有块数据服务器；
(3)客户端每写入一定量的块数据后，通知元数据服务器，由元数据服务器启动一
个编码任务，进行编码；而客户端继续写数据，真到写完成为止；
(4)元数据服务器调度一个或多个块数据服务器进行编码任务；
(5)被调度的块数据服务器，获取需要的原始信息块组进行编码，产生冗余数据块；
4.2数据读出机制
数据读出过程参考下图：
(1)客户端向元数据服务器请求读出文件数据，元数据服务器返回数据块位置列表；
(2)客户端进行数据块读出；
(3)客户端进行数据块校验；
(4)对未能读出的数据块或无效块通过同编码组内其它数据块进行解码，获得完整
正解的文件数据；
5接口描述
作为云平台基础架构层的cStor云存储系统，主要支持两种访问方式：①POSIX通用文件系统接口访问；②通过专用API访问。

具体描述如下。

5.1POSIX通用文件系统接口访问
cStor客户端挂接程序支持Linux/Unix/Windows/MacOS等操作系统，并且支持POSIX 接口规范，通过客户端将云存储系统挂载成本地目录或磁盘后，用户可以如同操作本地目录或磁盘一样使用云存储空间。

同时，对于基于本地文件系统的应用程序，可以不加修改，直接应用在云存储系统上。

通常情况下，可以通过在客户端的基础上部署FTP、NFS等服务器的方式，对外提供基于FTP和NFS的数据存储访问。

5.2应用程序API接口调用
cStor云存储系统对外提供应用程序API访问接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问cStor云存储系统。

6本地容错与诊断技术
7.1cStor高可靠性
6.1.1快速恢复
不管如何终止服务，元数据服务器和存储服务器都会在几秒钟内恢复状态和运行。

实际上，我们不对正常终止和不正常终止进行区分，服务器进程都会被切断而终止。

客户机和其他的服务器会经历一个小小的中断，然后它们的特定请求超时，重新连接重启的服务器，重新请求。

6.1.2数据块恢复
每个数据块都会被备份到放到的不同存储服务器上。

对不同的目录和文件，用户可以设置不同的备份级别。

在存储服务器掉线或是数据被破坏时，元数据服务器会按照需要来复制数据块。

6.1.3元数据备份
元数据服务器采用双机热备技术，在主元数据服务器发生异常中断时，能够在秒级内切换到备元数据服务器，而不会中断业务。

另外还可以采用冷备份机制，单独将元数据备份到另外第3台机器中，从而确保万无一失。

7.2cStor数据完整性
每个存储服务器都利用校验和来检验存储数据的完整性。

在读数据时，存储服务器首先检查与被读内容相关部分的校验和，因此，服务器不会传播错误的数据。

如果所检查的内容和校验和不符，服务器就会给数据请求者返回一个错误的信息，并把这个情况报告给元数据服务器。

客户机就会读其他的服务器来获取数据，而元数据服务器则会从其他的拷贝来复制数据，等到一个新的拷贝完成时，元数
据服务器就会通知报告错误的服务器删除出错的数据块。

写数据时的校验和计算优化了，因为这时主要的写操作。

我们只是更新增加部分的校验和。

在空闲时间，服务器会检查不活跃的数据块的校验和，这样可以检查出不经常读的数据的错误。

一旦错误被检查出来，服务器会拷贝一个正确的数据块来代替错误的。

7.3cStor快照技术
快照操作几乎在瞬间构造一个文件和目录树的副本，同时将正在进行的其他修改操作对它的影响减至最小。

7异地容灾与恢复技术
随着企业规模的扩展，用户原有意识中的数据备份已经无法满足关键业务对系统的可用性、实时性、安全性的需要。

更重要的是备份的数据往往会因为各种因素而遭到毁坏，如地震、火灾、丢失等。

所以需要异地容灾备份技术，从而进一步提高数据抵抗各种可能安全因素的容灾能力。

8.1cStor数据备份与恢复系统功能
7.1.1自动备份
用户可根据工作需要进行备份策略的设置，根据用户设定的策略自动备份需要备份的文件，备份过程无须人工干预。

7.1.2持续备份
可以连续实时捕获所需备份文件的数据变化，并自动保存变化的数据和时间戳(即表示数据变化的时间节点)，在此基础上可以实现过去任意时间点的数据恢复。

7.1.3完全备份
将备份集所包含的全部文件备份到“黑方”服务器。

7.1.4增量备份
首次的完全备份结束后，针对用户设定的备份集，自动进行增量备份，在捕获到文件修改事件消息后，实时备份新修改的文件。

7.1.5差异备份
即差量备份，针对具体的文件而言，为了减少存储空间的占用，采用差异备份，每次文件修改操作被捕获后，仅备份相对于初始完全备份后所变化的文件数据内容。

7.1.6定时备份
设定好定时备份的时间点后，到了设定的时间点，程序自动备份目标文件。

8.2cStor异地文件恢复
用户可以使用恢复功能将文件从异地cStor备份系统下载到本地硬盘，也可以进行批量恢复，尤其是可以按照设定时间（年、月、日、时、分、秒）恢复所需文件。

8关键技术
8.1负载自动均衡技术
采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在主管理服务器上，文件则划分为多个节点存储在不同的节点服务器上。

主卷管理服务器维护了一个统一的命名空间，同时掌握整个系统内节点服务器的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动均衡负载负担。

另外，当某有一个节点服务器因为机器故障或者其他原因造成离线时，主卷管理服务器会将此机器自动屏蔽掉，不再将此节点服务器提供给客户端使用，同时存储在此节点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上，自动屏蔽节点服务器故障对系统的影响。

8.2高速并发访问技术
客户端在访问云存储时，首先访问主卷管理服务器节点，获取将要与之进行交互的节点服务器信息，然后直接访问这些节点服务器完成数据存取。

客户端与主卷管理服务器之间只有控制流，而无数据流，这样就极大地降低了主卷管理服务器的负载，使之不成为系统性能的一个瓶颈。

客户端与节点服务器之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。

8.3高可靠性保证技术
对于元数据，通过操作日志来提供容错功能，当主管理服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。

为了防止主管理服务器彻底死机的
情况，还提供了主管理服务器远程的实时备份，这样在当前的主管理服务器出现故障无法工作的时候，另外一台备管理服务器可以迅速接替其工作。

对于节点服务器，采用编解码的方式实现容错。

分布存储在不同的节点服务器上。

数据块的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。

在其后的过程中，如果相关的数据块出现丢失或不可恢复等状况，主管理服务器会自动将该数据块编解码冗余到其他节点服务器，从而确保数据块的一定的冗余容错，进行自动冗余容错重建。

在有多个节点服务器的情况下，任意损失一个节点，数据都不会丢失，而且随着节点服务器数目的增多，整个系统的可靠性越大。

8.4高可用技术
系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。

元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用编解码冗余备份机制，如采用4:2编码容错，，任意损失两个节点，数据不丢失，服务不停止。