云存储技术规范0810

云存储技术规范

——上海电信互联网部2010年7月

1、总则

1.1编写目的

为了更好的推进网盘项目招标和工程规范实施，特此编写此技术规范，

对系统的各个特性和性能要求提出具体要求，起到规范统一的作用。

1.2建设背景和目标

随着互联网的急速发展和非结构化数据的爆炸性增长，公众对高效，快

速，分布式存储提出了更高的要求。中国电信云存储方案基于这个需求

被提出来。

1.3适用范围

中国电信云存储项目

1.4起草单位

中国电信股份有限公司上海分公司互联网部

1.5解释权

中国电信股份有限公司上海分公司互联网部

1.6术语解释

1.7参考文献

1.8设计要求及使用条件

1.3.1总体设计要求

要求系统部署合理，提供完善的网络硬盘服务，提供完善的开发接口，提供及时有效的售后服务。

1.3.2使用条件

满足一般条件下的使用条件。

2、技术要求及规范

2.1平台架构

按照解耦和，多模块的观点，要求系统各个模块结构清晰，功能相对独立，便于维护和升级。架构图可以参考如下的模型（图３－１）：

（图３－１）

图详解：

①存储业务作为磁盘空间，为中国电信内部自有业务提供存储支撑；

②存储业务为公众用户（主要是中国电信客户）提供丰富的个人存储产品

和服务；

③云存储系统必须提供丰富的业务接口，以支持开发丰富的上层应用。

2.2组网结构

按照分布式的组网需求，并充分使用中国电信ＣＮ２骨干网络，要求全国云存储采取分点组网，快速连接。

整个组网结构，请参考如下图（图３－２）：③

①②

（图３－２）

2.3功能性要求

2.3.1基础存储服务

云存储管理平台提供基础的存储资源池，将多个物理设备上的存储资源虚拟为统一的存储资源池，供上层使用。

2.3.2存储管理

设备管理：通过查询域内所有设备的磁盘、CPU、内存、电源、风扇、网口等信息。让用户实时了解域内设备运行信息，运行状态，从而可以操控设备；同时及时了解运行有误的设备，有必要可以采取适当措施保证其正常运行。

资源管理：用户可以方便的了解云存储系统的各个节点的服务情况，包括MDS 的主备、 MDS\OSN的容量和性能（读IOPS、写IOPS、读流量、写流量）等信息，

让用户实时了解域内资源信息，运行状态，从而可以操控这些资源；同时及时了解资源的异常，有必要可以采取适当措施保证其正常运行。

2.3.3策略管理

云存储平台提供灵活的存储策略，包括文件的副本数量、异地存储、加密存储、压缩存储、同步或异步存储。可以对用户不同目录设置不同的存储策略。

2.3.4多租户管理

云存储平台要求能支持对多租户的管理，可以为每个租户设定存储空间、存储带宽、存储策略、用户数。租户可以设置管理子租户和孙租户，形成目录树结构。

2.3.5统计报表

云存储管理平台提供统计报表接口，能够完成用户存储容量、存储数据访问量等数据的统计

2.3.6多线程支持

云存储管理平台提供的接口支持多线程及断点续传上传下载文件。

2.3.7跨数据中心部署

云存储管理平台要求支持跨数据中心的部署和管理，并支持跨数据中心的用户访问调度、数据迁移、数据异地存储备份等功能。

支持集中管理，云存储管理平台部署在全国中心机房，存储节点可以部署在全国各机房中，管理平台对分点机房的存储设备可以统一管理调度。

2.3.8数据写多份

云存储平台要求能够针对不同应用或用户的可靠性和性能需求，灵活设置文件存储的副本数。在满足数据可靠性要求（要求支持同时坏任意两块磁盘数据不

丢失）和读写性能要求的前提下，尽量提高存储空间利用效率，降低存储成本。

2.3.9分级安全服务

✧传输安全

云存储系统采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本传输协议，是以安全为目标的HTTP通道，简单讲是HTTP的安全版。Https:URL 表明它使用了HTTP，但HTTPS存在不同于HTTP的默认端口及一个加密/身份验证层（在HTTP与TCP之间）。这个系统提供了身份验证与加密通讯方法，目前广泛用于万维网上安全敏感的通讯，例如交易支付方面。云存储提供的业务接口及管理接口都基于Https，从而保证数据的在传输层的安全。

✧存储安全

云存储系统在数据存储时，根据条带策略，将用户数据根据侧录进行分条，根据条带策略决定每个分条的大小，数据分条的存储物理位置等。数据的所有分条及布局信息是元数据的一部分内容，由元数据节点统一管理。即使任何一个磁盘、一个云存储节点被盗或被入侵。都无法得知具体的数据内容。入侵者无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。保证数据在存储过程中不被窃取。

支持用户指定的目录和文件加密存储。

✧用户和权限控制

云存储系统对每份数据都提供丰富的访问控制策略策略，对数据的所有操作都会进行权限检查。访问控制策略包括：用户和权限。

2.3.10内容搜索

支持按关键字搜索文件名和文件内容。

2.3.11离线下载

关机后也可以雇佣服务器下载，支持HTTP多线程下载。

2.3.12维护管理

设备管理、系统监控、日志、节点管理、域管理、异地灾备、负载均衡等等基础存储服务

2.3.13应用接入接口

云存储管理平台提供基于HTTP（SOAP/REST）的应用接入接口，包括对用户所有资源的操作接口、用户容器、用户数据的操作、数据访问控制和权限的接口。

云存储管理平台提供资源分配、空间使用、空间回收等管理接口。

2.3.14资源统计接口

云存储管理平台提供基于用户的存储资源使用情况相关接口，满足计费要求。具体包括：用户使用空间的统计、用户上传下载的数据流量统计、用户上传下载的次数统计等。

2.4扩展性要求

考虑到后期扩容的需求，对系统扩展性的要求十分重要。主要体现在以下几个方面：

（１）可以实时对容量进行扩充和升级；

（２）支持磁盘的热插拔，新增的资源可以立即被平台辨识，管理和分配；

（３）最低要求可以同时更换两块坏磁盘，更换上的新磁盘自动进行数据填充修复，以保持数据完整性、一致性；

（４）新增磁盘空间要对磁盘的总体负载要起到良好的均衡作用；

（５）支持新增空间的主动和被动的数据备份作用。