数据存储服务产品开发需求文档

数据存储服务产品开发需求文档
1.综合描述
1.1.产品综述
数据存储服务产品主要解决大数据时代海量数据的分布式存储及管理问题。

本服务作为实时数据湖智能分析系统中的一款子产品，与各子产品之间呈现松耦合状态，能够单独部署于大数据存储应用场景。

1.2.产品功能
支持不同接口的数据写入、读出方式；
产品支持面向用户的存储视图，为用户提供独立存储资源；
产品支持多种数据保护及备份方案；
1.3.软件开发平台环境要求
i.开发环境支持的操作系统
Windows 2003/XP/Win7/Win10。

ii.运行环境支持的操作系统
Red Hat Enterprise Linux 6或以上
iii.支持的硬件环境
应用程序支持的硬件环境：
●支持32位
●支持64位
iv.支持的数据库
应用程序支持的数据库：
●Oracle
●DB2
●SQLServer
●MySQL
v.支持的浏览器
应用程序支持的浏览器：
●IE 8 及以上版本
●Chrome 40.0及以上版本
●Firefox 2 及以上版本
2.系统功能需求
系统主要实现4个主要功能：
一．系统管理功能。

二．系统级数据存储功能。

三．个人用户数据存储功能。

四．数据保护及数据备份功能。

本服务与系统中其他子系统的关系如下图所示，所有功能均需实现web操作界面。

2.1.系统管理功能
管理系统功能向管理员提供系统控制服务，包括功能如下：
2.1.1.设备级存储资源配置
通过web操作界面实现基于设备IP手动添加、删除存储设备，自动采集设备信息。

2.1.2.系统级用户管理
通过系统管理功能管理系统级用户，支持如下功能
●用户注册：生成用户名，密码。

●用户权限管理：对规划后的存储资源使用的权限分配/撤销等管理操作。

●用户注销：注销已有用户。

2.1.
3.文件存储监控
开发web应用对系统内的文件存储情况进行监控，需要具备以下功能：
●仪表盘创建：在仪表盘内可灵活添加/删除/修改/配置图表，仪表盘支持饼图，柱状图，
折线图，多柱状图，多折线图，堆积柱状图，堆积折线图，直方图，数据报表等。

●整体存储情况展示：
⏹对在系统内注册的存储对象（HDSF集群，FTP服务器等）进行存储占用情况展示。

●个人数据情况展示：
⏹个人数据总存储量。

⏹个人数据存储量分布直方图。

⏹个人用户存储情况查询。

●系统级数据情况展示：
⏹可选择图表类型。

⏹配置图表维度及指标。

⏹指标有：文件夹中的文件个数，单文件大小，文件夹的文件总量。

⏹对于文件夹名称可在配置图表时进行映射，例如：”AH”映射为”安徽”。

2.2.系统级数据存储功能
数据存储服务面向其他子系统提供相应数据服务接口。

其他子系统按照其系统级用户权限调用相应的存储服务接口。

2.2.1.系统级数据存储接口
为提升本服务对外的兼容性，提供的接口均为标准的服务接口，包括且不限于：
●HDFS
●FTP
2.2.2.数据规范化存储
本功能为系统级用户提供API，实现对系统级用户输出的数据文件实现规范化存储功能。

系统级用户调用该API时需要进行两步配置：
第一步，在数据规范化存储模块以id**.config的形式提交策略。

第二步，在数据输出的时候携带参数standard_flag=1, config_id =”id**”, paras = ”para1=’**’, para2=’**’… ”。

对规范化策略进行调用。

规范化存储示例：
原始数据文件名称为：HLJ_SMR_UTRANCELL_ECIO_RSCP_20150317.tar.gz。

通过API解析文件名，得到有效的规范化存储信息，例如上面文件中的：
1.省份：HLJ
2.数据类型：SMR
3.年份：2015
4.月份：03
应用这些信息根据规范化存储规则生成相应目录结构并将文件规范化放置，上例中生成的规范化存储路径为:
/SMR/2015/HLJ/03/ HLJ_SMR_UTRANCELL_ECIO_RSCP_20150317.tar.gz
2.3.个人用户数据存储功能
个人用户通过控制台使用数据存储服务。

使用权限由数据湖系统用户管理模块统一分配。

2.3.1.个人文件管理系统
对于每个用户，数据存储系统提供“伪独立”个人文件管理系统。

即前台面向用户的操作界面为独立文件系统，在非共享情况下，他人文件不可见，提供给用户根目录，用户可以自定义文件夹体系，灵活存储数据文件到目标“逻辑路径”。

后台通过对用户名及相应的“逻辑路径”进行映射得到后台实际存储路径，该系统建议使用HDFS存储服务，利于其他子系统对数据文件的操作。

2.3.2.文件上传
数据存储服务支持用户通过WEB界面上传数据（文件，文件夹均可）。

2.3.3.文件下载
数据存储服务支持用户通过WEB界面下载数据（包括个人数据及其他用户共享数据）。

2.3.4.文件删除
数据存储服务支持用户通过WEB界面删除数据。

2.3.5.文件应用
系统用户可以将个人数据文件应用于其他子系统模块，生成结果存储回其系统。

2.4.数据保护及数据备份功能
系统支持的数据保护方式支持如下3种。

2.4.1.HDFS块级数据备份
对于存储于HDFS上的数据文件系统默认提供1:3备份。

2.4.2.双磁阵主备设置
通过镜像技术实现双磁针数据一致性，并设置主备关系，实现热切换，高可用。

2.4.
3.异地数据容灾
可通过IP连接异地存储资源并配置相应目标数据路径，进行异地数据容灾。