HC1209207-HCNP V3.0 第七章 大数据存储系统高性能计算场景最佳实践

目录分布及深度（层级）， 在根目录下设置17个一级文件夹，
当目录下最大文件夹数。 分别存储极轨卫星数据、静止卫星
系统最大文件数。
数据、xx号卫星数据等。
每个一级文件夹下面再设置4个子 目录，每个子目录下按时间设置一 层子目录。共3级目录结构。
业务调研要点-功能及性能需求
业务调研要点-对接环境
调研项 调研说明
调研内容
A气象局样例
应用软件 访问协议
对接应用软件厂商、卫星数据管理应用软件
型号、版本
卫星数据处理应用软件
CIFS/NFS/FTP
每种协议开放的共 享个数
SMB1.0/SMB2.0/NFS V3/NFS V4/FTP
客户端数 量
有多少客户端访问 该业务，客户端配 置
具体描述是怎样的业务， •数据存取时间窗口
典型业务周期（如每月） •数据变化趋势
中的业务模式，如：
•业务信息统计需求
• 是否到月末有大量归档
• 日均存储容量占用量 （按每周/每月估计）
• 多少客户端使用（读、 写、混合读写）
• 是否需要定期生成性能 统计报告（可选是否提 供配套的报表工具）
•存储中心服务主要面向业务网和办 公网，业务网主要业务是从在线存储 向存储中心拷贝写入卫星产品数据， 办公网主要业务是各地市气象局客户 端从存储中心拷贝读取卫星产品数据 •每天从在线存储系统上向存储系统 上拷贝存入气象卫星数据 •向各个地市气象局提供7*24气象卫 星产品数据读取服务 •每天新增4T数据，新增数据大概保 存一个月后删除 •需要报表服务，统计各客户端文件 读写信息
气象领域高性能计算业务
以某气象局高性能计算项目为例介绍卫星数据处理基本业务流程如： • 卫星数据产生：不同卫星的功能不同，采集数据包括两部分：视频、
推扫（图片），数据采集后首先进行压缩，完成存储。 • 卫星数据采集：卫星数据“连续但不持续”，每天进行数据采集。 • 卫星数据处理：
• 1级处理： 0级数据经过辐射校正、光谱校正后，生成1级产品数据。 • 2级处理： 1级数据经过量大约为15TB（9TB视频，6TB图片），接收的
数据经过转码和快视，并加入部分辅助信息后，为0级数据，规划每天 数据量15TB 。控制点、几何粗校正后，生成2级产品数据。 • 3/4/5级产品：根据行业应用进行定制，不做常规普通处理。
A气象局卫星数据处理项目案例
• 客户要求：
• 大容量高扩展：每天产生数百GB至TB级的数据，需要数PB甚至数十PB的 存储容量，以便永久保存超大的卫星影像数据文件。
业务种类 根据业务种类评估 业务重要性，如在 线业务、归档业务
卫星数据接收存储业务、 为保证内部用户的数据共
实时在线数据存储业务、 享服务，通过NAS技术实现
存档与服务存储系统、 数据资源共享，作为数据
备份业务系统
的存档与服务中心
业务调研要点-业务背景（2）
调研项
调研说明
调研内容
A气象局样例
业务描述
• 高性能高可靠：生成图像产品时批量作业，存储大文件（100GB级）和 小文件（KB级）并存，需要数GB/s甚至数十GB/s的吞吐，高OPS；原始 数据不能丢失。
• 近线、离线归档：存储、分析、归档一体化，需要数据分析接口，智能 的归档策略，避免数据迁移的成本。
气象领域高性能计算业务架构
• 典型的卫星数据归档与业服务网务应用组网中，业务网服办务公网（器约1通00个客过户端N）FS协议将数据写入到集 群NAS中，给办公网各客户端提供文件读取服务。
卫星数据说明文件、0-N级 图等类型文件平均大小大概几十KB，
卫星数据
ຫໍສະໝຸດ Baidu
卫星气象分析数据平均大小几十GB。
数据大小：几十KB，几十 气象卫星产品数据大概存储一个月，
MB，几十GB。
一个月后删除。
卫星数据保存时间：几天、
几个月、几年。
目录结构
目录层级（深度）、 单层目录的目录数 （宽度）、单个目录 的最大文件数、整体 需求总文件数
windows客户端 linux客户端 MAC客户端
客户端OS 访问该业务的操作 Windows、MAC、Linux、Unix 系统类型及版本 等具体的操作系统及版本
ASS系统
SMB1.0/SMB2.0/NFS V3/NFS V4/FTP 都存在，地市气象局存在多种类型 客户端（Windows、Linux、MAC）来 访问存储中心 业务网络（卫星数据写入）存在28 台linux客户端，办公网络（卫星数 据分发读取）存在100台以上客户端 （windows、linux、mac） Windows、MAC、Linux、Unix等主流 操作系统都存在
1. 高性能计算场景介绍 2. 业务调研和需求分析 3. 组网规划和硬件配置规划 4. 业务特性和增值特性配置规划
业务调研要点-业务背景（1）
调研项 调研说明
调研内容
A气象局样例
业务名称 收集客户业务名称
地面站存储、实时数据 X星CNS数据存档与服务存 存储、数据存档与服务 储中心 存储中心、数据备份中 心、数据服务分中心
权限需求
是否有访问权限控 制需求，是否要加 入域控
CIFS: 本地/AD域 NFS：IP/LDAP域/NIS域
不使用域，使用本地权限认证
业务调研要点-文件及目录结构
调研项 文件
调研说明
调研内容
A气象局样例
文件大小及比例，平 均文件大小，最大文 件大小，文件类型、 文件生命周期
数据类型：图片、视频、 大小文件混合场景：卫星图片缩略
目标
• 学完本课程后，您将能够：
• 掌握高性能计算场景典型业务模型。 • 掌握OceanStor 9000高性能计算场景业务调研和需求分析要点。 • 掌握OceanStor 9000组网规划和硬件配置规划要点。 • 掌握OceanStor 9000业务特性和增值特性配置规划要点。
目录
1. 高性能计算场景介绍 2. 业务调研和需求分析 3. 组网规划和硬件配置规划 4. 业务特性和增值特性配置规划
SDAC3 SDAC4 ARSS1ARSS2 GIS1 GIS2 FTP3 FTP4 FTP5 FTP6
报表服务器
CE6850万兆交换机
E-ethrunk 堆叠
CE6850万兆交换机
C节点-1
图例
10GB GE GE
C节点-2
C节点-3
………
C节点-26
CE6850万兆交换机
CE6850万兆交换机
目录