HPC高性能计算系列一之基本概念篇
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
处理器类型 浮点运算/时钟 AMD Opteron 4 Xeon E7 4 Xeon E5/E7 v2 8 Power 7 8
集群效率： 集群效率＝实测浮点峰值/理论浮点峰值*100%
TOP500：世界上计算速度最快的500台超级计算机排名，每年6月和11月发布一次，网址： http://www.top500.org TOP100：中国大陆最快的100台高性能计算机排名，每年11月发布一次，网址： http://www.samss.org.cn/
HPC领域主要应用分析
石油勘探
现状与趋势:
面临问题:
• 粗放型设备管理方式 • 存储资源共享不足 • 项目主导的采购，多集 群提升复杂度
• • • •
计算密集，海量计算需求 GPU计算应用比较成熟 以万兆网络互联占据主导 存储IO要求高，尝试闪存阵列
HPC需求挖掘话术
问题一：客户业务与应用
最终用户计划用拟建的系统处理哪些业务，或运行什么类型的应用软件？ 如果客户的应用软件属于下列=类型中的一种，那么该项目就是HPC项目 计算机辅助工程 -- CAE（汽车、航空航天、船舶的设计单位） 芯片设计或电子设计自动化 -- EDA（芯片设计单位） 气象/气候/海洋预报（气象、海洋、环保部门） 计算物理/化学/材料等学科（大学、科研院所） 生命科学（大学、科研院所） 地震资料处理与油藏模拟（石油石化）
HPC领域主要应用分析
汽车航空
现状与趋势: 面临问题:
• • • •
远程虚拟可视化技术逐渐成熟 CAD设计与CAE计算统一平台 建设规模相对较小 渗透到制造业的各个环节
• 应用软件投资巨大 • 提升许可证利用率，优化软 件许 可证管理 • HPC资源的需求无法把握， 需要HPC使用情况的数据， 以便企业科学决策
Fortran和C语言
多用户、多作业
很少会使用到数据库及虚拟化技术
HPC应用领域
金融衍生物分析
机械/电子辅助 设计 过程模拟 有限元分析 失败风险分析 药物研究 蛋白质折叠
Bandwidth Consumption
Collaborative Research
高校
地震资料处理
油藏模拟分析
HPC计算集群的组成和架构
高性能计算机架构
服务器+存储设备
HPC 整体方案 交换机
集群软件
+
OS:Linux/AIX/ Microsoft xCAT GPFS C/Fortran Platform
+
应用软件
=
如何设计HPC计算集群系统
• • • 计算节点 根据应用软件的需求来确定处理器类型，系统架构，操作系统，内存容量； 根据用户对系统处理能力的需求来确定浮点运算峰值； 根据总体功耗、散热、占地空间需求选择采用刀片,机架式服务器还是高密度服务器；
集群软件的选择 • 根据集群规模、用户数量、计算类型以及用户预算等因素，考虑是否推荐功能强大的商业版作业调度 软件还是开源软件 (LSF or OpenPBS） • 根据集群规模、用户的管理需求、技术背景等因素选择采用何种集群管理软件 （Platform HPC， or xCat） • 是否采用商业版MPI • 是否采用商业版编译器、数学库和调优工具
HPC计算集群的组成和架构
HPC涉及到的知识点
FLOPS：浮点运算次数/秒，例如 1G FLOPS即10亿次浮点运算/秒； 1T FLOPS即1万亿次浮点运算/秒 Linpack： 国际上最流行的用于测试高性能计算机系统浮点性能的benchmark指标, 通过对高性能计算机 采用高斯消元法求解一元 N 次稠密线性代数方程组的测试, 评价高性能计算机的浮点性能。衡量单位为浮点运算每秒（Flops）。
面临问题:
• HPC系统交付亟待标准化 • 需要专业化运维服务 • 继续优化用户体验
• 大数据教学实训平台建设 • 计算平台集中化 • 逐渐重视精细化、科学化管理
HPC领域主要应用分析
生命科学
现状与趋势: • 国外很活跃，国内在起步。HPC需求增 长迅速 （测序设备更新带来基因数据的 爆发增长） • 用户分布领域广（科研院所、医疗机构、 制药机构）中科院 （蛋白质基因所/生物 物理所/华大基因/各高校生命科学院）主 要模型 NAMD PRAM LogP Amber， CHARMM和Dreiding • 数据处理要求时效性 • 存储需求特别巨大，数据安全性要求高 面临问题:
生命科学（大学、科研院所）
地震资料处理与油藏模拟（石油石化） 特点
有相应的集群系统管理软件实现资源 及应用的统一管理与使用
除传统的并行计算类应用外，还可以 支持商业计算（如Big Data & Analytics） 特点 多处理器共同完成一个任务（作业）
数值模拟 并行计算
Thank you
17 • © 2011 Lenovo Confidential. All rights reserved.
理论浮点峰值: 指计算机每秒钟能完成的浮点计算最大次数。包括理论浮点峰值和实测浮点峰值。 理论浮点峰值是该计算机理论上 能达到的每秒钟能完成浮点计算最大次数, 它主要是由 CPU 的主频、数量和类型决定的。 理论浮点峰值=CPU 主频×CPU 每个时钟周期执行浮点运算的次数×系统中 CPU 核数 CPU每个时钟周期执行浮点运算的次数是由处理器中浮点运算单元的个数及每个浮点运算单元在每个时钟周期能处理几条浮点运算 来决定的 下表是目前常用的各种 CPU 的每个时钟周期执行浮点运算的次数。
客户拟建的计算机系统是否计划使用下面特殊的硬件？ 高速计算网络 – InfiniBand或称IB网络 Nvidia（英伟达）的GPGPU Intel Xeon Phi
HPC需求挖掘话术
问题四：拟建系统相关的系统软件情况
客户计划如何管理和使用拟建的计算机系统？是否有计划采用下面一些系统软件？ 集群系统管理软件 – 用来统一管理和维护系统所有的软、硬件 资源管理与作业调度软件 – 作业调度管理 并行文件系统 – 高性能的共享文件系统 并行计算环境（MPI），以及编译器（特别是使用了Fortran编译器的）
问题五：排除HPC可能的问题
客户拟建的系统是否只是用来运行数据库？系统中的server是否采用虚拟化技术？ 如果上面问题的答案是“Yes”，那么该项目很有可能就不是 HPC项目
HPC计算集群的组成和架构
HPC涉及到的技术
计算机系统体系结构 • 服务器内部存储结构 (Server) • 网络互联 (InfiniBand) • 存储 (Storage) • GPGPU & Xeon Phi 集群系统软件 • 集群系统管理软件 (xCAT, PCM) • 共享文件系统 (GPFS) • 资源管理与作业调度软件 (LSF) 并行计算环境 • 编译器 (Intel Compiler) • 并行库与调试工具 (Platform MPI) • 数学与科学计算函数库 (MKL) 应用软件 • 物理、化学、材料、生命科学、CAE、 • 油藏模拟、地震资料处理、 • 气象/气候/海洋模式预报 并行程序编写与调优 MPI、OpenMP、CUDA/OpenCL
高性能计算(应用角度定义)
EDA（芯片设计单位）
用计算方法模拟现实应用场景 CAE（汽车、航空航天、船舶） 气象/气候/海洋预报（气象、海洋、环保） 计算物理/化学/材料（大学、科研院所）
高性能计算机系统(IT术语)
多服务器计算机集群系统，支持计算与IO密 集型应用 由服务器、存储、网络构建一个整合 的计算机系统平台
保险精算分析
资产负债管理
数字媒体渲染
在线游戏
基因工程 医疗成像
Web2.0
环境科学 天气预报 新能源 高能物理
投资风险分析 统计分析
石油石化
4
金融
工业制造业
生命科学
数字娱乐 多媒体
政府／高校
HPC领域主要应用分析
高等教育行业
现状与趋势:
• 普遍重视院校级计算平台建设
211 高校通用平台建设 各分院专有平台建设 中科院各所HPC学科专用平台
关于应用软件的进一步问题可以是： 应用软件是否是商业软件（ISV提供）或开源软件，软件的名称是什么？ 用到哪一种“并行编程”方式，MPI ？OpenMP？或者是CUDA？
HPC需求挖掘话术
问题二：客户现有计算机系统的状况
已有计算机系统是由哪个厂商提供的？规模如何（server的数量和存储的容量）？ 如果现有计算机系统由下列厂商提供，并且是由多台server组成的，那就很有可能是HPC系统 SGI或Cray 曙光（Sugon）或浪潮（Inspur） 神威（江南56所）或天河（国防科技大学） 其他厂商（HP，DELL，联想，华为）也有可能提供HPC系统 问题三：拟建系统相关的硬件情况
网络 • 根据应用软件对网络带宽和时延的要求来选择计算网络类型 (Infiniband，10GbE, or GbE) • 根据节点数量、网络收敛比的要求来设计网络拓扑结构
I/O 系统 • 存储系统的架构(DAS, NAS or FC-SAN) • I/O节点的数量，是否采用并行文件系统和数据管理策略
• HPC建设经验缺乏，缺乏规划 • 海量的数据管理 • 无法承担种类繁多的应用软件 的优化
HPC领域主要应用分析
环境气象பைடு நூலகம்
现状与趋势:
• • • • HPC需求稳定增长 Power平台逐渐转向x86 从传统的气象海洋行业扩展到环保方面 智能化的数值预报
面临问题: • HPC建设规模与需求不匹配 • 系统建设分散 • 各地应用水平相差巨大
联想高性能计算解决方案
2015年5月
HPC 基本概念 HPC 主要行业应用分析 HPC需求挖掘话术 HPC计算集群的组成和架构 如何设计HPC计算集群系统
Agenda
什么是HPC？
高性能计算集群，英文原文为High Performance Computing Cluster, 简称HPC Cluster
集群效率： 集群效率＝实测浮点峰值/理论浮点峰值*100%
TOP500：世界上计算速度最快的500台超级计算机排名，每年6月和11月发布一次，网址： http://www.top500.org TOP100：中国大陆最快的100台高性能计算机排名，每年11月发布一次，网址： http://www.samss.org.cn/
HPC领域主要应用分析
石油勘探
现状与趋势:
面临问题:
• 粗放型设备管理方式 • 存储资源共享不足 • 项目主导的采购，多集 群提升复杂度
• • • •
计算密集，海量计算需求 GPU计算应用比较成熟 以万兆网络互联占据主导 存储IO要求高，尝试闪存阵列
HPC需求挖掘话术
问题一：客户业务与应用
最终用户计划用拟建的系统处理哪些业务，或运行什么类型的应用软件？ 如果客户的应用软件属于下列=类型中的一种，那么该项目就是HPC项目 计算机辅助工程 -- CAE（汽车、航空航天、船舶的设计单位） 芯片设计或电子设计自动化 -- EDA（芯片设计单位） 气象/气候/海洋预报（气象、海洋、环保部门） 计算物理/化学/材料等学科（大学、科研院所） 生命科学（大学、科研院所） 地震资料处理与油藏模拟（石油石化）
HPC领域主要应用分析
汽车航空
现状与趋势: 面临问题:
• • • •
远程虚拟可视化技术逐渐成熟 CAD设计与CAE计算统一平台 建设规模相对较小 渗透到制造业的各个环节
• 应用软件投资巨大 • 提升许可证利用率，优化软 件许 可证管理 • HPC资源的需求无法把握， 需要HPC使用情况的数据， 以便企业科学决策
Fortran和C语言
多用户、多作业
很少会使用到数据库及虚拟化技术
HPC应用领域
金融衍生物分析
机械/电子辅助 设计 过程模拟 有限元分析 失败风险分析 药物研究 蛋白质折叠
Bandwidth Consumption
Collaborative Research
高校
地震资料处理
油藏模拟分析
HPC计算集群的组成和架构
高性能计算机架构
服务器+存储设备
HPC 整体方案 交换机
集群软件
+
OS:Linux/AIX/ Microsoft xCAT GPFS C/Fortran Platform
+
应用软件
=
如何设计HPC计算集群系统
• • • 计算节点 根据应用软件的需求来确定处理器类型，系统架构，操作系统，内存容量； 根据用户对系统处理能力的需求来确定浮点运算峰值； 根据总体功耗、散热、占地空间需求选择采用刀片,机架式服务器还是高密度服务器；
集群软件的选择 • 根据集群规模、用户数量、计算类型以及用户预算等因素，考虑是否推荐功能强大的商业版作业调度 软件还是开源软件 (LSF or OpenPBS） • 根据集群规模、用户的管理需求、技术背景等因素选择采用何种集群管理软件 （Platform HPC， or xCat） • 是否采用商业版MPI • 是否采用商业版编译器、数学库和调优工具
HPC计算集群的组成和架构
HPC涉及到的知识点
FLOPS：浮点运算次数/秒，例如 1G FLOPS即10亿次浮点运算/秒； 1T FLOPS即1万亿次浮点运算/秒 Linpack： 国际上最流行的用于测试高性能计算机系统浮点性能的benchmark指标, 通过对高性能计算机 采用高斯消元法求解一元 N 次稠密线性代数方程组的测试, 评价高性能计算机的浮点性能。衡量单位为浮点运算每秒（Flops）。
面临问题:
• HPC系统交付亟待标准化 • 需要专业化运维服务 • 继续优化用户体验
• 大数据教学实训平台建设 • 计算平台集中化 • 逐渐重视精细化、科学化管理
HPC领域主要应用分析
生命科学
现状与趋势: • 国外很活跃，国内在起步。HPC需求增 长迅速 （测序设备更新带来基因数据的 爆发增长） • 用户分布领域广（科研院所、医疗机构、 制药机构）中科院 （蛋白质基因所/生物 物理所/华大基因/各高校生命科学院）主 要模型 NAMD PRAM LogP Amber， CHARMM和Dreiding • 数据处理要求时效性 • 存储需求特别巨大，数据安全性要求高 面临问题:
生命科学（大学、科研院所）
地震资料处理与油藏模拟（石油石化） 特点
有相应的集群系统管理软件实现资源 及应用的统一管理与使用
除传统的并行计算类应用外，还可以 支持商业计算（如Big Data & Analytics） 特点 多处理器共同完成一个任务（作业）
数值模拟 并行计算
Thank you
17 • © 2011 Lenovo Confidential. All rights reserved.
理论浮点峰值: 指计算机每秒钟能完成的浮点计算最大次数。包括理论浮点峰值和实测浮点峰值。 理论浮点峰值是该计算机理论上 能达到的每秒钟能完成浮点计算最大次数, 它主要是由 CPU 的主频、数量和类型决定的。 理论浮点峰值=CPU 主频×CPU 每个时钟周期执行浮点运算的次数×系统中 CPU 核数 CPU每个时钟周期执行浮点运算的次数是由处理器中浮点运算单元的个数及每个浮点运算单元在每个时钟周期能处理几条浮点运算 来决定的 下表是目前常用的各种 CPU 的每个时钟周期执行浮点运算的次数。
客户拟建的计算机系统是否计划使用下面特殊的硬件？ 高速计算网络 – InfiniBand或称IB网络 Nvidia（英伟达）的GPGPU Intel Xeon Phi
HPC需求挖掘话术
问题四：拟建系统相关的系统软件情况
客户计划如何管理和使用拟建的计算机系统？是否有计划采用下面一些系统软件？ 集群系统管理软件 – 用来统一管理和维护系统所有的软、硬件 资源管理与作业调度软件 – 作业调度管理 并行文件系统 – 高性能的共享文件系统 并行计算环境（MPI），以及编译器（特别是使用了Fortran编译器的）
问题五：排除HPC可能的问题
客户拟建的系统是否只是用来运行数据库？系统中的server是否采用虚拟化技术？ 如果上面问题的答案是“Yes”，那么该项目很有可能就不是 HPC项目
HPC计算集群的组成和架构
HPC涉及到的技术
计算机系统体系结构 • 服务器内部存储结构 (Server) • 网络互联 (InfiniBand) • 存储 (Storage) • GPGPU & Xeon Phi 集群系统软件 • 集群系统管理软件 (xCAT, PCM) • 共享文件系统 (GPFS) • 资源管理与作业调度软件 (LSF) 并行计算环境 • 编译器 (Intel Compiler) • 并行库与调试工具 (Platform MPI) • 数学与科学计算函数库 (MKL) 应用软件 • 物理、化学、材料、生命科学、CAE、 • 油藏模拟、地震资料处理、 • 气象/气候/海洋模式预报 并行程序编写与调优 MPI、OpenMP、CUDA/OpenCL
高性能计算(应用角度定义)
EDA（芯片设计单位）
用计算方法模拟现实应用场景 CAE（汽车、航空航天、船舶） 气象/气候/海洋预报（气象、海洋、环保） 计算物理/化学/材料（大学、科研院所）
高性能计算机系统(IT术语)
多服务器计算机集群系统，支持计算与IO密 集型应用 由服务器、存储、网络构建一个整合 的计算机系统平台
保险精算分析
资产负债管理
数字媒体渲染
在线游戏
基因工程 医疗成像
Web2.0
环境科学 天气预报 新能源 高能物理
投资风险分析 统计分析
石油石化
4
金融
工业制造业
生命科学
数字娱乐 多媒体
政府／高校
HPC领域主要应用分析
高等教育行业
现状与趋势:
• 普遍重视院校级计算平台建设
211 高校通用平台建设 各分院专有平台建设 中科院各所HPC学科专用平台
关于应用软件的进一步问题可以是： 应用软件是否是商业软件（ISV提供）或开源软件，软件的名称是什么？ 用到哪一种“并行编程”方式，MPI ？OpenMP？或者是CUDA？
HPC需求挖掘话术
问题二：客户现有计算机系统的状况
已有计算机系统是由哪个厂商提供的？规模如何（server的数量和存储的容量）？ 如果现有计算机系统由下列厂商提供，并且是由多台server组成的，那就很有可能是HPC系统 SGI或Cray 曙光（Sugon）或浪潮（Inspur） 神威（江南56所）或天河（国防科技大学） 其他厂商（HP，DELL，联想，华为）也有可能提供HPC系统 问题三：拟建系统相关的硬件情况
网络 • 根据应用软件对网络带宽和时延的要求来选择计算网络类型 (Infiniband，10GbE, or GbE) • 根据节点数量、网络收敛比的要求来设计网络拓扑结构
I/O 系统 • 存储系统的架构(DAS, NAS or FC-SAN) • I/O节点的数量，是否采用并行文件系统和数据管理策略
• HPC建设经验缺乏，缺乏规划 • 海量的数据管理 • 无法承担种类繁多的应用软件 的优化
HPC领域主要应用分析
环境气象பைடு நூலகம்
现状与趋势:
• • • • HPC需求稳定增长 Power平台逐渐转向x86 从传统的气象海洋行业扩展到环保方面 智能化的数值预报
面临问题: • HPC建设规模与需求不匹配 • 系统建设分散 • 各地应用水平相差巨大
联想高性能计算解决方案
2015年5月
HPC 基本概念 HPC 主要行业应用分析 HPC需求挖掘话术 HPC计算集群的组成和架构 如何设计HPC计算集群系统
Agenda
什么是HPC？
高性能计算集群，英文原文为High Performance Computing Cluster, 简称HPC Cluster