高性能计算
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(3) (4) (5) (6) (7)
有效算法的设计
评价并行算法的方法 并行计算机语言 并行编程环境与工具 并行程序的可移植性 并行计算机的自动编程
HPC相关技术
并行计算 现状
( 1) 并行软件的发展远远落后于并行计算体系结构的发展。 ( 2) 并行计算的应用远远落后于并行计算技术的发展。
华大基因使用GPU计算加速基因模拟 华大基因利用基于英伟达Tesla GPU 的服务器群大幅缩短了工 作时间,使分析大批 DNA 序列数据的时间从将近四天缩短至 短短六个小时。
PHC相关技术
集群技术
集群系统
一种由互相连接的计算机组成的并行或分布式系 统,可以作为单独、统一的计算资源来使用。
2、通过分布式计算可以在多台计算机上平衡计算负载。 3、可以把程序放在最适合运行它的计算机上。
PHC相关技术
网格计算
现状
网格计算计算项目通过因特网已经被用于使用世界各地成千上
万志愿者的计算机的闲置计算能力,来完成需要惊人的计算量 的庞大项目。 如:分析来自外太空的电讯号,寻找隐蔽的黑洞; 寻找并发现对抗艾滋病毒更为有效的药物;
集群技术
集群体系结构
PHC相关技术
集群技术
分类
1 科学集群 : 是并行计算的基础。 2 负载均衡集群 :为企业需求提供了更实用的系统。 3 高可用性集群 :当集群中的一个系统发生故障时,
支, 它主要研究超级计算机的架构、研制, 以及并行算法和并行 软件的开发应用, 致力于开发高性能计算机,拓展高性能计算的 应用。
高性能计算主要包括两个方面:
(1)一方面是在同一台机器,用多个CPU 并行解决同一个问题。
(2)另一方面是利用网络, 多台计算机协同处理, 可以把一个大 的问题分解成若干小的问题,然后分摊到网络中的各台计算 机并行处理。
( 3) 大规模并行处理系统已不再是主要研究领域。
( 4) 由高速网联成的各种类型的、规模可伸缩计算机群, 将 进一步促使并行计算应用有较大的发展。 ( 5) 计算系统的规模可伸缩性和可编程性已成为并行计算系 统进一步发展的一对主要矛盾。
HPC相关技术
网格计算
定义:
网格计算就是分布式计算的一种。分布式计算是利用互联网上
GPU 计算通过将应用程序中计算量繁重的部分交给 GPU 处理,
程序的剩余部分依然在 CPU 上运行。
PHC相关技术
GPU计算
GPU 计算软件 CUDA(统一计算设备架构) 是一种由NVIDIA推出的通用并行计 算架构,该架构使GPU能够解决复杂的高性能计算问题。
CUDA编程语言的推出,使得在GPU平台上的高性能计算应用
源,它将实际请求的加载展开到各个节点。
HPC基本介绍
高性能计算的重要地位
高性能计算已经成为科学技术发展中具有战略重要性的研究手
段。
它与传统的理论研究和实验室实验一起构成了现代科学技术和
工程设计中互相补充、互相关联的研究方法,被国际上称为21 世纪科学研究的三大“支柱”。
HPC基本介绍
中国自主研制的大型机,有北大150、国防科大151、电
子部的DJS机等。
HPC的发展历史
高性能计算机
20世纪70~80年代,一种新的超大型机出现了,被称为
“超级计算机(supercomputer)”,它们的计算速 度达每秒1亿次以上。
自20世纪90年代开始,一种新型的大规模并行的超级计算
“可编程、可移植”问题:
HPC相关技术
HPC的技术要解决的难点:低效
HPC机解算实际问题时低效 实际问题的有限并行度与机器大规模并行的架构不匹配 高速运算能力与访存取数很慢的不匹配 结点机高性能与结点机之间的极慢的通信传输能力不匹配
HPC相关技术
HPC的技术要解决的难点:高成本
高性能计算的重要地位
加快发展高性能计算对于提升我国科技自主创新能力、增强国
家竞争力、保障国家安全、促进国民经济建设、建设创新型国 家具有十分重要的战略意义。
HPC基本介绍
高性能计算的重要地位 如今HPC在国家科技、国防、产业、金融、服务、生活
等方面都占有不可或缺的重要地位。
HPC的发展历史
的计算机的 CPU 的闲置处理能力来解决大型计算问题的一种计 算科学。 网格计算的实质就是组合与共享资源并确保系统安全。
HPC相关技术
网格计算
可行性:
随着计算机的普及,个人电脑开始进入千家万户。因此,越来
越多的电脑处于闲置状态,即使在开机状态下CPU的潜力也远 远不能被完全利用。
互联网的出现, 使得连接调用所有这些拥有闲置计算资源的计算
HPC的发展历史
高性能计算机
中国也进入HPC时代后,先后发展了银河、
神威、曙光等系列机。
神威2000a
HPC的发展历史
高性能计算机
2013年由国防科技大学研制的天河二号超级计算机系统,以峰
值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双 精度浮点运算的优异性能位居榜首。
机系统成为了现实。
HPC相关技术
网格计算
网格计算研究内容:
通过网络由服务端负责将非常复杂的问题分成许多小的计算 部分,然后把这些部分分配给许多联网参与计算的计算机进 行并行处理,最后将这些计算结果综合起来得到最终的结果。
HPC相关技术
网格计算
优点: 1、稀有资源可以共享。
HPC的发展历史
高性能计算机分类
(2)计算型(能力型)
该型HPC机主要应用于大规模的科技工程问题计算求解,系
统可以同时支持多个用户算题,但特别强调全系统同时为一个 用户题高效便捷求解服务。 是高端HPC机,技术制高点。
“天河”千万亿次超级计算机
HPC相关技术
架构HPC机至今唯一技术途径是:由CPU+本地存储器构
GPU计算技术
现状 利用GPU可以达到实时性计算,相对CPU平台加速数十倍甚至 数百倍,CUDA计算在图像处理领域中的成功案例如下图:
PHC相关技术
GPU助中科院成功模拟H1N1病毒 GPU加速处理器完成了全球第一次原子级完整H1N1流行性 感冒病毒的计算机仿真模拟,为流行性感冒预防方法的研 究取得重要突破。
BOINC分布式计算平台
PHC相关技术
GPU计算
GPU GPU英文全称Graphic Processing Unit,中文翻译为“图 形处理器”。
GPU是相对于CPU的一个概念 GPU是显卡的“心脏”
PHC相关技术
GPU计算技术
定义 GPU 计算,或称显卡计算,是指使用计算机的图形处理器处理 计算工作的计算方式。与 CPU 计算对应。
这是继2010年天河一号首次夺冠之后,中国超级计算机再次夺
冠。
HPC的发展历史
高性能计算机分类
依据市场对HPC机的应用需求,HPC机可以分为两大类,
服务型(容量型)和)计算型(能力型)。
(1)服务型(容量型)
又分为三大类:
普及计算型 :一般的计算中心 音视频型 :“阿凡达”3D影片制作 数据型 :Google搜索服务
成一个结点机,然后把大量结点机互连成系统,以大规模并行 计算来获得高速、高性能。
并行的结点机数或称“核”数,现已高达几十万个。HPC计
算技术发展的难点均由此产生,规模越大,矛盾越突出,这可 能是相伴HPC终身的永恒主题。
HPC相关技术
HPC的技术要解决的难点:难用
“大规模的并行算法”问题 “数据流的组织”问题:
„
SM
„
P/C LM NIC
总线或交叉开关
(a)PVP
(b)SMP
(c)MPP
MB MB MB P/C M Bridge LD IOB NIC 定制网络 MB P/C M Bridge LD IOB NIC
P/C LM DIR NIC
P/C LM DIR NIC
„
„
(d)DSM
商品网络(以太网,ATM,etc.)
机出现了,被称为“高性能计算机HPC”。
1985年至1989年时全球最快电脑
HPC的发展历史
高性能计算机
20世纪90年代微电子的快速发展发展,已可在单块芯片上
制作出一个CPU。
“商用CPU+商用互连网络+开源软件”,使HPC的准入门
槛变得很低,今天,几乎所有的计算机制造商都提供价廉物美 的HPC机———Cluster机。
高性能计算机
高性能计算机:指能够执行一般个人电脑无法处理的大资料 量与高速运算的电脑,其基本组成组件与个人电脑的概念无太 大差异,但规格与性能则强大许多。
HPC的发展历史
高性能计算机
HPC
的发展历史
高性能计算机的发展,可以追溯到20世纪60~70年代,
高性能计算机
那时这类计算机称为“大型机(mainframe)”
HPC基本介绍
网状 HPC 系统
如图:
该结构支持通过缩短网络节点之间的物理和
逻辑距离来加快跨主机的通信。
HPC基本介绍
典型 HPC基本原理
对于典型 HPC 环境中的任务执行,有两个模型:单指令/多数
据 (SIMD) 和多指令/多数据 (MIMD)。
基本原理仍然是:整个HPC 单元的操作和行为像是单个计算资
机器价格很高 巨大的功耗(兆瓦级)
系统维护成本高
HPC相关技术
并行计算
定义: 并行计算(Parallel Computing)是指同时使用多种计算资源解 决计算问题的过程,是提高计算机系统计算速度和处理能力的 一种有效手段。
分解 大任务 多个子任务
分给
Baidu Nhomakorabea
协同合作 快速求解 不同处理单元
高性能计算
(High Performance Computing)
网管中心:陈超
LOGO
目录:Contents
HPC基本介绍
高 性 能 计 算
HPC发展历史
HPC相关技术
HPC相关应用 各大高校中对HPC的研究 HPC发展现状
HPC基本介绍
高性能计算概念
高性能计算(HPC) 是计算机学科的一个比较前沿的分
PHC相关技术
集群技术
定义: 集群(cluster)技术是一种较新的技术,通过集群技术,可以 在付出较低成本的情况下获得在性能、可靠性、灵活性方面的 相对较高的收益,其任务调度则是集群系统中的核心技术。
PHC相关技术
集群技术
集群中涉及到的关键技术可以归属于四个层次:
PHC相关技术
软件越来越多。
PHC相关技术
GPU计算技术
现状
G PU 计算技术目前主要应用于研究领域:
1.医学成像:
数字层析X 射线合成成像。
2.计算生物学:
分子动力学模拟。
3.计算生物学: 神经电路模拟。
4.科学计算:
5.地球物理:
Mathwork SMATLAB
石油勘探
PHC相关技术
HPC相关技术
并行计算
特征:
为利用并行计算,通常计算问题表现为以下特征:
(1)将工作分离成离散部分,有助于同时解决;
(2)随时并及时地执行多个程序指令;
(3)多计算资源下解决问题的耗时要少于单个计算资源下的耗时。
HPC相关技术
并行计算
两类并行机: (1)单指令流多数据流(SIMD)
(e)COW
HPC相关技术
并行计算
开展并行计算的必备条件:
(1)并行机。 (2)应用问题必须具有并行度。 (3)并行编程。
HPC相关技术
并行计算
并行计算的作用
(1)加速求解问题的速度。 (2)提高求解问题的规模。
HPC相关技术
并行计算的研究内容:
(1) 并行计算机设计
(2)
HPC相关技术
并行性含义
(1)同时性:指两个或多个事件在同一时刻发生在多个资源中 (2)并发性:指两个或多个事件在同一时间间隔内发生在多个
资源中。
(3)流水性:指两个或多个事件发生在可能重叠的时间段内。
HPC相关技术
并行计算
基本思想: 用多个处理器来协同求解同一问题,即将被求解 的问题分解成若干个部分,各部分均由一个独立的处理机来并 行计算。
(2)多指令流多数据流(MIMD)。
MIMD类的机器分为以下常见的五类:
并行向量处理机(PVP) 对称多处理机(SMP) 大规模并行处理机(MPP)
工作站机群(COW )
分布式共享存储处理机(DSM)
HPC相关技术
并行计算 VP VP „ VP
交叉开关 SM SM SM SM MB P/C P/C MB P/C P/C LM NIC I/O 定制网络
有效算法的设计
评价并行算法的方法 并行计算机语言 并行编程环境与工具 并行程序的可移植性 并行计算机的自动编程
HPC相关技术
并行计算 现状
( 1) 并行软件的发展远远落后于并行计算体系结构的发展。 ( 2) 并行计算的应用远远落后于并行计算技术的发展。
华大基因使用GPU计算加速基因模拟 华大基因利用基于英伟达Tesla GPU 的服务器群大幅缩短了工 作时间,使分析大批 DNA 序列数据的时间从将近四天缩短至 短短六个小时。
PHC相关技术
集群技术
集群系统
一种由互相连接的计算机组成的并行或分布式系 统,可以作为单独、统一的计算资源来使用。
2、通过分布式计算可以在多台计算机上平衡计算负载。 3、可以把程序放在最适合运行它的计算机上。
PHC相关技术
网格计算
现状
网格计算计算项目通过因特网已经被用于使用世界各地成千上
万志愿者的计算机的闲置计算能力,来完成需要惊人的计算量 的庞大项目。 如:分析来自外太空的电讯号,寻找隐蔽的黑洞; 寻找并发现对抗艾滋病毒更为有效的药物;
集群技术
集群体系结构
PHC相关技术
集群技术
分类
1 科学集群 : 是并行计算的基础。 2 负载均衡集群 :为企业需求提供了更实用的系统。 3 高可用性集群 :当集群中的一个系统发生故障时,
支, 它主要研究超级计算机的架构、研制, 以及并行算法和并行 软件的开发应用, 致力于开发高性能计算机,拓展高性能计算的 应用。
高性能计算主要包括两个方面:
(1)一方面是在同一台机器,用多个CPU 并行解决同一个问题。
(2)另一方面是利用网络, 多台计算机协同处理, 可以把一个大 的问题分解成若干小的问题,然后分摊到网络中的各台计算 机并行处理。
( 3) 大规模并行处理系统已不再是主要研究领域。
( 4) 由高速网联成的各种类型的、规模可伸缩计算机群, 将 进一步促使并行计算应用有较大的发展。 ( 5) 计算系统的规模可伸缩性和可编程性已成为并行计算系 统进一步发展的一对主要矛盾。
HPC相关技术
网格计算
定义:
网格计算就是分布式计算的一种。分布式计算是利用互联网上
GPU 计算通过将应用程序中计算量繁重的部分交给 GPU 处理,
程序的剩余部分依然在 CPU 上运行。
PHC相关技术
GPU计算
GPU 计算软件 CUDA(统一计算设备架构) 是一种由NVIDIA推出的通用并行计 算架构,该架构使GPU能够解决复杂的高性能计算问题。
CUDA编程语言的推出,使得在GPU平台上的高性能计算应用
源,它将实际请求的加载展开到各个节点。
HPC基本介绍
高性能计算的重要地位
高性能计算已经成为科学技术发展中具有战略重要性的研究手
段。
它与传统的理论研究和实验室实验一起构成了现代科学技术和
工程设计中互相补充、互相关联的研究方法,被国际上称为21 世纪科学研究的三大“支柱”。
HPC基本介绍
中国自主研制的大型机,有北大150、国防科大151、电
子部的DJS机等。
HPC的发展历史
高性能计算机
20世纪70~80年代,一种新的超大型机出现了,被称为
“超级计算机(supercomputer)”,它们的计算速 度达每秒1亿次以上。
自20世纪90年代开始,一种新型的大规模并行的超级计算
“可编程、可移植”问题:
HPC相关技术
HPC的技术要解决的难点:低效
HPC机解算实际问题时低效 实际问题的有限并行度与机器大规模并行的架构不匹配 高速运算能力与访存取数很慢的不匹配 结点机高性能与结点机之间的极慢的通信传输能力不匹配
HPC相关技术
HPC的技术要解决的难点:高成本
高性能计算的重要地位
加快发展高性能计算对于提升我国科技自主创新能力、增强国
家竞争力、保障国家安全、促进国民经济建设、建设创新型国 家具有十分重要的战略意义。
HPC基本介绍
高性能计算的重要地位 如今HPC在国家科技、国防、产业、金融、服务、生活
等方面都占有不可或缺的重要地位。
HPC的发展历史
的计算机的 CPU 的闲置处理能力来解决大型计算问题的一种计 算科学。 网格计算的实质就是组合与共享资源并确保系统安全。
HPC相关技术
网格计算
可行性:
随着计算机的普及,个人电脑开始进入千家万户。因此,越来
越多的电脑处于闲置状态,即使在开机状态下CPU的潜力也远 远不能被完全利用。
互联网的出现, 使得连接调用所有这些拥有闲置计算资源的计算
HPC的发展历史
高性能计算机
中国也进入HPC时代后,先后发展了银河、
神威、曙光等系列机。
神威2000a
HPC的发展历史
高性能计算机
2013年由国防科技大学研制的天河二号超级计算机系统,以峰
值计算速度每秒5.49亿亿次、持续计算速度每秒3.39亿亿次双 精度浮点运算的优异性能位居榜首。
机系统成为了现实。
HPC相关技术
网格计算
网格计算研究内容:
通过网络由服务端负责将非常复杂的问题分成许多小的计算 部分,然后把这些部分分配给许多联网参与计算的计算机进 行并行处理,最后将这些计算结果综合起来得到最终的结果。
HPC相关技术
网格计算
优点: 1、稀有资源可以共享。
HPC的发展历史
高性能计算机分类
(2)计算型(能力型)
该型HPC机主要应用于大规模的科技工程问题计算求解,系
统可以同时支持多个用户算题,但特别强调全系统同时为一个 用户题高效便捷求解服务。 是高端HPC机,技术制高点。
“天河”千万亿次超级计算机
HPC相关技术
架构HPC机至今唯一技术途径是:由CPU+本地存储器构
GPU计算技术
现状 利用GPU可以达到实时性计算,相对CPU平台加速数十倍甚至 数百倍,CUDA计算在图像处理领域中的成功案例如下图:
PHC相关技术
GPU助中科院成功模拟H1N1病毒 GPU加速处理器完成了全球第一次原子级完整H1N1流行性 感冒病毒的计算机仿真模拟,为流行性感冒预防方法的研 究取得重要突破。
BOINC分布式计算平台
PHC相关技术
GPU计算
GPU GPU英文全称Graphic Processing Unit,中文翻译为“图 形处理器”。
GPU是相对于CPU的一个概念 GPU是显卡的“心脏”
PHC相关技术
GPU计算技术
定义 GPU 计算,或称显卡计算,是指使用计算机的图形处理器处理 计算工作的计算方式。与 CPU 计算对应。
这是继2010年天河一号首次夺冠之后,中国超级计算机再次夺
冠。
HPC的发展历史
高性能计算机分类
依据市场对HPC机的应用需求,HPC机可以分为两大类,
服务型(容量型)和)计算型(能力型)。
(1)服务型(容量型)
又分为三大类:
普及计算型 :一般的计算中心 音视频型 :“阿凡达”3D影片制作 数据型 :Google搜索服务
成一个结点机,然后把大量结点机互连成系统,以大规模并行 计算来获得高速、高性能。
并行的结点机数或称“核”数,现已高达几十万个。HPC计
算技术发展的难点均由此产生,规模越大,矛盾越突出,这可 能是相伴HPC终身的永恒主题。
HPC相关技术
HPC的技术要解决的难点:难用
“大规模的并行算法”问题 “数据流的组织”问题:
„
SM
„
P/C LM NIC
总线或交叉开关
(a)PVP
(b)SMP
(c)MPP
MB MB MB P/C M Bridge LD IOB NIC 定制网络 MB P/C M Bridge LD IOB NIC
P/C LM DIR NIC
P/C LM DIR NIC
„
„
(d)DSM
商品网络(以太网,ATM,etc.)
机出现了,被称为“高性能计算机HPC”。
1985年至1989年时全球最快电脑
HPC的发展历史
高性能计算机
20世纪90年代微电子的快速发展发展,已可在单块芯片上
制作出一个CPU。
“商用CPU+商用互连网络+开源软件”,使HPC的准入门
槛变得很低,今天,几乎所有的计算机制造商都提供价廉物美 的HPC机———Cluster机。
高性能计算机
高性能计算机:指能够执行一般个人电脑无法处理的大资料 量与高速运算的电脑,其基本组成组件与个人电脑的概念无太 大差异,但规格与性能则强大许多。
HPC的发展历史
高性能计算机
HPC
的发展历史
高性能计算机的发展,可以追溯到20世纪60~70年代,
高性能计算机
那时这类计算机称为“大型机(mainframe)”
HPC基本介绍
网状 HPC 系统
如图:
该结构支持通过缩短网络节点之间的物理和
逻辑距离来加快跨主机的通信。
HPC基本介绍
典型 HPC基本原理
对于典型 HPC 环境中的任务执行,有两个模型:单指令/多数
据 (SIMD) 和多指令/多数据 (MIMD)。
基本原理仍然是:整个HPC 单元的操作和行为像是单个计算资
机器价格很高 巨大的功耗(兆瓦级)
系统维护成本高
HPC相关技术
并行计算
定义: 并行计算(Parallel Computing)是指同时使用多种计算资源解 决计算问题的过程,是提高计算机系统计算速度和处理能力的 一种有效手段。
分解 大任务 多个子任务
分给
Baidu Nhomakorabea
协同合作 快速求解 不同处理单元
高性能计算
(High Performance Computing)
网管中心:陈超
LOGO
目录:Contents
HPC基本介绍
高 性 能 计 算
HPC发展历史
HPC相关技术
HPC相关应用 各大高校中对HPC的研究 HPC发展现状
HPC基本介绍
高性能计算概念
高性能计算(HPC) 是计算机学科的一个比较前沿的分
PHC相关技术
集群技术
定义: 集群(cluster)技术是一种较新的技术,通过集群技术,可以 在付出较低成本的情况下获得在性能、可靠性、灵活性方面的 相对较高的收益,其任务调度则是集群系统中的核心技术。
PHC相关技术
集群技术
集群中涉及到的关键技术可以归属于四个层次:
PHC相关技术
软件越来越多。
PHC相关技术
GPU计算技术
现状
G PU 计算技术目前主要应用于研究领域:
1.医学成像:
数字层析X 射线合成成像。
2.计算生物学:
分子动力学模拟。
3.计算生物学: 神经电路模拟。
4.科学计算:
5.地球物理:
Mathwork SMATLAB
石油勘探
PHC相关技术
HPC相关技术
并行计算
特征:
为利用并行计算,通常计算问题表现为以下特征:
(1)将工作分离成离散部分,有助于同时解决;
(2)随时并及时地执行多个程序指令;
(3)多计算资源下解决问题的耗时要少于单个计算资源下的耗时。
HPC相关技术
并行计算
两类并行机: (1)单指令流多数据流(SIMD)
(e)COW
HPC相关技术
并行计算
开展并行计算的必备条件:
(1)并行机。 (2)应用问题必须具有并行度。 (3)并行编程。
HPC相关技术
并行计算
并行计算的作用
(1)加速求解问题的速度。 (2)提高求解问题的规模。
HPC相关技术
并行计算的研究内容:
(1) 并行计算机设计
(2)
HPC相关技术
并行性含义
(1)同时性:指两个或多个事件在同一时刻发生在多个资源中 (2)并发性:指两个或多个事件在同一时间间隔内发生在多个
资源中。
(3)流水性:指两个或多个事件发生在可能重叠的时间段内。
HPC相关技术
并行计算
基本思想: 用多个处理器来协同求解同一问题,即将被求解 的问题分解成若干个部分,各部分均由一个独立的处理机来并 行计算。
(2)多指令流多数据流(MIMD)。
MIMD类的机器分为以下常见的五类:
并行向量处理机(PVP) 对称多处理机(SMP) 大规模并行处理机(MPP)
工作站机群(COW )
分布式共享存储处理机(DSM)
HPC相关技术
并行计算 VP VP „ VP
交叉开关 SM SM SM SM MB P/C P/C MB P/C P/C LM NIC I/O 定制网络