并行计算技术(总结与扩充)

并行机的网络通讯技术
一个并行程序示例
• • • • • • • • • • • • • •
• •
#include "mpi.h" #include <stdio.h> void main(argc,argv) int argc; char *argv[]; { int myid, numprocs;/*变量是分布存储的*/ int namelen; /*变量是分布存储的*/ char processor_name[MPI_MAX_PROCESSOR_NAME]; /*变量是分布存储的*/ MPI_Init(&argc,&argv); MPI_Comm_rank(MPI_COMM_WORLD,&myid); MPI_Comm_size(MPI_COMM_WORLD,&numprocs); MPI_Get_processor_name(processor_name,&namelen); fprintf(stderr,"Hello World! Process %d of %d on %s\n",myid, numprocs, processor_name); MPI_Finalize(); }
加速比
• 在给定的并行计算系统上给定的应用，并
行算法（并行程序）的执行速度相对于串 行算法（串行程序）加快的倍数，就是该 并行算法（并行程序）的加速比。
如何衡量一台并行机的性能
• Linpack 测试
由Jack Dongarra教授编写的Linpack是在高性能计 算领域最出名和使用最广泛的基准测试。Linpack 使用线性代数方程组，利用选主元高斯消去法在 分布式内存计算机上按双精度(64 bits)算法，测 量解线性方程的稠密系统所需的时间。Linpack的 结果按每秒浮点运算次数（flops）表示。第一个 Linpack测试报告出现在1979年的Linpack用户手 册上。很多人把用Linpack基准测试出的最高性能 指标作为衡量机器性能的标准之一。
•
云计算的演进
本方向的就业情况
英特尔中国研究中心招聘并行计算和体系结构相关研究员 招聘并行计算研究员北京联想利泰软件有限公司 北京招聘并行计算算法研究员及C++高级程序员 维展科技高薪诚聘并行计算软件高级工程师 （并行计算）软件工程师|上海超级计算中心 杭州奥利金并行计算技术有限公司招聘信息 海归招聘信息：并行计算系统高级研发人员 并行计算项目工程师|无锡超级计算技术服务有限公司 哈工大高性能计算中心招聘 北京中电华大电子设计有限责任公司招聘软件开发工程师-并行计算开发 澳汰尔工程软件（上海）有限公司招聘高性能计算工程师 中国科学院数学院高性能计算研究中心招聘 IBM CDL高性能计算(HPC)组招聘实习生_校园招聘网 曙光招聘职位：高性能计算领域（石油、生物、气象、计算物理和化学、 CAE ... 上海北极巍高性能计算机发展有限公司招聘信息 国家高性能计算机工程技术研究中心招聘信息 上海大学高性能计算中心招聘启事
初级: • C或C++基本的编程能力 • 初步Linux操作系统应用知识 中级： 数值计算知识 高级： 领域应用知识
进行并行程序开发所需要的软件条 件
必备条件： Linux操作系统 MPICH GCC（GNU Compiler Collection） 工具： putty MKL(数学核心库) SSH Secure 机群监控系统
系统计算能力的目的。（人多力量大） • 并行计算是实现高性能计算的重要途径。 • 并行计算技术是现代计算机技术研究的一 个重要方向。
并行计算技术的应用领域
• 气象 • 生物 • 石油 • 游戏 • 科研 • 。。。。。。
行业分布
2007我国Top10的用户
气象领域
• 气象数值预报
数值天气预报提高准确度的两种方式： 1.提高分辨率 2.采用更逼近真实大气复杂物理过程的模式 两种方式都将带来计算量的猛增
并行计算的生产研发中心
• • • • • • • • • •
IBM HP SGI 联想公司 曙光公司 中国科学院网络中心 上海超算中心 清华大学 中国科技大学 江南计算机研究所
联想6800
曙光5000（中国目前最快的计算机）
我国著名的并行计算研究学者 陈国良（龙芯2F）
我国著名的并行计算研究学者 李三立 院士
服务器分类（塔式，机架式，刀片 式）
System Name Site System Family System Model Computer Vendor
Roadrunner DOE/NNSA/LANL IBM Cluster BladeCenter QS22 Cluster BladeCenter QS22/LS21 Cluster, PowerXCell 8i 3.2 Ghz / Opteron DC 1.8 GHz , Voltaire Infiniband IBM
高精度天气预报
并行计算机的发展
Beowulf系统
世界上目前最快的计算
• IBM的最新军用超级计算机“Roadrunner”已经完
成，每秒计算能力终于超过了一千万亿次，达到 了1.026PetaFlops，是目前最强的IBM BlueGene/L的两倍还多，Roadrunner一共拥有 116640颗计算核心，由三种不同的处理器组成， 包括12960颗改进版的IBM Cell，以及少量的AMD Opteron，Roadrunner超级计算机的布线总长达 到了57公里，功率为3.9兆瓦，占地约6000平方英 尺 ， 总 重 超 过 5 0 0 0 0 0 磅 。
并行技术近期发展---网格技术
• 网格作为一个集成的计算与资源环境，能
够吸收各种计算资源，将它们转化成一种 随处可得的、可靠的、标准的且相对经济 的计算能力，其吸收的计算资源包括各种 类型的计算机、网络通信能力、数据资料、 仪器设备甚至有操作能力的人等各种相关 资源。
并行技术近期发展---云计算，SAAS
Application area
Installation Year
Not Specified
2008
Operating System Interconnect Processor
Linux Infiniband PowerXCell 8i 3200 MHz (12.8 GFlops)
学习并பைடு நூலகம்计算所需要的知识准备
基于消息传递的并行计算基本函数
• MPI_Init(); • MPI_Comm_size(); • MPI_Comm_rank(); • MPI_Send(); • MPI_Recv(); • MPI_Finalize();
串行程序的并行化问题
通常的编程实践中循环程序是程序中出现最多，计算时间消耗最大的 部分，往往程序运行时大部分时间是花在执行循环程序上了 。 （1）数据流相关 • 如某计算问题有以下两个基本语句： • B=A+C • D=B*E （2）数据反相关 • 如某计算问题有以下两个基本语句： • D=B*E • B=A+C （3）输出相关 • 如某计算问题有以下两个基本语句： • B=A+B • B=A*E
网络并行计算
我们为什么要研究并行计算技术
• 单机计算机速度的发展无法赶上人们对技
术能力需求的发展 • 并行计算是实现高性能计算最朴素的实现 方法 • 并行机的计算能力是衡量一个国家科技水 平的重要指标 • 并行计算技术是未来计算机技术的一个重 要发展方向
快速发展的高性能计算
什么是并行计算
• 利用多台计算机计算能力的迭加达到提高
MPI（Message-Passing Interface ）
• MPI本身不是一个具体的函数实现，它是根
据应用程序对消息传递功能的需求，全球 工业、应用和研究部门联合推出标准的消 息传递界面函数标准，从而保证并行应用 程序的可移植性。MPI标准的制定需要在较 高的通信性能，较好的程序可移植性，强 大的功能之间得到平衡。
串行程序的并行化问题
（1）数据不存在相关关系的计算可并行执行，也可 串行执行。如下面的语句和，他们的数据这间无 任何相关性，我们可以同时执行这两条计算语句。 A=C+B E=D*F （2）存在流相关或输出相关的计算不可并行执行。 （3）存在反相关的计算，只要保证D=B*E中的B值 先读和B=A+C中计算所得到的B值后写，则允许 其并行执行。
• 云计算的基本原理是，通过使计算分布在大量的
分布式计算机上，而非本地计算机或远程服务器 中，企业数据中心的运行将更与互联网相似。这 使得企业能够将资源切换到需要的应用上，根据 需求访问计算机和存储系统。 包括Google、微软、IBM、Amazon、EMC和惠普 在内的许多IT业巨头都宣布要在云计算上进行重 点研究。