第1章 并行计算简介汇总
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(Second Edition, 2003)
成绩组成
• 理论课成绩
– 平时成绩
10％~20%：出勤＋作业＋实验
– 期中考试成绩
40％~50%
– 期末考试成绩
40％~50%
• 实验课成绩：出勤＋实验＋期末
成绩：百分制
有关通过网络交作业和实验的要求
将作业或实验相关文件压缩打包上传，具体要求如下： • 压缩包文件命名格式：
第一章.并行计算介绍
课程性质
• 是高性能计算学科专业基础课——常识知识
公共基础课、专业基础课、专业方向课、专业选修课
• 在教学计划中的地位：核心、承上启下
前导课：高等数学、离散数学、程序设计语言、数据结构、 操作系统、计算机硬件 后续课：高性能算法设计……
• 属于武术中的“练功”科目
“练武不练功，到头一场空”
1PB
1Pflops
1PB
1Pflops
1PB
200Tflops 1Pflops
400TB 2PB
1Pflops
wk.baidu.com
1PB
1Pflops
1PB
1Pflops
1PB
摩尔定律不能延续？
• 集成电路（IC）上的晶体管数目的物 理极限 – 半导体行业演进到22 nm或更小尺 寸的时候，生产晶体管的工艺快要 达到原子理论和量子力学所决定的 物理极限。
教学目标
✓掌握高性能计算基本的常识
对计算机体系结构及其性能充分了解
✓培养初步并行算法设计和并行程序设计能力
算法——程序的灵魂 问题求解过程：问题→想法→算法→程序 程序设计研究的层次：算法→方法学→语言→工具
✓培养培养并行算法性能分析能力
评价算法、改进算法
学习要求
• 循序渐进，切忌心浮气躁
提高课外学习的时间和内容 理解科学而不是背诵科学→读书 正确对待考试
复合材料的结构分析和功能预测 新材料发明
超新星三维模拟
密码破译 先进武器模拟
计算能力需求 存储容量需求
100Tflops 800Tflops 1Pflops
30TB 200TB 1PB
500Tflops
20Tflops 200Tflops 1Pflops
100TB
10TB 100TB 500TB
500Tflops
– 数据密集型应用（Data-intensive)：
• 数字图书馆，数据仓库，数据挖掘，计算可视化等。 • 应用领域：图书馆、银行、证券、税务、决策支持系统
等。
– 通信密集型应用（Network-intensive)：
• 协同工作，网格计算，遥控和远程诊断等。 • 应用领域：网站、信息中心、搜索引擎、电信、流媒体
大纲
• PART 3：并行算法和应用 稠密矩阵算法 排序 图算法 离散优化问题 动态规划 快速傅里叶变换
并行的动机——从摩尔定律谈起
• 摩尔定律：当价格不变时，集成电 路（IC）上的晶体管数目，约每隔 24个月（1975年更改为18个月）便 会增加一倍，性能也将提升一倍。
超级计算机性能计算量纲
<学号><姓名><作业或实验说明> 如：00281001王五实验2
00281001王五第一章作业 • 不同的实验和作业用不同的压缩包文件上传，不要合在一个压缩
包文件中；
• 对实验压缩包，要求将该次实验工程所在目录中的所有文件（要 包括目录,但要删除其中的debug相关目录）压缩，并按如上命名： 00281001王五实验2.rar
• 将压缩文件上传即可； • 实验提交和作业提交地址：ftp://202.116.86.31/
– 提交时用户名：student 密码：123456 • 实验课要求到实验室上机 • 课件下载地址： ftp://202.116.86.31/
– 用户名： zsuzyd 密码：123456
• 下载请用FTP软件FileZilla • 我的QQ:360482583，E-Mail用QQ邮箱
等。
各应用对计算能力的需求
应用领域 生物医学
航空航天制造 气候环境
核能领域
纳米技术 天体物理学 国防和国家安全
应用需求
蛋白质电子态的计算 药物发明中的筛选过程 蛋白质折叠
发动机燃烧模拟和机翼设计模拟
短期天气预报 长期天气预报 局部突发性灾难预报（如洪水、海啸）
完全等离子分析（包括电子结构分析） 核武器数值模拟 天然气燃烧
– （如果没上线，有问题请留言。）
并行计算
• PART 1：基础概念 • PART 2：并行编程 • PART 3：并行算法和应用
大纲
• PART 1：基本概念 简介 并行编程平台 并行算法设计的原则 并行程序的解析模型
• PART 2：并行编程 基于共享地址空间平台的编程 基于消息传递平台的编程
– 提升主频将导致功耗快速增长
•主频正比于 电压
• 多核处理器的功耗随核心数线性增长
• 如何延续摩尔定律？
处理器发展趋势：单核→多核
如何延续摩尔定律？
处理器性能 = 主频x单位时钟周期内的指令执行
• 提高处理器性能的两大途径
– 增加处理器主频 – 增加每个时钟周期内的指令执行数
• 单核处理器提升性能的主要途径是提升主频
– 事实：功耗正比于主频的三次方
•处理器功耗正比于 电流 x 电压 x 电压 x 主频
前缀
缩写
基幂
含意
数值
Kilo
K
103
Thousand
千
Mega
M
Giga
G
Tera
T
Peta
P
Exa
E
106
Million
兆，百万
109
Billion
千兆，10亿
1012
Trillion
垓，万亿
1015
Quadrillion 千万亿
1018
Quitillion
百亿亿
Flops：每秒所执行的浮点运算次数 (floating-point operations per second )
目前的PC机运算速度通常在GFlops量级，高性能计算机运算速度则在TFlops至 PFlops量级。
12
2020/10/5
应用需求
– 计算密集型应用（Computing-intensive)：
• 大型科学工程计算，数值模拟等。 • 应用领域：石油、气象、CAD、核能、制药、环境监
测分析、系统仿真等。
• 作习题
华罗庚：“学数学不做习题等于入宝山而空返”
• 作实验
高性能计算学科是一门科学性与工程性并重的学 科，表现为理论和实践紧密结合的特征。
课程介绍
• 参考书籍 – 课程书目：
Grama,Gupta,Karypis,and Kumar: Introduction to Parallel Computing
成绩组成
• 理论课成绩
– 平时成绩
10％~20%：出勤＋作业＋实验
– 期中考试成绩
40％~50%
– 期末考试成绩
40％~50%
• 实验课成绩：出勤＋实验＋期末
成绩：百分制
有关通过网络交作业和实验的要求
将作业或实验相关文件压缩打包上传，具体要求如下： • 压缩包文件命名格式：
第一章.并行计算介绍
课程性质
• 是高性能计算学科专业基础课——常识知识
公共基础课、专业基础课、专业方向课、专业选修课
• 在教学计划中的地位：核心、承上启下
前导课：高等数学、离散数学、程序设计语言、数据结构、 操作系统、计算机硬件 后续课：高性能算法设计……
• 属于武术中的“练功”科目
“练武不练功，到头一场空”
1PB
1Pflops
1PB
1Pflops
1PB
200Tflops 1Pflops
400TB 2PB
1Pflops
wk.baidu.com
1PB
1Pflops
1PB
1Pflops
1PB
摩尔定律不能延续？
• 集成电路（IC）上的晶体管数目的物 理极限 – 半导体行业演进到22 nm或更小尺 寸的时候，生产晶体管的工艺快要 达到原子理论和量子力学所决定的 物理极限。
教学目标
✓掌握高性能计算基本的常识
对计算机体系结构及其性能充分了解
✓培养初步并行算法设计和并行程序设计能力
算法——程序的灵魂 问题求解过程：问题→想法→算法→程序 程序设计研究的层次：算法→方法学→语言→工具
✓培养培养并行算法性能分析能力
评价算法、改进算法
学习要求
• 循序渐进，切忌心浮气躁
提高课外学习的时间和内容 理解科学而不是背诵科学→读书 正确对待考试
复合材料的结构分析和功能预测 新材料发明
超新星三维模拟
密码破译 先进武器模拟
计算能力需求 存储容量需求
100Tflops 800Tflops 1Pflops
30TB 200TB 1PB
500Tflops
20Tflops 200Tflops 1Pflops
100TB
10TB 100TB 500TB
500Tflops
– 数据密集型应用（Data-intensive)：
• 数字图书馆，数据仓库，数据挖掘，计算可视化等。 • 应用领域：图书馆、银行、证券、税务、决策支持系统
等。
– 通信密集型应用（Network-intensive)：
• 协同工作，网格计算，遥控和远程诊断等。 • 应用领域：网站、信息中心、搜索引擎、电信、流媒体
大纲
• PART 3：并行算法和应用 稠密矩阵算法 排序 图算法 离散优化问题 动态规划 快速傅里叶变换
并行的动机——从摩尔定律谈起
• 摩尔定律：当价格不变时，集成电 路（IC）上的晶体管数目，约每隔 24个月（1975年更改为18个月）便 会增加一倍，性能也将提升一倍。
超级计算机性能计算量纲
<学号><姓名><作业或实验说明> 如：00281001王五实验2
00281001王五第一章作业 • 不同的实验和作业用不同的压缩包文件上传，不要合在一个压缩
包文件中；
• 对实验压缩包，要求将该次实验工程所在目录中的所有文件（要 包括目录,但要删除其中的debug相关目录）压缩，并按如上命名： 00281001王五实验2.rar
• 将压缩文件上传即可； • 实验提交和作业提交地址：ftp://202.116.86.31/
– 提交时用户名：student 密码：123456 • 实验课要求到实验室上机 • 课件下载地址： ftp://202.116.86.31/
– 用户名： zsuzyd 密码：123456
• 下载请用FTP软件FileZilla • 我的QQ:360482583，E-Mail用QQ邮箱
等。
各应用对计算能力的需求
应用领域 生物医学
航空航天制造 气候环境
核能领域
纳米技术 天体物理学 国防和国家安全
应用需求
蛋白质电子态的计算 药物发明中的筛选过程 蛋白质折叠
发动机燃烧模拟和机翼设计模拟
短期天气预报 长期天气预报 局部突发性灾难预报（如洪水、海啸）
完全等离子分析（包括电子结构分析） 核武器数值模拟 天然气燃烧
– （如果没上线，有问题请留言。）
并行计算
• PART 1：基础概念 • PART 2：并行编程 • PART 3：并行算法和应用
大纲
• PART 1：基本概念 简介 并行编程平台 并行算法设计的原则 并行程序的解析模型
• PART 2：并行编程 基于共享地址空间平台的编程 基于消息传递平台的编程
– 提升主频将导致功耗快速增长
•主频正比于 电压
• 多核处理器的功耗随核心数线性增长
• 如何延续摩尔定律？
处理器发展趋势：单核→多核
如何延续摩尔定律？
处理器性能 = 主频x单位时钟周期内的指令执行
• 提高处理器性能的两大途径
– 增加处理器主频 – 增加每个时钟周期内的指令执行数
• 单核处理器提升性能的主要途径是提升主频
– 事实：功耗正比于主频的三次方
•处理器功耗正比于 电流 x 电压 x 电压 x 主频
前缀
缩写
基幂
含意
数值
Kilo
K
103
Thousand
千
Mega
M
Giga
G
Tera
T
Peta
P
Exa
E
106
Million
兆，百万
109
Billion
千兆，10亿
1012
Trillion
垓，万亿
1015
Quadrillion 千万亿
1018
Quitillion
百亿亿
Flops：每秒所执行的浮点运算次数 (floating-point operations per second )
目前的PC机运算速度通常在GFlops量级，高性能计算机运算速度则在TFlops至 PFlops量级。
12
2020/10/5
应用需求
– 计算密集型应用（Computing-intensive)：
• 大型科学工程计算，数值模拟等。 • 应用领域：石油、气象、CAD、核能、制药、环境监
测分析、系统仿真等。
• 作习题
华罗庚：“学数学不做习题等于入宝山而空返”
• 作实验
高性能计算学科是一门科学性与工程性并重的学 科，表现为理论和实践紧密结合的特征。
课程介绍
• 参考书籍 – 课程书目：
Grama,Gupta,Karypis,and Kumar: Introduction to Parallel Computing