多处理机-- 对称式共享存储器体系结构
计算机体系结构-第7章 多处理机
第7章 多处理机
主 CPU
主存
CIOP
高速系统总线 BIOP NIOP GIOP
ACOP
CIOP----字符处理机 BIOP----数组处理机 NIOP----网络处理机 GIOP----图形处理机 ACOP----向量加速处理机
图7.5 异构非对称式多处理机的一般结构
第7章 多处理机
2. 松耦合(loosely coupled)多处理机 松耦合多处理机是通过消息传递方式来实现处理机间的相互通 信的。 而每台处理机是由一个独立性较强的计算机模块组成，该模 块由处理器、较大容量的本地存储器(在运算时所需的绝大部分的 指 令 和 数 据 均 取 自 本 地 存 储 器 ) 、 I/O 设 备 以 及 与 消 息 传 递 系 统 (Message Transfer System，MTS)相连的接口组成。当不同模块上 运行的进程间需要通信时，可通过网络接口电路及消息传递系统 进行信息交换。由于这种相互间的耦合程度是很松散的，因此称 之为松耦合多处理机。 松耦合多处理机可分为非层次式和层次式两种结构。
第7章 多处理机
(5)合理地进行资源分配和任务调度。 在MIMD多处理机中，由于任务的大小不相同， 各处理机的速度也可能不相同(如异构型多处理机系统)， 互连网络的拓扑结构和通信延迟在不同的多处理机中 也有很大的差别，在执行并发任务时，并不是使用的 处理机个数越多，系统获得的性能就越高。因此需要 采用软件手段，合理地进行资源分配和任务调度，否 则系统性能将受较大影响。而在SIMD并行处理机中， 程序员只需用屏蔽的手段来设置部分处理单元为不活 跃状态，来控制实际参加并行操作的处理单元数目。
因此，Cm*是一个三层总线多处理机，三级的访 存时间分别为：计算机模块内3.5μs，计算机模块群内 9.3μs，而群间则为26μs。
多核处理器体系结构及并行程序设计
13
Floating Point
Integer
Floating Point
Integer
L1 D-Cache and D-TLB
L1 D-Cache and D-TLB
Even 2 floating point threads can be executed at the same time now (per processor) as there are multiple floating point execution units
– 只共享系统总线，独立缓存 – 高性能，资源冲突少
9
双核技术 VS. 超线程技术
• 双核是真正意义上的双处理器
– 不会发生资源冲突 – 每个线程拥有自己的缓存、寄存器和运算器
• 一个3.2GHz Smithfiled在性能上并非等同于3.2GHz P4 with HT 的2 倍
Integer
Rename/Alloc uop Queues Schedulers
BTB & I-TLB Decoder
Trace Cache
Floating Point
uCode ROM
2 threads CANNOT be executed at the same time (per processor) if
BTB & I-TLB Decoder
Trace Cache
Floating Point
uCode
ROM
14
多核技术与超线程技术的结合
Dual Core
2 threads/socket
Dual Core with Hyper-Threading
服务器三大体系SMPNUMAMPP介绍
服务器三大体系SMPNUMAMPP介绍摘要：从系统架构来看，目前的商用服务器大体能够分为三类，即对称多处理器结构、非一致存储访问结构与海量并行处理结构。
SMP(Symmetric Multi-Processor)所谓对称多处理器结构，是指服务器中多个CPU对称工作，无主次或者从属关系。
各CPU共享相同的物理内存，每个CPU访问内存中的任何地址所需时间是相同的，因此SMP 也被称之一致存储器访问结构(UMA：Uniform Memory Access)。
对SMP服务器进行扩展的方式包含增加内存、使用更快的CPU、增加CPU、扩充I/O(槽口数与总线数)与添加更多的外部设备(通常是磁盘存储)。
SMP服务器的要紧特征是共享，系统中所有资源(CPU、内存、I/O等)都是共享的。
也正是由于这种特征，导致了SMP服务器的要紧问题，那就是它的扩展能力非常有限。
关于SMP服务器而言，每一个共享的环节都可能造成SMP服务器扩展时的瓶颈，而最受限制的则是内存。
由于每个CPU务必通过相同的内存总线访问相同的内存资源，因此随着CPU数量的增加，内存访问冲突将迅速增加，最终会造成CPU资源的浪费，使CPU性能的有效性大大降低。
实验证明，SMP服务器CPU利用率最好的情况是2至4个CPU。
NUMA(Non-Uniform Memory Access)由于SMP在扩展能力上的限制，人们开始探究如何进行有效地扩展从而构建大型系统的技术，NUMA就是这种努力下的结果之一。
利用NUMA技术，能够把几十个CPU(甚至上百个CPU)组合在一个服务器内。
其CPU模块结构如图2所示：图2.NUMA服务器CPU模块结构但NUMA技术同样有一定缺陷，由于访问远地内存的延时远远超过本地内存，因此当CPU数量增加时，系统性能无法线性增加。
如HP公司公布Superdome服务器时，曾公布了它与HP其它UNIX服务器的相对性能值，结果发现，64路CPU的Superdome (NUMA结构)的相对性能值是20，而8路N4000(共享的SMP结构)的相对性能值是6.3。
计算机的并行计算技术有哪些详解并行计算的架构与应用
计算机的并行计算技术有哪些详解并行计算的架构与应用在现代科技领域，计算机的并行计算技术被广泛应用于许多领域，提供了强大的计算能力和效率。
本文将详细解释并行计算的概念、架构和应用，以及介绍几种常见的并行计算技术。
一、并行计算的概念并行计算是指同时执行多个计算任务的过程，以提高计算机系统的速度和性能。
与传统的串行计算相比，通过并行计算，多个处理器可以同时处理不同的计算任务，从而大大缩短了计算时间。
二、并行计算的架构1. 对称多处理器（SMP）对称多处理器是一种常见的并行计算架构，它包含多个处理器核心（CPU），每个处理器核心都可以访问共享内存。
因此，每个处理器核心都具有相同的权限和能力，并且可以相互通信和协作。
2. 分布式内存计算机（DMC）分布式内存计算机是一种将多个计算机连接在一起，并通过网络进行通信的并行计算架构。
在分布式内存计算机中，每个计算机都有自己的本地内存，并且计算任务被划分为子任务，在多台计算机之间进行并行计算。
3. 向量处理器向量处理器是一种特殊的并行计算架构，其核心思想是通过同时执行多个数据元素来提高计算性能。
向量处理器具有广泛的数据并行能力，并且可以在单个指令中处理多个数据。
三、并行计算的应用1. 科学计算在科学研究领域，许多复杂的计算任务需要大量的计算资源和时间。
通过并行计算技术，科学家可以利用多个处理器来加速大规模的数值模拟、数据分析和计算实验，从而加快科学研究的进程。
2. 数据挖掘与机器学习数据挖掘和机器学习是分析和理解大规模数据集的重要领域。
并行计算技术可以加速数据挖掘算法和机器学习模型的训练和推断过程，减少模型训练时间，提高预测和分类准确性。
3. 图像和视频处理在图像和视频处理领域，许多算法需要处理大量的像素和帧。
通过并行计算技术，可以将图像和视频处理任务分成多个子任务，并在多个处理器上同时处理这些子任务，从而提高图像和视频处理的效率和实时性。
4. 数据库管理和并行查询在大规模数据库管理和查询中，通过并行计算技术可以将查询任务划分为多个子任务，并由多个处理器同时执行这些子任务。
SMP 对称多处理
SMPSMP，英文缩写，有.对称多处理，移动智能网，系统边际电价，共享内存多处理器，SMP公司，标准管理规程等的英文简写。
目录简介平时所说的双CPU系统，实际上是对称多处理机系统中最常见的一种，通常称为2路对称多处理，它在普通AMD Athlon 64 X2的商业、家庭应用之中并没有太多实际用途，但在专业制作，如3DMaxStudio、Photoshop等软件应用中获得了非常良好的性能表现，是组建廉价工作站的良好伙伴。
随着用户应用水平的提高，只使用单个的处理器确实已经很难满足实际应用的需求，因而各服务器厂商纷纷通过采用对称多处理系统来解决这一矛盾。
在中国国内市场上这类机型的处理器一般以4个或8个为主，有少数是16个处理器。
但是一般来讲，SMP结构的机器可扩展性较差，很难做到100个以上多处理器，常规的一般是8个到16个，不过这对于多数的用户来说已经够用了。
这种机器的好处在于它的使用方式和微机或工作站的区别不大，编程的变化相对来说比较小，原来用微机工作站编写的程序如果要移植到SMP机器上使用，改动起来也相对比较容易。
SMP结构的机型可用性比较差。
因为4个或8个处理器共享一个操作系统和一个存储器，一旦操作系统出现了问题，整个机器就完全瘫痪掉了。
而且由于这个机器的可扩展性较差，不容易保护用户的投资。
但是这类机型技术比较成熟，相应的软件也比较多，因此现在中国国内市场上推出的并行机大量都是这一种。
PC服务器中最常见的对称多处理系统通常采用2路、4路、6路或8路处理器。
目前UNIX服务器可支持最多64个CPU的系统，如Sun公司的产品Enterprise10000。
SMP系统中最关键的技术是如何更好地解决多个处理器的相互通讯和协调问题。
系统结构对称多处理机的系统结构，主要指处理器、存储器、输入输出(I/O)设备三者之间的连接，它对我们更好地理解多处理机操作系统是非常必要的。
多处理器与存储器之间的连接：1、多端口存储器方式：这是最简单的连接。
计算机体系结构名词解释
层次机构：按照计算机语言从低级到高级的次序，把计算机系统按功能划分成多级层次结构，每一层以一种不同的语言为特征。
这些层次依次为：微程序机器级，传统机器语言机器级，汇编语言机器级，高级语言机器级，应用语言机器级等。
虚拟机：用软件实现的机器。
翻译：先用转换程序把高一级机器上的程序转换为低一级机器上等效的程序，然后再在这低一级机器上运行，实现程序的功能。
解释：对于高一级机器上的程序中的每一条语句或指令，都是转去执行低一级机器上的一段等效程序。
执行完后，再去高一级机器取下一条语句或指令，再进行解释执行，如此反复，直到解释执行完整个程序。
计算机系统结构：传统机器程序员所看到的计算机属性，即概念性结构与功能特性。
在计算机技术中，把这种本来存在的事物或属性，但从某种角度看又好像不存在的概念称为透明性。
计算机组成：计算机系统结构的逻辑实现，包含物理机器级中的数据流和控制流的组成以及逻辑设计等。
计算机实现：计算机组成的物理实现，包括处理机、主存等部件的物理结构，器件的集成度和速度，模块、插件、底板的划分与连接，信号传输，电源、冷却及整机装配技术等。
系统加速比：对系统中某部分进行改进时，改进后系统性能提高的倍数。
Amdahl定律：当对一个系统中的某个部件进行改进后，所能获得的整个系统性能的提高，受限于该部件的执行时间占总执行时间的百分比。
程序的局部性原理：程序执行时所访问的存储器地址不是随机分布的，而是相对地簇聚。
包括时间局部性和空间局部性。
CPI：每条指令执行的平均时钟周期数。
测试程序套件：由各种不同的真实应用程序构成的一组测试程序，用来测试计算机在各个方面的处理性能。
存储程序计算机：冯·诺依曼结构计算机。
其基本点是指令驱动。
程序预先存放在计算机存储器中，机器一旦启动，就能按照程序指定的逻辑顺序执行这些程序，自动完成由程序所描述的处理工作。
系列机：由同一厂家生产的具有相同系统结构、但具有不同组成和实现的一系列不同型号的计算机。
并行计算体系结构
8
最新的TOP500计算机
12:12
9
最新的TOP500计算机
12:12
10
来自Cray的美洲豹“Jaguar”，凭借1.75 PFlop/s(每秒1750万亿 次)的计算能力傲视群雄。“Jaguar”采用了224162个处理器核 心
12:12
2
结构模型
共享内存/对称多处理机系统(SMP)
PVP：并行向量机
单地址空间 共享存ess) SMP：共享内存并行机（ Shared Memory Processors ）。多个处理器通过交叉开关 （Crossbar）或总线与共享内存互连。
来自中国的曙光“星云”系统以1271万亿次/s的峰值速度名列 第二
• 采用了自主设计的HPP体系结构、高效异构协同计算技术
• 处理器是32nm工艺的六核至强X5650，并且采用了Nvidia Tesla C2050 GPU做协处理的用户编程环境；
异构体系结构 专用 通用
TOP500中85%的系统采用了四核处理器，而有5%的系统已经使
12:12
6
Cluster：机群系统
Cluster(Now,Cow)： 群集系统。将单个节点，用商业网 络 ：Ethernet，Myrinet，Quadrics， Infiniband，Switch等连结起来形成群 集系统。
• 每个节点都是一个完整的计算机 （SMP或DSM），有自己磁盘和操 作系统
系统在物理上分布、逻辑上共享。各结点有
自己独立的寻址空间。
• 单地址空间 、分布共享
• NUMA（ Nonuniform Memory Access ）
多处理机系统
量减少并行程序的执行时间。
2. 多处理机调度方式
确定性调度：在调度之前必须知道所有有关信息，例如每个任务的执行时间 和任务间的依赖关系，以便合理地把任务分派到处理机。 不确定性调度：根据任务运行的动态行为，将任务分配到特定的处理机上。
3. 调度性能评价
评价多处理机调度性能的参数有： 任务流时间 ：完成任务所需要的时间
2.独立监督式
独立监督式中，每一个处理机均有各自的管理程序(核心)。
3.浮动监督式
每次只有一台处理机作为执行全面管理功能的“主处理机”，但根 据需要，“主处理机”是可浮动的，即从一台切换到另一台处理机。
多处理机系统控制
多处理机调度
1.什么是多处理机调度
将作业或任务分配给指定的处理机，并要求在指定的时间内完成。调度算 法的一般目标是：使用最少的处理机、在最短的时间内完成并行程序的执 行任务。在处理机器数目固定时，要改进处理机分配和进程调度算法，尽
I／O操作
Cache中的内容可能与由I／O子系统输入输出形成的存储 器对应部分的内容不同。
共享数据
不同处理器的Cache都保存有对应存储器单元的内容。
存储器的一致性
如果对某个数据项的任何读操作均可得到其最新写入的值，
则认为这个存储系统是一致的 需满足以下条件 ① 处理器P对X进行一次写之后又对X进行读，读和写之间没有
存储器
I/O 系统
多个处理器共享一个存储器 当处理器规模较小时，这种机器十分经济 支持对共享数据和私有数据的cache缓存 私有数据供一个单独的处理器使用，而共享数据供多个处 理器使用
共享数据进入cache ，产生一个新的问题
Cache一致性问题！
多处理机cache的一致性
对称多处理器体系结构在实时系统中的应用研究
对称多处理器体系结构在实时系统中的应用研究I. 介绍实时系统是指对时间敏感的计算机系统，其设计的主要目的是满足时间限制。
对称多处理器（Symmetric Multiprocessor, SMP）体系结构是一种多处理器计算机体系结构，其多个处理器共享内存，有助于提高计算能力和可靠性。
本文将介绍对称多处理器体系结构在实时系统中的应用研究。
II. 对称多处理器体系结构对称多处理器体系结构是一种将多个处理器互联起来，它们共享同一块主存储器和I/O总线的体系结构。
该体系结构中每个处理器的处理能力相等。
对称多处理器体系结构大大提高了计算机系统的性能，并提高了系统的可靠性。
在许多实时系统应用场景下，对称多处理器体系结构得到了广泛的使用。
III. 实时系统的应用场景实时系统的应用场景主要包括：控制系统、航空航天、军事、制造业、医疗和交通等。
常见的实时系统需求包括响应时间、处理速度和可靠性的提高。
IV. 对称多处理器体系结构在实时系统中的应用（一）在实时系统中提高性能实时系统通常需要快速响应，能够及时处理大量数据。
对称多处理器体系结构为实时系统提供了大量的计算能力和处理能力。
通过并行处理任务，实时系统可以更快地响应请求并处理数据。
（二）在实时系统中提高可靠性实时系统的可靠性是至关重要的，它涉及到数据的安全性和系统的稳定性。
对称多处理器体系结构增加了系统的可靠性。
如果一个处理器出现故障，系统可以重新分配任务到其他处理器上。
这种分布式处理方法有助于确保实时系统的稳定性和可靠性。
（三）在实时系统中提高灵活性实时系统需要具备高度的灵活性，能够应对各种不同的请求和事件。
对称多处理器体系结构支持动态任务调度，可以将任务分配给可用处理器，从而优化系统性能。
这种动态任务调度方法有助于实现实时系统的高度灵活性和超强的适应性。
V. 结论对称多处理器体系结构在实时系统中的应用已经变得越来越广泛。
通过提高实时系统的性能、可靠性和灵活性，对称多处理器体系结构有助于满足实时系统的各种需求。
高级计算机体系结构作业汇总(非标准答案)
1.Explain the ConceptsComputer Architecture系统结构由程序设计者所看到的一个计算机系统的属性。
即计算机系统的软硬件界面。
Advanced CA高级系统结构新型计算机系统结构。
基于串行计算机结构，研究多指令多数据计算机系统，具有并发、可扩展和可编程性。
为非冯式系统结构。
Amdahl lawAmdahl定律系统中某部件由于采用某种方式时系统性能改进后，整个系统性能的提高与该方式的使用频率或占的执行时间的比例有关。
SCALAR PROCESSING标量处理机在同一时间内只处理一条数据。
LOOK-AHEAD先行技术通过缓冲技术和预处理技术，解决存储器冲突，使运算器能够专心与数据的运算，从而大幅提高程序的执行速度。
PVP向量型并行计算处理机以流水线结构为主的并行处理器。
SMP对称多处理机系统任意处理器可直接访问任意内存地址,使用共享存储器，访问延迟、带宽、机率都是等价的。
MPP大规模并行计算机系统物理和逻辑上均是分布内存，能扩展至成百上千处理器，采用专门设计和定制的高通信带宽和低延迟的互联网络。
DSM分布式共享存储系统内存模块物理上局部于各个处理器内部,但逻辑上是共享存储的。
COW机群系统每个节点都是一个完整的计算机，各个节点通过高性能网络相互连接，网络接口和I/O总线松耦合连接，每个节点有完整的操作系统。
GCE网格计算环境利用互联网上的计算机的处理器闲置处理能力来解决大型计算问题的一种科学计算。
CISC复杂指令集计算机通过设置一些复杂的指令，把一些原来由软件实现的常用功能改用硬件实现的指令系统实现，以此来提高计算机的执行速度。
RISC精简指令集计算机尽量简化计算机指令功能，只保留那些功能简单，能在一个节拍内执行完的指令，而把复杂指令用段子程序来实现。
VMM虚拟机监视器作为软硬件的中间层，在应用和操作系统所见的执行环境之间。
SUPERCOMPUTER超级计算机数百数千甚至更多的处理器组成的能计算普通计算机不能完成的大型复杂问题的计算机。
第四章对称多处理机系统
第四章对称多处理机系统第四章对称多处理机系统 (1)4.1引言 (2)4.2高速缓存一致性问题和存储一致性模型 (3)4.2.1高速缓存一致性问题 (3)4.2.2高速缓存一致性和存储系统一致性 (5)4.3侦听高速缓存一致性协议 (6)4.3.1基本高速缓存一致性协议 (6)4.3.2三态回写无效协议（MSI） (9)4.3.3四态回写无效协议（MESI） (11)4.3.4四态回写更新协议（Dragon） (12)4.4基本高速缓存一致性协议的实现 (14)4.4.1正确性要求 (14)4.4.2基本的高速缓存一致性设计 (15)4.5多级高速缓存 (19)4.5.1维护包含性 (20)4.5.2层次高速缓存一致性的传播 (21)*4.6分事务总线 (21)4.6.1基本设计 (22)4.6.2支持多级高速缓存 (24)4.7同步问题 (26)4.7.1基本问题 (26)4.7.2互斥操作 (27)4.7.3点到点事件同步 (30)4.7.4全局事件同步 (31)4.8实例分析：SGI Challenge (33)4.8.1 SGI处理器和主存子系统 (33)4.8.2 SGI I/O子系统 (34)4.9小结 (35)习题 (35)参考文献 (37)对称多处理机SMP（Symmetric Multiprocessor）是一类最主要的共享存储的并行计算机系统，一般利用系统总线作为互连网络实现通信，它在现今的并行服务器中几乎普遍被采用，且越来越多的出现在桌面上。
在本章中，首先讨论了基于总线的SMP机器设计的一些问题，主要包括高速缓存一致性问题、存储一致性模型、侦听高速缓存一致性协议；然后分别介绍了基于单级高速缓存和原子总线、多级高速缓存和分事务总线的高速缓存一致性协议的实现；最后，介绍了同步问题及一个具体实例SGI Challenge系统。
4.1引言对称多处理机SMP （Symmetric MultiProcessor ）结构在现今的并行服务器中几乎普遍采用，并且已经越来越多的出现在桌面上。
02 当代并行机系统：SMP、MPP和Cluster
283
300
>750
550
600
SPECint 95
8.09
225
>11
N/A
7.4
SPECfp 95
6.70
300
>17
N/A
15
其它特性
CISC/RISC
短流水线长
最高时钟频
多媒体和图
MP机群总
混合
L1高速缓存
率最大片上
形指令
线可支持4
2级高速缓
个CPU
ห้องสมุดไป่ตู้
国家高性能计算中心（合肥）
2020存/5/18
高可用或容错 高
商用 11
▪ NORMA结构，高带宽低延迟定制互连。
▪ 可扩放性：Mem, I/O,平衡设计
▪ 系统成本：商用处理器，相对稳定的结构，SMP,分布
▪ 通用性和可用性：不同的应用，PVM,MPI,交互，批处理，互连对 用户透明，单一系统映象，故障
▪ 通信要求 ▪ 存储器和I/O能力 ▪ 例子：Intel Option Red
HKU:Pearl Cluster
国家可扩放机群计划：在通过因特网互连的3个本地机群系 统上进行元计算
在由ATM连接的北美17个站点的WAN上开发元计算平台和 软件
使用因特网和HPCC技术，在世界范围的虚拟机上进行高性 能计算
研究机群在分布式多媒体和金融数字库方面的应用
Virgina:Legion
在国家虚拟计算机设施上开发元计算软件
MB P/C
LM
MB
P/C
…
LM
IBM SP2 Dawning 1000
NIC
NIC
定制网络
计算机体系结构第七章 多处理机
一、多处理机的特点
1、多处理机的定义 具有两台以上的处理机，在操作系统控制下通过 共享的主存或输入输出子系统或高速通讯网络进 行通讯。实现指令以上级（任务级、作业级）并 行。 按照Flynn分类法，多处理机系统属于MIMD计算 机。 多处理机系统由多个独立的处理机组成，每个处 理机都能够独立执行自己的程序。
K1
若采用平均分配策略：
RETCT2(11) N 2N N
五、多处理机操作系统
主从型(Master-slave Supervisor) 各自独立型(Separate Supervisor) 浮动型(Floating Supervisor)
主从型
管理程序只在主处理机运行 硬件结构管理控制简单，对主处理机要
求高 适用于工作负荷固定，从处理机能力明
显低的紧耦合、异构型、非对称多处理 机系统 实现简单，经济方便，但不够灵活。
各自独立型
每个处理机有独立的管理程序在运行 管理程序可再入，可靠性高，系统表格
少，系统效率高，实现复杂，访存冲突 解决和负载较困难 适合于松耦合多处理机
浮动型
管理程序在多个处理机间浮动 管理程序可再入，实现复杂，负载平衡
当机数由N台增加到N+1台时，总运行 时间的减少量为：
E(T 1 1 )C ETC N N1 N(N1)
令其>=0，有 N ET
临界值
C
3、额外开销与计算工作重叠
假定额外工作被计算工作完全覆盖，则 总运行时间为：
Rma E*x m {IaK)xC 2 ,(K N 1IK(TIK)}
平均分配
RETCT2 CT2 N 2 2N
简单起见，设T是N的整数倍
计算机系统结构：一种定量的方法(第六章 多处理器和线程级并行)
6.1.1 并行系统结构的分类
1966年Flynn将计算机归为四类：
单指令流，单数据流，SISD：单处理器 单指令流，多数据流，SIMD：同一条指令被多个使用不同
数据流的处理器执行，每个处理器有自己的数据存储器，但 系统中有唯一的指令存储器和控制处理器，用来获取和分配 指令（如：多媒体扩展处理器，向量系统结构） 多指令流，单数据流，MISD：至今还没有这种类型的商用 机器，一些专用的流式处理器接近这种形式 多指令流，多数据流，MIMD：每个处理器取自己的指令并 对自己的数据进行操作
决定并行程序性能的关键特征是计算与通信的比例
比例高意味着该应用对每个通信数据都要进行大量的 计算，比例越高越好
增加处理器的数目或问题的规模或两者同时增加时， 计算/通信比例是如何变化的
图6.6：计算量和通信量以及二者的比例是决定并行 机器性能的关键因素（p为处理器数目；n为增加的数 据集合的大小）
几个处理器通过总线共享一个物理存储器，因 为每个处理器与同一个共享内存间都有相同的 关系，称为对称式共享内存处理器（图6.1）
支持共享和私有数据的高速缓存，私有数据被 单个处理器使用，共享数据则是被多个处理器 使用，通过读写共享数据完成处理器之间的通 信
对称 式共 享内 存处 理器
6.3.1 什么是多处理器的高 速缓存一致性
分布式存储器结构：如图6.2，要求互联网 络的带宽必须非常高，直接互联网络和间 接互联网络都有可能用到
互联网络
6.1.2 通信和存储器结构模型
根据处理器间传递数据所使用方法的不同，分为两种 不同的系统结构策略：
通过共享的地址空间进行通信，将物理上分开的存储器能够 作为逻辑上共享的地址空间进行寻找，称为分布式共享存储 器（DSM,Distributed Shared Memory）系统，与UMA （均匀存储器访问）相比，DSM多处理器由于访问时间取决 于数据字在存储器中的位置，也称为NUMA（Non Uniform Memory Access,非均匀存储器访问），共享存储器
对称式共享存储器体系结构共18页PPT
21、要知道对好事的称颂过于夸大，也会招来人们的反感轻蔑和嫉妒。——培根 22、业精于勤，荒于嬉；行成于思，毁于随。——韩愈
23、一切节省，归根到底都归结为时间的节省。——马克思 24、意志命运往往背道而驰，决心到最后会全部推倒。——莎士比亚
25、学习是劳动，是充满思想的劳动。——乌申斯基
谢谢！
第七章 多处理机
7.2 对称式共享存储器体系结构
➢ 多个处理器共享一个存储器。 ➢ 当处理器规模较小时，这种机器十分经济。 ➢ 支持对共享数据和私有数据的Cache缓存
私有数据供一个单独的处理器使用，而共 享数据供多个处理器使用。 ➢ 共享数据进入Cache产生了一个新的问题
Cache的一致性问题
7.2 对称式共享存储器体系结构
(1) Cache一致性协议 对多个处理器维护一致性的协议。
(2) 关键：跟踪记录共享数据块的状态 (3) 共享数据状态跟踪记录技术
目录 物理存储器中共享数据块的状态及相关信息
均被保存在一个称为目录的地方。 监听（snooping）
每个Cache除了包含物理存储器中块的数据拷 贝之外，也保存着各个块的共享状态信息。
7.2 对称式共享存储器体系结构
大多数多处理机系统都采用写作废协议
7.2 对称式共享存储器体系结构
7.2.3 监听协议及其实现
基本实现技术
➢ 小规模多处理机中实现写作废协议的关键 利用总线进行作废操作：把要作废的地址放到总线
上（一个放，多个读） ➢ 写顺序化：由总线实现 ➢ 写直达Cache：因为所有写的数据同时被写回主存，
(3) 写更新和写作废协议性能上的差别主要来自：
对同一数据的多个写而中间无读操作的情况， 写更新协议需进行多次写广播操作，而在写
计算机系统结构名词解释汇总八
计算机系统结构名词解释汇总八1．计算机体系结构：计算机体系结构包括指令集结构、计算机组成和计算机实现三个方面的内容。
2．透明性：在计算机技术中，对这种本来是存在的事物或属性，但从某种角度看又好像不存在的概念称为透明性(transparency)。
3．程序访问的局部性原理：程序总是倾向于访问最近刚访问过的信息，或和当前所访问的信息相近的信息，程序对信息的这一访问特性就称之为程序访问的局部性原理。
4. RISC精简指令集计算机。
5. CP 指令时钟数(Cycles per Instructiorj)。
6．Amdahl 定律——加快某部件执行速度所获得的系统性能加速比，受限于该部件在系统中的所占的重要性。
7.系列机：在一个厂家内生产的具有相同的指令集结构，但具有不同组成和实现的一系列不同型号的机器。
8.软件兼容：同一个软件可以不加修改地运行于体系结构相同的各档机器，而且它们所获得的结果一样，差别只在于有不同的运行时间。
9．基准程序：选择一组各个方面有代表性的测试程序，组成的一个通用测试程序集合，用以测试计算机系统的性能10．合成测试程序：首先对大量的应用程序中的操作进行统计，得到各种操作的比例，再按照这个比例人为制造出的测试程序。
11. Benchmarks：测试程序包，选择一组各个方面有代表性的测试程序，组成的一个通用测试程序集合。
12.核心程序：从真实程序提取出来的用于评价计算机性能的小的关键部分。
13.通用寄存器型机器：指令集结构中存储操作数的存储单元为通用寄存器的机器，称之为通用寄存器型机器14．Load/Store 型指令集结构：在指令集结构中，除了Load/Store 指令访问存储器之外，其它所有指令的操作均是在寄存器之间进行，这种指令集结构称之为Load/Store 型指令集结构。
15.虚拟机器：(virtual machine),由软件实现的机器16．操作系统虚拟机：直接管理传统机器中软硬件资源的机器抽象，提供了传统机器所没有的某些基本操作和数据结构，如文件系统、虚拟存储系统、多道程序系统和多线程管理等。
操作系统总结
第一章1.操作系统设计目标：方便性、有效性、便于设计实现维护。
2.引入多道程序系统的原因：提高CPU的利用率。
特点：在主存同时存放多个作业，使之同时处于运行状态，共享系统中的各种资源。
3.操作系统基本功能：处理机管理、存储器管理、设备管理、文件管理。
4.批处理系统特点：吞吐量大、资源利用率高、无法交互、平均周转时间长。
分时系统特点：同时性、独立性、交互性、及时性。
实时系统特点：实时性、可靠性、确定性。
5.衡量OS的性能指标：资源利用率、吞吐量、周转时间。
6.对称多处理：操作系统和用户程序可安排在任何一个处理机上运行，各处理机共享主存和各种I/O设备。
7.操作系统的特性：并发性、共享性、虚拟性、异步性。
8.CPU工作状态：核心态（操作系统内核程序）、用户态（用户程序）。
用户态到核心态的转换由硬件完成。
核心态到用户态的转换由内核程序执行后完成。
9.系统调用：内核向用户提供的，用来运行系统内核子程序的接口。
特权指令执行时，CPU处于核心态。
10.用户与操作系统的接口：操作接口（命令语言或窗口界面）、编程接口（系统调用）。
第二、三章1.程序顺序执行的特点：串行性、封闭性、可再现性。
2.进程的四大特性：动态性、独立性、并发性、结构性。
3.进程控制块的组成部分：进程标识符、状态+调度+存储器管理信息、使用的资源信息、CPU现场保护区、记账信息、进程间家族关系、进程的链接指针。
4.进程基本状态：运行态、阻塞态、就绪态。
5.进程控制：是指系统使用一些具有特定功能的程序段来创建、撤消进程，以及完成进程各状态之间的转换。
6.进程调度的功能：记录系统中各进程的执行状况、选择就绪进程占有CPU、进行进程上下文的切换。
方式：非抢先/非剥夺方式（批处理）、抢先/剥夺方式（分时、实时）。
时机：①现行进程完成或错误终止；②提出I/O请求，等待I/O完成；③时间片用完或更高优先级进程就绪；④执行了某种原语操作。
7.进程调度的算法：先来先服务、最短作业优先、响应比高者优先、优先级调度法、轮转法、多级反馈队列轮转法。
精品文档-计算机组成与系统结构(裘雪红)-第9章
分析Omega网络为此提供的连接路径。
解 我们利用图9.15来说明Omega网络的寻径过程。
第9章 并行体系结构
6
2. 协处理器 协处理器(Coprocessor)是为减轻主处理器负担、协助主处
理器完成特定工作的专用处理器，通过主处理器和协处理器的 并行工作使计算机的速度得到提高。
第9章 并行体系结构
7
3. 多处理器 所有的CPU共享公共内存的并行计算机称为多处理器系统，
如图9.2(a)所示。运行在多处理器上的所有进程能够共享映射 到公共内存的单一虚拟地址空间。任何进程都能通过执行LOAD 或者STORE指令来读或写一个内存字，其余工作由硬件来完成。
(4) 多指令流多数据流(Multiple Instruction-stream Multiple Data-stream，MIMD)。
第9章 并行体系结构
13
图 9.3 计算机分类
第9章 并行体系结构
14
9.3 阵列处理机和向量处理机
9.3.1 阵列处理机 阵列处理机属于分布式内存SIMD(DM-SIMD)系统，它由许多
第9章 并行体系结构
11
9.2 计算机体系结构的分类
Flynn于1966年提出了一种今天仍有价值的对所有计算机进 行分类的简单模型，这种分类模型可以为计算机系统设计制定 一个框架，这就是1.4.1节中介绍的Flynn分类法。
第9章 并行体系结构
12
根据被调用的数据流和指令流的并行度，Flynn分类法将计 算机归为以下四类:
在不同数据集合上执行同样指令序列、完成同样功能的完全相 同的处理器组成。阵列处理机中的处理器共享一 个控制器(所以它不是通常意义上的独立CPU)，控制器发布指令， 指令由处理器阵列中的处理器执行。因为阵列机中的所有处理 器是以步调一致的方式工作的，所以处理器之间不 需要同步，这就大大简化了这种系统的设计。
第6章多计算机系统
5、开关枢纽形式
• 将互连结构设置在PE或其接口内部，组成分布 结构(松耦合)。 • 开关枢纽：由仲裁单元和开关单元组成，端口 数不能多。 • 结构：由开关枢纽组成各种结构，如树形结构。 • 开关枢纽网络适宜于PE数较多的系统。
2018/12/11
26
6.2 多机系统中的并行性分析
互连网络
P/C LM NIC …
P/C LM NIC
SM
SM … SM
互连网络
大规模并行处理机(MPP)
并行向量处理机(PVP)
2018/12/11
13
多处理机系统结构（二）
结点 结点
P/C P/C P/C … P/C 互连网络 LM DIR NIC …
P/C LM DIR NIC
SM
SM … SM
2018/12/11 41
2018/12/11
42
3、并行程序设计语言
• 开发方式 设计全新的并行程序语言，难度非常大； 扩充原来的串行语言的语法成份，使它支持并行 特征 不改变串行语言，仅为串行语言提供可调用的并 行库 • 扩展语言的并行结构 FORK－JOIN(在不同的机器上有不同的表现形式） 块结构语言：cobegin-coend(或parbeginparend)
•第1章 •第2章 •第3章 •第4章 •第5章 •第6章 •第7章
计算机系统设计基础 数据表示与指令系统性能分析 通道处理机 流水技术和向量处理 阵列计算机 多处理机系统 其它计算机结构
2018/12/11
1
第6章 多处理机系统
6.1 6.2 6.3 6.4 6.5 基本概念与机间互连形式 多处理机系统中并行性分析 共享存储器体系结构 消息传递体系结构 MPI并行程序设计基础
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
虚拟存储器的特点
7.2 对称式共享存储器体系结构
② 一个处理器对X进行写之后，另一处理器对X进行 读，读和写之间无其它写，则读X的返回值应为写 ③ 对同一单元的写是顺序化的，即任意两个处理器 对同一单元的两次写，从所有处理器看来顺序都应 是相同的。
假设 直到所有的处理器均看到了写的结果，一次写操 作才算完成；允许处理器无序读，但必须以程序规定
Cache块的拥有者：拥有唯一的Cache块副本 的处理器。
因为每次总线任务均要检查Cache的地址位，这 可能与CPU对Cache的访问冲突。可通过下列两种 技术之一降低冲突： 复制标志位 采用多级包容Cache （许多系统采用）
虚拟存储器的特点
7.2 对称式共享存储器体系结构
监听协议举例 写作废，写回法
虚拟存储器的特点
7.2 对称式共享存储器体系结构
7.2.2 实现一致性的基本方案
在一致的多处理机中，Cache提供两种功能：
共享数据的迁移 降低了对远程共享数据的访问延迟。 共享数据的复制 不仅降低了访存的延迟，也减少了访问共 享数据所产生的冲突。
小规模多处理机不是采用软件而是采用硬件技术 实现Cache一致性。
当一个处理器写某数据项时，通过广播使其它 Cache
例
在写回Cache的条件下，监听总线中写更新协议的实现。
处理器行为 总线行为 CPUA Cache 内容 CPUB Cache 内容 主存X单元 内容 0 CPU A 读X Cach失效 0 0
CPU B 读X CPUA 将 X 单
元写1 CPU B 读X 虚拟存储器的特点
为简单起见，对于对共享块的 Write hit 和 Write miss 不加区分，都按 Write miss 处理
虚拟存储器的特点
虚拟存上（一个放，多个读）
写顺序化：由总线实现 写直达Cache：因为所有写的数据同时被写回主存， 则从主存中总可以取到最新的数据值。 对于写回Cache，得到数据的最新值会困难一些，因 为最新值可能在某个Cache中，也可能在主存中。
虚拟存储器的特点
7.2 对称式共享存储器体系结构
增加Cache中块的标志位 状态： 无效（invalid）—— 无副本 共享（shared）—— 至少一个副本，clean 独占（exclusive）—— 唯一副本，dirty
7.2 对称式共享存储器体系结构
7.2.1 多处理机Cache一致性
(1) 不一致产生的原因（Cache一致性问题）
I／O操作 Cache中的内容可能与由I／O子系统输入输 出形成的存储器对应部分的内容不同。
共享数据
不同处理器的Cache都保存有对应存储器单元
的内容。 例 两个处理器的读写
虚拟存储器的特点
从一个处理器写到另一个处理器读之间的延
迟通常在写更新模式中较低。而在写作废协 议中，需要读一个新的拷贝。
虚拟存储器的特点
7.2 对称式共享存储器体系结构
大多数多处理机系统都采用写作废协议
虚拟存储器的特点
7.2 对称式共享存储器体系结构
7.2.3 监听协议及其实现
基本实现技术
小规模多处理机中实现写作废协议的关键 利用总线进行作废操作：把要作废的地址放到总线
第七章 多处理机
7.2
对称式共享存储器体系结构
多个处理器共享一个存储器。 当处理器规模较小时，这种机器十分经济。 支持对共享数据和私有数据的Cache缓存 私有数据供一个单独的处理器使用，而共 享数据供多个处理器使用。
共享数据进入Cache产生了一个新的问题
Cache的一致性问题
虚拟存储器的特点
Cach失效 广播写X
单元
0 1
0 1
0 1
1
1
1
7.2 对称式共享存储器体系结构
(3) 写更新和写作废协议性能上的差别主要来自：
对同一数据的多个写而中间无读操作的情况， 写更新协议需进行多次写广播操作，而在写
对同一块中多个字进行写，写更新协议对每
个字的写均要进行一次广播，而在写作废协 议下仅在对本块第一次写时进行作废操作。
7.2 对称式共享存储器体系结构
(2) 存储器的一致性（非正式定义） 如果对某个数据项的任何读操作均可得到其最 新写入的值，则认为这个存储系统是一致的。
存储系统行为的两个不同方面
What: 返回给读操作的是什么值 When: 什么时候才能将已写入的值返回给读操作
需要满足以下满足条件 ① 处理器P对X进行一次写之后又对X进行读， 读和写之间没有其它处理器对X进行写，则
虚拟存储器的特点
7.2 对称式共享存储器体系结构
Cache通常连在共享存储器的总线上，各个Cache 控制器通过监听总线来判断它们是否有总线上请求的 数据块。
(1) 写作废协议
在一个处理器写某个数据项之前保证它对该
例 ：
在写回Cache的条件下，监听总线中写作废协议的实现。
虚拟存储器的特点
(2) 写更新协议
7.2 对称式共享存储器体系结构
(1) Cache一致性协议
对多个处理器维护一致性的协议。 (2) 关键：跟踪记录共享数据块的状态
(3) 共享数据状态跟踪记录技术 目录
物理存储器中共享数据块的状态及相关信息
均被保存在一个称为目录的地方。
监听（snooping） 每个Cache除了包含物理存储器中块的数据拷 贝之外，也保存着各个块的共享状态信息。