异构计算——分类、编程平台、应用

网络异构计算
集群计算与网格计算的区别
• 网格通常比集群支持更多不同类型的计算机集合。 • 网格本质上就是动态的，集群包含的处理器和资源的 数量通常都是静态的。 • 网格可以分布在任何地方。而集群物理上都包含在一 个位置的相同地方，通常只是局域网互连。
网络异构计算
云计算（Cloud Computing）
系统异构计算
Renderscript（渲染脚本）
• 是Android操作系统上的一套API。它基于异构计算思 想，专门用于密集型计算。
• Renderscript提供了三个基本工具：一个硬件无关的 通用计算API；一个类似于CUDA、OpenCL和GLSL 的计算API；和一个类C99的脚本语言。 • 允许开发者以较少的代码实现功能复杂且性能优越的 应用程序。
目录
系统异构计算
网络异构计算 一些熟知的应用
分类
异构计算分类
• 可分为系统异构计算（shc-system heterogeneous computing）和网络异构计算（nhc-network heterogeneous computing）两大类 • shc以单机多处理器形式提供多种计算类型，而nhc则 以网络连接的多计算机形式提供多种计算类型。
分类
nhc分为同类异型多机方式和异类混合多机方式 两类。
• 同类异型多机方式中所使用的多机，它们的结构属同 一类，即支持同一种并行性类型（如simd、mimd、 向量等类型之一），但型号可能不同，因此性能可以 各有差异。通常的now(Net of Workstations,工作站网 络)或cow(Cluster of Workstations,工作站集群)为同类 同型多机方式，因此可看成是同类异型多机方式中的 特例。 • 异类混合多机方式中所使用的多机，它们的结构则属 不同类型。
异构计算 ——分类、编程平台、应用
包文博，鲁国，秦志达
2014-11-19
引言
异构计算近年来得到了业界的普遍关注，主要是 因为通过提升CPU时钟频率和内核数量来提高计 算能力的传统方式遇到了散热和能耗瓶颈。
而GPU的单个处理单元（比如流处理器）虽然性 能不及CPU的一个内核，但它具备大量的处理单 元， 所以并行运算能力是相当强的。
• 是由NVIDIA所推出的一种整合技术，是该公司对于 GPGPU的正式名称。
• 使用者可利用NVIDIA的GeForce 8以后的GPU和较新 的Quadro GPU进行计算。
• 亦是首次可以利用GPU作为C-编译器的开发环境。
• CUDA可以相容OpenCL或者自家的C-编译器。无论 是CUDA C-语言或是OpenCL，指令最终都会被驱动 程序转换成PTX代码，交由GPU计算。
应用
天河一号/二号
• 天河一号（TH-1），全称天河一号超级计算机系统， 异构超级计算机。
• 天河二号逐步在生命科学、材料科学、大气科学、地 球物理、宇宙、经济学，以及大型基因组组装、基因 测序、污染治理等一系列事关国计民生的大科学、大 工程中“大显身手”。
结语
在我们熟悉的PC领域，最常见的两个使用不同 类型指令集和体系架构的计算单元就是CPU和 GPU（可简单理解为显卡），通俗的话说，在 PC领域，异构计算就是CPU和GPU这两个不同 的计算单元联合起来干活。
应用
Folding@home(FAH)
• 是一个研究蛋白质折叠、误折、聚合及由此引起的相 关疾病的分布式计算工程。由斯坦福大学化学系的潘 德小组（Pande Group）主持，于2000年10月1日正 式启动。Folding@home现在是世界上最大的分布式 计算计划，于2007年为吉尼斯世界记录所承认。
系统异构计算
C++ AMP(Accelerated Massive Parallelism)
• 是微软公司基于DirectX 11技术实现的一个并行计算 库。它建立在C++的语言规范上，使得程序员可以相 对容易地在数据并行硬件（如显卡）上编写并执行并 行计算程序。
系统异构计算
CUDA(Compute Unified Device Architecture)
• 云计算与并行计算、分布式计算的区别，以计算机用户来说：并 行计算是由单个用户完成的；分布式计算是由多个用户合作完成 的；云计算是没有用户参与，而是交给网络另一端的服务器完成 的。
应用
比特币挖矿
• 在现阶段要想获得比特币有两种方法：第一种是通过 “挖矿”获得（其中包括用显卡挖矿和用矿机挖矿两 种），第二种是通过交易网站购买（通过BTCC、 MT.GOX等交易网站购买）；而在交易网站购买比特 币的风险太大，可能一天涨一两百也可能跌去一半。 所以现阶段通过“挖矿”的方法获得比特币才是最安 全的
• 云计算是从集群技术发展而来，区别在于集群虽然把多台机器联 了起来，但其某项具体任务执行的时候还是会被转发到某台服务 器上，而云可以简单的认为是任务可以被分割成多个进程在多台 服务器上并行计算。 • 云可以使用廉价的PC服务器 ，可以管理大数据量与大集群，关 键技术在于能够对云内的基础设施进行动态按需分配与管理。
• 高可用性集群 High-availability (HA) clusters • 负载均衡集群 Load balancing clusters • 高性能计算集群 High-performance (HPC) clusters • 网格计算 Grid computing
网络异构计算
网格计算(Grid Computing)
系统异构计算
shc的多处理器
• CPU • GPU • DSP • ASIC • FPGA
系统异构Βιβλιοθήκη Baidu算
常见编程平台
• C++ AMP——Microsoft • OpenCL——Khronos Group • CUDA——Nvidia • OpenGL——Khronos Group • RenderScript——Google • MARE——Qualcomm
异构计算不仅在PC领域存在，在使用ARM处理 器的智能手机、平板等移动设备领域也存在。甚 至在服务器产品、工作站产品上也存在。换句话 说，多颗不同指令集及体系架构的计算单元协同 工作，也算是异构计算。
Q&A
网络异构计算
nhc
• 分布式计算 • 集群计算 • 网格计算
网络异构计算
分布式计算（Distributed computing）
• 这个研究领域，主要研究分布式系统（Distributed system）如何进行计算。
• 分布式系统是一组电子计算机（computer），透过计 算机网络相互连结与通讯后形成的系统。
• 云计算是最新开始的新概念，它不只是计算等计算机 概念，还有运营服务等概念了。它是分布式计算、并 行计算和网格计算的发展，或者说是这些概念的商业 实现。 • 云计算不但包括分布式计算还包括分布式存储和分布 式缓存。 • 分布式存储又包括分布式文件存储和分布式数据存储。
网络异构计算
云计算与并行、分布式、网格和集群计算的区别
应用
iPhone 6的M8运动协处理器
• iPhone6与iPhone6 Plus在采用第二代64位A8芯片的 同时，还更统一内置了新运动协同处理器M8，M8运 动协处理器可不断通过加速感应器、陀螺仪和指南针 来测量运动数据。 • 通过M8协处理器，iPhone将能够更加精准的记录用 户的运动状况，和HealthKit等应用能更深度的整合。 当然，与苹果最新发布的Apple Watch相信也能非常 深度的融合起来。
• 通过利用大量异构计算机（通常为台式机）的未用资 源（CPU周期和磁盘存储），将其作为嵌入在分布式 电信基础设施中的一个虚拟的计算机集群，为解决大 规模的计算问题提供一个模型。网格计算的焦点放在 支持跨管理域计算的能力，这使它与传统的计算机集 群或传统的分布式计算相区别。 • 网格计算或网格集群是一种与集群计算非常相关的技 术。网格与传统集群的主要差别是网格是连接一组相 关并不信任的计算机，它的运作更像一个计算公共设 施而不是一个独立的计算机。还有，网格通常比集群 支持更多不同类型的计算机集合。
分类
其中，shc又分为单机多计算方式和单机混合计 算方式两大类。
• 前者在同一时刻允许以多种计算方式执行任务 • 后者在同一时刻只允许以一种计算方式执行任务，但 在不同时刻计算可从一种方式自动切换到另一种方式， 如simd(single instruction multiple data)和 mimd( multiple instruction multiple data)方式间的切 换。
• 把需要进行大量计算的工程数据分割成小块，由多台 计算机分别计算，在上传运算结果后，将结果统一合 并得出数据结论的科学。
网络异构计算
集群计算（Cluster Computing）
• 它通过一组松散集成的计算机软件和/或硬件连接起来 高度紧密地协作完成计算工作
• 集群计算机按功能和结构可以分成以下几类：
系统异构计算
OpenCL (Open Computing Language)
• 是一个为异构平台编写程序的框架，此异构平台可由 CPU，GPU或其他类型的处理器组成。
• OpenCL由一门用于编写kernels （在OpenCL设备上 运行的函数）的语言（基于C99）和一组用于定义并 控制平台的API组成。 • OpenCL提供了基于任务分割和数据分割的并行计算 机制。