03_分布式计算技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
客户端：通过浏览器访问Internet上各个Web 站点，在每一个站点上都有一个主页作为进 入一个Web站点的入口。
服务器端：每一个Web站点由一台主机、 Web服务器及许多Web页所组成。
典型技术： HTML（超文本标记语言）， HTTP（超文本传输协议〕
第二阶段的Web：生成动态页面
9 通过资源共享提高系统的性能价格比。 ...
分布式系统的(潜在)缺点
• 通用问题：
– 软件需求： • 适合的操作系统、程序设计语言及应用设计方法
– 通信网络： • 信息丢失、恢复、网络过载 ...
– 安全问题 • 数据共享 vs 数据保密
• 比较云计算：
– WEB接口 – 业务提供 – 大数据量应用 – 成本（容错）
微软用其接口定义语言MIDL来精确定义接口、每一接口中的方 法、以及每一方法参数。
COM/DCOM将所有应用都看作是对象, 并通过接口提供对象的服 务。客户只能通过指针来使用接口。
COM＋
COM+：包括消息通讯模块MSMQ、解决关键业务的交易模块MTS，是分布 对象计算的一个比较完整的平台。
发布和订阅服务：提供一种通用的事件通知机制； 支持事务处理的内存数据库； 组件队列：允许使用异步模式调用COM组件对象的方法； 动态负载平衡； 将MTS完全集成到组件对象模型中，包括事务、安全和管理服务
• 核心：资源协作与共享 • 关键：标准化 • 理念：延续了分布式运算的任务独立性特
点 • 基础：分布式系统 • 发展：云计算的雏形
网格计算的特点
• 分布性 • 异构性 • 自治性 • 动态性 • 自相似性
•第二代分布计算技术―分布对象技术 •核心内容在于对象之间的互操作，尤其是异构环境 中的互操作问题
•面向代理的第三代分布计算技术
分布对象技术三大流派
CORBA：Common Object Request Broker Architecture
• 公共对象请求代理体系结构
COM/DCOM：(Distributed) Component Object Model
用户操纵实体不再局限于含有“超链”的文档 作用于实体的操作行为不再局限于“下载”一类的文件传输.
总结：分布式系统的优势
9 通过互连和互操作提高系统的协作能力 9 通过并行处理提高系统的性能。 9 通过复制技术提高系统的可靠性和可用性 9 通过模块化技术提高系统的可伸缩性。 9 通过动态配置和重新配置功能提高系统的可扩展性
网格计算
定义1：在动态变化、由多个机构组成的 虚拟组织中协调资源共享和求解问题。
定义2：通过互联网来共享强大的计算能 力和数据存储能力。
三个条件： 1，非集中控制的环境中协同使用的资源 2，使用标准的、开放的、通用的协议和接口 3，提供高级的质量服务
网格计算
• 初衷：把分散在不同地理位置的计算器空 闲资源进行组织，形成“虚拟超级计算机”
– 针对不同的操作系统和硬件平台，中间件可以有符合接口和协议规 范的多种实现。
– Baidu Nhomakorabea持分布计算，提供一些高层服务，将网络和分布式系统中的大部 分复杂性屏蔽掉
– 支持标准的程序接口和协议(避免了应用系统与具体平台之间的紧 耦合)，使应用系统能在多种平台上运行
中间件应用例：电信业务综合营帐系统
客户端浏览器
• 在C／S体系基础上扩充而成， Web信息 服务应用的最基本模式是B/S结构
用户界面 ： 由Windows Î Browsers 网络通信规程: 统一为TCP/IP 分布式计算结构: 由两层扩展到客户、应用
服务器、数据库服务器组成的三个（N个） 层次
第一阶段的Web：静态Web页面的浏览
分布式计算的核心词
本质：C/S Paradigm, Middle‐ware 任务分配：Open Distributed Processing Model 强调：Software Architecture 标准化：Object Web, XML 技术：CORBA、DCOM、EJB 展望：Agent（代理）
分布式计算需要解决的主要问题
资源共享 （Resource sharing）
• 软件、硬件、数据 • 面向对象
开放性 （Openness）
• 服务的延伸 • 资源的获取
协作 （Concurrency）
• 多用户协作 • 多服务协同 • 同步
可伸缩 （Scalability）
• 可升级 • 可扩展
容错（Fault tolerance）
• (在Internet 上， .NET 框架， 基于XML 的Web Service)
Java/EJB
Role of CORBA IDL
Client Side
C
C++
ID L
COBOL
IDL ID L
Ada
IDL IDL
ORB
Small talk
IDL
JAVA
Object Implementation
客户端浏览器
应用服务器（Bea WebLogic）
过程管理（Hp ProcessManager）
消息适配（HPPM-TIBCO Adapter） 消息总线（Tibco Rendezvous）
TUXEDO 中间件
业务操作及消息适配
统一客户 资料系统
各专业营 帐系统
分布计算远程调用技术的发展历程
•面向过程的第一代分布计算技术－C/S模式 • 网络应用程序编程接口(API) • 远程过程调用机制(RPC)
框架基于RMI和Java服务器端组件模型，包括语言、 组件的标准以及组件之间协同工作通讯的框架，提供 了像远程访问、安全、交易、持久和生命期管理等多
种支持分布对象计算的服务。
EJB组件架构模型
试图使Web服务器开放化，使Web页面成为应用程序的 集合，从而把整个网络变成用户的虚拟操作平台。
基于Web的计算模式
DB Server
第三阶段的Web：提供实时事务处理
•
在Web上进行实时事务处理，实现电子贸易。
必须解决的关键问题：
实时的事务处理
可伸缩性
可扩展性
安全性与客户认证
与现有系统的集成性。
Object Web
什么是Object Web?
通过CORBA环境使Web服务器开放化，使Web页面成为应 用程序的集合，从而把整个网络变成用户的虚拟操作平台。
CORBA和Java结合是Object web的技术基础
– Java的局限： 大量遗留应用不是用Java写的，无法下载到浏览器中运行； 某些重要的应用（如信息共享与管理类的应用等）在逻辑
上不能下载到客户端运行； 客户机难以承受越来越庞大的应用系统
主要成果：
– Java Soft的EJB、新一代的Java ORB等、Oracle的NCA （Network Computing Architecture）、Netscape的ONE （Open Network Environment）
Personal PC
Client Server
Cloud Computing
Hardware Centric
Software Centric
Service Centric
背景：网络的迅猛发展
1986 年到2000年 计算机: × 500 网络: × 340,000
网络迅猛发展的必然结果…
培训目录
Object web的体系结构
Web browser Java Applet
HTTP
HTTP文档
HTTP Server
CGI
Java Applet
Java ORB 第一层
IIOP Internet
CORBAS
Java
erver
ORB
Object
JDBC 第二层 业务服务器
第三层 业务服务器
Object Web和hypertext web, interactive web比较:
Side
COBOL
C
ID L
ORB
IDL ID L
Ada
IDL IDL
Small talk
IDL
C++
JAVA
Microsoft的COM系列
几个阶段：OLE 2/COM、ActiveX、DCOM和COM+
COM (Component Object Model):
• 微软的构件软件方案 • 为构件的互操作而定义的二进制构件模型 • 规定了对象模型和编程要求，使COM对象可以与其他对象相互操作。 • 是一种底层的构件软件结构，其作用类似于CORBA/ORB。
云计算的发展与技术 ——分布式计算技术
侯宾
培训目录
技术背景 云计算技术演进 云计算与其他相似技术
云计算的技术背景
云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算 机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算 (Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、 SaaS(软件即服务)等概念混合演进并跃升的结果。
技术背景 云计算技术演进 云计算与其他相似技术
从并行计算到云计算
• 关联任务 并行
并行计算
分布式计算
• 独立任务 并行
• 分布式资 源整合
网格计算
SaaS
• 软件即服 务
• 一切皆服 务
云计算
并行计算的出现
• 串行计算到并行计算 • 处理器并行
– “双核” – SMP（对称多处理器）
• 缺点——昂贵、不稳定 • 难点——跨平台，可移植性
• 硬件冗余 • 软件恢复 • 数据备份 • 业务可用
透明 （Transparency）
• 位置透明 • 资源透明 • 平台透明等
分布式计算积累的技术经验
• 中间件 • 远程调用技术
– 分布式面向对象 – 理念、实现、细节
• 标准化与模型化
– 异构平台 – 通信与调用 – 开发模式
• 对WEB应用进行了初探 • 代理（Agent）
并行计算体系的分类（结构）
• 单指令流多数据流机（SIMD） • 并行向量处理机（PVP）
– 大量的向量存储器和指令缓存器、没有高速缓存 – 银河一号
• 对称多处理机（SMP）
– 高速总线对称连接、共享存储、I/O和OS – 实时业务：事务处理、DB – 曙光一号
• 大规模并行处理器（MPP）
– 超大型计算机系统、商用处理器、可扩展到上千个； – 分布式存储、独立地址空间、消息通信 – 曙光1000
将数据库与Web结合在一起，在Web上发布来自数据库的信息 典型技术： CGI、服务器专用API、ODBC、JDBC等技术。
页面请求 H
客户机 浏览器
T
T 页面应答 P
HTML CGI Script
数据请求 数据获取
数据库 服务器
Browser端
Web Server + Transaction Server
中间件的特点
• 中间件是泛指能够屏蔽操作系统和网络协议的差异，能够 为异构系统之间提供通讯服务的软件。中间件是操作系统 和应用软件之间的一个独立软件层，它在不改变现有操作 系统的前提下，向分布式应用提供相应的执行环境和编程 环境
– 满足大量的企业应用需求，将一些常用功能组合成独立的部件，使 之能在跨平台的软件环境上共享。
优点：平台效率比较高，有一系列相应的开发工具支持，应用开发相对简单。 致命弱点：跨平台性较差，难于实现与第三方厂商的互操作性
Java / EJB
RMI：远程方法调用(本质上是Java 版的RPC ) EJB （可认为是Java版的CORBA）
EJB是用于开发和部署多层结构的、分布式的、面向 对象的Java应用系统的跨平台的构件体系结构。使用 EJB结构编写的应用程序具有可扩展性、交互性以及 多用户安全特性。这些应用只需写一次，就可以发布 到支持EJB规范的服务器平台上。
• 工作站机群（COW）
– 每个节点都是完整的工作站 – 本地存储、松耦合
• 分布式共享存储多处理机（DSM）
– 共享存储
分布式计算的概念
• （Open Distributed Computing）在网络计算平台上开发、
部署、管理和维护以资源共享和协同工作为主要应用目标的分布式应 用系统。 • 主要的推动因素在于“资源分享”；共享资源和平衡负载是计算机上 行分布化和计算机下行分布化的核心思想 • 和并行计算相似，差别在任务独立性上 – 同一任务可能分配多次，在对结果进行校验；保证容错性 • 集合互联网空闲计算资源 • 据称：欧美国家几乎一般的个人电脑加入了分布式计算项目 – 数学、天文学问题
服务器端：每一个Web站点由一台主机、 Web服务器及许多Web页所组成。
典型技术： HTML（超文本标记语言）， HTTP（超文本传输协议〕
第二阶段的Web：生成动态页面
9 通过资源共享提高系统的性能价格比。 ...
分布式系统的(潜在)缺点
• 通用问题：
– 软件需求： • 适合的操作系统、程序设计语言及应用设计方法
– 通信网络： • 信息丢失、恢复、网络过载 ...
– 安全问题 • 数据共享 vs 数据保密
• 比较云计算：
– WEB接口 – 业务提供 – 大数据量应用 – 成本（容错）
微软用其接口定义语言MIDL来精确定义接口、每一接口中的方 法、以及每一方法参数。
COM/DCOM将所有应用都看作是对象, 并通过接口提供对象的服 务。客户只能通过指针来使用接口。
COM＋
COM+：包括消息通讯模块MSMQ、解决关键业务的交易模块MTS，是分布 对象计算的一个比较完整的平台。
发布和订阅服务：提供一种通用的事件通知机制； 支持事务处理的内存数据库； 组件队列：允许使用异步模式调用COM组件对象的方法； 动态负载平衡； 将MTS完全集成到组件对象模型中，包括事务、安全和管理服务
• 核心：资源协作与共享 • 关键：标准化 • 理念：延续了分布式运算的任务独立性特
点 • 基础：分布式系统 • 发展：云计算的雏形
网格计算的特点
• 分布性 • 异构性 • 自治性 • 动态性 • 自相似性
•第二代分布计算技术―分布对象技术 •核心内容在于对象之间的互操作，尤其是异构环境 中的互操作问题
•面向代理的第三代分布计算技术
分布对象技术三大流派
CORBA：Common Object Request Broker Architecture
• 公共对象请求代理体系结构
COM/DCOM：(Distributed) Component Object Model
用户操纵实体不再局限于含有“超链”的文档 作用于实体的操作行为不再局限于“下载”一类的文件传输.
总结：分布式系统的优势
9 通过互连和互操作提高系统的协作能力 9 通过并行处理提高系统的性能。 9 通过复制技术提高系统的可靠性和可用性 9 通过模块化技术提高系统的可伸缩性。 9 通过动态配置和重新配置功能提高系统的可扩展性
网格计算
定义1：在动态变化、由多个机构组成的 虚拟组织中协调资源共享和求解问题。
定义2：通过互联网来共享强大的计算能 力和数据存储能力。
三个条件： 1，非集中控制的环境中协同使用的资源 2，使用标准的、开放的、通用的协议和接口 3，提供高级的质量服务
网格计算
• 初衷：把分散在不同地理位置的计算器空 闲资源进行组织，形成“虚拟超级计算机”
– 针对不同的操作系统和硬件平台，中间件可以有符合接口和协议规 范的多种实现。
– Baidu Nhomakorabea持分布计算，提供一些高层服务，将网络和分布式系统中的大部 分复杂性屏蔽掉
– 支持标准的程序接口和协议(避免了应用系统与具体平台之间的紧 耦合)，使应用系统能在多种平台上运行
中间件应用例：电信业务综合营帐系统
客户端浏览器
• 在C／S体系基础上扩充而成， Web信息 服务应用的最基本模式是B/S结构
用户界面 ： 由Windows Î Browsers 网络通信规程: 统一为TCP/IP 分布式计算结构: 由两层扩展到客户、应用
服务器、数据库服务器组成的三个（N个） 层次
第一阶段的Web：静态Web页面的浏览
分布式计算的核心词
本质：C/S Paradigm, Middle‐ware 任务分配：Open Distributed Processing Model 强调：Software Architecture 标准化：Object Web, XML 技术：CORBA、DCOM、EJB 展望：Agent（代理）
分布式计算需要解决的主要问题
资源共享 （Resource sharing）
• 软件、硬件、数据 • 面向对象
开放性 （Openness）
• 服务的延伸 • 资源的获取
协作 （Concurrency）
• 多用户协作 • 多服务协同 • 同步
可伸缩 （Scalability）
• 可升级 • 可扩展
容错（Fault tolerance）
• (在Internet 上， .NET 框架， 基于XML 的Web Service)
Java/EJB
Role of CORBA IDL
Client Side
C
C++
ID L
COBOL
IDL ID L
Ada
IDL IDL
ORB
Small talk
IDL
JAVA
Object Implementation
客户端浏览器
应用服务器（Bea WebLogic）
过程管理（Hp ProcessManager）
消息适配（HPPM-TIBCO Adapter） 消息总线（Tibco Rendezvous）
TUXEDO 中间件
业务操作及消息适配
统一客户 资料系统
各专业营 帐系统
分布计算远程调用技术的发展历程
•面向过程的第一代分布计算技术－C/S模式 • 网络应用程序编程接口(API) • 远程过程调用机制(RPC)
框架基于RMI和Java服务器端组件模型，包括语言、 组件的标准以及组件之间协同工作通讯的框架，提供 了像远程访问、安全、交易、持久和生命期管理等多
种支持分布对象计算的服务。
EJB组件架构模型
试图使Web服务器开放化，使Web页面成为应用程序的 集合，从而把整个网络变成用户的虚拟操作平台。
基于Web的计算模式
DB Server
第三阶段的Web：提供实时事务处理
•
在Web上进行实时事务处理，实现电子贸易。
必须解决的关键问题：
实时的事务处理
可伸缩性
可扩展性
安全性与客户认证
与现有系统的集成性。
Object Web
什么是Object Web?
通过CORBA环境使Web服务器开放化，使Web页面成为应 用程序的集合，从而把整个网络变成用户的虚拟操作平台。
CORBA和Java结合是Object web的技术基础
– Java的局限： 大量遗留应用不是用Java写的，无法下载到浏览器中运行； 某些重要的应用（如信息共享与管理类的应用等）在逻辑
上不能下载到客户端运行； 客户机难以承受越来越庞大的应用系统
主要成果：
– Java Soft的EJB、新一代的Java ORB等、Oracle的NCA （Network Computing Architecture）、Netscape的ONE （Open Network Environment）
Personal PC
Client Server
Cloud Computing
Hardware Centric
Software Centric
Service Centric
背景：网络的迅猛发展
1986 年到2000年 计算机: × 500 网络: × 340,000
网络迅猛发展的必然结果…
培训目录
Object web的体系结构
Web browser Java Applet
HTTP
HTTP文档
HTTP Server
CGI
Java Applet
Java ORB 第一层
IIOP Internet
CORBAS
Java
erver
ORB
Object
JDBC 第二层 业务服务器
第三层 业务服务器
Object Web和hypertext web, interactive web比较:
Side
COBOL
C
ID L
ORB
IDL ID L
Ada
IDL IDL
Small talk
IDL
C++
JAVA
Microsoft的COM系列
几个阶段：OLE 2/COM、ActiveX、DCOM和COM+
COM (Component Object Model):
• 微软的构件软件方案 • 为构件的互操作而定义的二进制构件模型 • 规定了对象模型和编程要求，使COM对象可以与其他对象相互操作。 • 是一种底层的构件软件结构，其作用类似于CORBA/ORB。
云计算的发展与技术 ——分布式计算技术
侯宾
培训目录
技术背景 云计算技术演进 云计算与其他相似技术
云计算的技术背景
云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展，或者说是这些计算 机科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算 (Utility Computing)、IaaS(基础设施即服务)、PaaS(平台即服务)、 SaaS(软件即服务)等概念混合演进并跃升的结果。
技术背景 云计算技术演进 云计算与其他相似技术
从并行计算到云计算
• 关联任务 并行
并行计算
分布式计算
• 独立任务 并行
• 分布式资 源整合
网格计算
SaaS
• 软件即服 务
• 一切皆服 务
云计算
并行计算的出现
• 串行计算到并行计算 • 处理器并行
– “双核” – SMP（对称多处理器）
• 缺点——昂贵、不稳定 • 难点——跨平台，可移植性
• 硬件冗余 • 软件恢复 • 数据备份 • 业务可用
透明 （Transparency）
• 位置透明 • 资源透明 • 平台透明等
分布式计算积累的技术经验
• 中间件 • 远程调用技术
– 分布式面向对象 – 理念、实现、细节
• 标准化与模型化
– 异构平台 – 通信与调用 – 开发模式
• 对WEB应用进行了初探 • 代理（Agent）
并行计算体系的分类（结构）
• 单指令流多数据流机（SIMD） • 并行向量处理机（PVP）
– 大量的向量存储器和指令缓存器、没有高速缓存 – 银河一号
• 对称多处理机（SMP）
– 高速总线对称连接、共享存储、I/O和OS – 实时业务：事务处理、DB – 曙光一号
• 大规模并行处理器（MPP）
– 超大型计算机系统、商用处理器、可扩展到上千个； – 分布式存储、独立地址空间、消息通信 – 曙光1000
将数据库与Web结合在一起，在Web上发布来自数据库的信息 典型技术： CGI、服务器专用API、ODBC、JDBC等技术。
页面请求 H
客户机 浏览器
T
T 页面应答 P
HTML CGI Script
数据请求 数据获取
数据库 服务器
Browser端
Web Server + Transaction Server
中间件的特点
• 中间件是泛指能够屏蔽操作系统和网络协议的差异，能够 为异构系统之间提供通讯服务的软件。中间件是操作系统 和应用软件之间的一个独立软件层，它在不改变现有操作 系统的前提下，向分布式应用提供相应的执行环境和编程 环境
– 满足大量的企业应用需求，将一些常用功能组合成独立的部件，使 之能在跨平台的软件环境上共享。
优点：平台效率比较高，有一系列相应的开发工具支持，应用开发相对简单。 致命弱点：跨平台性较差，难于实现与第三方厂商的互操作性
Java / EJB
RMI：远程方法调用(本质上是Java 版的RPC ) EJB （可认为是Java版的CORBA）
EJB是用于开发和部署多层结构的、分布式的、面向 对象的Java应用系统的跨平台的构件体系结构。使用 EJB结构编写的应用程序具有可扩展性、交互性以及 多用户安全特性。这些应用只需写一次，就可以发布 到支持EJB规范的服务器平台上。
• 工作站机群（COW）
– 每个节点都是完整的工作站 – 本地存储、松耦合
• 分布式共享存储多处理机（DSM）
– 共享存储
分布式计算的概念
• （Open Distributed Computing）在网络计算平台上开发、
部署、管理和维护以资源共享和协同工作为主要应用目标的分布式应 用系统。 • 主要的推动因素在于“资源分享”；共享资源和平衡负载是计算机上 行分布化和计算机下行分布化的核心思想 • 和并行计算相似，差别在任务独立性上 – 同一任务可能分配多次，在对结果进行校验；保证容错性 • 集合互联网空闲计算资源 • 据称：欧美国家几乎一般的个人电脑加入了分布式计算项目 – 数学、天文学问题