网格体系结构

Tier 0
Italy Regional Centre
CERN Computer Centre
Tier 1
France Regional Centre
Germany Regional Centre
FermiLab ~4 TIPS ~622 Mbits/sec
Tier 2
~622 Mbits/sec Institute Institute Institute ~0.25TIPS
Art and Architecture
What’s the difference between Art and Architecture?
Lyonel Feininger, Marktkirche in Halle
Art and Architecture
Notre Dame de Paris
~100 MBytes/sec
1 TIPS is approximately 25,000 SpecInt95 equivalents
Offline Processor Farm ~20 TIPS ~100 MBytes/sec
~622 Mbits/sec or Air Freight (deprecated)
•
基本服务的定义
– – –
网格与WWW工作方式的区别
www
服务器的 驱动 客户与服 务器 客户端 资源
先后驱动，同时只有一个 界限明显
Grid
同时驱动 界限不明显
浏览器
网页，数据库
不限制，客户端多样 化
计算、存储、软件、 仪器等
网格的层次
• 分布式资源
• 网格系统
• 网格用户
Classic Grid Architecture
•
需要标准的协议、服务是重要的
• 标准的APIs/SDKs是重要的
– – 允许应用可移植 没有标准协议互操作很难 (every SDK speaks every protocol?) 可共享，避免重复开发和安装 E.g., one port/service/protocol for remote access to computing, not one per tool/application E.g., Certificate Authorities: expensive to run
第二章 网格体系结构
龚 斌
山东大学计算机科学与技术学院 山东省高性能计算中心
什么是体系结构? Architecture
• 各个组成部分的搭配和排列 • 建筑物上承载重力或外力部分的构造 • 建 造 的 艺 术 或 者 科 学 （ The art or science of building） • 建 造 的 方 法 或 者 风 格 （ a method or style of building） • 计算机或者计算机系统各部分组织与集成的方式 （ the manner in which the components of a computer or computer system are organized and integrated）
• 网格资源与服务的发现、组织和调度与 管理的方法和算法 • 在线设备的数据自动注释和分类目录
网格技术挑战（续）
• 高性能分布数据密集型系统必须使用网络级别、 平台级别和构件级别的并行和流水线（如下图） • 高速系统的精确监控
– 对于算法分析、问题监测和动态自适应配置非常重 要 – 资源、系统、应用的监控
• 从标准协议、服务角度分析Grid 系统
• 结果是一个层次协议体系结构
• 五层沙漏体系结构
– Ian Foster等描述了一种具有代表性的体系结 构
沙漏结构设计原则
• 保持参与的开销最小
– 核心协议较少的，要普遍支持 Diverse global services – 提供一些核心服务为基础 – 类似OS内核，移植方便
Clients
Users and Devices
网格的多方参与性
• • • • • 资源的的归属于不同的管理域 资源种类繁多，接口和使用方式不同 网格的建设需多方参与 网格用户的多样性 一个网格用户要在多个资源上活动
分布式系统与网格
特征 开放性 通用性 分布式系统 网格 需求和技术有一定确定性、 开放技术、开放系统 封闭性 专门领域、专门技术 通用技术
• 网格系统的自治管理技术
– 灵活的、自治的资源管理（自动的服务器重启、数 据迁移、拥塞避免等）
流水线举例（指令）
取指 分析 执行
部件
执行 分析 取指 k k K+1
k
K+1 K+2
K+1 K+2
K+2
时间
网格技术挑战（续）
• 网格的编程模型和语言
– 我们需要突破传统的程序设计和并行程序设计语言与编程模 型 – MPI－G？
Caltech ~1 TIPS
Tier2 Centre Tier2 Centre Tier2 Centre Tier2 Centre ~1 TIPS ~1 TIPS ~1 TIPS ~1 TIPS
Institute
Physicists work on analysis “channels”. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server
网格系统的基本管理功能
资源管理 界 面 管 理 作业管理 数据管理 通信与安全管理 信 息 管 理 公 共 管 理
网格系统的基本管理功能（续）
• • • • • • • 信息管理：为网格中的活动提供依据 资源管理：管理资源 数据管理：管理数据的存储、表示和副本 通信与安全管理：活动合法，信息通达 界面管理：用户与网格的接口 作业管理：作业的执行管理 公共管理：用户的管理，系统监控，记账等
Physics data cache
~1 MBytes/sec
Tier 4
Physicist workstations



网格技术挑战
• 网格体系结构和网络计算模型
– Internet活动规律和特性
• 网格计算的资源共享和协同的基础理论
OGSA 技术体 系WSRF
Grid的主要问题
• 在动态变化的、多机构组成的虚拟组织（VO) 内的协作资源共享和问题求解
1. 允许分布的服务和资源集成 2. 采用通用的协议和基础支撑 3. 获得较好的QoS服务
一个虚拟组织例子: CERN’s Large Hadron Collider
1800 Physicists, 150 Institutes, 32 Countries
• 网格环境下网格服务的应用形态和高层shell语言 • 网格工作流语言和机制
– 面向服务的工作流？ – 多域环境下的工作流
• 网格系统的自适应技术和机制
– 应用系统在异构分布环境中优化执行；
• 基于构件技术的网格应用开发环境和工具 • 面向应用领域的基础支撑工具和服务。
对体系结构基本要求
在技术上，从应用的角度看：
网络计算体系结构的发展
• 网格计算体系结构
– 层次体系结构 – 开放网格服务体系结构OGSA – OGSI→WSRF（WS－Resource Framework）
九十年代中期 2001 2002 2004
八十年代中后期
自治多域服务联 合计算
元计算
计算网格
多层网格 体系结构
开放网 格服务体 系结构 OGSA 技术体 系OGSI
• 不能破坏现有系统，不能重蹈覆辙（分布操作
系统 ）
• 为应用提供单一分布资源全局视图和聚集各种
分布的自治资源成为一个系统 • 不导致应用程序的重新编写
– 移植简单
对体系结构基本要求

不同组织之间的资源共享互操作是必不可少的 – 对资源直接访问，不单单是文件共享和交换 – 体现在各种资源构件之间和机制之间 标准的协议是至关重要的 – 允许跨节点的 interoperability互操作 – 允许 shared infrastructure共享设施
– Agent？ – 协同优化理论？
• 标准和协议体系 • 建立一个开放的信息处理基础设施平台
– 一个开放的体系结构、标准和协议，以形成信息获 取、传输、访问和处理的单一虚拟系统基础平台 – 屏蔽异构平台、异构语言
网格技术挑战（续）
•
– – – –
虚拟组织的管理和协同工作
•
– – – –
网格的高可靠和可用性技术
Database
Database
Resources
Composition Netsolve Collaboration
Content Access
Security
Middle Tier Brokers Service Providers
Computing
Middle Tier becomes Web Services
网格的层次结构
• 面向协议的网格层次结构
• 面向服务的网格层次结构
面向协议的网格层次结构
网格应用 应用接口（API，命令，开发语言，…） 网格软件（系统软件，工具集，…）
网格协议（描述，表示，组织,…） Internet（分布式资源，Internet协议,…）
面向服务的网格层次结构
网格应用 应用支持环境 通用服务 基本服务 服务协议与标准（描述，发现，访问，…） Internet（分布式资源，Internet协议,…）
What’s the difference between Art and Architecture?
内 容
• 五层沙漏结构 • 开放网格服务体系结构OGSA
– Open Grid Service Architecture
• Web Service 资源服务框架WSRF
– Web Service Resource FrameWork
基于服务的协作集成技术等； 多个系统的协调和集成 服务和应用的自治管理和优化 自动配置和部署 资源多层次和多方面的异构性 系统状态的不确定性 异构分布的环境高可靠的保证 单点失败不导致系统崩溃 多域的安全问题 访问控制模型 可信技术
•
– – –
网格的安全机制和可信技术
网格技术挑战（续）
• 高度灵活的共享关系定义和共享资源的 复杂高级控制
– 细粒度访问控制、代理 – 灵活，可应付许多资源类型和共享方式 – 可扩展大量资源、许多的参与者和程序模块
• ＱoＳ的调度和联合分配 • 记帐技术 • 各个站点同时履行资源分配的合约，具 有事务性原则
网格技术挑战（续）
• 海量分布数据的存储、分发、访问和管 理
– – – – – 高速透明访问多个地点的海量存储系统 统一的数据操作和管理空间 结构化数据访问和管理 非结构化数据访问和管理 etcid 实现者的角度：
– 一个层次型中间件服务集合（like 现行的系统） – 按照现代软件系统的设计原则，以服务的方式为应 用工具和应用的开发提供支持； – 服务的实现必须能够自由地使用各个层次上的功能 和服务进行构造。 （这和许多系统的设计原则不同）
Grid “体系结构”
Applications
• 管辖多种资源，允许局部控 制 核心服务 • 用来构建高层的、特定领域 的应用服务 • 支持适应性 • “IP hourglass” model
Local OS
集中性
使用模式 标准化
统一规划、集中控制
主机终端、C/S 领域标准、行业标准
自然进化、非集中控制
服务模式 通用标准（+行业标准）
平台性
应用解决方案
平台或基础设施
网格的协议层次
网格应用 网格系统（系统软件，工具集，API,…） XML协议（SOAP,WSDL,…） Internet协议（HTTP,FTP,SMTP,…）
100 PB of data by 2010; 50,000 CPUs?
Grid Communities & Applications: Data Grids for High Energy Physics
~PBytes/sec
Online System
There is a “bunch crossing” every 25 nsecs. There are 100 “triggers” per second Each triggered event is ~1 MByte in size