网格计算与PCFARM的使用.pptx

网格与中国
• 网格技术被称为网络技术发展的第三次浪潮。网络技术的前两次 浪潮（互联网和万维网），中国都没有参与世界上核心技术的创 新工作。我国的计算机产业，在总体上落后于西方国家，一个重 要原因是“文化大革命”使我们错过了参与发明网络的前两个浪 潮。
• 从1969年至今，互联网发展至今已经34年了，出现了3180个技术 标准文档（RFC）。我国科技界仅参与了一个技术标准文档的制 定。那就是1996年3月（互联网第一个标准发明27年后，TCP/IP协 议发明22年后）胡道元教授牵头制定的中文字符编码标准（RFC 1922）。
国内的网格项目
• Vega Grid Project（ICT） • Scientific Data Grid (AC) • Chinese University Grid (ME)
Shandong University， 1/12 • HEP Data Grid (IHEP)
国外的网格项格技术的基础研究经费已近五亿美元。
继续
集群与SMP的性能比较
返回
网格计算的特点
• 网格计算是一种高性能计算
网格研究来源于美国联邦政府过去十年来资助的高性 能计算科研项目。从1992年美国总统克林顿提出“信 息高速公路”计划，开始了下一代互联网（NGI）研究 计划。
• 异质网络 • 分布式（地理上） • 21世纪的主流计算技术
Globus
l 任务管理 用户通过该功能向网格提交任务、为任务指 定所需资源、删除任务并监测任务的运行状态。 l 任务调度 用户提交的任务由该功能按照任务的类型、 所需资源、可用资源等情况安排运行日程和策略。 l 资源管理 确定并监测网格资源状况，收集任务运行时 的资源占用数据。
• 使用Sun ONE Grid Engine 5.3就可以实现 上述三个功能。
----------------------------------------------------------------------------
hgfarm5.q
BIP 2/2 0.61 glinux
73 0 run03.sh wangyg r 05/14/2003 10:44:50 MASTER
78 0 run07.sh wangyg r 05/14/2003 11:21:07 MASTER
更多的内容
• Grid • Sun Grid Engine用户和管理员手册 • Sun Grid Engine参考手册（脚本扩展） • SHELL编程
我们的网页 信息服务－>高能物理研究室计算机
系统使用指南－>高能物理研究室PC-FARM使用指南
国外的网格项目（续）
• 国家计算机科学联盟NPACI（NSF) • 国家技术网格NTG（NSF) • 分布式万亿次级计算设施DTF（NSF） • IPG - Information Power Grid（NASA） • ASCI Grid（DOE) • Data Grid（EU）
二.PC-FARM的结构
----------------------------------------------------------------------------
hgfarm2.q
BIP 1/2 0.53 glinux
75 0 run05.sh wangyg r 05/14/2003 10:45:20 MASTER
• 11、夫学须志也，才须学也，非学无以广才，非志无以成学。20.9.2707:32:5207:32Sep-2027-Sep-20
• 12、越是无能的人，越喜欢挑剔别人的错儿。07:32:5207:32:5207:32Sunday, September 27, 2020
• 13、志不立，天下无可成之事。20.9.2720.9.2707:32:5207:32:52September 27, 2020
queuename
qtype used/tot. load_avg arch states
----------------------------------------------------------------------------
hgfarm0.q
BIP 1/2 0.67 glinux
71 0 corsika-ru wangyg r 05/14/2003 10:44:20 MASTER
网格计算与PC-FARM的使用
王永刚 May 19, 2003
主要内容
• 什么是网格计算 • PC-FARM的结构 • PC-FARM的使用方法
一.网格计算(Grid Computing)
• 基本概念（Historical Consideration）
高性能计算(High-Performance Computing)
----------------------------------------------------------------------------
hgfarm1.q
BIP 1/2 0.51 glinux
76 0 run06.sh wangyg r 05/14/2003 10:45:36 MASTER
• 17、一个人如果不到最高峰，他就没有片刻的安宁，他也就不会感到生命的恬静和光荣。上午7时32分52秒上午7时32分07:32:5220.9.27
谢谢观看
书写SHELL脚本
• 不要有后台运行符号（&） • 末尾最好有一空白行 • 扩展的选项
1 #!/bin/bash 2 #$ -S /bin/bash 3 3 #$ -cwd ~/corsika 4 #$ -N run01 5 cd ~/corsika 6 ./qgsjet<./inputs001 7
• 9、春去春又回，新桃换旧符。在那桃花盛开的地方，在这醉人芬芳的季节，愿你生活像春天一样阳光，心情像桃花一样美丽，日子像桃子一样甜蜜。20. 9.2720.9.27Sunday, September 27, 2020
• 10、人的志向通常和他们的能力成正比例。07:32:5207:32:5207:329/27/2020 7:32:52 AM
----------------------------------------------------------------------------
hgfarm3.q
BIP 1/2 0.62 glinux
72 0 run02.sh wangyg r 05/14/2003 10:44:35 MASTER
• 美国军方更为积极。美国国防部已在规划实施 一个宏大的网格计划，叫作“全球信息网格” （Global Information Grid），预计在2020年 完成。作为这个计划的一部分，美国海军和海 军陆战队已先期启动一个160亿美元的八年项 目，包括系统的研制、建设、维护和升级。
• 英国政府已决定投资1亿英镑于网格项目。
PC-FARM的结构（续）
• RAID盘，1TB，7/8的容量，安全（两个 备用盘）
• 文件服务器与其他主机以千兆位端口连 接，高吞吐量
• UPS电源，5000VA，网络监控 • Linux支持的摄像头，实时监控 • 用户必须通过hgfarm才能到达PC-FARM
三.PC-FARM的使用
• 网格计算至少需要具备三种基本功能
----------------------------------------------------------------------------
hgfarm4.q
BIP 1/2 0.55 glinux
74 0 run04.sh wangyg r 05/14/2003 10:45:05 MASTER
SHELL编程
• 几种SHELL BASH、CSH、KSH、TCSH
指定输出文件
3. 作业控制
• 检查作业运行状态 • 第一种方法：启动Job Control窗口 • 第二种方法：命令行
作业控制窗口
显示作业运行状态的命令
• 登录到hgfarm，运行qstat –f • 结果：
[wangyg@hgfarm wangyg]$ qstat -f
• 从1989年至今，万维网（Web）发展至今也近14年了，出现了46 个技术标准，我国科技界参与制定的技术标准一个也没有。
• 根据Internet和Web发展的历史，网格的重要技术标准将在20042005出现。这个技术将主导2004-2020年的信息技术领域发展趋势。
• 网格是中国计算机技术发展的一个契机。
转到作业控制窗口
每个按钮的说明（2）
每个按钮的说明（3）
2. 提交作业
脚本示例
• 运行广延大气簇射模拟程序corsika • 目录/home/wangyg/corsika • 可执行文件为qgsjet（不能直接提交） • 脚本run01.sh:
1 #!/bin/bash 2 cd ~/corsika 3 ./qgsjet<./inputs001 4
• 14、Thank you very much for taking me with you on that splendid outing to London. It was the first time that I had seen the Tower or any of the other famous sights. If I'd gone alone, I couldn't have seen nearly as much, because I wouldn't have known my way about.
。2020年9月27日星期日上午7时32分52秒07:32:5220.9.27
• •
T H E E N D 15、会当凌绝顶，一览众山小。2020年9月上午7时32分20.9.2707:32September 27, 2020
16、如果一个人不知道他要驶向哪头，那么任何风都不是顺风。2020年9月27日星期日7时32分52秒07:32:5227 September 2020
• 我们的PC-FARM还不是真正的网格计算， 只能算作网格计算略低一级的形式—— 集群计算。
Grid Engine的使用
• 条件 在hgfarm上有帐号和HOME目录
• 启动QMON 在你所在的机器（比如hepg15）输入以下命令： ssh hgfarm qmon
1. 启动QMON主界面
每个按钮的说明（1）
>大规模科学问题，象天气预报、地形分析和生物制药等
>存储和处理海量数据，象数据挖掘、图象处理和基因测序
高能物理的事例重建和模拟
高吞吐计算(High-throughput Computing)
SMP（Symmetric Multi-Processor）
集群（Cluster）系统
与SMP比较
高性能集群
网格计算