上海超算中心

线性代数
源
gcc 3.2.2-5（Turbo Linux） PGI 6.0
JDK 1.4.2
BLACS FFT FFTW
基本线性代数通信子程序库 快速傅里叶变换程序库 离散傅里叶变换
系统管理
GOTO LAPACK
高性能BLAS 线性代数例行测试库
LSF 作业管理系统 DCMS 曙光集群管理系统 SSC自主开发主机信息管理系统
参加了国家和上海的8个网格 建设项目：中国国家网格， 上海网格，上海高校网格， 中国科学网格，基于CNGI 的中国国家网格应用，国家 网络计算环境平台建设，协 同制造网格示范应用，上海 网格二期
评价卫星太阳电池翼分子污染
¾ 基于精细积分的时域分解并行计算技术
科学研究和工程咨询工作
应用情况总体介绍
工程计算领域
并并行行编编程程
科科学学计计算算部部
气象气候 计算化学 生物信息 计算物理 数学 数据处理 可视化
工工程程计计算算部部
人人力力资资源源，，财财务务，， 办办公公室室，，公公共共关关系系
CFD FEA 计算电磁学 系统仿真 可视化
中心现有员工60人 目前有博士6名、硕士15名；专业技术人员分别来自计算机，计算数学、
概况
¾ 上海市政府投资建设, 2000年上海市一号重大工程－－上海信息港主 体工程之一，是国内首家对外开放的、公共的超级计算中心
¾ 上海政府持续支持，经过二期建设，总投资超过3亿元 ¾ 可持续发展的运营机制 ¾ 运行六年来许多用户取得了有重要价值的成果
功能
¾ 强大的高性能计算资源为上海和全国服务 ¾ 开发科学研究、工程、商业、公共服务领域的高性能计算应用 ¾ 国家网格环境中担任主结点 ¾ 多学科领域合作，交流；国际交流和合作
科学研究、力学、机械等领域
主机网络维护，并行计算方法和软件开发，网格计算， CAE咨询，科学研究
其他, 8% 大学, 57%
博士, 10%
硕士, 25% 博士 硕士 大学 其他
上海超级计算中心人员学历构成
国际合作和交流
2005年召开“高性能计算应用大会” 邀请了美 国、韩国、芬兰等国家超算中心负责人
PETSc ScaLAPACK Matlib
科学计算工具包 高性能线性代数库 数学工具包
Free Code共享源代码
名称
WIEN 2000 NWCHEM
CPMD EGO DOCK BLAST NAMD VASP ABINIT MM5 WRF ARPS GRAPES FDS
描述 计算化学并行程序
计算化学程序包 分子动力学从头计算程序 并行分子动力学程序 分子对接程序 序列相似性检索程序 分子动力学计算程序 量子力学的分子动力学模拟程序 电子结构计算程序 中尺度数值模式的计算程序 中尺度预报模式与资料同化系统 区域气候预测系统计算程序 全球和区域气象分析预报系统 火灾模拟程序
面向CAE的高性能计算服务
上海超级计算中心 李根国
2006年11月6日
内容提要
高性能计算（HPC）发展前景概况 计算中心重新兴起 基于HPC的CAE咨询服务 上海超级计算中心（SSC）介绍 SSC与ANSYS的合作伙伴关系
计算机的发展
摩尔定理 1993年33MHz～2004年3.4GHz （100倍）
CAE 商业软件：通用有限元分析软件和CFD软件
LS-DYNA (64CPU) PAM-CRASH (32CPU) ABAQUS(8CPU) ANSYS-Multiphysics(16CPU) NASTRAN (8CPU) MARC (8CPU) FATIGUE ADAMS FEKO (16CPU) ……
¾ 基于高性能计算的CAE咨询服务模式
以高性能计算机作为计算工具，解决了计算规模的后顾之忧，减 少一些假设，更加真实的反映物理现象 租用软硬件已成为趋势 专业的咨询服务慢慢得到认可
¾ SSC与CAE咨询公司合作，提供基于HPC的CAE咨询 服务
上海超级计算中心介绍
¾ 概况和功能定位 ¾ 资源 ¾ 组织架构和团队 ¾ 业务模式 ¾ 运行情况和发展规划 ¾ 典型应用
¾ 航空航天 ¾ 汽车 ¾ 核电 ¾ 船舶 ¾ 钢铁 ¾ 市政工程 ¾ 水利和航运 ¾ 石油勘探 ¾ 力学基础研究
科学计算领域
主要学科领域：气象、天文、物理、化 学、生物、材料、药物
研究机构：国家及上海气象局，上海天 文台，上海药物所，国家人类基因组南 方中心，上海技术物理所，等离子体物 理研究所，上海应用物理研究所，硅酸 盐研究所，物理所，高能所，大连化物 所，上海光机研究所 ，武汉物理数学 所……
中心未来发展规划
¾ 持续发展对高性能计算应用的意义重大 ¾ 超级计算机系统：2008年，100万亿次以上的系
统，更加丰富的应用软件，强大的网络系统 ¾ 高性能计算方法、软件开发经验积累 ¾ 更加完善的，强大的高性能计算服务体制 ¾ 更加广泛的应用领域，在若干领域建设高性能计算领
域的应用平台
应用综述和典型成果介绍
计算中心是各学科知识聚集、融合的场地，远远有别于一个单纯在计算机 科学方面开展研究的IT研究机构
闲置的资源 业务峰值需求
现实的企业自 行建设规模
user3
利用的资源
user2
时间
基于HPC的CAE
基于HPC的CAE软件正在被充分地重视
支持64bit的软件正在发布，突破2GB内存的限制 并行计算功能得到充分的重视，商业软件的计算能力空前强大 应用问题尽可能突破现有有限网格划分而带来的影响 考虑更复杂的问题，例如流固藕合问题
FLUENT （128CPU） CFX(64CPU) STAR-CD（16CPU）
ICEM-CFD GAMBIT
HYPERWORKS PATRAN AI-E ……
网络资源
网络安全
9 漏洞评估系统 9 防火墙系统 9 入侵检测系统 9 用户认证系统 9 病毒防护系统 9 VPN系统 9 数据加密系统
基于高性能的计算力学方法不断出现
从细观和介观尺度研究宏观性质：纳米科学的发展，多尺度方法 极端工况问题的研究：超高速运动，高温高压问题研究，复杂环境问题， 特大工程
湍流问题直接模拟
基于高性能计算的CAE咨询服务
¾ 由于互联网技术的发展，软件变成服务成为可能
网格计算（Grid Computing）正在兴起，下一代互联网偏重于 信息内容的提供
Cluster 体系架构，10万亿次 Myrinet 互联 CPU ：2128个 64位AMD Opteron 2.4 GHz 95TB存储系统
操作系统
Turbo LINUX 8.0
软
并行环境和编译器
数学函数库
件
MPICH 1.2.5 Myrinet版本 Ethernet版本
资
PVM 3.4.4
Myrinet版本 Ethernet版本 ATLAS
中心自主和参与高性能计算和应用的工作情况
薄板冲压工艺与模具设计理论、计算方法和关键技术及在车身制造中的应用 2002年度获国家科技进步一等奖
基于超级计算机的结构动力学并行算法设计、软件开发与工程应用 2005年度获上海市科技进步一等奖
软件著作权
1. 有限元分析并行计算系统“SWFEM-P” 2. 数字化震动仿真软件 v1.0 3. 基于高性能计算机及集群计算的计算流体力学并行通用设计 v1.0 4. 地震安全性评价并行计算软件系统 5. 工程科学并行程序集成开发平台系统 v1.0
¾ 科普基地
SUNWAY-1 超级计算机
MPP体系架构, 3840亿次
CPU: 480个 ALPHA 500 MHz
硬
主要用于科学研究
件
SUNWAY 64P 集群系统
资
Cluster体系架构， 3028亿次 CPU: 66个 Intel Xeon 2.4G
源
主要用于工程计算
Dawning 4000A 超级计算机
信息安全
主机安全
¾安全的主机操作系统 ¾用户权限分离 ¾访问监控
信息安全管理
9英国BS7799安全认证
安全方针 资产分类与控制 人员安全 物理环境安全 通信与操作管理 访问控制 系统开发和维护 业务连续性管理 符合性
总总工工
主主任任
组织架构和团队
技技术术支支持持部部
研研发发部部
主主机机维维护护
网网络络维维护护 网网格格计计算算
计算机的发展
高性能计算机发展计划
计划 ASCI计划
HPCS计划
HECRTF R&D计划 BLUEGENE 计划
期限
1996－ 2008年
2002－ 2010年
2004－ 2019年
2002－ 2008年
主要目标
总投资13.348亿美元，研制9台万亿次～数百万亿次系统
总投资7.25亿美元，创新性结构、高效能计算机研究，研制 3台千万亿次级样机系统 保持美国高端计算领导地位，中期研发支持十万个处理器的 结构、持续性能的系统，长期研发10－100PF的系统 目前最快，最大规模的IBM蓝色基因系列超级计算机出自此 计划
¾ 英国：爱丁堡并行计算中心（EPCC），曼彻斯特大学学术研究计算服务 设施中心（CSAR），e-science项目投入2.13亿英镑用于资助EPCC、 九个地区中心和七个其他最优秀的中心
¾ 德国：斯图加特的HLRS，Julich的NIC，慕尼黑的LRZ，还有大量地方 计算中心
¾ 法国：原子能委员会，还有两家学术性超级计算中心CINES和IDRIS ¾ 芬兰：CSC ¾ 韩国：KISTI ¾ 新加坡： 国家计算中心 ¾ 巴西： 国家计算中心
中心自主和参与高性能计算和应用的工作情况（续）
并行软件开发工作
网格研究和应用
¾ 汽车碰撞与冲压成型仿真系统并行化及工程应用 ¾ 基于NS方程的跨音速颤振分析软件并行化 ¾ 钢液流动模拟软件的并行化和可视化系统开发 ¾ 航道泥沙淤积分析软件并行化开发 ¾ 基于GIS的黄河下游二维水沙模拟软件并行方法 ¾ 直接模拟蒙特卡罗（DSMC）并行计算方法以及
¾ 中国：国防，气象，石油，高校，地方计算中心，快速发展阶段，没有国 家级的中心
高高性性能能计计算算用用户户 高高性性能能计计算算应应用用学学科科
计计算算科科学学 计计算算机机科科学学 高高性性能能计计算算机机
计 算 中 心 的 计算中心的成本价值 定 位
计算中心在计算产业链中扮演着独特的承上启下的重要作用
我国“十一五” 规划研制Pera flops（1015）超级计算机 高性能计算将成为计算主流
Cluster体系的高性能计算机推动了工程计算
随着Cluster架构的日渐成熟，并借助于Linux系统的不断发展，新 建的系统规模在不断扩大。Cluster已经成为主流结构，且发展势头 强劲
工业和制造业在计算方面的应用，由于其资金、规模以及实际解题的 规模限制，对计算机机型并非越大越好，往往采用中型或小型规模的 超级计算机达到的效果和加速比可能比大规模的更好
美国NSF、意大利、英国、德国等计算中心来访 中心出访欧洲、加拿大、巴西、韩国、新加坡等
国家计算中心 与芬兰计算中心合作申请欧盟网格项目
业务模式
上海超算中心以全新的模式提供随需应变高性能计算服务
主机全天候运行，各领域有应用和技术支持，服务保障措施
软件作为一种服务（Software as-a-service） 技术增值服务
程序并行化开发，CAE咨询，科学研究合作
用户全面收费，但只负担部分运营费用 目标是资源高效使用
降低用户在IT和研发方面的成本和风险
运行情况和发展规划
90.0% 80.0% 70.0% 60.0% 50.0% 40.0% 30.0% 20.0% 10.0% 0.0%
曙光4000A使用率
2005年1月
3月
5月
7月
9月 11月2006年1月
3月 5月
7月
其他全国用户51 其他华东用 户25
上海用户114
华东六省26% (作业数57187)
全国其他地区8% (作业数18311)
上海66% (作业数 144531)
上海 华东六省 全国其他地区
作业区域 上海
华东六省 全国其他地区
合计
作业数 144531 57187 18311 220029
制造业领域的另外一个主要特点是利用行业公认的商业软件进行分析 和计算
计算中心重新兴起
¾ 美国：DOE DOD NSF NASA所属： NCSA, NCAR, NESC, NOAA, NSCEE , LLNL, LANL, SNL, ANL, NASA, JPL ，
¾ 日本：Earth Simulator Center，日本物理和化学研究 所（RIKEN），国立先进工业科学和技术研究所，国家宇 航实验室（JAXA）