Fluent并行计算在国家超算济南中心的应用

The FLUENT Parallel Computing and Its Application in National Supercomputer Center in Jinan [Feng Jinqiao1,Pan Jingshan1,Zhang Aishe2,Li Na1] [1 National SupercomputerCenter in Jinan,250101;2 Shandong Jianzhu University,250101 ]
国际上一个强有力的研究领域，其兴起促进了试验研究和理论分析方法的发展，为简化流 动模型的建立提供了更多的依据，使很多分析方法得到发展和完善。经过一定考核的 CFD 软件可以拓宽实验研究的范围，减少成本昂贵的实验工作量。CFD 数值模拟低成本、复杂 过程可模拟的优点使其成为进行传热、传质、动量传递及燃烧、多相流和化学反应研究的 核心和重要技术，广泛应用于航空航天设计、机车设计、涡轮机设计、半导体设计、生物 医学工业、化工等诸多工程领域。 随着计算机硬件和并行应用技术的发展，求解问题的规模、计算复杂度日益增大、求 解方式日益增多、求解问题多学科/多物理场耦合发展，单机计算、小规模并行已经难以适 应工程应用的需求， CFD 计算能力从单机计算、小规模并行向大规模并行计算发展。随着 问题求解规模的不断扩大、计算需求的不断增多、计算机硬件架构的升级以及软件并行优 化技术的成熟，有效地推动了大规模并行计算的应用和发展。并行计算成为计算流体力学 研究人员解决大规模 CFD 问题的重要手段。但是大规模 CFD 并行计算平台所需的软件、硬 件资源价格昂贵，日常维护的成本和工作量也很大。基于超级计算中心的 CAE 平台的出现， 为大规模复杂问题的低成本求解提供了契机。 Fluent 是 Ansys 公司产品，是一款基于非结构化网格的通用 CFD 求解器，针对非结构 性网格模型设计，是用有限元法求解不可压缩流及中度可压缩流流场问题的 CFD 软件。可 应用的范围有紊流、热传、化学反应、混合、旋转流（rotating flow）及震波（shocks） 等。对于大规模问题的仿真，有较好的加速性能。国家超算济南中心已完成 CAE 前处理、 结构分析、流体力学分析、瞬态非线性分析、多体动力学分析以及疲劳、结构优化分析等 领域十余款商业软件的采购与部署，其中，Fluent 是典型流体软件。本文结合国家超级计 算济南中心的神威蓝光硬件资源、Fluent 软件资源以及应用实例，探讨了 Fluent 并行求 解的原理和方法， 分析了某案例在不同处理器数目下的计算效率以及 Fluent 并行求解方式 对计算效率的影响， 为该类问题的大规模计算以及更好地发挥 Fluent 软件的并行计算优势 提供参考。
图3
国家超级计算济南中心“神威蓝光”系统实景图
国家超级计算济南中心的神威蓝光千万亿次超级计算机为硬件平台，该硬件系统包括 国产多核计算、商业辅助计算、互连网络、海量存储、维护监控、电源和冷却等子系统。 系统采用多态复合高效能可扩展体系架构进行统一规划和设计，基于国产多核计算子系统 和商用辅助计算子系统构建超级计算平台，并通过虚拟化技术、网格计算技术和云存储技 术在服务层上虚拟出多种计算和存储服务形态，满足用户多种计算和存储服务需求。平台 硬件架构图如图 4 所示。
4
典型应用
本文测试模型为某工程烟囱风荷载数值风洞分析。某拟建电厂工程规模为 2×150MW 燃煤机组，两台机共用一座 150m 高的烟囱。烟囱外筒为 147m 高的混凝土烟囱，内筒为 15 0m 高的自立式钢排烟筒，两个钢内筒并排立于混凝土外筒内部，在内外筒之间设置止晃平 台，限制内筒的过大位移。烟囱外筒出口外径 11.5m，筒壁厚度 0.35m，2/3 高度处外径为 11.74m。 为验证在周围锅炉房和主厂房等结构物影响下本工程烟囱风荷载取值的可靠性，对本 期烟囱的风荷载特性进行数值分析，并与现有设计方法进行比较，以供设计参考。
图 2 Fluent 的并行结构
3
计算资源环境
国家超级计算济南中心是科技部挂牌成立的国家级千万亿次超级计算中心， 于 2011 年 10 月在济南正式投入使用。中心建成的国产神威蓝光超级计算机系统，采用国产 16 核申 威 1600 CPU，峰值速度达每秒 1100 万亿次浮点运算，LINPACK 效率为 74.4%，性能功耗比 超过 741MFlops/W(百万次浮点运算/秒•瓦)，处于当今世界先进行列，完美实现了国家大 型关键信息基础设施核心技术的“自主可控”。中心以提供超级计算需求服务为目标，到 目前已在工业设计、气候气象、航空航天、海洋科学、新药创制、生物信息、金融分析等 领域开展了多项应用研究。
resources in the National Supercomputing Center in Ji'nan, an application example is applied on different number of cores in our paper. We discuss the principle of parallel Fluent, the computational efficiency with Multi-cores and the influence of parallel algorithm. Our paper provides the reference for the large scale parallel computing of actual problem, and shows how to make better use of the advantage in Fluent calculation.
[ Abstract ]
Massively parallel computing is rapidly developed with unceasing expansion of parallel solving scale an-d optimization of hardware/software. Fluent is the most popular software in field of calculation fluid. It is used to simulate the complex shape of the fluid flow and heat transfer. Combined with Shenwei Blu-ray hardware
一般采用物理区域分割方法，例如，将要计算的流场区域，划分成两部分分别给计算节点 ０和１计算，图 1 为划分前后的区域，由于两个计算节点间需要通信交换数据，所以在原 来的块上加了边界块。
图 1 划分前后的计算区域
Cortex 是主机 Host 的一个进程，Cortex 将指令发送给计算节点０，计算节点０再把 指令发送给其它的计算节点，并且与其它的计算节点是同步处理的。图３显示了并行 Flue nt 进程间的关系。每个计算节点与其它的计算节点都虚拟联系着，计算节点间依赖于它们 的“通信器”（communicator）来执行一些功能，比如发送、接收、同步和建立机器的连 通性等等。Fluent 的“通信器”实际上就是消息传递库——MPI（Message Passing Inter face）标准。
本项目采用大涡模拟方法进行烟囱风荷载分析。 其中动量方程离散采用中心差分格式， 亚格子应力选用 Smagorinsky-Lilly 动力模式。
4.3 边界条件和壁面处理
来流边界条件：流场的入口处采用速度来流边界条件。来流面的湍流脉动动能 和湍 流脉动动能耗散率 在这里直接给定。 出流面边界条件：假定出流面上的流动已充分发展，采用完全发展出流边界条件。 上空面及侧面的边界条件：顶部和两侧采用对称边界条件。 建筑物表面和地面：采用无滑移的壁面条件。
Fluent 并行计算在国家超算济南中心的应用
[冯金巧 ，潘景山 ，张爱社 ，李娜 ]
1 1 2 1
[1 国家超级计算济南中心 250101，2 山东建筑大学 250101]
[ 摘 要 ] 问题求解规模的不断扩大、计算机硬件架构的升级以及软件并行优化技术的成熟，推动了大规 模并行计算的发展。 Fluent 软件是目前计算流体领域国际上广受认可的通用软件， 用于模拟具 有复杂外形的流体流动以及热传导等。本文结合国家超级计算济南中心的神威蓝光硬件资源、 Fluent 软件资源以及应用实例，探讨了 Fluent 并行求解的原理和方法，分析了某案例在不同 处理器数目下的计算效率以及 Fluent 并行求解方式对计算效率的影响，为该类问题的大规模 计算以及更好地发挥 Fluent 软件的并行计算优势提供参考。 [ 关键词 ] 神威蓝光, Fluent, 加速比， 数值风洞
电信 联通
VPN
异常流 量清洗
应用服务集群
IDS
Firewall
Web防火 应用交付 墙
以太网络
系统管理节点
安全服务节点
计算 网络
国产多核计算系统 商用辅助计算系统
系统服务节点
数据库服务节点
存储服务节点
控制台
存储网络
网络管理节点
虚拟带库
存储管理节点
在线存储区
近线存储区
离线存储区
系统管理
图 4 神威蓝光硬件支撑环境平台架构图
[ Keyword ]
Shenwei Blueway, Fluent, speed-up ratio, numerical wind tunnel.
1
前言
CAE 从 60 年代初在工程上开始应用到今天， 现已成为工程和产品结构分析中 （如航空、 航天、机械、土木结构等领域）必不可少的数值计算工具，同时也是分析连续介质力学各 类问题的一种重要手段。作为 CAE 重要研究应用领域之一的 CFD 是一门利用电子计算机和 离散化数值方法对流体无粘绕流和粘性流动问题进行数值模拟和分析的学科。CFD 是目前
4.1 几何模型
利用 GAMBIT 建立的该项目一期的几何模型如图 5 所示。 计算流域取为 X×Y×Z=5000m×9000m×750m。利用 GAMBIT 进行网格剖分。一期模型 整个计算区域的网格数约为 160 万，网格划分如图 6 所示。
图 5 一期几何模型
图 6 一期烟囱网格局部放大图
4.2 计算模型
3
1.79e-5kg/m-s 5× 10 s 1.0× 10
5 4
Leabharlann Baidu
以计算流体动力学软件 ANSYS FLUENT 为基础，利用国家超算济南中心并行计算平台对 本项目进行了分析模拟。
4.5 数值计算
向)、 180 (南风向)和 315°(东北风向)等。 主要计算工况如下：单个烟囱，风向角取 0°(北风向)、45°(西北风向) 、90°(东风
4.4 计算参数选取
与本项目数值计算相关的参数取值如表 1 所示。
表 1 数值计算参数取值
参数名称 地貌类型 风速剖面指数 基本风压 w0 （10 米高度）
参数取值 B类 0.16 0.85 kN/m
2
B 类地貌上空 10 米高度处风速 空气密度 空气粘性系数 时间步长 残差精度
36.88 m/s 1.225kg/m
2
Fluent 并行计算
求解问题的规模、计算机硬件架构的升级以及并行化理论的发展，促使大规模求解问 题向并行方向发展， 软件的并行优化必须充分利用现有硬件资源来提高自身并行计算性能， 并行处理能力将进一步提高程序内在价值，也有助于大规模问题的求解。Fluent 的并行解 算器是用多处理器来计算大型计算问题，计算可以在一台机器上执行，也可以在网络里的 不同机器上执行。其原理是：将整个流动区域分割成Ｎ个子区域，分别分配给Ｎ个 CPU 计 算，把子区域的初始流场信息、几何信息（网格坐标、标识号）分别装载入各子区域对应 的 CPU 的内存中，在每一个 CPU 中启动计算进程，由主进程调度各 CPU 的计算。在每一次 全场的扫描过程中， 由各 CPU 完成子区域的计算并在边界完成数据交换 （各 CPU 间的通信） ， 由主进程收集全场数据完成收敛准则判别，并按需要进行写等其它操作。划分区域的时候