基于MPI的不可压缩NS方程并行计算方法的研究

图ｌ超松弛迭代示意图
５ 实例验证 根据提出的方法，笔者针对不可压缩流体力学具体问题，
采用Ｆｏｒｔｒａｎ９０语言，分别编写了串行、并行程序，在曙光 ＴＣｌ７００集群服务器下计算，系统为Ｌｉｎｕｘ。该算例所模拟的问 题为：对于不可压缩流体．在平板边界层中，入Ｅｌ处加入一个三 维波的扰动源．该扰动源在入口处随时间而有规律的变化，之 后三维波向下游传播，其幅值随空间而增长。
参考文献：
［１】Ａｓｓａｆ Ｉ，Ｃｈｅｎ Ｍ，Ｋａｔｚｂｅｒｇ Ｊ．Ｓｔｅｅｌ ｐｒｏｄｕｃｔｉｏｎ ｓｃｈｅｄｕｌｅ ｇｅｎｅｒａｔｉｏｎ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｐｒｏｄｕｃｔｉｏｎ Ｒｅｓｅａｒｃｈ，１９９７，３５（２）：４６７＿４７７．
２本文问题描述 不可压缩直接数值模拟的基本方程是Ｎａｖｉｅｒ—Ｓｔｏｋｅｓ方
程、连续性方程，对方程进行适当的无量纲化后，其形式：
詈ｍ田）牡坷ｐ＋去叻
（１）
Ｖ·Ｈ＝０
ｆ２）
其中Ｕ是速度，Ｐ为压力，Ｒｅ是Ｒｅｙｎｏｌｄｓ数，Ｖ是Ｈａｍｉｌｔｏｎ算 子，Ｖ２是Ｌａｐｌａｃｅ算子。
在ｚ方向采用Ｆｏｕｒｉｅｒ谱展开。因此ｚ方向为周期性边界
图２、图３为同一结果的两张图，所不同的是图２为＇，＝ ０．７６，ｚ＝１处的串行、并行扰动空间演化情况（ＤＮＳ—Ｂ表示并行 的结果．ＤＮＳ—Ｃ表示串行的结果）．而图３为ｙ＝０．７６处串行、并 行整体扰动空间演化情况。从两张图可以看出，并行计算的结
（上接３页） 为了简化问题，本文将板坯排序问题转化为约束满足问题处 理，利用问题的约束条件过滤变量的值域，收缩搜索空问，降低 计算复杂性。应用基于域和费用值的动态变量选择和值选择启 发式算法以及改进的节点互换算法确定整板顺序。仿真实验证 明，约束满足＋基于改进的节点互换算法具有理想的计算时间 和优化效果。（收稿日期：２００６年１１月）
基金项目：国家自然科学基金（ｔｈｅ Ｎａｔｉｏｎａｌ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｆｏｕｎｄａｔｉｏｎ ｏｆ Ｃｈｉｎａ ｕｎｄｅｒ Ｇｒａｎｔ Ｎｏ．１０２３２０２０）。 作者简介：李宁（１９７８一），男，博士研究生，主要研究方向为流体力学、并行计算；罗纪生（１９５４一），男，教授，博士生导师，主要研究方向为流体力学。
程的第一个数据补充为０，将第ｍ个进程的最后一个数据也补
充为０，形式如下：
０
ａｏ
ｏｏ
ｂ１ ０１
０１
Ａ＝
和
ｂ，１ ６ｋ１ ｃｐｌ ｂ。％ｃ。
ｂｏ ａｏ
ｏｏ
Ａ＝
ｂｌ ｏｌ
ｂｐｌ ａｎ＿１ ｃｐｌ ｂ。 ％０
下面介绍具体的计算方法。 步骤１将矩阵分成ｍ部分。任取其中一个部分，表示如 下：
６『，（ｍ）
Ａ＝
ห้องสมุดไป่ตู้
：
●
ＭＰＩ不是一个独立的自包含系统，而是建立在本地并行程 序设计环境之上．其进程管理和Ｉ／Ｏ均由本地并行程序设计环 境提供。ＭＰＩ实现主要包括ＭＰＩＣＨ、ＬＡＭ、ＣＨＩＭＰ几种。ＭＰＩ子 集由６个基本函数组成：ＭＰＩ初始化、ＭＰＩ结束、获取进程的编 号、获取制定通信域的进程数、消息发送和消息接受。ＭＰｌ支持 以下四种通信模式：标准通信模式、缓冲通信模式、同步通信模 式、就绪通信模式。
６”三
１ ｃ’ｙ
１ ｃ■
６哆’
１ ｃ？
肌ａｉ…：髻，ｃ，；…：霉。
ｎ
口
最后．进行向上消元的计算。
６，，，≯’
Ｃ
６，，，，
（
Ａ＝
：
●
６，，，：
６”二ｍ’
Ｃ舢。椭，；∥。㈣。
其中：６『『，三：６”：圳■ｃ ７三，ｃｔｔ。（ｍ）＝－－Ｃｔ■ｃ’：；６”譬６『，：…圳乞
．ｃ’■ｃ，’譬ｍ）一ｃｕ。（ｍ。’．ｃ ７一（ｉ－ｏ，…，ｎ一２）。
万方数据
李 宁．罗纪生：基于ＭＰＩ的不可压缩Ｎ－Ｓ方程并行计算方法的研究
２００７，４３（９）
９
条件。ｘ，ｙ方向采用紧致差分格式。因此，本文在ｘ，ｙ方向采用 并行计算。时间的离散方法和空间的离散方法的详细情况见文 献［２１。
针对非线性项、粘性项、散度和梯度，都需要求解三对角矩 阵。设所要求解的三对角方程组为：Ａ·ｘ＝ｆ，其中，Ａ为三对角矩 阵，并且是非奇异的。那么，如何并行求解三对角矩阵呢？
经过向上、向下消元之后，方程变为：
６ｆ『，≯’
菇
６，，，：莉
戈
：
●
６…三
石
６■
舢。椭．；＾、＾。 膏㈤。：“㈨。 眩＂㈠坛一
当每个进程单向点数超过３０个的时候，６０’一ｏ，ｃ咿’一ｏ（证明
ｂｏ ａｏ Ｃｏ
．·
ｂ１Ⅱｌ。ｌ
（３）
ｂ，１％一ｌ
－．，．—，【 矗五；厶
步骤２首先，进行向下消元的计算（上标ｍ表示第ｍ个 进程）。
１１３０ ２００ ３００ ４００ ５００
图２串行、并行计算结果比较图（ｙ＝０．７６。ｚ＝ｌ处
４并行局部超松弛迭代的基本原理 针对上面提到的问题．本文采用了一种局部超松弛迭代的
方法，即每个时间步计算的开始．将各个进程边界上的数据传递 给相邻的进程（注意角点的数据），然后进行超松弛迭代，也就是 说，除去边界上的点，其余的点都采用超松弛迭代法，从实际数 值计算的结果来看，只是迭代的次数相对增加一些．对计算结果 没有影响。值得注意的一点，为了配合方程的边界条件，对迭代 的方向本文也进行了研究，结论为：从戈＇，平面中心开始，向四个 角点迭代，收到的效果较好。超松弛迭代示意图如图１所示。
那么，如何在并行中采用超松弛迭代法呢？
６”∥ １ ｃ，：ｍ）
…
３并行求解三对角矩阵的基本原理
假设采用ｍ个进程，第１个进程和第ｍ个进程的形式分 别为：
Ⅱ０
ｃｏ
ｒ
ｂ１ ｔｔｌ Ａ＝
●●●
们¨ 加乩
和
Ｃ卜ｌ ：
ａｎ
Ｃ“
ｂｏ ａｏ
ｂｌ 孙ｍ “
●
Ａ＝ ：
¨ ％一１ ｃＪ卜ｌ
＿：
ｂ。 ％
为了取得形式上的一致，以便计算起来通用方便，将第１个进
（ｍ＋１）
ｘ。弓，一ｃ。’ｏｏ
相应各个进程的戈≯’、＊，都可以求解出来。
步骤４代回到式（４）中，因为由第ｍ和第ｍ一１个进程，求
出了戈≯’，由第ｍ和第ｍ＋１个进程求出了＊∥，因此可得：
ｚ∥乏…一６…：…．戈∥－ｃ∥ｔ算≯（湖，…，叫）
（７）
求出了各个进程每个点的值。
Ｏ．００ｌ Ｏ Ｏ．０（）０ ５
０
ｏ
是甲．Ｄ ｏ ２移ｏ，Ｇ ｏ ２。ｏ，。ｒ
’１
松弛迭代法求解嘲，可得：
露１＝（１叫碗＋∞ Ａ…ｐ。＋ｌ印：，。）＋Ｂ（ｐｐ沪＋ｌ，＋ｐｐⅢ。）芬。 ２（Ａ＋曰）＋６
。：霉撕乩…∽。 ｏ ｏｌ
其中：Ａ＝１／Ａｘ２，Ｂ＝Ｉ／Ａｙ，山为松弛因子，ｂ为系数，为已知项。
其次，各行都除以该行的主对角元素，使主对角线的值为１。
步骤３将ｃ’，’传递给下一个进程，将６…≯’传递给上一个
进程，任取一个组合为例，可得如下二元一次方程组：
ｂ，。Ｈ Ｂ雌，］
㈤
万方数据
１０
２００７，４３（９）
Ｃｏｍｐｕｔｅｒ Ｅ，画船ｅｒ机ｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用
。。，∥’≯…·ｂ…∥
‰５ｉ了碡万
（６）
（ｍ） 』ｍ）
，（ｍ）
Ａｂｓｔｒａｃｔ：Ｆｏｒ ｔｈｅ ｐｒｅｓｅｎｔ ＣＦＤ，ｗｈｅｎ ｗｅ ｔｒｙ ｔｏ ｓｏｌｖｅ ｌａｒｇｅ—ｓｃａｌｅ ｓｃｉｅｎｃｅ ｃｏｍｐｕｔｉｎｇ ｐｒｏｂｌｅｍｓ，ｓｕｃｈ ａｓ ｔｈｅ Ｎ—Ｓ ｅｑｕａｉｏｎ，ｗｅ ｈａｖｅ ｔｏ ｃａｌｃｕｌａｔｅ ａ ｌｏｔ ｏｆ ｔｈｉｎｇｓ ａｎｄ ｉｔ ｔａｋｅｓ ａ ｌｏｔ ｏｆ ｔｉｍｅ ｔｏ ｇｅｔ ａｌｌ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎｓ ｄｏｎｅ．Ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ，ａ ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ ａｌｇｏｒｉｔｈｍ ｃａｌｌｅｄ ＭＰＩ，ｗｈｉｃｈ ｉｎｃｌｕｄｅｓ ｔｈｅ ｓｏｌｕｔｉｏｎ ｏｆ ｔｒｉｄｉａｇｏｎａｌ ｍａｔｒｉｘ ａｎｄ ＳＯＲ，ｉｓ ｐｒｏｐｏｓｅｄ．Ｔｈｉｓ ｍｅｔｈｏｄ ｈａｓ ｂｅｅｎ ｐｒｏｖｅｄ ｔｏ ｂｅ ａｃｃｕｒａｔｅ ａｎｄ ｒｅｌｉａｂｌｅ，ｉｔ ｃａｎ ｓｈｏｒｔｅｎ ｔｈｅ ｃａｌｃｕｌａｔｉｎｇ ｔｉｍｅ ｅｎｏｒｍｏｕｓｌｙ ａｎｄ ｉｓ ｗｅｌｌ ａｄａｐｔａｂｌｅ ｔｏ ｌａｒｇｅ—ｓｃａｌｅ ｓｃｉｅｎｔｉｆｉｃ ｃｏｍｐｕｔｉｎｇ． Ｋｅｙ ｗｏｒｄｓ：ＣＦＤ：Ｎ—Ｓ ｅｑｕａｔｉｏｎ；ＭＰＩ；ｐａｒａｌｌｅｌ ｃｏｍｐｕｔｉｎｇ
文章编号：１００２—８３３１（２００７）０９—０００８—０３ 文献标识码：Ａ 中图分类号：０２４６
近几十年，随着计算机运行速度的快速提高，计算流体力 学得到了蓬勃的发展，而这也促进了航空、航天技术的发展。显 然，数值计算已经成为与理论分析和实验研究并列的研究流体 流动问题的方法。然而，由于流体流动的复杂性，使得流场数值 计算的工作量非常巨大，特别是采用空间模式，以至于利用目 前运算速度最快的计算机仍然无法仔细模拟大多数工程流场。 因此，计算流体力学工作者们一直在寻求更好的算法来大规模 地提高计算速度。并行计算就是在这种背景下应运而生的。
另外。针对压力函数Ｐ，其满足的方程为Ｈｅｌｍｈｏｈｚ方程：
６，∥ ｏ 怖ｏ
耐 ｏ％
６ ７ｙ
ｍ
∥ 、莹，
Ｃ
Ａ２ ：
６’三 ６，：ｍ）
Ⅱ ＜ｎ 耐ｏ
｝ⅡＣ 刚。 哪
ｍ
●吒
采用蠢黧篡…酗Ｈｅｌｍｈｏｈｚ掘一超…∥≤。，Ｇ，：ｍ，栽。，６，：。刊乞，每∥＝８：。一 采用五阶中心差分格式离散上面的
２一。¨可，。－２８－一 方程，并采用超
基于Ｌｉｎｕｘ环境下的ＭＰＩ并行计算，以其准确、可靠、高效 的优点，备受计算流体力学工作者的青睐。本文所要阐述的问 题即是采用ＭＰＩ并行求解Ｎ—Ｓ方程。