面向对象有限元并行计算框架PANDA的并行机制

程、 区域 分解 、 区信 息和通信 封装 等部 分 设计 Ｐ Ｎ Ａ 框 架在 并 行计 算 方 面 的数 据 结 构． 计 算 分 Ａ Ｄ 在
流程 中建立 区域 分解 和并行 求解 器的配合协 作 方式 ， 而描述 进行 区域分割 的 ３种 网格剖 分方 法 ； 进 对分 区边界单 元和节 点信 息的组 织以及对 并行通信 操作 的封装 使复 杂的 并行 通信 调 用简单 、 易行 ．
集 成 Ａ ｔｃ Ｓ Ｏ Ｌ Ｓ Ｓ ｐ ｒＵ， Ｙ Ｒ ， Ｅ Ｓ ， ｚ ， Ｐ Ｏ Ｅ ， ｕ ｅＬ Ｈ Ｐ Ｅ ｅ Ｐ Ｔ ｃ
并行 程序 ， 能显 著 控制 数据 分 配和通 信 ， 这种 控 制 又
促 进 在大 规模 分 布存 储 并 行 机 上 的 高性 能 编程 ． 。 。
针 对 目 前 高 性 能 集 群 的 广 泛 应 用 ， 用 ＭＰ 采 Ｉ
（ ｓ ｇ ａｓ ｇＩｔｒ ｃ ） 分 布存 储 方 式 实 现 有 Ｍｅｓ ｅＰ ｓｉ ｅｆ ｅ 以 ａ ｎ ｎ ａ 限元 并行 是正 确 的选择 ． 面 向对象 技术 对并 行 编 程 过 程有 重 要 影 响 （ 如 对数 据 和 函数 的 封装 、 承和 多 态 性 ） 许 多 基 于类 继 ， 等 的编程 思想 都来 源 于 串行 编 程 领 域 ， 也 开 始 在 但
ｐ ｎｓ ｓ ｃ ａ ｃ ｍｐ ｔ ｔ ｎ ｆ ｗ ， ｄ ｍａ ｎ ｄ ｃ ｍｐｏ ｉｉｎ， ｐａ ｔ ｎ ｉ ｆｒ ａｉ ｎ， ｃ ｍｍｕｎｃ ｔｏ ａ ｕｈ ｓ ｏ ｕ ａｉ ｌ ｏ ｏ ｏ ｉ ｅ ｏ ｓｔ ｏ ￣ｉｉ ｎ ｏ ｏ ｍ ｔｏ ｏ ｉａｉ ｎ
ｅ ｃ ｐ ｕａ ｉｎ ａ Ｏ ｏ ．Ｔｈ ｏｌ ｂ ｒ ｔｖ ｐｐ ｏ ｃ ｅｗｅ ｎ ｄ ｍａｎ ｄ ｃ ｍｐ ｓｔｏ ｎ ｒ ｌｌｓ ｌ ｅ ｓ ｎ ａ ｓ ｌ ｔ ｎｄ Ｓ ｎ ｏ ｅ ｃ ｌａ ｏａ ｉｅ ａ ｒ ａ ｈ ｂ ｔ ｅ ｏ ｉ ｅ ｏ ｏ ｉｉｎ ａ ｄ ｐａａ ｅ ｏｖ ｒｉ ｌ ｅ ｔｂｌ ｈ ｄ ｉ ｏ ｕ ａ ｉｎ ｆｏ ｓａ ｉ ｅ ｎ ｃ ｍｐ ｔ ｔ ｗ．ａ ｄ ｔ ｅ ｈ ｅ ｓ ｉ ｇ ｍｅ ｈ ｄｓａ ｅ ｄ ｓ ｒｂ ｄ ｆ ｒｄｏ ｉ ａ ｔ ｉ ｎ ｓ ｏ ｌ ｎ ｈ ｎ ｔ ｒ ｅ ｍｅ ｈ ｎ ｔ ｏ ｒ ｅ ｃ ｉｅ ０ ｍａ ｎ ｐ ｒｉ ｏ ．Ｄｕ ｔ ｅ
面 向对 象 有 限元 并 行 计 算 框 架 Ｐ Ｎ Ａ 的并 行 机 制 Ａ Ｄ
李 于锋 ， 张 亚林
（ 国工 程物 理 研 究 院 计 算 机 应 用研 究所 ， 川 绵 阳 中 四 ６ １０ ） ２ ９０
摘
要 ：为 实现 面 向对 象有 限元 并行 计 算框 架 Ｐ Ｎ Ａ对 高性 能计 算 的支持 ， ＡＤ 分别从 并行 计算 流
应用于工程领域的各个方 面． 大量高性能计算机 的 出现 ， 别是集 群 系统 的广 泛应用 ， 特 使大 规模复 杂数 值模 拟得 以实 现 ， 必 须采 用 并 行技 术 进行 程 序 开 但
作 者 简介 ：李 于锋 （９ ２ ）， ， 南光 山人 ， 士 ， 究 方 向为科 学与 工程 计 算 和 并行 算 法 ， Ｅｍａ ）ｉ ｆｎｈ ｈｔ ｉ ｃｒ １８ 一 男 河 硕 研 （ － ｉ ｌｕｅ ｇ＠ ｏ ｌ ｏ ｌ ｙ ｍａ ． ｎ
用 Ｐ Ｎ Ａ框 架 开发有 限元程 序 时 ， 需 以 串行 方式编 写代 码就 可得 到并行 计 算服务 ． 某 夹具 的 Ａ Ｄ 只 对 算例表 明 Ｐ Ｎ Ａ框 架 并行 计算 实现的 正确性和 可 靠性 ． Ａ Ｄ
关键 词 ：并行计 算框 架 ； Ａ Ｄ Ｐ Ｎ Ａ；有限元 ； 软件 开发 ；并行 机制
Ｐ ＡＮＤ ｓ ｃ ｒ ｃ ｎ ｅｉｂ ｅ Ａ ｉ ｏ ｒ ｔａ ｄ ｒ ｌ ｌ ． ｅ ａ
Ｋｅ ｙ ｗｏｒ ｓ：ｐ ｒ ｌ ｌｃ ｍｐ ｔｔ ｎ ｒ ｍｅ ｒ ｄ ａ ａ ｅ ｏ ｕ ａｉ ｆａ ｗｏ ｋ；ＰＡＮＤＡ；ｆｎ ｔ ｌ ｍｅ ｔ ｓｆｗａ ｅ ｅ ｅｏ ｍｅ ；ｐ ｒ ｌ ｌ ｌ ｏ ｉ ｉｅ ｅｅ ｎ ； ｏ ｔ ｒ ｄ ｖ ｌ ｐ ｎｔ ａ ａ ｅ ｌ
￣ａ ｗｏ ｋ ＰＡＮＤＡ ，ｔ ａａ ｔｕ ｔ ｒ ｓ ｗｈｉｈ ａ ｅ ｒ ｌｔｖ ｏ ｐ ｒ ｌ ｌｃ ｍｐ ｔｔｏ ｒ ｄ ｓｇ ｅ ｉ ｈ ｍｅ ｒ ｈｅ ｄ ｔ ｓｒ ｃ ｕ ｅ ｃ ｅａｉｅ ｔ ａ ａｌ ｏ ｕ ａｉｎ ａ ｅ ｅ ｉｎ ｄ ｎ ｔ ｅ ｒ ｅ
Ｔｉｎ ｓ Ｐ Ｇ（ 中国科学 院科 学与 工程 计算 国家 ｒｉｏ 和 Ｈ 由 ｌ
重点 实验 室 开发 ） 等著 名求解 器 库．
３ 框 架的 并 行 计 算 流 程
框架 并行 设计 的关 键是 数 据变量 的分 布式存 储 和场 数据 时 间更新 算 法 的并 行 化 ． 架 默认 对所 有 框 的场 变量 基 于网格 区域 分 解 进 行并 行通 信 ． 框架 并
ｓｒｔ ｇ ｔａ ｅ ｙ
０ 引 言
有 限元 法 是 当今 主 流 的数值 计 算方 法 ， 被广 泛
收稿 日期 ： ００ ０ ・７ 修 回 日期 ： ０ ０ １．８ ２ １ －８ １ ２ １．０２
基 金项 目 ：中 国工程 物 理 研 究 院 ２０ ０ ７预 先研 究重 大 项 目（ Ｄ Ｍ－３ ＺＸ ０）
第２ Ｏ卷 第 １期
２１ ０ １年 ３月
计 算 机 辅 助 工 程
Ｃｏ ｕ ｅ ｄ ｄ Ｅｎ ｉ ｅ ｉ ｇ ｍｐ ｔｒ Ａｉ ｅ ｇｎｅ ｒｎ
Ｖ０． ０ Ｎｏ １ １２ ．
Ｍ ａ ．２Ｏ ｔ １１
文章编号 ：０ ６—０７ （０ １ｏ －０ ４０ １０ ８ １ ２ １ ） ｌ０ ２ —５
ＬＩＹｕ ｅ ｇ，ＺＨＡＮＧ ｌ ｆｎ Ｙａｉ ｎ
（ｎｔｕｅｏ ｏ ｐｔ ｐ ｌ ａｏ ， ｈｎ ｃｄｍ ｆ ｎｉｅｒ ｇＰ ｙｉｓ Ｍｉ ｙｎ ２９ ０ Ｓｅｕｎ Ｃ ｉ ） Ｉｓｔｔ ｆ ｍ ｕｅ Ａ ｐ ｃｔｎ Ｃ ｉ Ａ ａｅ ｙｏ ｇ ｅｉ ｈｓ ， ａ ａｇ １０ ， ｉ ａ ， ｈｎ ｉ Ｃ ｒ ｉ ｉ ａ Ｅ ｎ ｎ ｃ ｎ ６ ｈ ａ
元法 ， 不仅提 供单 元公 式 和本 构 模 型 的添 加 接 口， 也 提供各种 复杂边界条 件 的实现方法 ． 基 于消息传 递 在分 布存 储模 型 的并 行机 上 开 发
部进行 时 间积 分更 新 ． 有 的有 限元 相关 计 算 都 是 所
分布 式并 行 的 ， 大 规模 方 程 求 解 的主要 并 行 任 务 而 交 由线性 求解 器库 负责 ． 目前 ， 已在 Ｐ Ｎ Ａ框 架 中 ＡＤ
ｈｔ ：／ｗｗｗ． ￣ ｎａ ａ ．ｃ ｔ ／ ｐ ｃ ｃｅ ｎ
第 １期
李 Ｎ Ａ 的并行机 制 等 面 ＡＤ 在节 点信 息上 ．
２ ５
发． 限元并 行计算框 架开发 的 目的是 使 在复杂 网格 有 上进 行 的大 型数 值 模 拟 程 序 开发 变 得 更 加快 捷 、 高 效． 近年来 ， 向对象 有 限 元技 术 ¨ 发展 迅 速 ， ： 面 而 开 发框架却 为数不多 ， 功能模块 有较强 耦合 ． 且 为此 ， 中国工 程物理研 究 院 总体 工程 研究 所 和计 算 机 应用 研 究所联 合 开发 有 限元 并 行 计算 框 架 Ｐ Ｎ Ａ ． Ａ Ｄ 框
ｔ ｔ ｅ ｇ ｏ ｏ ｇ ｎ ｚ ｔｏ ｏ ｂ ｕ ｄ ｒ ｅｅ ｎ ｓ ａ ｄ ｎｏ ｅ ｉｆ ｒ ｔｏ ｏ ｐ ￣ｉ ｏ ｗｉ ｐ ｒ ｌ ｌ ｏ ｈ ｏ ｄ ｒａ ｉａｉｎ ｆ ｏ ｎ ａ ｙ ｌ ｍｅ ｔ ｎ ｄ ｎ ｏ ｍａ ｉｎ ｆ ａ ｔ ｎ ｉ ｔ ｈ ａ ａ ｅ ｌ
Ａｂｔａ ｔ Ｔ ｐ ｏ ｉｈｐｒ ｒ ａｃ ｏ ｐ ｔ ｉｎｉ ｏｊｃ ｏ ｅｔ ｎｔ ｅ ｍ ｎ ａａ ｅ ｃｍ ｕ ｔ ｎ ｓ ｃ ： ｏｓ ｐ ￣ｈｇ ｅｆ ｍ ｎ ｅｃｍ ｕａ ｏ ｂｅｔ ｒ ｎｅ ｆ ｉ ｌ ｅｔ ｒｌ ｌ ｏ ｐ ｔ ｉ ｒ ｕ ｏ ｔ ｎ —ｉ ｄｉ ｅ ｅ ｐ ｌ ａｏ
架 中各组件 松散耦合 ， 可适应 各种线性 和 非线性 有 限
２ 并 行 的 实现 策 略
Ｐ Ｎ Ａ框 架基 于 Ｍ Ｉ 现 并 行 ， 体 策 略 为 ： Ａ Ｄ Ｐ实 具 首先 ， 于几何 网格 的区域 分解 ， 基 将子 域 映射到 各进 程； 后， 然 每个 进程 在其 子域 上计算 单 元矩 阵和 单元 右端 项并 提供 组装 接 口， 助 并 行 线 性代 数 求 解 器 借 实现 大规 模矩 阵 的分 布 式 存储 、 装 接 口以及 方 程 组 求解 ， 解后 ， 求 交换 场数 据边 界信 息 ； 最后 ， 进程 在局
行计 算流 程见 图 １ ．
并行 编程 中使 用 ， 其 是恰 当 的抽 象 可 隐藏 那 些 使 尤 编程 复杂 的并 行 性． 以面 向对 象技 术 为 基 础 设 计
的 Ｐ Ｎ Ａ框架 正体 现该 优点 ． ＡＤ
１ 框 架 的 数 据 结 构
＿ ｝ Ｉ
框架 的主 要数 据结 构 有 网格 、 场变 量 、 元 组和 单
中图分类号 ： Ｐ １ ； ２ ６ Ｔ ３ ９ ０ ４ 文献标 志码 ： Ａ
Ｐ ｒ ｌ ｌ ｔａｅｙｏ ｂｅｔｏｉｎｅ ｎｔ ｌｍｅ ｔ ａ ａｌ ｒ ｔｇ ｆｏ ｊｃ－ｒｅ ｔｄｆ ｉ ｅｅ ｎ ｅｓ ｉ ｅ
ｏ ｒ ｌ ｌｃ ｍ ｐｕ ａ ｉ ｒ ｍ ｅ ｒ ａ ａ ｌ ｏ ｏｕ ｔｃ ｆ ａ ｅ ｔ ｏ ｔ ｎ ｗｏ ｋ ＰＡＮＤＡ ＤＡ
ｃ ｍｍｕ ｉ ａｉｎ ｅ ｃ ｐ ｕ ａｉ ｎ， ｔ ｅ ｏ ｌｃ ｔｄ ｃ ｍｍｕ ｉａ ｉｎ ｎ ｏ ｉ ｇ ｅ ｏ ｓ ｉ ｌ ｎ ｅ ｓｂ ｅ ｏ ｎ ｃ ｔｏ ｎ ａ ｓ ｌｔｏ ｈ ｃ ｍｐ ｉａ ｅ ｏ ｎ ｃ ｔ ｉ ｖ ｋ ｎ ｂ ｃ ｍｅ ｓｍｐｅ ａ ｄ ｆ ａ ｉｌ ． ｏ Ｗｈ ｌ ｅ ｅ ｏ ｉ ｇ ｆｎ ｔ ｌｍｅ ｔｐ ｏ ｒ ｍｓ，ｐ ｒ ｌｌｃ ｍｐｕａ ｉｎ ｓ ｒ ｉ ｅ ｃ ｎ ｂ ｂ ａｎｅ ｙ ｐ ｏ ａ ｉｅ ｄ ｖ ｌｐ ｎ ｉｅ ｅｅ ｎ ｒ ｇ ａ ｉ ａ ａ ｅ ｏ ｌ ｔｔｏ ｅ ｖｃ ａ ｅ ｏ ｔ ｉ ｄ ｂ ｒ ｇ ｍｍｉ ｇ ｒ ｎ ｉ ｅｉ ｌｃ ｄ ｓ Ａｎ ｅ ａ ｎ ｓ ｒａ ｏ ｅ ． ｘ ｍｐｌ ｏ ｔｃａ ｎ ｉａ ｅ ｔ ｔ ｔｅ ｉ ｌｍｅ ｔｔｏ ｎ ｐ ａｌｌ ｃ ｍｐｕａｉ ｎ ｆ ｅ ａ ｕ ｌｍｐ ｉ ｄ ｃ ｔｓ ｈａ ｈ ｍｐ ｅ ｎ ａｉｎ ｏ ａ ｌ ｅ ｏ ｂ ｒ ｔ ｔ ｏ ｏ
单元 集 ． 场 变量 即 自由度及 其 微 分 ， 架 以场 的形 式 组 框 织变 量 ． 任意一 个 自由度变 量都 归属 于某 个 场 ， 场通
常定 义在 网格 节点 或单 元 上． 据 时 间积分算 法 ， 根 变
通信 数据 管理 等 ． 网格 是整 个模 拟计 算 区域 的离 散 ， 支持 线段 、 三 角形 、 四边 形 、 四面体 和六 面 体 等 几 何 形 状 ． 个 计 一 算 区域 可包含 不 同形 状 的 网格 子 集 ． 有 网格 单 元 所
被划 分 为若干 单元 集 ， 一个 单 元 属 于且 仅 属 于一 个