有限元并行EBE方法及应用

第２４卷第１７期岩石力学与工程学报Ｖ０１．２４
Ｎｏ．１７２００５年９月
Ｃｈｉｎｅｓｅ
Ｊｏｕｒｎａｌｏ，
．ｆＲｏｃｋＭｅｃｈａｎｉｃｓａｎｄ
ＥｎｇｉｎｅｅｒｉｎｇＳｅｐｔ．
２００５
有限元并行ＥＢＥ方法及应用
刘耀儒，周维垣，杨强
（清华大学水利水电工程系，北京
１０００８４）
摘要。

结构开裂和破坏过程的三维有限元分析，对大规模数值计算提出了很高的要求。

基于Ｊａｃｏｂｉ预处理共轭梯
度法，推导了适用于分布存储并行机的有限元并行方法。

在数据交换方面，采用一种按需收集、按需散发的数据
交换技术，使得该方法适合于分布内存的并行机，可极大降低数据交换量，提高并行计算效率。

同时，可避免形
成整体刚度矩阵，显著减少内存需求，并可自动实现计算任务的分配。

编制了有限元并行计算程序，采用悬臂梁算例对其进行了验证，并和普通有限元方法进行了对比，然后应用于拱坝的有限元数值分析和基于网格加密技术的四点弯曲梁开裂过程的数值模拟中。

指出该方法和区域分解方法的并行实现在本质上是相同的，但ＥＢＥ方法更具有工程实用意义。

计算结果表明，对复杂的三维结构，该方法是一种很有效的并行计算方法。

关键词Ｉ岩土力学；有限元法；ｅｌｅｍｅｎｔ－ｂｙ—ｅｌｅｍｅｎｔ；并行计算；拱坝；开裂中圈分类号：ＴＵ
４４３
文献标识码：Ａ文章编号：１０００—６９１５（２００５）１７—３０２３—０６
ＰＡＲＡＬＬＥＬＦＩＮＩＴＥ
ＥＬＥＭＥＮＴＡＮＡＬＹＳＩＳＢＡＳＥＤＯＮ
ＥＬＥＭＥＮＴ－ＢＹ．ＥＬＥＭＥＮＴＭＥＴＨＯＤＡＮＤＩＴＳＡＰＰＬＩＣＡＴＩＯＮ
ＬＩＵＹａｏ—ｒｕ，ＺＨＯＵ
Ｗｅｉ—ｙｕａｎ，ＹＡＮＧＱｉａｎｇ
（ＤｅｐａｒｔｍｅｎｔｏｆＨｙｄｒａｕｌｉｃａｎｄＨｙｄｒｏｐｏｗｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ
１０００８４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ３Ｄｆｉｎｉｔｅｅｌｅｍｅｎｔａｎａｌｙｓｉｓｏｆｓｔｒｕｃｔｕｒｅｆａｉｌｕｒｅｐｒｏｃｅｓｓ，ｌａｒｇｅＳＣａｌｅｎｕｍｅｒｉｃａｌａｎａｌｙｓｉｓｈａｓｉｎｃｒｅａｓｅｄｔｈｅ
ｄｅｍａｎｄｆｏｒｈｉｇｈ—ｐｅｒｆｏｒｍａｎｃｅｃｏｍｐｕｔｉｎｇ．Ｔｈｅｅｌｅｍｅｎｔ—ｂｙ—ｅｌｅｍｅｎｔ（ＥＢＥ）ｍｅｔｈｏｄｆｏｒｄｉｓｔｒｉｂｕｔｅｄｍｅｍｏｒｙ
ｐｒｏｃｅｓｓｏｒｓ（ＤＭＰ）ｉｓｆｏｒｍｕｌａｔｅｄ
ｂａｓｅｄ
ｏｎ
ｔｈｅＪａｃｏｂｉ—ｐｒｅｃｏｎｄｉｔｉｏｎｅｄｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔ（Ｊ—ＰＣＧ）ｍｅｔｈｏｄ．Ｆｏｒ
ｄａｔａ
ｅｘｃｈａｎｇｅ，ａｓｃｈｅｍｅ
ｗｈｉｃｈｏｎｌｙｇａｔｈｅｒｓａｎｄｓｃａｔｔｅｒｓｎｅｃｅｓｓａｒｙｄａｔａｉｓａｄｖｉｓｅｄｔｏｍａｋｅＥＢＥｍｅｔｈｏｄａｖａｉｌａｂｌｅｆｏｒ
ｄｉｓｔｒｉｂｕｔｅｄ—ｍｅｍｏｒｙｐａｒａｌｌｅｌｃｏｍｐｕｔｅｒｓ．Ｉｎｔｈｉｓｗａｙ，ｉｔｗｉｌｌｄｒａｍａｔｉｃａｌｌｙｒｅｄｕｃｅｄａｔａｅｘｃｈａｎｇｅａｎｄｃｏｎｓｅｑｕｅｎｔｌｙｉｍｐｒｏｖｅｅｆｆｉｃｉｅｎｃｙｏｆｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ．Ａｔｔｈｅ
ｓａｌＩｌｅ
ｔｉｍｅ，ｔｈｅ
ｆｏｒｍａｔｉｏｎ
ｏｆｇｌｏｂａｌｓｔｉｆｆｎｅｓｓｍａｔｒｉｘ
Ｃａｎ
ｂｅａｖｏｉｄｅｄ；
ｇｒｅａｔｌｙｒｅｄｕｃｉｎｇｔｈｅｒｅｑｕｉｒｅｍｅｎｔｆｏｒｔｈｅｓｔｏｒａｇｅ，ａｎｄｔｈｅａｓｓｉｇｎｍｅｎｔｏｆｊｏｂｓＣａｎｂｅ
ｄｏｎｅａｕｔｏｍａｔｉｃａｌｌｙ．Ａ３Ｄｐａｒａｌｌｅｌ
ｆｉｎｉｔｅｅｌｅｍｅｎｔｃｏｄｅｉｓｄｅｖｅｌｏｐｅｄｕｓｉｎｇ
ＭＰＩＣＨａｎｄＣ／Ｃ＋＋ｌａｎｇｕａｇｅ．Ｎｕｍｅｒｉｃａｌ
ｔｅｓｔｓ
ｏｎ
ｃａｎｔｉｌｅｖｅｒｂｅａｍｉｎｄｉｃａｔｅｔｈａｔ
ｔｈｅｙａｒｅｃｏｒｒｅｃｔ．Ｔｈｅｎｉｔｉｓａｐｐｆｉｅｄ
ｔｏ
ｔｈｅｆｉｎｉｔｅｅｌｅｍｅｎｔａｎａｌｙｓｉｓｏｆＸｉｌｕｏｄｕａｒｃｈ
ｄａｍｐｒｏｊｅｃｔａｎｄｎｕｍｅｒｉｃａｌａｎａｌｙｓｉｓ
ｏｆｆｒａｃｔｕｒｅｐｒｏｃｅｓｓｏｆｆｏｕｒ－ｐｏｉｎｔｓｈｅａｒｔｅｓｔｂａｓｅｄ
ｏｎ鲥ｄｒｅｆｉｎｉｎｇｔｅｃｈｎｏｌｏｇｙ．Ｉｔｉｓｔｈｅｓａｍｅ
ｉｎ
ｅｓｓｅｎｃｅ
ｆｏｒＥＢＥ
ｍｅｔｈｏｄａｎｄｄｏｍａｉｎｄｅｃｏｍｐｏｓｉｔｉｏｎｉｎｔａｓｋ
ａｌｌｏｃａｔｉｏｎ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｆｏｒｔｈｅａｎａｌｙｓｉｓｏｆ
ｔｈｅ３Ｄｉｒｒｅｇｕｌａｒａｎｄ
ｃｏｍｐｌｉｃａｔｅｄ
ｓｔｒｕｃｔｕｒｅｓ
ｌｉｋｅａｒｃｈ
ｄａｍｓ，ｔｈｅｆｉｎｉｔｅｅｌｅｍｅｎｔＥＢＥｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅａｎｄｒｅｌｉａｂｌｅ．
Ｋｅｙｗｏｒｄｓ：ｒｏｃｋａｎｄｓｏｉｌｍｅｃｈａｎｉｃｓ；ｆｉｎｉｔｅｅｌｅｍｅｎｔｍｅｔｈｏｄ：ｅｌｅｍｅｎｔ－ｂｙ—ｅｌｅｍｅｎｔ；ｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇ；ａｒｃｈｄａｒｎ；
ｃｒａｃｋｉｎｇ
１引言
结构稳定和破坏过程的三维有限元分析，需要
加密网格和采用精细的荷载步长，对高性能并行计
算提出了很高的要求，其关键问题是计算任务的分配和大内存需求问题。

对有限元并行计算而言，传统方法是采用方程组求解并行和区域分解方法。

方
收藕日期Ｉ２００５—０２—２４；修旬日期ｌ
２００５—０５—０８
基金项目Ｉ国家重点基础研究发展规划（９７３）项目（２００２ＣＢ４１２７０８）：中国博士后科学基金资助项目
作者■介ｔ刘耀儒（１９７４一）。

男，博士，１９９８年毕业于清华大学水利水电工程系水工结构专业，主要从事并行计算、拱坝和岩石边坡静动力稳定方面的教学与研究工作。

Ｅ－ｍａｉｌ：ｌｉｕｙａｏｒｕ＠ｔｓｉｎｇｈｕａ．ｅｄｕ．ｃａ。

岩石力学与工程学报２００５年
程组求解并行即只对方程组的求解采用并行方法，而对其他步骤仍采用传统的串行方法。

区域分解方法采用的是子结构的方法，每个计算节点承担其中一个子结构的计算。

文［１】采用方程组求解方法对结构的动力响应进行了并行计算，文［２，３】采用区域分解方法分别对平面锚固问题和地下洞室问题进行了有限元并行计算。

其中，方程组求解并行比较容易实现，但是当问题规模增大时，它会大大增加对内存的需求，可能会涉及到内外存交换技术，使得计算速度降低。

如果计算区域相对比较规则，剖分的子结构比较好，则采用区域分解方法可能会获得一个很高的并行计算效率。

但是对于三维问题而言，区域分解算法仍是一个没有得到很好解决的问题。

有限元ＥＢＥ（ｅｌｅｍｅｎｔ—ｂｙ—ｅｌｅｍｅｎｔ）方法则能很好的解决传统三维有限元并行计算所面临的问题。

该方法最初由文［４】提出，由于该方法可以大幅度减少对内存的需求，而且其并行性很好，因此得到了广泛的研究。

文【５］首先给出了基于ＥＢＥ方法的共轭梯度法的实现算法，文［６】讨论了其在粗粒度并行机上的实现，文［７，８】将ＥＢＥ方法和区域分解相结合，用于分布存储的并行机上，取得了很好的并行计算效率。

但是，上述研究主要针对共享存储并行机进行，或者是对基于ＥＢＥ方法的预处理技术进行研究，而对于复杂结构的三维有限元问题在分布存储并行机上的应用研究则相对较少。

并行计算发展的趋势是分布存储并行计算，而ＥＢＥ方法在这方面的文献相对较少。

本文基于Ｊａｃｏｂｉ预处理共轭梯度法，给出了适用于分布存储并行机的有限元ＥＢＥ并行计算算法。

对于数据交换，采用按需收集、按需散发的数据交换技术，以减少数据交换量。

根据该算法，采用ＭＰＩＣＨ和Ｃ，Ｃ＋＋语言，编制了有限元并行计算程序ＰＦＥＭ（ｐａｒａｌｌｅｌｆｉｎｉｔｅｅｌｅｍｅｎｔｍｅｔｈｏｄ），并在清华大学计算机系高性能计算技术研究所的“可扩展高性能集群计算机系统”上实现。

在算例验证的基础上，应用于溪洛渡拱坝的有限元数值分析和四点弯曲梁的开裂数值模拟中。

２有限元ＥＢＥ方法
有限元ＥＢＥ方法的基本思想为：在求解过程中，不形成整体刚度矩阵，只保存单元刚度矩阵，所有计算在单元一级上进行。

并行实现时，该方法不涉及复杂的区域分解操作，和网络的拓扑结构无关。

方程组的求解一般采用预处理共轭梯度法（ｐｒｅｃｏｎｄｉｔｉｏｎｅｄｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔ，ＰＣＧ）。

对于预处理技术，本文采用Ｊａｃｏｂｉ预处理【引，即对角预处理。

预处理矩阵用一个向量ｍ来保存，对ＥＢＥ方法，可将其映射到每个单元上，记为ｍ（ｅ）。

在方程组求解前，ｍ（ｅ）可以由单元刚度矩阵的对角元素，通过相邻单元的数据交换来形成。

借助节点联系矩阵的概念‘５１，可以得到基于Ｊａｃｏｂｉ预处理的ＥＢＥ—ＰＣＧ算法‘１０１：
（１）初始化：
①给定初始值：戈（。

）＝０，，．（８）＝易（“。

②生成预处理矩阵：彬曲刊。

’。

量“’。

③求解方程组（ｍ（“，Ｚ，ｏｅ’）＝ｒｏ＇“。

④计剿瞄’。

磊挚。

和如＝驴Ｅ））ＴＳ‘“，ｙ＝７／０。

⑤Ｐ‘８’＝Ｓ‘“。

（２）计算Ｕ‘。

’＝Ａ‘８’Ｐ‘“，
吉２萎（ｐ和’川扣））帆
（３）更新工（８）和，（ｅ）：ｘ‘８’＝ｘ‘。

’＋口Ｐ‘。

’，ｒ（ｅ）：ｒ（“一口Ｍ（“。

（４）求解方程组（ｍ（“，ｚｌ。

）＝《“，得到ｚ｛“。

（５）计剿曲掣。

Ｊ警“’∥曲妒））Ｔ弘，和‰。

＝∑∥。

（６）如果托。

＜ｅｙｏ，则停止迭代。

（７）更新ｐ‘“：ｐ‘。

’＝Ｓ‘。

’＋（靠。

／ｒ）ｐ‘“，并令ｙ＝‰。

，转（２）。

在上面的算法中，ｏ符号指所有单元（包括第ｅ号单元）对第ｅ号单元的所有节点的贡献的累加。

ａ两（Ｐ）表示所有与第ｅ号单元相连接的单元。

对于迭代终止的准则，本文采用残余向量的二范数，即
护１｝Ｉ：≤ｓ｜ｌｒ０｜Ｉ：（１）式中：￡为给定的精度，为一很小的值，本文取１．０×】０～。

第２４卷第１７期刘耀儒等．有限元并行ＥＢＥ方法及应用・３０２５・３有限元ＥＢＥ方法的并行实现
在分布存储并行机上进行计算时，每个处理器
只保存一部分单元信息，包括单元刚度矩阵和单元
荷载向量，并只进行与该部分单元有关的计算。

计
算流程如图１所示。

计算单元刚度矩阵Ｉｌ计算单元刚度矩阵ＩＩ计算单元刚度矩阵
计算单元荷载向量ｌｌ计算单元荷载向量ｌ……Ｉ计算单元荷载向量
边界条件处理ｌｌ边界条件处理ｌｊ边界条件处理
ＥＢＥ－ＰＣＧ方法求解方程组（有数据交换）
单元节点位移单元节点位移单元节点位移
单元应力ｌ单元应力单元应力
图１有限元并行ＥＢＥ方法的计算流程图
Ｆｉｇ．１ＦｌｏｗｃｈａｒｔｏｆＦＥＭｂａｓｅｄｏｎＥＢＥ
ｐｏｌｉｃｙ
具体计算步骤如下：
（１）各个处理器并行计算单元刚度矩阵和相应的右端荷载向量，并施加边界条件。

（２）采用ＥＢＥ．ＰＣＧ算法求解方程组，得到单元节点位移。

（３）利用单元节点位移，各个处理器并行计算单元应变和应力。

（４）单元节点位移集成总体节点位移并输出。

其中，在步骤（２）中，各个处理器之间需要进行通信以交换数据。

具体实现时，可以只交换与边界节点（各处理器间有关联的节点）有关的数据，并且采用压缩形式进行传输。

这样，计算规模增大时，可保证处理器间交换的数据量不会增加太大。

４算例
基于上面算法，使用Ｃ／Ｃ＋＋语言和ＭＰＩ通信标准［１０’１１】，编制了ＰＦＥＭ程序，并在清华大学计算机系高性能计算科学研究所的“可扩展高性能集群计算机系统”中实现。

该系统由３６个节点组成，每个节点由４路ＰＩＩＩ至强７００ＭＨｚ处理器构成的ＳＭＰ计算机。

节点间有３套网络互联系统（１００ＭＢ快速以太网、Ｍｙｒｉｎｅｔ高速互连网以及清华大学自主开发的ＴＨ—ＧＢＮｅｔ互连网），均可单独工作。

系统峰值运算速度不低于２０００亿次／ｓ，网络端口传输速度大于２Ｇｂｐｓ，网络通信延迟小于１０“ｓ。

在程序验证的基础上，应用于溪洛渡拱坝的三维有限元并行计算和四点弯曲梁的开裂数值模拟中。

４．１程序验证和计算效率
使用矩形截面悬臂梁，分别施加集中力和均布面力对程序进行了验证，计算结果如表１所示。

裹１ＰＦＥＭ穗序的计算精度
Ｔａｂｌｅ１ＣａｌｃｕｌａｔｉｏｎｐｒｅｃｉｓｉｏｎｏｆＰＦＥＭｃｏｄｅ
和普通有限元的计算效率对比如表２所示，其中Ｍ衙为迭代次数，丁为计算时间。

ＪＣＧ方法指基于Ｊａｃｏｂｉ预处理的共轭梯度法。

ＣＧ和配Ｇ方法采用的是二维等带宽存储，并且采甩Ｃｕｔｈｉｌｌ—Ｍｃｋｅｅ算法【１２】进行了带宽优化。

由表２可知，与普通有限元方法相比，即使不采用任何预处理，ＥＢＥ方法也能降低迭代次数。

这是因为共轭梯度法对舍入误差的影响是很敏感的，而ＥＢＥ策略不集成整体刚度矩阵，在迭代过程中，不会对整体刚度矩阵中的零元素进行计算，在一定程度上消除了计算机舍入误差的影响。

衰２和蕾通有限元的计算效率对比
Ｔａｂｌｅ２ＣｏｍｐａｒｉｓｏｎｏｆｃａｌｃｕｌａｔｉｏｎｅｆｆｉｃｉｅｎｃｙｂｅｔｗｅｅｎＥＢＥｍｅｔｈｏｄａｎｄｎｏｒｍａｌＦＥＭ
另外，ＥＢＥ方法由于存储的数据较少，使得计算量也大为减少，因而计算时间大幅度降低。

以一个８６０个节点、５２０个单元的拱坝一地基系统的网格为例，传统求解方法中的整体刚度矩阵采用二维等带宽存储，分别采用Ｃｕｔｈｉｌｌ—Ｍｃｋｅｅ算法‘１２１和对
・３０２６・岩石力学与工程学报２００５年
称Ｃｕｔｈｉｌｌ—Ｍｃｋｅｅ算法进行了带宽优化，与ＥＢＥ方法的内存需要量进行了比较，如表３所示。

单元类型为八节点六面体单元，每个单元刚度矩阵的存储量为３００（只存储上三角矩阵）。

由表３可知，ＥＢＥ方法的内存占有率只是传统整体刚度矩阵的内存需求量的２４．５％和１９．４％。

即使采用一维变带宽存储，其存储量仍然比ＥＢＥ方法大很多。

襄３和普通有限元的内存需求对比Ｔａｂｌｅ３ＣｏｍｐａｒｉｓｏｎｏｆｍｅｍｏｒｙｒｅｑｕｉｒｅｍｅｎｔｂｅｔｗｅｅｎＥＢＥｍｅｔｈｏｄａｎｄｎｏｒｍａｌＦＥＭ
４．２溪洛渡拱坝一地基系统的并行计算
溪洛渡拱坝一地基系统的有限元网格包括２４８４９个节点，２１７８７个单元，单元类型采用八节点六面体单元和六节点五面体单元。

计算网格如图２所示。

图２溪洛渡拱坝的计算网格
Ｆｉｇ．２Ｃａｌｃｕｌａｔｉｏｎ
ｍｅｓｈｏｆＸｉｌｕｏｄｕａｒｃｈｄａｍ
坝体和地基共包含２８种材料，计算考虑了坝体的施工过程。

并行计算效率如表４所示。

衰４并行计算效率
Ｔａｂｌｅ４Ｐａｒａｌｌｅｌｃａｌｃｕｌａｔｉｏｎｅｆｆｉｃｉｅｎｃｙ
由表４可知，即使对于拱坝一地基系统这样不规则的网格，而且其半带宽也比较大，当使用１６个ＣＰＵ进行计算时，并行计算效率仍然可以达到４６％，说明ＥＢＥ方法对于三维有限元的并行计算是非常有效的一种方法。

４．３开裂计算
在开裂计算中，假定材料的破坏过程主要是由于内部微裂纹的萌生和扩展造成，变形中的塑性变形部分相对很小。

当有限元分析的单元分得很小时，可以假定该单元具有弹脆性性质，即当单元的应力或者应变状态满足最大拉应力准则［１３１和Ｄｒｕｃｋｅｒ－Ｐｒａｇｅｒ准则时，单元发生拉裂和剪切开裂。

最大拉应力准则为
矿＜五（单元不开裂’ｌｆ２）
仃。

≥五（单元开裂）
式中：仃。

为单元的最大主拉应力，．＾为材料的抗拉强度。

Ｄｒｕｃｋｅｒ－Ｐｒａｇｅｒ准则为
ｆ＝ｔ：ｒＪｌ＋，！坨一Ｈ＝０（３）式中：，。

为应力第一不变量，，：为应力第二不变量。

当出现开裂单元后，将开裂单元的弹性模量修改为一个很小的值，即
Ｅｆ＝ｓＥｏ（４）式中：屋为开裂单元的弹性模量，昂为该单元的初始弹性模量，￡为一个很小的值（ＰＦＥＭ程序取１０－５）。

然后在外荷载不变的条件下，重新生成单元刚度矩阵、处理边界条件和外荷载，再次进行有限元的弹性计算，然后重新判断是否有新的开裂单元出现。

直到该加载步没有新的开裂单元出现或者结构破坏失敛为止。

采用ＰＦＥＭ程序，对四点弯曲梁试件的开裂进行了数值模拟。

计算示意图如图３所示。

ＪＰ
图３四点弯曲梁（单位：ＩＩｌⅡ１）
Ｆｉｇ．３Ｆｏｕｒ—ｐｏｉｎｔｓｈｅａｒｔｅｓｔｏｆ
ｂｅａｍ（ｕｎｉｔ：ｍｍ、
第２４卷第１７期刘耀儒等．有限元并行ＥＢＥ方法及应用・３０２７・开裂过程如图４所示。

裂纹的计算结果和试验
结果的对比如图５所示【ｌ引。

由于有限元ＥＢＥ方法不
形成整体刚度矩阵，保存的是单元刚度矩阵，因
此，基于大规模数值计算和加密网格技术，采用连
续介质的力学的方法模拟裂纹的扩展过程时，在数
值的处理上是非常方便的。

图４四点弯曲梁的开裂过程
Ｆｉｇ．４Ｆｒａｃｔｕｒｅｐｒｏｃｅｓｓｏｆｆｏｕｒ－ｐｏｉｎｔｓｈｅａｒｔｅｓｔ
计算效率的最优。

而ＥＢＥ方法则不一定是最优的，
它需要交换的数据一般来说要比区域分解方法为
多，但是ＥＢＥ方法的任务分配的实现和操作要方便
得多，在适当降低并行效率的情况下，获得一个实
际应用中方便操作的并行计算算法还是具有工程实
用意义的。

以上面的溪洛渡拱坝一地基系统的有限元网格
为例，ＰＦＥＭ程序是按照单元顺序依次将单元分配
到各个处理器的。

当采用４个ＣＰｕ进行计算时，分
配到各个ＣＰＵ上的单元组成的空间形状如图６所示。

（ａ）分配到ｃＰｕ０上的单元组成的空间形状
（ｂ）分配到ｃＰｕｌ上的单元组成的空间形状
图５计算结果和试验结果的对比
Ｆｉｇ．５Ｃｏｍｐａｒｉｓｏｎｏｆｒｅｓｕｌｔｓｂｅｔｗｅｅｎｃａｌｃｕｌａｔｉｏｎａｎｄ
ｅｘｐｅｒｉｍｅｎｔ（ｃ）分配到ＣＰＵ２上的单元组成的空间形状５有限元ＥＢＥ方法的本质
实际上，ＥＢＥ方法在本质上和区域分解方法是
相同的，都是子结构方法，不同的是，ＥＢＥ方法是
建立在单元一级上的子结构方法。

并行计算时，ＥＢＥ
方法按单元为计算单位进行随机分配，而区域分解
是按照某种剖分策略，对计算区域进行分解（每个处理器负责其中～部分区域的计算），目标是使得分解后的各处理器之间相关联的节点数目最少，以达到
（ｄ）分配到ｃＰｕ３上的单元组成的空间形状
图６采用４个ＣＰＵ时的单元分配Ｆｉｇ．６
Ｅｌｅｍｅｎｔｄｉｓｔｒｉｂｕｔｉｏｎｗｉｔｈ４
ｐｒｏｃｅｓｓｏｒｓ
・３０２８・岩石力学与工程学报２００５焦
由图６可知，每个处理器所承担的计算区域可
以不连续，可以有效解决区域分解算法在三维复杂
结果上应用的困难。

但这也同时造成了处理器间关
联的节点数目较多，交换的数据较多，因此会对计
算效率造成一定的影响。

６结论
有限元ＥＢＥ方法对于三维有限元并行计算和基
于连续介质力学的开裂，尤其是不规则的网格数值
模拟来说，是一种非常好的并行方法。

另外，ＥＢＥ
方法对结构的几何形状，网格中单元和节点的编号
没有任何限制，对于像拱坝这样的复杂三维有限元
分析和开裂的并行数值模拟，可避免区域分解中对
复杂计算区域进行分解所带来的问题，计算任务的
分配相对也比较简单。

对于基于大规模数值计算和
网格加密技术的开裂数值模拟，在数值处理上也是
相当方便的。

综上所述，三维有限元ＥＢＥ方法是相
当有发展前途的一种并行计算方法。

参考文献（Ｒｅｆｅｒｅｎｃｅｓ）：
【２】【３】李渊印，金先龙，李丽君，等．基于精细时程法的结构动力响应并
行分析系统【Ｊ】．岩石力学与工程学报，２００５，２４（１）：１８—２２．（Ｌｉ
Ｙｕａｎｙｉｎ，ＪｉｎＸｉａｎｌｏｎｇ，ＬｉＬｉｊｕｎ・ｅｔａ１．Ｐａｒａｌｌｅｌａｎａｌｙｓｉｓｓｙｓｔｅｍｆｏｒ
ｓｔｒｕｃｔｕｒａｌｄｙｎａｍｉｃｒｅｓｐｏｎｓｅｓｂａｓｅｄｏｎｈｉｇｈａｃｃｕｒａｃｙｄｉｒｅｃｔｉｎｔｅｇｒａｔｉｏｎ
ｍｅｔｈｏｄ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＲｏｃｋＭｅｃｈａｎｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ，
２００５，２４（１）：１８—２２．（ｉｎＣｈｉｎｅｓｅ））
张友良，冯夏庭，茹忠亮．基于区域分解算法的岩土大规模高性
能并行有限元系统研究【Ｊ】．岩石力学与工程学报，２００４，２３（２１）：
３６３６—３６４１．（ＺｈａｎｇＹｏｕｌｉａｎｇ，ＦｅｎｇＸｉａｔｉｎｇ，ＲｕＺｈｏｎｇｆｉａｎｇ．
Ｌａｒｇｅ—ｓｃａｌｅｈｉｇｈｐｅｒｆｏｒｍａｎｃｅｐａｒａｌｌｅｌｆｉｎｉｔｅｅｌｅｍｅｎｔｓｙｓｔｅｍｂａｓｅｄｏｎ
ｄｏｍａｉｎｄｅｃｏｍｐｏｓｉｔｉｏｎｍｅｔｈｏｄｉｎｇｅｏｍｅｃｈａｎｉｃｓ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆ
ＲｏｃｋＭｅｃｈａｎｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ，２００４，２３（２１）：３６３６—３６４１．（ｉｎ
Ｃｈｉｎｅｓｅ））
茹忠亮，冯夏庭，张友良，等．地下工程锚固岩体有限元分析的并
行计算【Ｊ】．岩石力学与工程学报，２００５，２４（１）：１３—１７．（Ｒｕ
Ｚｈｏｎｇｌｉａｎｇ，ＦｅｎｇＸｉａｔｉｎｇ，ＺｈａｎｇＹｏｕｌｉａｎｇ，ｅｔａ１．Ｐａｒａｌｌｅｌｆｉｎｉｔｅ
ｅｌｅｍｅｎｔａｎａｌｙｓｉｓｏｆｂｏｌｔｅｄｒｏｃｋｍａｓｓｉｎｕｎｄｅｒｇｒｏｕｎｄｅｎｇｉｎｅｅｒｉｎｇ［Ｊ］．
ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＲｏｃｋＭｅｃｈａｎｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ，２００５，２４（１）：
１３—１７．（ｉｎＣｈｉｎｅｓｅ））
（４】ＨｕｇｈｅｓＴＪＲ，ＬｅｖｉｔＩ，ＷｉｎｇｅｒＪ．Ａｎｅｌｅｍｅｎｔ－ｂｙ－ｅｌｅｍｅｎｔｓｏｌｕｔｉｏｎ
ａｌｇｏｒｉｔｈｍｆｏｒｐｒｏｂｌｅｍｓｏｆｓｔｍｃｔｕｒａｌ
ａｎｄｓｏｌｉｄｍｅｃｈａｎｉｃｓ［Ｊ］．Ｃｏｍｐｕｍｒ
ＭｅｔｈｏｄｓｉｎＡｐｐｌｉｅｄＭｅｃｈａｎｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ，１９８３，３６：２４１—２５４．
【５】ＬａｗＫＨ．Ａｐａｒａｌｌｅｌｆｉｎｉｔｅｅｌｅｍｅｎｔｓｏｌｕｔｉｏｎｍｅｔｈｏｄ［Ｊ］．Ｃｏｍｐｕｔ．
Ｓｔｒｅｅｔ．，１９８６，２３：８４５—８５８．
【６】６ＫｉｎｇＲＢ，Ｓｏｎｎａｄｖ．Ｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｎｅｌｅｍａｎｔ－ｂｙ・ｅｌｅｍｅｎｔ
ｓｏｌｕｔｉｏｎａｌｇｏｒｉｔｈｍｆｏｒｔｈｅｆｉｎｉｔｅｅｌｅｍｅｎｔｍｅｔｈｏｄｏｎａｃｏａｒｇｅ・ｇｒａｉｎｅｄ
ｐａｒａｌｌｅｌｃｏｍｐｕｔｅｒ［Ｊ］．ＣｏｍｐｕｔｅｒＭｅｔｈｏｄｓｉｎＡｐｐｌｉｅｄＭｅｃｈａｎｉｃｓａｎｄ
Ｅｎｇｉｎｅｅｒｉｎｇ，１９８７，６５：４７—５９．
【７】ＧｕｌｌｅｒｕｄＡＳ，ＤｏｄｄｓＲＨ．ＭＰＩ—ｂａｓｅｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａＰＣＧｓｏｌｖｅｒ
ｕｓｉｎｇ
ａｎＥＢＥａｒｃｈｉｔｅｃｔｕｒｅａｎｄｐｒｅｃｏｎｄｉｆｉｏｎｅｒｆｏｒｉｍｐｌｉｃｉｔ，３Ｄｆｉｎｉｔｅ
ｅｌｅｍｅｎｔａｎａｌｙｓｉｓ［Ｊ］．ＣｏｍｐｕｔｅｒＭｅｔｈｏｄｓｉｎＡｐｐｌｉｅｄＭｅｃｈａｎｉｃｓａｎｄ
Ｅｎｇｉｎｅｅｒｉｎｇ，２００１，７９：５５３—５７５．
【８】ＢｏｖａＳＷ，ＣａｒｅｙＧＥＡｄｉｓｔｒｉｂｕｔｅｄｍｅｍｏｒｙｐａｒａｌｌｅｌ
ｅｌｅｍｅｎｔ－ｂｙ－ｅｌｅｍｅｎｔｓｃｈｅｍｅｆｏｒｓｅｍｉｃｏｎｄｕｃｔｏｒｄｅｖｉｃｅｓｉｍｕｌａｔｉｏｎ［Ｊ］．
Ｃｏｍｐｕｔｅｒ
ＭｅｔｈｏｄｓｉｎＡｐｐｌｉｅｄＭｅｃｈａｎｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ，１９９８，
１８１：加３—４２３
【９】ＫｈａｎＡＩ，ＴｏｐｐｉｎｇＢＨ．Ｐａｒａｌｌｅｌｆｉｎｉｔｅｅｌｅｍｅｎｔａｎａｌｙｓｉｓｕｓｉｎｇ
Ｊａｃｏｂｉ・ｃｏｎｄｉｔｉｏｎｅｄｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔａｌｇｏｒｉｔｈｍ［Ｊ］．Ａｄｖ．Ｅｎｇｒｇ．Ｓｏｆｔ，
１９９６，２５：３０９—３１９．
【１０】刘耀儒．三维有限元并行计算及其在水利工程中的应用【博士学位
论文】【Ｄ】．北京：清华大学，２００３．（ＬｉｕＹａｏｍ．Ｐａｒａｌｌｅｌ３Ｄｆｉｎｉｔｅ
ｅｌｅｍｅｎｔａｎａｌｙｓｉｓａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎｔｏｈｙｄｒａｕｌｉｃｅｎｇｉｎｅｅｒｉｎｇ［Ｐｈ．Ｄ．
Ｔｈｅｓｉｓ］【Ｄ】．Ｂｅｉｊｉｎｇ：ＴｓｉｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，２００３．（ｉｎＣｈｉｎｅｓｅ））
［１１】ＧｒｏｐｐＷ，ＬｕｓｋＥ，ＳｋｊｅｌｌｕｍＡ．ＵｓｉｎｇＭＰＩ：ＰｏｒｔａｂｌｅＰａｒａｌｌｅｌ
ＰｒｏｇｒａｍｍｉｎｇｗｉｔｈｔｈｅＭｅｓｓａｇｅ－ｐａｓｓｉｎｇＩｎｔｅｒｆａｃｅ（ＳｅｃｏｎｄＥｄｉｔｉｏｎ）［Ｍ］．
Ｌｏｎｄｏｎ：ＭＩＴＰｒｅｓｓ，１９９９．
【１２】ＣｕｔｈｉｌｌＥ，ＭｃｋｅｅＪ．Ｒｅｄｕｃｉｎｇｔｈｅｂａｎｄｗｉｄｔｈｏｆｓｐａｒｓｅｓｙｍｍｅｔｒｉｃ
ｍａｔｒｉｃｅｓ［Ａ］．Ｉｎ：ＰｒｏｃｅｅｄｉｎｇｓｏｆＡＣＭＮａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ，
ＡｓｓｏｃｉａｔｉｏｎｆｏｒＣｏｍｐｕｔｉｎｇＭａｃｈｉｎｅｒｙ【Ｃ１．ＮｅｗＹｏｒｋ：［Ｓ．ｎ．】，１９６９．
１５７—１７２．
【１３１陈永强，郑小平，姚振汉．非均匀材料的应变软化及叠层复合材料
破坏过程的数值模拟【Ｊ】．计算物理，２００３，２０（１）：１４—２０．（Ｃｈｅｎ
Ｙｏｎｇｑｉａｎｇ，ＺｈｅｎｇＸｉａｏｐｉｎｇ，ＹａｏＺｈｅｎｈａｎ．Ｅｘｐｌａｎａｔｉｏｎｏｆｓｔｒａｉｎ
ｓｏｆｔｅｎｉｎｇａｎｄｎｕｍｅｒｉｃａｌｍｏｄｅｌｉｎｇｔｏｔｈｅｆａｉｌｕｒｅｐｒｏｃｅｓｓｏｆｌａｍｉｎａｔｅｄ
ｃｏｍｐｏｓｉｔｅｍａｔｅｒｉａｌ［Ｊ］．ＣｈｉｎｅｓｅＪｏｕｒｎａｌｏｆＣｏｍｐｕｔａｔｉｏｎａｌＰｈｙｓｉｃｓ，
２００３，２０（１）：１４—２０．（ｉｎＣｈｉｎｅｓｅ））
【１４］ＣａｒｐｉｎｔｅｔｉＡ，ＡｌｉａｂａｄｉＭ．ＣｏｍｐｕｔａｔｉｏｎａｌＦｒａｃｔｕｒｅＭｅｃｈａｎｉｃｓｉｎ
ＣｏｎｃｒｅｔｅＴｅｃｈｎｏｌｏｇｙ［Ｍ］．Ｓｏｕｔｈａｍｐｔｏｎ・ＵＫ：ＷＰｒｅｓｓ，１９９９．。