岩石破裂过程分析系统并行计算方法研究_张永彬

第25卷第9期岩石力学与工程学报V ol.25 No.9 2006年9月Chinese Journal of Rock Mechanics and Engineering Sept.，2006 岩石破裂过程分析系统并行计算方法研究

张永彬1，2，唐春安2，3，梁正召3，徐涛2，李连崇1

(1. 东北大学岩石破裂与失稳研究中心，辽宁沈阳 110004；2. 大连大学材料破坏力学数值试验研究中心，辽宁大连 116622；

3. 大连理工大学土木水利学院，辽宁大连 116024)

摘要：岩石工程灾害与岩石破裂过程失稳密切相关。大型岩石工程破裂过程数值分析需要高效、准确、强大的计算能力支持。一般传统串行计算方法难以满足要求，大规模并行计算是解决这一难题的有效途径。岩石破裂过程分析系统是研究岩石破裂过程的一个重要数值分析工具。在岩石破裂过程分析系统串行单机版的基础上，结合现代有限元方法和数值计算方法，在消息传递并行环境下，利用区域分解和主从编程模式，采用分布存储稀疏线性迭代并行求解方法，在Linux机群上实现应力分析模块中有限元计算的并行处理。通过Windows和Linux协调处理策略，有效地把原有的前后处理功能和机群系统强大的计算能力结合起来，建立岩石破裂过程分析RFPA3D-Parallel并行分析系统。算例结果表明，并行程序具有很高的加速比和并行效率，能够快速完成三维条件下300万单元的大规模岩石破裂过程分析。应用RFPA3D-Parallel并行分析系统模拟地壳介质中广泛存在的龟裂现象，再现非均匀介质破坏和裂纹演化过程，从而显示该系统广泛的应用前景。

关键词：岩石力学；岩石破裂过程；大规模；并行计算；区域分解；消息传递界面

中图分类号：TU 45 文献标识码：A 文章编号：1000–6915(2006)09–1795–07

RESEARCH ON PARALLEL COMPUTATIONAL METHOD OF

ROCK FAILURE PROCESS ANALYSIS SYSTEM

ZHANG Yongbin1，2，TANG Chun′an2，3，LIANG Zhengzhao3，XU Tao2，LI Lianchong1

(1. Center for Rock Instability and Seismicity Research，Northeastern University，Shenyang，Liaoning110004，China；

2. Research Center for Numerical Tests on Material Failure，Dalian University，Dalian，Liaoning116622，China；

3. School of Civil and Hydraulic Engineering，Dalian University of Technology，Dalian，Liaoning116024，China)

Abstract：Rock engineering hazards are closely related to unstable failure of rocks. Numerical analysis of rock failure process of large-scale rock engineering needs effective，accurate and powerful computation，while traditional serial computation becomes incapable to solve these large-scale rock failure problems；and it is necessary to employ large-scale parallel computation technology. Rock failure process analysis(RFPA) code is one of the important numerical tools that can be used to investigate rock failure process. Based on the serial code of RFPA3D，a parallel computation model of rock failure process analysis is proplsed. We complete parallel stress analysis module of RFPA3D using finite element method on a cluster and integrate it with pre-processing and post-processing of RFPA3D installed on windows pc. The parallel program is performed using a distributed memory sparse linear iterative solver with preconditioning based on MPI(message passing interface). The linear

收稿日期：2005–07–05；修回日期：2005–09–27

基金项目：国家自然科学基金资助项目(50374020，50490274，50504003，5047017)；中国教育科研网格计划项目(ChinaGrid)

作者简介：张永彬(1979–)，男，2002年毕业于东北大学采矿工程专业，现为博士研究生，主要从事岩石力学数值计算方面的研究工作。E-mail：zybneu@

• 1796 • 岩石力学与工程学报 2006年

solver is fully parallel，working with sub-domains determined by domain decomposition parallel algorithms. Numerical tests demonstrate that this parallel program is robust and has very high performance as expected. The parallel RFPA3D system can be used to quickly fulfill rock failure process analysis of model with more than ten millions of degrees of freedom on a 32-node cluster with 64-CPU. With the application of the RFPA3D-Parallel system to simulate the fracture spacing phenomenon in the medium of earth crust，failure process and fracture evolution in heterogeneous medium like rock are revealed；and it indicates the broad potential application of the system.

Key words：rock mechanics；rock failure process；large scale；parallel iterative linear solver；domain decomposition；message passing interface

1 引言

岩石破裂过程失稳与岩石工程灾害(边坡滑移、隧道塌方等)密切相关。岩石变形破裂过程的研究是岩石力学研究的一个重要的方向，是采矿、岩土、水利水电、交通等岩石工程建设和设计中需要考虑的重要问题之一。随着计算机技术和数值计算理论的发展，数值方法在岩石力学研究和应用中的作用已越来越多地得到人们的重视。

东北大学岩石破裂与失稳研究中心研究开发的二维岩石破裂过程分析(RFPA2D)系统，由于考虑了材料的非均匀性，具有跟踪裂纹扩展、贯通的分析功能，已在裂纹相互作用、矿柱破坏、岩爆机制、岩层移动、含瓦斯煤岩突出、混凝土和复合材料的断裂方面得到了初步的应用[1～5]。但目前应用主要是针对二维基本力学问题，许多岩石力学问题往往都是三维的，因此在RFPA2D基础上刚刚开发完成了三维岩石破裂过程分析(RFPA3D)系统[6]。三维岩石破裂过程分析不仅需要更大的计算机存储空间，而且需要更大的计算机处理速度。此外，由于经济和社会发展的需要，我国目前相继建设和即将建设许多大型的岩土工程(如三峡工程和二滩水电站等)，这些工程结构的几何形状和载荷形状越来越复杂，规模越来越宏大，需要分析的范围通常达到几百米甚至几千米，需要巨大的计算规模和强大的计算能力。传统的数值分析方法采用单个计算机的串行指令流计算方式，解题的规模和速度直接受到所使用计算机的内存大小和计算机速度的限制，无法满足工程计算精度和计算时间的要求。因此，采用并行计算技术，发展岩石破裂过程分析系统，提高计算速度和容量，对于深入分析岩土工程中细观破坏本质、工程灾害分析以及稳定性评价等都有积极的意义。

并行计算在国外得到了很大发展，自从 A. K. Noor和R. E. Fulton[7]发表第一篇关于有限元并行计算的文章以来，有限元并行处理技术几乎与并行计算机同步发展。在国内，受到硬件水平的限制，在有限元结构分析并行处理方面起步较晚，并行计算还处于发展阶段。目前我国的高性能计算机发展已取得巨大的成绩，如曙光4000十万亿次机群和联想6800万亿次机群等已经进入世界超级计算机Top500强。目前国内的并行计算主要应用于航空、航天、石油以及结构的动力分析方面[8～12]。而岩土工程破坏并行计算应用软件的发展相对迟缓。刘耀儒[13]应用基于EBE策略的预处理共轭剃度法进行了33.8万单元(107万自由度)模型的拱坝有限元并行数值计算；张友良等[14，15]开发了基于Windows 操作系统机群的并行有限元分析系统，进行了16.3万单元模型的计算分析；S. W. Chung和S. J. Kim[16]应用并行多波前并行计算方法在机群上进行了1百万自由度二维和54万自由度三维损伤局部化问题的研究。目前，关于大规模岩石破裂过程分析的研究还非常少见。

东北大学岩石破裂与失稳研究中心与大连大学材料破坏力学数值试验研究中心合作，于2003年开始研究开发岩石和材料破坏过程分析RFPA和MFPA并行分析方法，在北京飞箭软件有限公司协助下，于2004年在联想深腾1800机群系统上实现了300万单元的有限元应力分析[17]。本文在此基础上，实现了RFPA系统的破坏处理模块与机群系统的应力求解并行分析模块的连接，建立了岩石破裂过程分析RFPA3D-Parallel并行分析系统。

2 岩石破裂过程并行分析系统

岩石破裂过程分析系统的主要过程由前处理、线弹性应力分析、破坏分析和后处理4个部分组成[1]。前、后处理是以图形方式进行的人机交互过程。采用了普通微机Windows下的Visual C和