化学驱油藏数模并行化中的关键技术

万方数据

软件天地中文核心期刊‘徽计算机信息＇（测控自动化｝２００７年第２３卷第１０－１期

对整个油｛葭进行网格划分后，将所有网格块的质量平衡方点，这样保证了一定的空何局部性和静态的负载平衡．每个节程鬟妻至：耋毒黑髦油。！：兰黧；！置：善篇薯鼍亍点拥有Ⅳ‰，＝笋盟＋‰甜同格块，其中Ｎａ—ＬＩ，。，是

一个不定常非线性偏微分组．其中未知量数目为Ｎ・（Ｎ—Ｎ一２），…’。”出”Ⅳ７Ⅳ。。ｍⅢ

…一…’一。’，“。。Ｎ为网格敦．其初始条件是零时刻的物理场分布，其边界条件是分配刊子区域的网格数．Ｎｎｏ【，Ｙ，ｚ）是ｘ、Ｙ、Ｚ方向上的总网格在边界上投有流体的流人和流出，利用上述给定的初始条件和数，Ｎ倒＾，ｙ，ｚ）是问题分解在ｘ、Ｙ、Ｚ方向的处理器数，Ｎ。柚是边界条件就可以对整个方程组进行求解。子空间在给定方向上的邻近子区域数。一个１５ｘ２０ｘ６的油藏化学复合驱果用的是Ｉｍｐｅｓ法。其基本思路是在一个时间划分，假定可用的处理嚣数为１２，则处理器的排列方式可能是步长内只把压力作为变量，而在方程中出现的饱和度，组分浓３ｘ４×１．那么各于区域数组的维数是７ｘ７ｘ６。图２显示了网格度等都取前一时刻的值，即只对压力变量形成系数矩阵。求解的划分和各子区域阿格块数的兰系。ＵＴＣＨＥＭ的并行实现应

出压力后再利用各种化学关系显式地求解其它变量。对于压力方程，空间差分选用一鼢向前差分和二阶中心差分，采用雅克比共轭梯度法进行求解。压力方程求解之后．得到了全场各十网格点的压力变量，然后显式求解各点舶饱和度和备组分浓度。图１是化学复合驱程序运行流程图。

：；：；ｈ叫＊一ｍ＊卜≈黼Ｈ＊ｍ－一ｅＨｊ：嚣：４Ｈｍ—ｍｔ！竺！ｒ弋＝旦

．．．．．．．．．．．Ｌ

Ｉｈｍ∞：ｔ＊＊嘛：：。。雾、————／ｌ％自目ｔ≮：ｉ卜｝．Ｊ—Ｔ———————７—赢亍、ｒ一‘—－————一氟；孙圈１化学复合驱程序运行过程

图２油藏网格划分简单示例

３并行模型及关键技术

化学复合驱并行模型采用单程序多数据（ＳＰＭＤ）程序模型．利用区域分解方法使得多个计苒节点同时求解一个单一的模拟问题．各计算节点通过消息传递对必要的数据进行通信。

３．Ｉ初始化

执行开始时．主节点（ＮＯＤＥ０）将整个模拟空间的网格块在各处理节点之间划分．每十节点接收必要的同格数据．来保证节点内部的计算。该划分是有主节点控制的，这个阶段它的主要职责是保证整个网络和计算的负载均衡。

３２网格划分

并行宴现的主要目的是降低执行时间和解决大规模计算嚣要的内存不足问题。对于第二个问题，并行程序改变了原始串行程序中的数组大小，只分配子区域计算所需的内存。即子区域的空间加一个厨绕在其周围的信封空间佃２中的ｌ！！；影网格）．信封空间用来接收来之相邻区域的数据。

网格块划分机制将连续编号的舟格映分配给虚拟计算节用区域划分技术，模拟期间各处理节点和其相邻节点需要一定的共享数据（图中阴髟部分）。不同子区域上的模榴可以作为一个独立的问题并行的执行，也就是在不同的数据集上同步执行相同的运算（ＳＰＭＤ）。因为每一个子区域的计苒需要槲邻区域上的一些数据，相邻节点之间在指定的同步点上进行显式的消息传输。

３．３Ｉ／ｏ控制

在这个实现方案中，ＹＯ是通过一个指定节点（ＮＯＤＥＯ）串行控制的。程序初始阶段。Ｉ／０节点负责读人输人数据并将数据划分到各子区域。在程序输出阶段。Ｉ／Ｏ节点综合所有节点发送给它的部分运算结果，然后写入到磁盘文件。这样的控制方式带来两个缺点：一是因为指定了Ｉ／Ｏ控制节点．在它读＾输人数据时候其它节点都在等待：二是在输出阶段、其它节点都向Ｉ／０节点发送数据，１１０节点成为消息传递的瓶颈。

３＿４基于区域分解法的线性解法器

串行ＵＴＣＨＥＭ中雅克比共轭梯度法线性解法器的并行救宰不是很好。本文采用一种基于加法Ｓｃｈｗａｒｚ两条件子的共轭梯度区域分解算法。对于线性系统Ａｐ＝ｂ，Ａ是压力矩阵，Ｐ是未知压力向量，ｂ是边界向量值。在每一次求解迭代ｎ中．预条件残余向量足通过求解Ｍｚ“＝，得到，其中，是当前残余量．也就是ｒｋｂ—Ａｐ。，一是预条件残余量，Ｍ是预条件矩阵。在加法Ｓｃｈｗａｒｚ方法中，是不需要Ｍ矩阵的．因为通过下进步骤可以计算出矩阵Ｍ“和＾

ｆ１）将整个问题的残余和系数矩阵分配到扩展子区域上（包括藿叠边界同格块）。在每个扩展子区域上用统一的狄利克雷边界条件求解Ａ一＝一。在扩展子区域边界和全局区域边界一致的地方，使用原始边界条件。｛２）计算完所有的子区域后，将局部结果相加构成全局顶条件子残余。

４测试结果及结论

试验环境为基于ＳＭＰ的千亿次计算机机群系统．其中１６个计算结点各拥有２个ＩｎｔｅｌＸｅｏｎ２８ＧＨＺＣＰＵ、２Ｇ内存．节点之间由干兆以太网同连接，该集群的计算理论峰值为１７９２亿次，ＩＮＰＡＣＫ实测峰值为９９５亿次。经过多组测试．改造后的并行程序与原串行程序的运算结果完全一致。被并行模块（压力方程组求解）在１６个节点取得６．４的加速比。图３中的曲线可以看出随着网格规模的增加，所取得的加速比和效率有所提高，说蹦数据规模越大越能体现并行效果。

测试结果证明区域分解算磕应用与大规模偏微分方程组求解能够取得很好的加速效果。但实际的应用问题往往并不是耶么简单．需要很好的策划各计算节点的负载平衡问题和节点间数据通信的代价。尤其是节点之间的通信问题。

一２５０—３６０无１年邮局订阅号：８２．９４６万方数据

万方数据