利用OpenMP线程绑定技术提升多核平台应用性能

本文将使用线程绑定技术将ＯｐｅｎＭＰ线程绑定到 指定的ＣＰＵ核上运行，使线程不需要在ＣＰＵ核间进行 迁移，从而消除由于迁移原因而导致的性能降低， 通过这种方法来提升应用程序的性能。
现在使用的主流编译器都通过设置环境变量 的方式提供了ＯｐｅｎＭＰ线程与核绑定的接口，在 Ｌｉｎｕｘ２．６以上版本内核中也提供了内核函数（ｓｃｈｅｄ＿ ｓｅｔａｆｆｉｎｉｔｙ）用以实现这种绑定。本文第２部分将分别 介绍ＰＧＩ、Ｉｎｔｅｌ编译器和ＧＣＣ下实现线程与ＣＰＵ核的 绑定方法，同时也将介绍ｓｃｈｅｄ＿ｓｅｔａｆｆｉｎｉｔｙ函数的具体 用法。第３部分将使用ｂｅｎｃｈｍａｒｋ：ＳＴＲＥＡＭ在魔方（ 曙光５０００Ａ）刀片上测试比较在线程绑定与不绑定情 况下的结果。第４部分将对测试结果进行分析并得到 结论。第５部分为全文总结部分。
｛
ｉｆ（ＣＰＵ＿ＩＳＳＥＴ（ｉ， ＆ｇｅｔ））
｛
ｐｒｉｎｔｆ（“Ｔｈｅ ｃｕｒｒｅｎｔ ｔｈｒｅａｄ ％ｄ ｂｏｕｎｄ ｔｏ
ｃｏｒｅ ％ｄ＼ｎ“， ｏｍｐ＿ｇｅｔ＿ｔｈｒｅａｄ＿ｎｕｍ（）， ｉ）；
｝
｝
有内核函数的支持，将可以更灵活的设置线 程与核绑定的情况。编译器的环境变量只能在应用 程序启动之前对应用程序设置绑定的方案，如果将 内核函数添加到应用程序的代码中可以同样实现。 假如应用程序已经启动，再想重新设置绑定方案， 此时编译器选项将无能为力，这时可以借助ｓｃｈｅｄ＿ ｓｅｔａｆｆｉｎｉｔｙ函数实现工具，动态的调整应用程序的核绑 定方案。使用ｓｃｈｅｄ＿ｓｅｔａｆｆｉｎｉｔｙ函数，无论是应用程序 代码是否已知，应用程序是否正在运行，都能灵活 的实现或更改绑定方案。
使用ＰＧＩ编译器编译的ＯｐｅｎＭＰ应用程序可以设
置环境变量ＭＰ＿ＢＩＮＤ和ＭＰ＿ＢＬＩＳＴ来实现绑定，环境
变量的作用如下表：
表１ ＰＧＩ环境变量
环境变量
作用
ＭＰ＿ＢＩＮＤ
设置为“ｙｅｓ”或“ｙ”表示启用绑定功 能；设置为“ｎｏ”或“ｎ”表示禁用绑 定功能，在默认情况下绑定功能被禁用
ＭＰ＿ＢＬＩＳＴ
67
利用ＯｐｅｎＭＰ线程绑定技术提升多核平台应用性能
徐磊 徐莹 张丹丹 上海超级计算中心 上海 ２０１２０３ ｌｘｕ＠ｓｓｃ．ｎｅｔ．ｃｎ
摘要： 多核平台下，线程在核间的动态迁移在一定程度上会导致应用程序性能的下降，如果将线
程绑定在固定的核上运行，使其不再迁移，这种方法将有可能提升应用程序性能，更充分的利 用多核平台的计算能力。本文将介绍如何使用主流的编译器绑定接口以及Ｌｉｎｕｘ内核ＡＰＩ的方式 实现ＯｐｅｎＭＰ线程与核之间的绑定，使用ＳＴＲＥＡＭ这一ｂｅｎｃｈｍａｒｋ来测试比较绑定前后的应用程 序的性能。
关键词：ＯｐｅｎＭＰ 多核 线程 绑定
１． 引言
如今绝大部分的高性能的Ｃｌｕｓｔｅｒ采用多核处理 器来构建ＳＭＰ节点，在单个处理器内集成多个内核已 经称为处理器发展的方向。面对越来越多的处理核 心，如何进行高效的使用这些核，已经成为研究的 热点。针对新的多核平台，主流的操作系统都对其 调度算法进行了调整，以提高所有处理器核的使用 效率。其中最常用的一种方法就是负载平衡技术， 将ＣＰＵ的负荷平均分配到多个ＣＰＵ核中，这就意味 着，在比较繁忙的ＣＰＵ核上运行的线程将可能会被操 作系统自动迁移到空闲的ＣＰＵ核上，这种迁移将导致 被迁移的线程的Ｃｏｎｔｅｘｔ（包括寄存器值和Ｃａｃｈｅ中的 数据）需要迁移到新的ＣＰＵ核上。如果这种迁移过于 频繁，很显然会导致应用程序性能的下降。
该段代码将ｐａｒａｌｌｅ ｒｅｇｉｏｎ里面的８个线程依次绑 定到核２，５，１３，９，３，６，７，４。同样可以使用 ｓｃｈｅｄ＿ｇｅｔａｆｆｉｎｉｔｙ函数获取线程的能够使用的核的列 表，示例代码如下：
ｉｎｔ ｎｕｍ＿ｐｒｏｃｅｓｓｏｒｓ ＝ ｓｙｓｃｏｎｆ（＿ＳＣ＿ＮＰＲＯＣＥＳＳＯＲＳ＿
ＣＯＮＦ）； ／／获取当前节点核的数目
68
《高性能计算发展与应用》 ２００９年第一期 总第二十六期
２．１．２ ＧＣＣ［２］ 使用ＧＣＣ（注：ＧＣＣ４．２以上版本才支持 ＯｐｅｎＭＰ）编译的ＯｐｅｎＭＰ应用程序实现线程绑定需 要设置环境变量ＧＯＭＰ＿ＣＰＵ＿ＡＦＦＩＮＩＴＹ，ＧＯＭＰ＿ ＣＰＵ＿ＡＦＦＩＮＩＴＹ的取值和ＭＰ＿ＢＬＩＳＴ类似，需要绑 定的核ＩＤ之间使用空格隔开，例：ＧＯＭＰ＿ＣＰＵ＿ ＡＦＦＩＮＩＴＹ＝＂２ ３ ５ ７＂。
图２ ｓｃａｔｔｅｒ模式 图２描述了当ＫＭＰ＿ＡＦＦＩＮＩＴＹ＝ｇｒａｎｕｌａｒｉｔｙ＝ｆｉｎｅ， ｓｃａｔｔｅｒ时线程的绑定情况。ｓｃａｔｔｅｒ模式将线程尽可
能在所有的ＣＰＵ（Ｐａｃｋａｇｅ）间分散开，这种模式适 合线程间需要竞争资源的情况，将这些线程分散开 后，线程之间的竞争将会减少，所有的核的资源能 得到充分的利用。
２．１．３ Ｉｎｔｅｌ编译器［３］ Ｉｎｔｅｌ编译器分别从上层、中间层和底层三个 层次提供线程与ＣＰＵ核绑定的接口（只适用与采用 Ｉｎｔｅｌ处理器的平台），在上层可以通过设置环境变量 ＫＭＰ＿ＡＦＦＩＮＩＴＹ来实现，利用ＫＭＰ＿ＡＦＦＩＮＩＴＹ可以实 现多种绑定模式，常用的有三种：ｃｏｍｐａｃｔ，ｓｃａｔｔｅｒ和 ｅｘｐｌｉｃｉｔ。 图１描述了当ＫＭＰ＿ＡＦＦＩＮＩＴＹ＝ｇｒａｎｕｌａｒｉｔｙ＝ｆｉｎｅ， ｃｏｍｐａｃｔ时线程的绑定情况。当前的节点拥有两个 ＣＰＵ（Ｐａｃｋａｇｅ０，１）每个ＣＰＵ内集成两个核， 每个核支持超线程技术（ ＨＴ，Ｈｙｐｅｒ－Ｔｈｒｅａｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ）。
ｃｏｍｐａｃｔ和ｓｃａｔｔｅｒ两种模式简化了绑定方案的设 置，在用户对当前节点处理器拓扑结构未知的情况 下，实现线程的聚集与分散，不需要用户根据每个 核的物理位置，手动的设置线程与具体核的绑定方 案，这种方式适合不同的Ｉｎｔｅｌ平台，具有可移植性。
Ｉｎｔｅｌ编译器在中间层提供了和ＰＧＩ、ＧＣＣ类似 的绑定方法，实现线程与核的一对一的绑定。这 种模式需要借助环境变量ＧＯＭＰ＿ＣＰＵ＿ＡＦＦＩＮＩＴＹ， 具体的设置方法和ＧＣＣ相同。同时也可以借助 ＫＭＰ＿ＡＦＦＩＮＩＴＹ来实现，在ｅｘｐｌｉｃｉｔ模式下可以利 用参数ｐｒｏｃｌｉｓｔ指定需要绑定到的核，具体的设置 可以为：ＫＭＰ＿ＡＦＦＩＮＩＴＹ＝ｇｒａｎｕｌａｒｉｔｙ＝ｆｉｎｅ，ｐｒｏｃｌｉｓｔ ＝［３，０，１，２］，ｅｘｐｌｉｃｉｔ。采用这种方式将０－３号线程依次绑 定到核３，０，１，２。使用ｐｒｏｃｌｉｓｔ可以更灵活的使部分 线程绑定在一个核上运行，部分线程在指定的核间 动态的迁移，例：
２．１．４ 通过内核函数实现ＯｐｅｎＭＰ线程绑定核 从Ｌｉｎｕｘ２．６内核开始，Ｌｉｎｕｘ系统提供ＡＰＩ函数 ｓｃｈｅｄ＿ｓｅｔａｆｆｉｎｉｔｙ和ｓｃｈｅｄ＿ｇｅｔａｆｆｉｎｉｔｙ用于设置或获取线 程的可以使用的ＣＰＵ核。这两个函数的定义如下：
ｉｎｔ ｓｃｈｅｄ＿ｓｅｔａｆｆｉｎｉｔｙ（ｐｉｄ＿ｔ ｐｉｄ， ｕｎｓｉｇｎｅｄ ｉｎｔ ｃｐｕｓｅｔｓｉｚｅ， ｃｐｕ＿ｓｅｔ＿ｔ ＊ｍａｓｋ）；
图１ ｃｏｍｐａｃｔ模式 采用ｃｏｍｐａｃｔ模式时，所有的ＯｐｅｎＭＰ线程将尽 可能均匀的集中分配在一个Ｐａｃｋａｇｅ内部，如上图所 示，０－３号线程优先绑定到Ｐａｃｋａｇｅ０的核上，余下 的绑定到Ｐａｃｋａｇｅ１上。ｃｏｍｐａｃｔ适合ＯｐｅｎＭＰ线程在 连续的迭代过程中需要共享数据的情况，将这些线 程尽可能的绑定到一起，将减少通讯的开销，提高 Ｃａｃｈｅ的命中率。
指定线程被绑定到的核ＩＤ列表
使用示例脚本如下：
ｅｘｐｏｒｔ ＯＭＰ＿ＤＹＮＡＭＩＣ＝ｆａｌｓｅ ｅｘｐｏｒｔ ＯＭＰ＿ＮＵＭ＿ＴＨＲＥＡＤＳ＝８ ｅｘｐｏｒｔ ＭＰ＿ＢＩＮＤ＝’ｙ’ ｅｘｐｏｒｔ ＭＰ＿ＢＬＩＳＴ＝０，３，７，９，１１，１２，１４，的作用是将ＯｐｅｎＭＰ应用程序ａｐｐｂｉｎｄ． ｅｘｅ的ｐａｒａｌｌｅｌ ｒｅｇｉｏｎ里面的８个线程依次绑定到核０， ３，７，９，１１，１２，１４，１５。
２． 进程绑定到核的实现方法
２．１ 通过编译器实现ＯｐｅｎＭＰ线程绑定核 编译器通过设置环境变量的方式来指定每个
ＯｐｅｎＭＰ线程需要绑定到的核的ＩＤ，每个核的ＩＤ对 应于ｃｐｕｉｎｆｏ文件中的ｐｒｏｃｅｓｓｏｒ号。下面将分别介绍 ＰＧＩ、ＧＣＣ和Ｉｎｔｅｌ编译器下的设置方法。
２．１．１ ＰＧＩ［１］
３． 使用ＳＴＲＥＡＭ进行性能测试
下面将使用ＳＴＲＥＡＭ分别对线程绑定与不绑定的 情况进行测试，比较这两种情况下应用程序的性能。
３．１ 测试环境 测试环境使用一个魔方刀片，安装ＳＥＬＳ１０ＳＰ２操
作系统，内核版本２．６．１６．６０－０．２１－ｓｍｐ，采用４路４核 ＡＭＤ Ｏｐｔｅｒｏｎ ８３４７ＨＥ １．９Ｇ，６４ＧＢ内存，ＰＧＩ版本 ８．０－５。编译选项使用－ｆａｓｔ －ｍｐ －ｔｐ ｂａｒｃｅｌｏｎａ－６４ － ｍｃｍｏｄｅｌ＝ｍｅｄｉｕｍ
ｃｐｕ＿ｓｅｔ＿ｔ ｇｅｔ；
ｉｎｔ ｉ ＝ ０；
ＣＰＵ＿ＺＥＲＯ（＆ｇｅｔ）；
ｓｃｈｅｄ＿ｇｅｔａｆｆｉｎｉｔｙ（０， ｓｉｚｅｏｆ（ｃｐｕ＿ｓｅｔ＿ｔ）， ＆ｇｅｔ）； ／／获取当前
调用线程的可以使用的核
ｆｏｒ（ｉ ＝ ０； ｉ ＜ ｎｕｍ＿ｐｒｏｃｅｓｓｏｒｓ； ｉ＋＋）
ｉｎｔ ｓｃｈｅｄ＿ｇｅｔａｆｆｉｎｉｔｙ（ｐｉｄ＿ｔ ｐｉｄ， ｕｎｓｉｇｎｅｄ ｉｎｔ ｃｐｕｓｅｔｓｉｚｅ， ｃｐｕ＿ｓｅｔ＿ｔ ＊ｍａｓｋ）；
这两个函数的参数列表完全一致，其中ｐｉｄ表示 需要设置或获取绑定信息的线程ｉｄ（或进程ｉｄ），如
果为０，表示对当前调用的线程进行设置；第２个参 数ｃｐｕｓｅｔｓｉｚｅ一般设置为ｓｉｚｅｏｆ（ｃｐｕ＿ｓｅｔ＿ｔ），用以表示 第３个参数指向的内存结构对象的大小；第３个参数 ｍａｓｋ指向类型为ｃｐｕ＿ｓｅｔ＿ｔ对象的指针，用以设置或获 取指定线程可以使用的ＣＰＵ核列表。Ｌｉｎｕｘ提供函数 ＣＰＵ＿ＺＥＲＯ、ＣＰＵ＿ＳＥＴ和ＣＰＵ＿ＩＳＳＥＴ对ｃｐｕ＿ｓｅｔ＿ｔ类型 的对象进行操作，其中ＣＰＵ＿ＺＥＲＯ用于清空ｃｐｕ＿ｓｅｔ＿ ｔ类型对象的内容，ＣＰＵ＿ＳＥＴ用于设置ｃｐｕ＿ｓｅｔ＿ｔ类型 对象，ＣＰＵ＿ＩＳＳＥＴ用于判断ｃｐｕ＿ｓｅｔ＿ｔ类型对象与核对 应的位是否被设置。