高性能自旋锁 MCS Spinlock 的设计与实现

高性能自旋锁MCS Spinlock 的设计与实现林昊翔，计算机科学硕士，毕业于清华大学计算机系，Linux 内核爱好者秦君(qinjun@), 软件工程师, IBM简介：自旋锁（Spinlock）是一种在Linux 内核中广泛运用的底层同步机制。

排队自旋锁（FIFO Ticket Spinlock）是Linux 内核2.6.25 版本中引入的一种新型自旋锁，它解决了传统自旋锁由于无序竞争导致的“公平性”问题。

但是由于排队自旋锁在一个共享变量上“自旋”，因此在锁竞争激烈的多核或NUMA 系统上导致性能低下。

MCS Spinlock 是一种基于链表的高性能、可扩展的自旋锁，本文详细剖析它的原理与具体实现。

发布日期： 2008 年10 月30 日一、引言自旋锁（Spinlock）是一种在Linux 内核中广泛运用的底层同步机制，长期以来，人们总是关注于自旋锁的安全和高效，而忽视了自旋锁的“公平”性。

排队自旋锁（FIFO Ticket Spinlock）是内核开发者Nick Piggin 在Linux Kernel2.6.25[1] 版本中引入的一种新型自旋锁，它通过保存执行线程申请锁的顺序信息解决了传统自旋锁的“不公平”问题[4]。

排队自旋锁仍然使用原有的raw_spinlock_t 数据结构，但是赋予slock 域新的含义。

为了保存顺序信息，slock 域被分成两部分，低位部分保存锁持有者的票据序号（Ticket Number），高位部分则保存未来锁申请者的票据序号。

只有Next 域与Owner 域相等时，才表明锁处于未使用状态（此时也无执行线程申请该锁）。

排队自旋锁初始化时slock 被置为0，即Owner 和Next 置为0。

内核执行线程申请自旋锁时，原子地将Next 域加1，并将原值返回作为自己的票据序号。

如果返回的票据序号等于申请时的Owner 值，说明自旋锁处于未使用状态，则直接获得锁；否则，该线程忙等待检查slock 的Owner 部分是否等于自己持有的票据序号，一旦相等，则表明锁轮到自己获取。

线程释放锁时，原子地将Owner 域加1 即可，下一个线程将会发现这一变化，从忙等待状态中退出。

线程将严格地按照申请顺序依次获取排队自旋锁，从而完全解决了“不公平”问题。

但是在大规模多处理器系统和NUMA系统中，排队自旋锁（包括传统自旋锁）存在一个比较明显的性能问题：由于执行线程均在同一个共享变量slock 上自旋，申请和释放锁的时候必须对slock 进行修改，这将导致所有参与排队自旋锁操作的处理器的缓存变得无效。

如果排队自旋锁竞争比较激烈的话，频繁的缓存同步操作会导致繁重的系统总线和内存的流量，从而大大降低了系统整体的性能。

二、MCS Spinlock 的原理为了解决自旋锁可扩展性问题，学术界提出了许多改进版本，其核心思想是：每个锁的申请者（处理器）只在一个本地变量上自旋。

MCS Spinlock[2] 就是其中一种基于链表结构的自旋锁（还有一些基于数组的自旋锁）。

MCS Spinlock的设计目标如下：1.保证自旋锁申请者以先进先出的顺序获取锁（FIFO Ordering）。

2.只在本地可访问的标志变量上自旋。

3.在处理器个数较少的系统中或锁竞争并不激烈的情况下，保持较高性能。

4.自旋锁的空间复杂度（即锁数据结构和锁操作所需的空间开销）为常数。

5.在没有处理器缓存一致性协议保证的系统中也能很好地工作。

MCS Spinlock采用链表结构将全体锁申请者的信息串成一个单向链表，如图1 所示。

每个锁申请者必须提前分配一个本地结构mcs_lock_node，其中至少包括2 个域：本地自旋变量waiting 和指向下一个申请者mcs_lock_node 结构的指针变量next。

waiting 初始值为1，申请者自旋等待其直接前驱释放锁；为0 时结束自旋。

而自旋锁数据结构mcs_lock 是一个永远指向最后一个申请者mcs_lock_node 结构的指针，当且仅当锁处于未使用（无任何申请者）状态时为NULL 值。

MCS Spinlock 依赖原子的“交换”（swap）和“比较-交换”（compare_and_swap）操作，缺乏后者的话，MCS Spinlock 就不能保证以先进先出的顺序获取锁，从而可能造成“饥饿”（Starvation）。

图 1. MCS Spinlock 示意图MCS Spinlock 申请操作描述如下：1.申请者 B 使用原子交换操作将自旋锁mcs_lock 指向自己的mcs_lock_node 结构以确定在链表中的位置，并返回mcs_lock原来的值pre_mcs_lock。

即使多个执行线程同时申请锁，由于交换操作的原子性，每个执行线程的申请顺序将会被唯一确定，不会出现不一致的现象。

2.如果pre_mcs_lock 为NULL，表明锁无人使用，B 立即成为锁的拥有者，申请过程结束。

3.如果pre_mcs_lock 不为NULL，则表明pre_mcs_lock 指向申请者 B的直接前驱 A 的mcs_lock_node 结构，因此必须通过pre_mcs_lock 来修改A 的next 域指向B 自己，从而将链表构建完整。

4.然后B 一直在自己的mcs_lock_node 结构的waiting 域上自旋。

当B的直接前驱A 释放自旋锁时，A 只须通过next 域将B 的waiting 域修改为0 即可。

MCS Spinlock 释放操作描述如下：1.释放自旋锁时，锁的拥有者A 必须十分小心。

如果有直接后继B，即A的mcs_lock_node 结构的next 域不为NULL，那么只须将 B 的waiting 域置为0 即可。

2.如果A 此时没有直接后继，那么说明A “可能”是最后一个申请者（因为判断是否有直接后继和是否是最后一个申请者的这两个子操作无法原子完成，因此有可能在操作中间来了新的申请者），这可以通过使用原子比较-交换操作来完成，该操作原子地判断mcs_lock 是否指向 A 的mcs_lock_node 结构，如果指向的话表明 A 是最后一个申请者，则将mcs_lock 置为NULL；否则不改变mcs_lock 的值。

无论哪种情况，原子比较-交换操作都返回mcs_lock 的原值。

3.如果A 不是最后一个申请者，说明中途来了新的申请者B，那么A必须一直等待B 将链表构建完整，即A 的mcs_lock_node 结构的next 域不再为NULL。

最后A 通过next 域将B 的waiting 域置为0。

三、MCS Spinlock 的实现目前Linux 内核尚未使用MCS Spinlock。

根据上节的算法描述，我们可以很容易地实现MCS Spinlock。

本文的实现针对x86 体系结构(包括IA32 和x86_64)。

原子交换、比较-交换操作可以使用带LOCK 前缀的xchg(q)，cmpxchg(q)[3] 指令实现。

为了尽量减少工作量，我们应该重用现有的自旋锁接口[4]。

下面详细介绍raw_spinlock_t 数据结构，函数__raw_spin_lock、__raw_spin_unlock、__raw_spin_is_locked 和__raw_spin_trylock 的实现。

1.raw_spinlock_t数据结构由于MCS Spinlock 的申请和释放操作需要涉及同一个mcs_lock_node 结构，而且这个结构在现有的接口函数中并不存在，因此不适合使用接口函数的局部变量或是调用接口的外层函数的局部变量。

一个简单的方法是在raw_spinlock_t 数据结构中为每个处理器预备一个mcs_lock_node 结构（因为申请自旋锁的时候会关闭内核抢占，每个处理器上至多只有一个执行线程参与锁操作，所以只需要一个mcs_lock_node）。

在NUMA 系统中，mcs_lock_node 结构可以在处理器所处节点的内存中分配，从而加快访问速度。

为简化代码，本文的实现使用mcs_lock_node 数组。

清单1. raw_spinlock_t 数据结构typedef struct _mcs_lock_node {volatile int waiting;struct _mcs_lock_node *volatile next;} ____cacheline_aligned_in_smp mcs_lock_node;typedef mcs_lock_node *volatile mcs_lock;typedef struct {mcs_lock slock;mcs_lock_node nodes[NR_CPUS];} raw_spinlock_t;因为waiting 和next 会被其它处理器异步修改，因此必须使用volatile 关键字修饰，这样可以确保它们在任何时间呈现的都是最新的值。

加上____cacheline_aligned_in_smp 修饰在多处理器环境下会增加mcs_lock_node 结构的大小，但是可以使其按高速缓存管线（cache line）大小对齐以消除False Sharing[5]。

这是因为由于mcs_lock_node 结构比较小，每个等待的处理器在自己的mcs_lock_node 的waiting 域上自旋的时候，相邻处理器的mcs_lock_node 结构会一齐放在同一个高速缓存管线中（一般L1，L2 的高速缓存管线为64 字节），一旦锁拥有者处理器在释放锁阶段修改其直接后继的waiting 域时，会无效化整个高速缓存管线，因此可能造成一些后续等待者处理器的相应高速缓存管线也被迫更新，增加了系统总线的无谓开销。

1.__raw_spin_lock 函数清单2. __raw_spin_lock 函数static __always_inline void __raw_spin_lock(raw_spinlock_t *lock){int cpu;mcs_lock_node *me;mcs_lock_node *tmp;mcs_lock_node *pre;cpu = raw_smp_processor_id();(a)me = &(lock->nodes[cpu]);tmp = me;me->next = NULL;pre = xchg(&lock->slock, tmp); (b)if (pre == NULL) {/* mcs_lock is free */return;(c)}me->waiting = 1;pre->next = me; (d)while (me->waiting) { (e)rep_nop();}}1.raw_smp__processor_id() 函数获得所在处理器的编号，用以索引mcs_lock_node 结构。