分布式计算中多队列线程池的设计与实现

分布式计算中多队列线程池的设计与实现摘要：随着网络和分布式计算的日益发展，应用程序及其处理的数据的规模也在不断增加。如何保证分布式计算环境下，往往不同的计算任务使用不同的计算资源，如何提高服务器集群整体的吞吐率和运行效率，是构建此类应用时面临的较为棘手的问题。使用对不同计算资源进行分别处理的方法，设计并实现一种高效的多队列线程池，针对分布式计算环境做进一步的改进，并对其进行性能分析。这种方法已经应用到某协同计算平台的实现中，并取得了很好的效果。

关键词：分布式计算线程池多线程任务迁移优先级队列

中图分类号：tp393.05 文献标识码：a 文章编号：1007-3973（2013）004-095-04

1 引言

随着网络和分布式计算的发展，应用程序程序及其处理的数据的规模也在不断增加，单个应用节点已经很难快速处理海量的数据。很多大型应用都采用分布式模式来处理其业务逻辑和数据信息。在这种情况下，每时每刻都有大量的请求到达应用服务器等待处理。如何在客户请求数量迅速增长的情况下，保持高效的吞吐率并让每个客户得到满意的服务性能，是一个亟待解决的问题。

线程池技术的出现为这一类问题提供了解决方法。由于线程是比进程更轻巧的程序调度单位，因而比进程更少耗费资源。另外，

由于线程池中始终保证了一定数量的工作线程的存在，因此服务器端尽可能地减少了创建和销毁对象的次数，特别是一些很耗费资源的对象的创建和销毁。

然而传统的线程池技术使用唯一的工作队列来保存需要处理的任务，导致了对于竞争不同计算资源的可并行处理的任务之间不能进行有效的调度，从而影响了系统的吞吐率和服务器集群整体的运行性能。

在本文实现所处的分布式计算环境下，为了提高服务器集群的并发度，设计并实现了一种多队列线程池，采用了对不同计算资源分别进行处理的方式，将需要使用不同计算资源的任务发送到不同的任务队列上。保证了对于不同计算资源的并行处理，极大地保证了服务器集群整体的运行性能和应用服务器的吞吐率。

本文按如下方式组织：第2节介绍线程池技术的基本原理；第3节介绍多队列线程池的设计和实现；第4节是性能测试数据和分析；最后是全文的小结。

2 传统线程池技术基本原理与不足

2.1 传统线程池技术原理

在传统的线程池技术出现之前，应用服务器往往需要对每个任务创建一个线程，并由这个线程负责该任务的执行。这种方法导致了大量线程的产生，比如当应用服务器上客户端提交了数量庞大的运行时间较短、各自独立的任务时，服务器端将不断创建和销毁大

量的线程，这势必会造成系统资源的耗尽。

传统线程池技术使用共用工作队列的方法，解决了上述每个任务都创建线程的方法带来的问题。传统线程池技术使用一个共用的工作队列和一个线程池来利用底层的硬件提供的并发性，对计算任务进行处理。如图1所示，服务器应用使用一个共用的工作队列来存放从客户端提交的计算任务。线程池中所有的工作线程，从共用的工作队列中检索任务并执行任务直至完成。如果工作队列中没有任务的话，线程就阻塞在队列上。代码1提供了一个传统的使用共同工作队列的线程池的简单实现。

图1 共用工作队列线程池

代码1. 共用工作队列线程池简单实现

/* 定义共用的工作队列和线程池来执行客户端提交的任务 */ public class simpleworkqueue {

private final poolworker[] threads；

private final blockingdeque queue；

public simpleworkqueue（int nthreads）

{

queue = new linkedblockingdeque（）；

threads = new poolworker[nthreads]；

for （int i=0； i

threads[i] = new poolworker（）；

threads[i].start（）；

}

}

/* 内部工作线程类，用来执行远程任务 */ private class poolworker extends thread {

/*

* 方法从工作队列中检索任务并开始执行任务

* 如果队列中没有任务的话线程将等待

*/

public void run（） {

while （！stopnow） {

try {

runnable r = （runnable） queue.takelast（）；r.run（）；

} catch （ ng.throwable e） { }

}

}

}

}

2.2 传统线程池技术的不足

（1）工作线程之间的竞争。

由图1我们可以看出，线程池中一定数量的工作线程，共同竞争共用工作队列上的任务。这就需要在工作队列的实现时，考虑各个工作线程之间的同步机制，为工作队列设计带锁的数据结构是一种解决方法。但是这无疑增加了编程的复杂度和系统运行期死锁的概率。因此传统的线程池技术并不能避免或者隔离线程池中多个工作线程之间的竞争。

（2）不能定义任务优先级。

由于系统共用一个工作队列，因此由客户端提交的计算任务不能定义任务的优先级。所有计算任务将被统一的在工作队列中排队，按照先来先服务的方法进行调度执行。此时，即使客户端有优先级级别较高的计算任务需要执行，也只能排队等待工作队列中排在前面的计算任务先执行完毕，才能够调度执行。这势必会造成客户端响应的延迟和用户使用的友好性。

3 多队列线程池设计与实现

3.1 多队列线程池基本原理与实现

如图2所示，我们设计了一种每个工作线程一个工作队列（queue-per-thread）的方法--以此来隔离工作线程之间的竞争，并针对使用不同计算任务和具有不同优先级的任务在不同的工作队列中进行排队。如图2所示。

图2 queue-per-thread线程池

在这一方法中，每个线程都有自己的工作队列，一般情况下一