C++ 多线程编程总结

C++ 多线程编程总结
在开发C++程序时，一般在吞吐量、并发、实时性上有较高的要求。

设计C++程序时，总结起来可以从如下几点提高效率：
∙l 并发
∙l 异步
∙l 缓存
下面将我平常工作中遇到一些问题例举一二，其设计思想无非以上三点。

1任务队列
1.1 以生产者-消费者模型设计任务队列
生产者-消费者模型是人们非常熟悉的模型，比如在某个服务器程序中，当User数据被逻辑模块修改后，就产生一个更新数据库的任务（produce），投递给IO模块任务队列，IO模块从任务队列中取出任务执行sql操作（consume）。

设计通用的任务队列，示例代码如下：
详细实现可参见
1.2 任务队列使用技巧
注意，此模式下为多任务队列，每个任务队列单线程。

1.2.3 连接池与异步回调
比如逻辑Service模块需要数据库模块异步载入用户数据，并做后续处理计算。

而数据库模块拥有一个固定连接数的连接池，当执行SQL的任务到来时，选择一个空闲的连接，执行SQL，并把SQL 通过回调函数传递给逻辑层。

其步骤如下：
∙n 预先分配好线程池，每个线程创建一个连接到数据库的连接
∙n 为数据库模块创建一个任务队列，所有线程都是这个任务队列的消费者
∙n 逻辑层想数据库模块投递sql执行任务，同时传递一个回调函数来接受sql执行结果
注意，此模式下为单任务队列，每个任务队列多线程。

2. 日志
本文主要讲C++多线程编程，日志系统不是为了提高程序效率，但是在程序调试、运行期排错上，日志是无可替代的工具，相信开发后台程序的朋友都会使用日志。

常见的日志使用方式有如下几种：
∙n 流式，如logstream << "start servie time[%d]" << time(0) << " app name[%s]"
<< app_string.c_str() << endl;
∙n Printf 格式如：logtrace(LOG_MODULE, "start servie time[%d] app name[%s]", time(0), app_string.c_str());
二者各有优缺点，流式是线程安全的，printf格式格式化字符串会更直接，但缺点是线程不安全，如果把app_string.c_str() 换成app_string （std::string），编译被通过，但是运行期会crash（如果运气好每次都crash，运气不好偶尔会crash）。

我个人钟爱printf风格，可以做如下改进：
∙l 增加线程安全，利用C++模板的traits机制，可以实现线程安全。

示例：
这样，除了标准类型+std::string 传入其他类型将编译不能通过。

这里只列举了一个参数的例子，可以重载该版本支持更多参数，如果你愿意，可以支持9个参数或更多。

∙l 为日志增加颜色，在printf中加入控制字符，可以再屏幕终端上显示颜色，Linux下示例：printf("\033[32;49;1m [DONE] \033[39;49;0m")
更多颜色方案参见：
∙l 每个线程启动时，都应该用日志打印该线程负责什么功能。

这样，程序跑起来的时候通过top –H – p pid 可以得知那个功能使用cpu的多少。

实际上，我的每行日志都会打印线程id，此线程id 非pthread_id，而其实是线程对应的系统分配的进程id号。

3. 性能监控
尽管已经有很多工具可以分析c++程序运行性能，但是其大部分还是运行在程序debug阶段。

我们需要一种手段在debug和release阶段都能监控程序，一方面得知程序瓶颈之所在，一方面尽早发现哪些组件在运行期出现了异常。

通常都是使用gettimeofday 来计算某个函数开销，可以精确到微妙。

可以利用C++的确定性析构，非常方便的实现获取函数开销的小工具,示例如下
struct profiler{
profiler(const char* func_name){
gettimeofday(&tv, NULL);
m_func_name=func_name;
}
~profiler(){
struct timeval tv2;
gettimeofday(&tv2, NULL);
long cost = (_sec - _sec) * 1000000 + (_usec - _usec);
//! post to some manager
}
struct timeval tv;
const char * m_func_name;
};
#define PROFILER() profiler
____profiler_instance##__LINE__(__FUNCTION__)
Cost 应该被投递到性能统计管理器中，该管理器定时讲性能统计数据输出到文件中。

4 Lambda 编程
使用foreach 代替迭代器
很多编程语言已经内建了foreach，但是c++还没有。

所以建议自己在需要遍历容器的地方编写foreach函数。

澳门新濠天地 习惯函数式编程的人应该会非常钟情使用foreach，使用foreach的好处多多少少有些，如：
但主要是编程哲学上层面的。

示例：
void user_mgr_t::foreach(boost::function<void (user_t&)> func_){
for (iterator it = m_users.begin(); it != m_users.end() ++it){
func_(it->second);
}
}
这样当要改动该接口时，直接在该接口内修改代码，非常直观。

5. 奇技淫巧
利用shared_ptr 实现map/reduce
Map/reduce的语义是先将任务划分为多个任务，投递到多个worker中并发执行，其产生的结果经reduce汇总后生成最终的结果。

Shared_ptr的语义是什么呢？当最后一个shared_ptr析构时，将会调用托管对象的析构函数。

语义和map/reduce过程非常相近。

我们只需自己实现讲请求划分多个任务即可。

示例过程如下：
∙l 定义请求托管对象，加入我们需要在10个文件中搜索“oh nice”字符串出现的次数，定义托管结构体如下：
∙l 定义执行任务的worker
∙l 将任务分割后，投递给不同的worker。