Matlab多线程计算及多核心计算应用说明

关于Matlab多线程计算和多核心计算
1.关于多线程计算
Matlab是基于单线程单核心的一款软件，在近几年多核心，多线程处理器大规模部署后，其程序设计师才逐步改善matlab内核，让某些常用函数逐步支持多线程运算。

在matlab6.5-matlab2007b这些版本中，fft,fft2,fftn,ifft,ifft2,ifftn是默认支持多线程运算的，即只要调用这些函数，系统在运算时会开启多线程（计算机硬件须支持）
在matlab2008a-matlab2009a这些版本中，增加了prod,sum,max,min这几个函数的多线程运算功能，但是matlab内核版本不同会导致这些函数在多线程执行时效率不同。

按照其官方文档的说法，在支持多线程计算的matlab版本中，同样的fft运算可以提速50%。

但是多线程运算有一个缺点：在函数体或程序内部需要调用其他非多线程运算的函数时，执行效率会比较低，基本和不开启多线程运算差不多，也就是说，使用这些支持多线程的函数时，最好不要进行嵌套。

结论：matlab中多线程计算受限于版本以及特定的函数，在运算指定函数时效率较高，建议拥有多核心处理器的机器开启。

开启多线程方法：在命令行下输入：maxNumCompThreads()，括号内为需要开启的线程个数
2.关于多核心计算（并行计算和分布式计算）
2.1并行计算功能（Parallel Computing Toolbox）
Parallel Computing Toolbox是matlab2008a开始拥有的新功能，之前的版
本仅拥有Distributed Computing Toolbox。

并行计算工具箱里面包含了parfor,spmd,pmode，下面一一介绍（这些功能在分布式计算的应用暂不涉及）
2.1.1Parfor
这个是matlab提供的并行计算的for循环，需要matlab pool 的支持。

在matlab2008a以后的版本可以通过输入matlabpool local
命令开启，双核心处理器可以开启2个pool，在计算时会将任务分
解为两个并发线程计算，经验证可以缩短for循环的时间一半左右。

Parfor不能用于循环的嵌套，即在parfor循环体内不能调用for 或者while，否则会出错。

Matlab官方建议parfor循环中不要在循
环体内调用上一步循环的结果，否则会导致执行可能出错。

错误程序实例：
f=zeros(1,50);
f(1)=1;
f(2)=2;
parfor n=3:50
f(n)=f(n-1)+f(n-2);%循环嵌套
end
串行程序示例：
clear A
for i=1:8
A(i)=i;
end
并行程序示例：
clear A
parfor i=1:8
A(i)=i;
end
可以看出，执行串行和并行循环后得到的A矩阵是一致的，但是parfor循环体外部的值在循环后不会改变，如下例：
clear A
d=0;i=0;
for i=1:4
d=i*2;
A(i)=d;
End
执行后，A=[2,4,6,8]，d=8,i=4
但是将程序换为并行：
clear A
d=0;i=0;
parfor i=1:4
d=i*2;%注意：如果这句换为d=d+i，则d值和for循环一致
A(i)=d;
end
执行后A=[2,4,6,8]，d=0,i=0
即循环体外部值不随循环而改变，但串行执行时程序是顺序执行的，因此循环前的数据值在循环后会保留循环后最后状态的数据，而并行循环时因循环并行执行，故只保存循环体前面的状态。

此外，预分配空间对于并行for循环的提速作用也是很明显的。

看下面两个程序：
tic;
n=200;
M=magic(n);
R=rand(n);%循环体外部分配空间
parfor i=1:n
A(i)=sum(M(i,:).*R(n+1-i,:));
end
toc
Elapsed time is0.169305seconds.%程序执行时间
tic;
n=200;
parfor i=1:n
M=magic(n);
R=rand(n);%循环体内部分配空间
A(i)=sum(M(i,:).*R(n+1-i,:));
end
toc
Elapsed time is0.877587seconds.%多消耗5倍时间
1、parfor对于多层嵌套for循环的效果欠佳，就连matlab自带的例子，也就是二层嵌套，将内层改成parfor。

问题可能在于，目前的parfor只能用于最内层的循环，而每次开启并行，分配任务都需要时间，如果本身内层循环的计算很小的话，显然是得不偿失；实际使用下来，对于四层嵌套的for循环，最内层改成parfor，计算效率显著降低，改最头三层为parfor，直接提示错误。

通过修改算法，将4层循环改成1层parfor循环后，效率大幅度提升
2、以如下代码为例：
A=rand(10000,1);
B=A;
C=A;
parfor k=1:10000
C(k)=A(k)*3+B(k)*A(k);
end
若是4核的cpu，开启四个matlab程序进程，外加一个matlab主进程，矩阵A、B、C应该会在内存中会复制4份！！！因为本身的并行线程分配控制什么的，matlab调用了java，具体如何实现的尚不清楚，推测就是因为数据无关，循环次数确定，那么按照开启的matlabpool数目，进行平均或者动态分配，再有一个主线程监控，由于语法规则比OpenMP还要简化，那么很有可能矩阵ABC在每个进程中都被完整的复制一份。

如果是32位的系统，上例中的ABC三个矩阵，显然不宜开得过大
2.1.2Spmd(single program multiple data)
单程序多数据功能允许对程序进行注释，使得在分布式计算和使用matlab多labs计算的机器上对同一个程序同时运行。

在注释之前，matlab并不知道哪部分程序独立于其他程序，可以提前进行并行处理，所以仅仅在某些函数进行并行计算，在进行注释后，matlab可以提前利用多核心计算互不相关的子程序或者程序的某些部分以提高效率。

这个功能需要对现有程序进行小范围修改。

如下例：
spmd
<statements>
End
在statements字段的程序将利用所有的lab进行并行执行
如：
spmd
R=rand(4,4);
End
注：如果spmd语句内的程序存在嵌套，或者说数据之间不能独立存在，则仍会以串行方式执行或者报错
其他用法：
Spmd(n)%使用n个labs计算
R=rand(4,4);
End
Spmd（m,n）%使用至少m,至多n个lab计算
R=rand(4,4);
End
2.1.3Pmode
并行计算窗口，使用命令：pmode start local可以开启系统支持的
labs大小的窗口，同时执行同一个工作，每个工作创可以拥有不同
的变量值，在需要多次进行同一个工作时可以采用此方式。

2.2分布式计算功能
此功能在6.5的分布式计算功能发展而来，主要用于多计算机协同工作，即一个主机作为server分配job，其他得到job的client根据主机的要求进行计算，得出数据汇总于server，需要分布式计算工具箱或者并行计算工具箱支持，但是高版本不能兼容低版本。