多线程传输文件.

c++实现文件传输之三：断点续传与多线程传输继木马编程DIY的上两篇,现在我们开始讨论断点续传与多线程文件传输的实现.其实这两项功能是下载软件所必不可少的功能了,现在我们把它加到自己的木马中来感受感受.提到多线程下载,首先向网络蚂蚁的作者洪以容前辈致敬,正是由于网络蚂蚁而使得多线程下载被关注并流行起来.在这本篇文章中我们将简单的实现支持断点续传和多线程传输的程序.为了更清晰的说明问题,我们将断点续传与多线程传输分别用两个程序来实现多线程传输实现实现原理将源文件按长度为分为N块文件,然后开辟N个线程,每个线程传输一块,最后合并所有线线程文件.比如一个文件500M我们按长度可以分5个线程传输.第一线程从0-100M,第二线程从100M-200M......最后合并5个线程文件.实现流程1.客户端向服务端请求文件信息(名称,长度)2.客户端跟据文件长度开辟N个线程连接服务端3.服务端开辟新的线程与客户端通信并传输文件4.客户端将每线程数据保存到一个文件5.合并所有线程文件编码实现大体说来就是按以上步骤进行,详细的实现和一些要点,我们跟据以上流程在编码中实现结构定义在通信过程中需要传递的信息包括文件名称,文件长度,文件偏移,操作指令等信息,为了方便操作我们定义如下结构代码:typedef struct{char Name[100]; //文件名称int FileLen; //文件长度int CMD; //操作指令int seek; //线程开始位置SOCKET sockid;}FILEINFO;1.请求文件信息客户端代码如下代码:FILEINFO fi;memset((char*)&fi,0,sizeof(fi));fi.CMD=1; //得到文件信息if(send(client,(char*)&fi,sizeof(fi),0)==SOCKET_ERROR){cout<<"Send Get FileInfo Error\n";}服务端代码如下while(true){SOCKET client;if(client=accept(server,(sockaddr *)&clientaddr,&len)){FILEINFO RecvFileInfo;memset((char*)&RecvFileInfo,0,sizeof(RecvFileInfo));if(recv(client,(char*)&RecvFileInfo,sizeof(RecvFileInfo),0)==SOCKET_ER ROR){cout<<"The Clinet Socket is Closed\n";break;}else{EnterCriticalSection(&CS); //进入临界区memcpy((char*)&TempFileInfo,(char*)&RecvFileInfo,sizeof(RecvFile Info));switch(TempFileInfo.CMD){case 1:GetInfoProc (client);break;case 2:TempFileInfo.sockid=client;CreateThread(NULL,NULL,GetFileProc,NULL,NULL,NUL L);break;}LeaveCriticalSection(&CS); //离开临界区}}}在这里服务端循环接受连接,并跟据TempFileInfo.CMD来判断客户端的请求类型,1为请求文件信息,2为下载文件因为在下载文件的请求中,需要开辟新的线程,并传递文件偏移和文件大小等信息,所以需要对线程同步.这里使用临界区其文件信息函数GetInfoProc代码如下代码:DWORD GetInfoProc(SOCKET client){CFile file;if(file.Open(FileName,CFile::modeRead|CFile::typeBinary)){int FileLen=file.GetLength();if(send(client,(char*)&FileLen,sizeof(FileLen),0)==SOCKET_ERROR){cout<< "Send FileLen Error\n";}else{cout<< "The Filelen is "<<FileLen<<"\n\n";}}return 0;}这里主要是向客户端传递文件长度,而客户端收到长度后则开辟线程进行连接传输文件2.客户端跟据长度开辟线程其实现代码如下代码:FILEINFO FI;int FileLen=0;if(recv(client,(char*)&FileLen,sizeof(FileLen),0)==SOCKET_ERROR)//接受文件长度{cout<<"Recv FileLen Error\n";}else{cout<<"FileLen is "<<FileLen<<"\n";int COUNT_SIZE=FileLen/5; //每线程传输大小for(int i=0;i<5;i++) //分5个线程传输{EnterCriticalSection(&CS); //进入临界区memset((char*)&FI,0,sizeof(FI));FI.CMD=2; //请求下载文件FI.seek=i*COUNT_SIZE; //线程文件偏移if(i+1==5) //最后一线程长度为总长度减前4个线程长度{FI.FileLen=FileLen-COUNT_SIZE*i;}else{FI.FileLen=COUNT_SIZE;}Thread=CreateThread(NULL,NULL,GetFileThread,&i,NULL,NULL);Sleep(500);LeaveCriticalSection(&CS); //离开临界区}}WaitForMultipleObjects(5,Thread,true,INFINITE); //等所有线程结束这里默认开辟5个线程传输,当然可以改为想要的线程数目,仍然用临界区来实现线程的同步问题3.服务端开辟线程传输数据在1.请求文件信息中以说明了服务端的结构,这里主要介绍线程函数的实现,其代码如下代码:DWORD WINAPI GetFileProc(LPVOID lparam){EnterCriticalSection(&CS); //进入临界区int FileLen=TempFileInfo.FileLen;int Seek=TempFileInfo.seek;SOCKET client=TempFileInfo.sockid;LeaveCriticalSection(&CS); //离开临界区CFile file;if(file.Open(FileName,CFile::modeRead|CFile::typeBinary)){file.Seek(Seek,CFile::begin); //指针移至偏移位置char *date=new char[FileLen];int nLeft=FileLen;int idx=0;file.Read(date,FileLen);while(nLeft>0){int ret=send(client,&date[idx],nLeft,0);if(ret==SOCKET_ERROR){cout<<"Send Date Error \n";break;}nLeft-=ret;idx+=ret;}file.Close();delete[] date;}else{cout<<"open the file error\n";}closesocket(client);return 0;}还是比较简单的,主要是获取线程的文件长度和偏移,并移动文件指针到偏移处,最后读取发送数据,而客户端接受数据并写入文件.4.客户端将线程数据保存到文件GetFileThread的实现代码如下代码:DWORD WINAPI GetFileThread(LPVOID lparam){char TempName[MAX_PATH];sprintf(TempName,"TempFile%d",*(DWORD*)lparam); //每线程的文件名为"TempName"+线程数SOCKET client;SOCKADDR_IN serveraddr;int port=5555;client=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);serveraddr.sin_family=AF_INET;serveraddr.sin_port=htons(port);serveraddr.sin_addr.S_un.S_addr=inet_addr("127.0.0.1");if(connect(client,(SOCKADDR*)&serveraddr,sizeof(serveraddr))==INVALID_SOCK ET){cout<<"Connect Server Error\n";}EnterCriticalSection(&CS); //进入临界区if(send(client,(char*)&FI,sizeof(FI),0)==SOCKET_ERROR){cout<<"Send GetFile Error\n";return 0;}CFile file;int FileLen=FI.FileLen; //文件长度int Seek=FI.seek; //文件偏移LeaveCriticalSection(&CS); //离开临界区if(file.Open(TempName,CFile::modeWrite|CFile::typeBinary|CFile::modeCreate)) {char *date = new char[FileLen];int nLeft=FileLen;int idx=0;while(nLeft>0){int ret=recv(client,&date[idx],nLeft,0);if(ret==SOCKET_ERROR){cout<<"Recv Date Error";break;}idx+=ret;nLeft-=ret;}file.Write(date,FileLen);file.Close();delete[] date;}else{cout<<"Create File Error\n";}return 0;}在此线程函数中,将每线程传输的数据存为一个文件,文件名为"TempName"+线程数,只所以存成单独的文件是因为比较直观且容易理解,但如果文件很大的话这个方法并不好,因为合并文件又会花费很多时间,另一个方法是创始一个文件,让每个线程写入文件的不同偏移,这样就可以不必单独合并文件了,但要记得打开文件时加入CFile::shareDenyNone属性.这样整个过程就完成了.最后一步合并线程文件5.合并线程文件代码:int UniteFile() //合并线程文件{cout<<"Now is Unite Fileing...\n";int len;char *date;CFile file;CFile file0;/*其它文件......*/if(file.Open(FileName,CFile::modeCreate|CFile::typeBinary|CFile::modeWrite))//创建文件{file0.Open("TempFile0",CFile::modeRead|CFile::typeBinary);//合并第一线程文件len=file0.GetLength();date=new char[len];file0.Read(date,len);file.SeekToEnd();file.Write(date,len);file1.Open("TempFile1",CFile::modeRead|CFile::typeBinary);//合并第二线程文件len=file1.GetLength();date=new char[len];file1.Read(date,len);file.SeekToEnd();file.Write(date,len);/*合并其它线程......*/file0.Close();file1.Close();/*.......*/delete[] date;return true;}else{return false;}}这个简单,就是打开一个文件读取到缓冲区,写入文件,再打开第二个......现在多线程传输部分就介绍完了下面讨论断断点续传的实现!c++实现文件传输之四：断点传输收藏所谓的断点续传就是指:文件在传输过程式中被中断后,在重新传输时,可以从上次的断点处开始传输,这样就可节省时间,和其它资源.实现关键在这里有两个关键点,其一是检测本地已经下载的文件长度和断点值,其二是在服务端调整文件指针到断点处实现方法我们用一个简单的方法来实现断点续传的功能.在传输文件的时候创建一个临时文件用来存放文件的断点位置在每次发送接受文件时,先检查有没有临时文件,如果有的话就从临时文件中读取断点值,并把文件指针移动到断点位置开始传输,这样便可以做到断点续传了实现流程首次传输其流程如下1.服务端向客户端传递文件名称和文件长度2.跟据文件长度计算文件块数(文件分块传输请参照第二篇文章)3.客户端将传输的块数写入临时文件(做为断点值)4.若文件传输成功则删除临时文件首次传输失败后将按以下流程进行1.客户端从临时文件读取断点值并发送给服务端2.服务端与客户端将文件指针移至断点处3.从断点处传输文件编码实现因为程序代码并不复杂,且注释也比较详细,这里就给出完整的实现其服务端实现代码如下代码:int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){cout<<"\t\t服务端-断点续传"<<"\t 作者:冷风\n\n"<<"请输入被下载的文件路径如C:\\File.rar \n\n"<<"文件路径: ";cin >>FilePath;/*这部分为网络参数与设置,详细请参照源代码......*/while(true){if(client=accept(server,(sockaddr *)&clientaddr,&len)){cout<<"have one connect\n";int nCurrentPos=0;//接受断点值if(recv(client,(char*)&nCurrentPos,sizeof(nCurrent Pos),0)==SOCKET_ERROR){cout<<"The Clinet Socket is Closed\n";break;}else{cout<<"The Currentpos isThe"<<nCurrentPos<<"\n";GetFileProc (nCurrentPos,client);}}}closesocket(server);closesocket(client);WSACleanup();return 0;return 0;}DWORD GetFileProc (int nCurrentPos,SOCKET client){cout <<"Get File Proc is ok\n";CFile file;int nChunkCount=0; //文件块数if(file.Open(FilePath,CFile::modeRead|CFile::typeBinary)){if(nCurrentPos!=0){file.Seek(nCurrentPos*CHUNK_SIZE,CFile::begin);//文件指针移至断点处cout<<"file seek is"<<nCurrentPos*CHUNK_SIZE<<"\n";}int FileLen=file.GetLength();nChunkCount=FileLen/CHUNK_SIZE;//文件块数if(FileLen%nChunkCount!=0)nChunkCount++;send(client,(char*)&FileLen,sizeof(FileLen),0); //发送文件长度char *date=new char[CHUNK_SIZE];for(int i=nCurrentPos;i<nChunkCount;i++) //从断点处分块发送{cout<<"send the count"<<i<<"\n";int nLeft;if(i+1==nChunkCount) //最后一块nLeft=FileLen-CHUNK_SIZE*(nChunkCount-1 );elsenLeft=CHUNK_SIZE;int idx=0;file.Read(date,CHUNK_SIZE);while(nLeft>0){int ret=send(client,&date[idx],nLeft,0);if(ret==SOCKET_ERROR){cout<<"Send The Date Error \n";break;}nLeft-=ret;idx+=ret;}}file.Close();delete[] date;}else{cout<<"open the file error\n";}return 0;}客户端实现代码如下代码:int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){cout<<"\t\t客户端-断点续传"<<"\t 作者:冷风\n\n"<<"请输入保存文件的路径如C:\\Save.RAR \n\n"<<"文件路径: ";cin >>FilePath;/*网络参数初示化,详细请参照源代码......*/if(connect(client,(SOCKADDR*)&serveraddr,sizeof(serveraddr) )==INVALID_SOCKET){cout<<"Connect Server Error";return 0;}int FileLen=0;int nCurrentPos=0; //断点位置UINT OpenFlags;CFile PosFile;if(PosFile.Open("PosFile.temp",CFile::modeRead|CFile::typeBi nary))//如果有临时文件则读取断点{PosFile.Read((char*)&nCurrentPos,sizeof(nCurrentPos));//读取断点位置cout<<"The File Pos is "<<nCurrentPos<<"\n";nCurrentPos=nCurrentPos+1; //从断点的下一块开始PosFile.Close();send(client,(char*)&nCurrentPos,sizeof(nCurrentPos),0);//发送断点值OpenFlags=CFile::modeWrite|CFile::typeBinary;//文件为可写}else{send(client,(char*)&nCurrentPos,sizeof(nCurrentPos),0);//无断点文件nCurrentPos为0OpenFlags=CFile::modeWrite|CFile::typeBinary|CFile::m odeCreate;//创建文件方式}if(recv(client,(char*)&FileLen,sizeof(FileLen),0)!=0)//接受文件长度{int nChunkCount;CFile file;nChunkCount=FileLen/CHUNK_SIZE; //计算文件块数if(FileLen%nChunkCount!=0){nChunkCount++;}if(file.Open(FilePath,OpenFlags)){file.Seek(nCurrentPos*CHUNK_SIZE,CFile::begin);//文件指针移至断点处char *date = new char[CHUNK_SIZE];for(int i=nCurrentPos;i<nChunkCount;i++) //从断点处开始写入文件{cout<<"Recv The Chunk is "<<i<<"\n";int nLeft;if(i+1==nChunkCount) //最后一块nLeft=FileLen-CHUNK_SIZE*(nChunkCo unt-1);elsenLeft=CHUNK_SIZE;int idx=0;while(nLeft>0){int ret=recv(client,&date[idx],nLeft,0);if(ret==SOCKET_ERROR){cout<<"Recv Date Error";return 0;}idx+=ret;nLeft-=ret;}file.Write(date,CHUNK_SIZE);CFile PosFile; //将断点写入PosFile.temp文件int seekpos=i+1;if(PosFile.Open("PosFile.temp",CFile::modeWr ite|CFile::typeBinary|CFile::modeCreate));{PosFile.Write((char*)&seekpos,sizeof(se ekpos));PosFile.Close();}}file.Close();delete[] date;}if(DeleteFile("PosFile.temp")!=0){cout<<"文件传输完成";}}return 0;}客户端运行时会试图打开临时文件,如果存在则读取断点值,如果不存在则断点为0,打开文件后将文件指针移至断点处开始接受数据,每接受一块就把当前块的数值存入临时文件.其实现代码比较简单结合上面的流程介绍看代码应该没什么难度,所以我也就不画蛇添足了.到此文件传输部分就介绍完毕了,在写文件传输这一系列程序的过程中界面实现主要参考了VC知识库王景生的<<VC控件TreeCtrl与ListCtrl演示>>一文在功能实现一篇中主要参考了"草草"的SEU_PEEPER木马的源代码!。