数据结构课程设计-文本压缩

数据结构课程设计报告实验二：文本文件压缩一、设计要求1、问题描述：根据huffman编码以及二叉树的相关知识实现文本文件的压缩（即将输入的字符串转换为二进制编码）和解压（即将二进制编码转换为字符串）2、输入：文本文件（压缩文件）。

3、输出：压缩文件（文本文件）。

知识点：堆、霍夫曼树、二叉树遍历实际输入输出情况：源文件为文本文件，内容如下：输出的文件是以.zl0010为扩展名的二进制文件，将其用记事本以文本方式打开得到如下文件：解压过程如下：解压获得的文件doc.txt.zl0010.txt比较发现源文件与解压缩后文件内容相同。

一、数据结构与算法描述1.对输入文件的处理创建文件输入流，将源文本文件以二进制方式打开，建立保存每个Byte频率的数组count[256]，并通过对文件的第一次遍历，完成对Byte频率的统计。

其中bytecount变量记录输入的字节数，关键代码如下：string filename;//文件名int count[256];//每个字符的频率for(int i=0;i<256;i++)count[i]=0;std::ifstream ifs;//输入流std::cout<<"请输入需要压缩的文件路径"<<std::endl;std::cin>>filename;ifs.open(filename,std::ifstream::binary);if(!ifs){std::cout<<"文件打开错误"<<std::endl;system("pause");exit(0);}char buf;int bytecount=0;//计算总共输入了多少字节std::cout<<"正在计算频率……"<<std::endl;while(!ifs.eof()){ifs.read((char*)&buf,1);/*buf+=128;count[buf]++;*/if(ifs.eof())break;count[(int)buf+128]++;bytecount++;/*std::cout<<(int)buf<<std::endl;*/}2.哈夫曼树的建立及编码过程以第一步中统计的Byte出现频率为每个树节点的权值，进行哈夫曼树的构建，并通过构建的哈夫曼树，获取std::string类型的哈夫曼编码。

关键代码如下：std::cout<<"正在编码……"<<std::endl;BTree tree=HuffmanTree(count,256);string* codes;//保存的是每个字符的编码codes=Getcode(count,256,tree);其中HuffmanTree方法得到以count数组为权值的哈夫曼树，Getcode方法返回的是std::string类的数组，这种编码需要后面进一步处理输出二进制文件。

3.输出压缩文件过程该过程的思路如下：将哈夫曼编码每8位作为一个新的字符，将该字符的ASCII码输出到二进制文件中。

由于在源文件中得到的Bytes是-128到127之间的值，需要建立该域与数组索引0到255间的映射。

将得到的字符串形式的编码进行转换，成为对应该编码的二进制串，因为二进制串在C++语言中无法直接输出，所以先将其转换为Int型，再转为char型进行二进制输出。

以下为该过程的代码：int bstringtoint(const string& str){if(str.size()!=8){std::cout<<"转码错误"<<std::endl;exit(0);}int result=0;for(int i=0;i<8;i++)result+=(str[i]-'0')*pow(2,7-i);return result;}在输出过程中使用一个byteoutcount变量来计算输出的字节数。

以下是输出过程的关键代码，其中ofs变量为输出流：string outbuf;int intbuf;//每个将被输出的字节保存在这里int byteoutcount=0;while(!ifs.eof()){ifs.read((char*)&buf,1);if(ifs.eof())break;outbuf+=codes[(int)buf+128];while(outbuf.size()>=8){intbuf=bstringtoint(outbuf.substr(0,8))-128;ofs.write((char*)&intbuf,1);outbuf.erase(0,8);byteoutcount++;}}还要考虑的一个问题是最后的一个byte可能不到8位，我在这里用0补全8位进行最后一位的输出，关键代码如下：if(!outbuf.empty()){outbuf.append(8-outbuf.size(),'0');intbuf=bstringtoint(outbuf)-128;ofs.write((char*)&intbuf,1);}byteoutcount++;如果仅考虑压缩，该过程到此结束。

而为了进行解压缩，我们必须要在压缩文件中保存字典，在这里我的思路是将计算好的字符频率保存在文件中，而在解压缩时利用他们重新构建哈夫曼树，关键代码如下：for(int i=0;i<256;i++){ofs.write((char*)&count[i],sizeof(int));}//输出字符出现频率,即字典ofs.write((char*)&bytecount,sizeof(int));//输出原文件字节数目，方便解压时使用这样整个压缩过程就结束了4.解压缩过程解压缩过程中利用.zl0010文件中的byte频率重建哈夫曼树，该过程除频率的获取过程外与压缩时相同，关键代码如下：std::cout<<"读取数据……"<<std::endl;for(int i=0;i<256;i++)ifs.read((char*)&count[i],sizeof(int));tree=HuffmanTree(count,256);然后获取压缩时输出的字节数，并保存在bytecount变量中，代码如下：ifs.read((char*)&bytecount,sizeof(int));与压缩过程对应，解压缩时需要将获取的byte转换为string 的编码，并且利用指针对哈夫曼树进行追踪，逐步输出整篇被压缩文本。

主要代码如下：while(!ifs.eof()){ifs.read((char*)&buf,1);if(ifs.eof())break;outbuf=inttobstring((int)buf+128);//std::cout<<outbuf<<std::endl;for(string::iterator it=outbuf.begin();it!=outbuf.end();++it){if(*it=='0')p=p->getleft();else p=p->getright();if (p->getdata()!=-1){bufdata=p->getdata()-128;//std::cout<<p->getdata()<<std::endl;ofs.write((char*)&bufdata,1);p=tree.root;outcount++;}if(outcount==bytecount)break;}if(outcount==bytecount)break;}这样解压缩过程就结束了。

二、分析与探讨1．测试结果分析通过压缩解压缩过程中对.txt 文件和.txt.zl0010.txt文件的对比发现整个过程准确无误，哈夫曼压缩的压缩率对于英文相对较高，可达到50%左右，而对中英混合的文档则不算理想，这个问题的产生主要是因为单纯英文，byte的分布比较集中于0到127之间，而中英混合时则更均匀分布到-128到0之间，考虑到哈夫曼压缩的思想是出现频率高的字符编码较短，如果字符出现频率分布均匀则编码长度无法有较明显区分。

2．算法分析1、建立huffman树的时间复杂性为O(n^2)，此时n为256，所以在该过程中时间复杂度为O(1)2、给叶子节点分配二进制码的时间复杂性为O(n*树高)3、输出压缩文件过程的时间复杂性为O(n)，其中n为源文件的字符个数。

4、解压缩过程的时间复杂性为O(n)，其中n为目标文件的字符个数附录：源代码文件一：treeNode.h#pragma onceclass treeNode{friend class BTree;private:int data;treeNode* left;treeNode* right;public:treeNode(const int& data,treeNode* left,treeNode* right);int getdata(){return data;}treeNode* getleft(){return left;}treeNode* getright(){return right;}};文件二：treeNode.cpp#include"treeNode.h"treeNode::treeNode(const int& data=0,treeNode* left=0,treeNode* right=0) {this->data=data;this->left=left;this->right=right;}文件三：BTree.h#pragma once#include"treeNode.h"#include<string>#include<iostream>class BTree{friend class Huffman;friend std::string* Getcode(int a[],int n,const BTree& HTree);friend int main();private:treeNode* root;public:BTree();void MakeTree(const int& data,BTree& left,BTree& right);//BTree HuffmanTree(int a[],int n);};class Huffman{friend class BTree;friend BTree HuffmanTree(int[],int);private:BTree tree;int weight;public:bool operator<(const Huffman& H) const{return (this->weight)>(H.weight);}};文件四：BTree.cpp(压缩)//coded by cs3_zhanglin//压缩器和解压缩器写在了不同的cpp文件中//两个程序公用treeNode.cpp treeNode.h BTree.h三个文件//这是压缩器#include"BTree.h"#include<queue>#include<math.h>#include<fstream>using std::string;BTree::BTree(){this->root=0;}void BTree::MakeTree(const int& data,BTree& left,BTree& right) {this->root=new treeNode(data,left.root,right.root);left.root=right.root=0;}BTree HuffmanTree(int a[],int n){Huffman* w=new Huffman[n];BTree z,zero;for(int i=0;i<n;i++){z.MakeTree(i,zero,zero);w[i].weight=a[i];w[i].tree=z;}std::priority_queue<Huffman> pq;for(int i=0;i<n;i++){if(w[i].weight!=0)pq.push(w[i]);}Huffman x,y;while(true){x=pq.top();pq.pop();y=pq.top();pq.pop();z.MakeTree(-1,x.tree,y.tree);x.weight+=y.weight;x.tree=z;if(pq.empty()){delete[] w;return z;}pq.push(x);}}bool findcode(const int& goal,treeNode* HTree,string& result) {if(HTree==0)return false;if(HTree->getdata()==goal)return true;if(findcode(goal,HTree->getleft(),result)){result.insert(0,"0");return true;}if(findcode(goal,HTree->getright(),result)){result.insert(0,"1");return true;}return false;}string* Getcode(int a[],int n,const BTree& HTree) {string* code=new string[n];for(int i=0;i<n;i++)code[i]="";for(int i=0;i<n;i++)if(a[i]!=0)findcode(i,HTree.root,code[i]);return code;}int bstringtoint(const string& str){if(str.size()!=8){std::cout<<"转码错误"<<std::endl;exit(0);}int result=0;for(int i=0;i<8;i++)result+=(str[i]-'0')*pow(2,7-i);return result;}string inttobstring(int codeint){string str;while(codeint!=0){if(codeint%2==1)str=str.insert(0,"1");elsestr=str.insert(0,"0");codeint=codeint/2;}if(str.size()!=8)str.insert(0,8-str.size(),'0');return str;}int main()//压缩器{string filename;//文件名int count[256];//每个字符的频率for(int i=0;i<256;i++)count[i]=0;std::ifstream ifs;//输入流std::cout<<"请输入需要压缩的文件路径"<<std::endl;std::cin>>filename;ifs.open(filename,std::ifstream::binary);if(!ifs){std::cout<<"文件打开错误"<<std::endl;system("pause");exit(0);}char buf;int bytecount=0;//计算总共输入了多少字节std::cout<<"正在计算频率……"<<std::endl;while(!ifs.eof()){ifs.read((char*)&buf,1);/*buf+=128;count[buf]++;*/if(ifs.eof())break;count[(int)buf+128]++;bytecount++;/*std::cout<<(int)buf<<std::endl;*/}//for(int i=0;i<256;i++)//{// //std::cout<<i<<':'<<count[i]<<std::endl;//}std::cout<<"正在编码……"<<std::endl;BTree tree=HuffmanTree(count,256);string* codes;//保存的是每个字符的编码codes=Getcode(count,256,tree);/*for(int i=0;i<256;i++){std::cout<<i<<':'<<codes[i]<<std::endl;}*/std::cout<<"正在压缩……"<<std::endl;std::ofstream ofs;//输出流ifs.clear();ofs.open(filename+".zl0010",std::ofstream::out|std::ofstream::binary);for(int i=0;i<256;i++){ofs.write((char*)&count[i],sizeof(int));}//输出字符出现频率,即字典ofs.write((char*)&bytecount,sizeof(int));//输出原文件字节数目，方便解压时使用ifs.seekg(0,std::ifstream::beg);//文件指针回到头部string outbuf;int intbuf;//每个将被输出的字节保存在这里int byteoutcount=0;while(!ifs.eof()){ifs.read((char*)&buf,1);if(ifs.eof())break;outbuf+=codes[(int)buf+128];while(outbuf.size()>=8){intbuf=bstringtoint(outbuf.substr(0,8))-128;ofs.write((char*)&intbuf,1);outbuf.erase(0,8);byteoutcount++;}}if(!outbuf.empty()){outbuf.append(8-outbuf.size(),'0');intbuf=bstringtoint(outbuf)-128;ofs.write((char*)&intbuf,1);}byteoutcount++;std::cout<<"输入"<<bytecount<<"个字节，输出"<<byteoutcount<<"个字节"<<std::endl; double yasuolv=byteoutcount/(double)bytecount;std::cout<<"压缩成功"<<",压缩率是"<<yasuolv*100<<"%"<<std::endl;system("pause");}文件五：BTree.cpp(解压缩)#include"BTree.h"#include<queue>#include<math.h>#include<fstream>using std::string;BTree::BTree(){this->root=0;}void BTree::MakeTree(const int& data,BTree& left,BTree& right){this->root=new treeNode(data,left.root,right.root);left.root=right.root=0;}BTree HuffmanTree(int a[],int n){Huffman* w=new Huffman[n];BTree z,zero;for(int i=0;i<n;i++){z.MakeTree(i,zero,zero);w[i].weight=a[i];w[i].tree=z;}std::priority_queue<Huffman> pq;for(int i=0;i<n;i++){if(w[i].weight!=0)pq.push(w[i]);}Huffman x,y;while(true){x=pq.top();pq.pop();y=pq.top();pq.pop();z.MakeTree(-1,x.tree,y.tree);x.weight+=y.weight;x.tree=z;if(pq.empty()){delete[] w;return z;}pq.push(x);}}bool findcode(const int& goal,treeNode* HTree,string& result) {if(HTree==0)return false;if(HTree->getdata()==goal)return true;if(findcode(goal,HTree->getleft(),result)){result.insert(0,"0");return true;}if(findcode(goal,HTree->getright(),result)){result.insert(0,"1");return true;}return false;}string* Getcode(int a[],int n,const BTree& HTree){string* code=new string[n];for(int i=0;i<n;i++)code[i]="";for(int i=0;i<n;i++)if(a[i]!=0)findcode(i,HTree.root,code[i]);return code;}int bstringtoint(const string& str){if(str.size()!=8){std::cout<<"转码错误"<<std::endl;exit(0);}int result=0;for(int i=0;i<8;i++)result+=(str[i]-'0')*pow(2,7-i);return result;}string inttobstring(int codeint){string str;while(codeint!=0){if(codeint%2==1)str=str.insert(0,"1");elsestr=str.insert(0,"0");codeint=codeint/2;}if(str.size()!=8)str.insert(0,8-str.size(),'0');return str;}int main(){int count[256];int bytecount;char buf;std::ifstream ifs;std::ofstream ofs;string filename;BTree tree;string outbuf;std::cout<<"请输入解压文件路径："<<std::endl;std::cin>>filename;ifs.open(filename,std::ifstream::binary);ofs.open(filename+".txt",std::ofstream::out|std::ofstream::binary);/*int count[256];*/std::cout<<"读取数据……"<<std::endl;for(int i=0;i<256;i++)ifs.read((char*)&count[i],sizeof(int));tree=HuffmanTree(count,256);//for(int i=0;i<256;i++)//std::cout<<i<<":"<<count[i]<<std::endl;ifs.read((char*)&bytecount,sizeof(int));treeNode* p=tree.root;int outcount=0;int bufdata;std::cout<<"解压缩……"<<std::endl;while(!ifs.eof()){ifs.read((char*)&buf,1);if(ifs.eof())break;outbuf=inttobstring((int)buf+128);//std::cout<<outbuf<<std::endl;for(string::iterator it=outbuf.begin();it!=outbuf.end();++it){if(*it=='0')p=p->getleft();else p=p->getright();if (p->getdata()!=-1){bufdata=p->getdata()-128;//std::cout<<p->getdata()<<std::endl;ofs.write((char*)&bufdata,1);p=tree.root;outcount++;}if(outcount==bytecount)break;}if(outcount==bytecount)break;}std::cout<<"解压成功"<<std::endl;system("pause");}。