信息论与编码课程设计报告,统计信源熵与香农编码

信息论与编码课程设计报告设计题目：统计信源熵与香农编码专业班级电信 12-06学号学生姓名指导教师教师评分2015年 3 月 30日目录一、设计任务与要求 (2)二、设计思路 (2)三、设计流程图 (3)四、程序运行及结果 (4)五、心得体会 (6)参考文献 (7)附录：源程序 (8)一、设计任务与要求1.统计信源熵要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。

2.香农编码要求：任意输入消息概率，利用香农编码方法进行编码，并计算信源熵和编码效率。

二、设计思路本次课程设计中主要运用C 语言编程以实现任务要求，分析所需要的统计量以及相关变量，依据具体公式和计算步骤编写语句，组成完整C 程序。

1、信源熵定义：信源各个离散消息的自信息量的数学期望为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为H （）。

计算公式：)(log )(-)x (i i i x p x p H ∑=2、香农编码过程：（1）将信源消息符号按其出现的概率大小依次排列为n p p ≥⋅⋅⋅≥≥21p（2）确定满足下列不等式的整数码长i K 为1)()(+-<≤-i i i p lb K p lb（3）为了编成唯一可译码，计算第i 个消息的累加概率∑-==11)(i k k i a p P（4）将累计概率i P 变换成二进制数。

（5）取i P 二进制数的小数点后i K 位即为该消息符号的二进制码字。

三、设计流程图1、统计信源熵开始读取给定文件判断文件是否打开否并且不为空是统计文本字符，直关闭文件至文本字符读完。

统计同一字符(不分大小写)出现的次数计算字符概率计算信源熵输出结束2、香农编码开始输入概率计算累加概率计算码字计算码长计算平均码长计算信源熵计算编码效率输出结束四、程序运行及结果1、统计信源熵2、香农编码五、心得体会通过这次课程设计明显的体会到知识匮乏所带来的种种问题，首先是对C 语言编程的不熟练，课程知识在与C语言的结合中没有清晰的思路，具体实现程序语言的编写较为困难。

在程序的调试中出现的问题无法及时快速的解决，有些错误甚至无法找到合适的解决方法，以至于不断的修改程序，浪费了大量的时间。

在设计期间出现的问题还是非常多的，要求熟悉相关软件的操作使用，需要不断的搜集所需的各种资料，及时解决遇到的问题。

课程设计很是考察个人能力和团队合作协调能力，在面对自己所不熟悉甚至不了解的问题时，是怎样一步步的设计完成给定的任务，及时有成效的解决面临的问题的。

从整体的分析设计到后面语句变量的敲定最终完成课题是对自己极其有益的锻炼，从中收获的不仅是知识上的，也是学习经验的积累和思维能力的提升，虽然一次课程设计任务不是那么繁重，可是认真去完成其中的一个个细节也是一种难得的体验。

参考文献[1]曹雪虹，张宗橙.《信息论与编码》清华大学出版社.2009.[2]贾宗璞，许合利.《C语言程序设计》人民邮电出版社.2010.[3]盛骤，谢式千，潘承毅.《概率论与数理统计》[M].高等教育出版.1989.附录：源程序1、统计信源熵#include <stdio.h>#include <math.h>#include <string.h> /*memcpy所需头文件*/#include <stdlib.h>#define N 1000 /*宏定义N，此处N代表读取文本文件最大字符数为1000*/int main(void){char s[N],M[N];int i = 0,j=0,n=0,L=0;int len, num[27] = {0};double result=0,p[27]= {0};FILE *f;char temp[N];/********打开'文件.txt'*******/if(!(f = fopen("D:\\VC++6.0\\text518.txt","rb"))){ printf("文件打开失败！\n");return 0;}while(!feof(f)) /*feof检查文件是否结束。

如结束，否则返回0.*/ {len=fread(temp,1,1000,f);/*fread返回读取的字符个数。

从f锁指定的文件中读取长度为1的1000个数据项，存到temp所指向的内存区。

返回所读取的数据个数。

*/ }fclose(f); /*关闭f所指向的文件*/temp[len]='\0'; /*将temp数组元素清空（'\0'空字符）*/memcpy(s,temp,sizeof(temp)); /*从temp中拷贝sizeof个字节到目标s中。

sizeof返回一个对象或者类型所占的内存字节数*//*****计算各个字母、空格出现数目*****/for(i=0; i<strlen(s); i++){if(s[i]==' ')num[26]++;elseif(s[i]>='a'&&s[i]<='z')num[s[i]-97]++;elseif(s[i]>='A'&&s[i]<='Z')num[s[i]-65]++;}printf("文本文件中各字符(不区分大小写)数量:\n");for(j=0; j<26; j++){M[j]=num[j];printf("%4c:%d\t",j+65,M[j]); /*输出格式，%3c在该字符前在空三个空格*/L++;if(L==5) /*输出格式，每行五个字母*/{printf("\n");L=0;}}printf("空格:%d\t",num[26]);/*****计算各个字母、空格出现概率****/printf("\n文本文件中各个字符概率:\n");for(i=0; i<26; i++){p[i]=(double)num[i]/strlen(s); printf("%3c:%f\t",i+65,p[i]);n++;if(n==5) /*输出格式，每行五个字母概率*/{printf("\n");n=0;}}p[26]=(double)num[26]/strlen(s);printf("空格:%f\t",p[26]);printf("\n");/**********计算信源熵**********/for(i=0; i<27; i++){if (p[i]!=0)result=result+p[i]*log(p[i])*1.433;/*信源熵,I(x)=-logp(x)*/}result=-result;printf("信源熵为:%f",result);printf("\n");return 0;}2、香农编码#include <stdio.h>#include <math.h>#include <stdlib.h>#define max_CL 10 /*最大容量的代码的长度*/#define max_PN 6 /*输入序列的个数*/typedef float datatype;typedef struct SHNODE {datatype pb; /*第i个消息符号出现的概率*/datatype p_sum; /*第i个消息符号累加概率*/int kl; /*第i个消息符号对应的码长*/int code[max_CL]; /*第i个消息符号的码字*/struct SHNODE *next;}shnolist;datatype sym_arry[max_PN]; /*序列的概率*/void pb_scan(); /*得到序列概率*/void pb_sort(); /*序列概率排序*/void valuelist(shnolist *L); /**/void codedisp(shnolist *L);void pb_scan(){int i;datatype sum=0;printf("input %d possible!\n",max_PN);for(i=0;i<max_PN;i++){ printf(">>");scanf("%f",&sym_arry[i]);sum=sum+sym_arry[i];}/*判断序列的概率之和是否等于1scanf()对float数的缺足0.99<sum<1.0001出现的误差是允许的*/if(sum>1.0001||sum<0.99){ printf("sum=%f,sum must (<0.999<sum<1.0001)",sum);pb_scan();}}/*选择法排序*/void pb_sort(){int i,j,pos;datatype max;for(i=0;i<max_PN-1;i++){max=sym_arry[i];pos=i;for(j=i+1;j<max_PN;j++)if(sym_arry[j]>max){max=sym_arry[j];pos=j;}sym_arry[pos]=sym_arry[i];sym_arry[i]=max;}}void codedisp(shnolist *L){int i,j;shnolist *p;datatype hx=0,KL=0; /*hx KL存放序列编码后的平均码字的结果*/p=L->next;printf("num\tgailv\tsum\t-lb(p(ai))\tlenth\tcode\n");printf("\n");for(i=0;i<max_PN;i++){printf("a%d\t%1.3f\t%1.3f\t%f\t%d\t",i,p->pb,p->p_sum,-3.332*log10(p->pb),p->kl);j=0;for(j=0;j<p->kl;j++)printf("%d",p->code[j]);printf("\n");hx=hx-p->pb*3.332*log10(p->pb); /*计算消息序列的熵*/KL=KL+p->kl*p->pb; /*计算平均码字*/p=p->next;}printf("H(x)=%f\tKL=%f\nR=%fbit/code",hx,KL,hx/KL); /*计算编码效率*/}shnolist *setnull(){ shnolist *head;head=(shnolist *)malloc(sizeof(shnolist));head->next=NULL;return(head);}shnolist *my_creat(datatype a[],int n){shnolist *head,*p,*r;int i;head=setnull();r=head;//87for(i=0;i<n;i++){ p=(shnolist *)malloc(sizeof(shnolist));p->pb=a[i];p->next=NULL;r->next=p;r=p;}return(head);}void valuelist(shnolist *L){shnolist *head,*p;int j=0;int i;datatype temp,s;head=L;p=head->next;temp=0;while(j<max_PN){p->p_sum=temp;temp=temp+p->pb;p->kl=-3.322*log10(p->pb)+1;/**/{s=p->p_sum;for(i=0;i<p->kl;i++)p->code[i]=0;for(i=0;i<p->kl;i++){p->code[i]=2*s;if(2*s>=1)s=2*s-1;else if(2*s==0)break;else s=2*s;}}j++;p=p->next;}}int main(void){shnolist *head;pb_scan();pb_sort();head=my_creat(sym_arry,max_PN); valuelist(head);codedisp(head);}。