信息论与编码实验报告

实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 在实验报告中给出二进制熵函数曲线图三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑单位为 比特/符号 或 比特/符号序列。

当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。

当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。

四、实验内容：用Excel 和Matlab 软件制作二进熵函数曲线。

根据曲线说明信源熵的物理意义。

（一） Excel具体步骤如下：1、启动Excel 应用程序。

2、准备一组数据p 。

在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。

3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。

Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。

选用c=2,则应用函数LOG(x,2)。

在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)双击B2的填充柄，即可完成H(p)的计算。

4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。

在“系列”中输入X值(即p值)范围，即$A$1:$A$101。

在X轴输入标题概率，在Y轴输入标题信源熵。

（二）用matlab软件绘制二源信源熵函数曲线p = 0.0001:0.0001:0.9999;h = -p.*log2(p)-(1-p).*log2(1-p);plot(p,h)五、实验结果二元信源熵函数信源熵为信息的不确定度，概率的大小反映了信息量的大小，如果二元信源的输出符号是确定的，即p=1,则该信源不提供任何信息，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1bit信息量。

实验二：验证二元离散对称信道的互信息的性质（4学时）（课后做）一、实验目的1掌握离散对称信道互信息的计算及性质特点。

2练习应用matlab软件进行互信息的函数曲线的绘制，并从曲线上理解其物理意义。

二、参看定理4.2.1及4.2.2三、实验内容1验证固定信道，I(X;Y)是信源分布的上凸函数；2验证固定信源，I(X;Y)是信道传递概率的下凸函数；3 I(X;Y)的三维分布绘制（自行学习三维图形的绘制函数）四、实验结果（1）I(X;Y)是信源分布的上凸函数（2）I(X;Y)是信道传递概率的下凸函数（3）I(X;Y)的三维分布绘制五、源代码（1）验证固定信道，I(X;Y)是信源分布的上凸函数syms w;x=[w,1-w];p=[0.9 0.1 ;0.1 0.9];pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];py=[x*p(:,1),x*p(:,2)];px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)];Ix_y=sum(sum(pxy.*log2(p./[py;py])));ezplot(w,Ix_y,[0,1,0,1]);xlabel('变量w');ylabel('平均互信息量I');title('平均互信息量与w的关系');grid on（2）验证固定信源，I(X;Y)是信道传递概率的下凸函数m=[1 0.5 0];figurehold on %设置为叠加绘图模式for i=1:5w=m(i);p=0:0.01:1;I=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))+(w.*p+(1-w).*(1-p )).*log2(1./(w.*p+(1-w).*(1-p)))-(p.*log2(1./p)+(1-p).*(log2(1./(1-p))));plot(p,I,'b');title('曲线图');xlabel('信道转移概率p');ylabel('平均互信息量I'); end（3）I(X;Y)的三维分布绘制[p,q]=meshgrid(0.000001:0.01:1,0.000001:0.01:1);Hnoise=-p.*log2(p)-(1-p).*log2(1-p);%噪声熵x=(1-p).*q+p.*(1-q);I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise;mesh(p,q,I)实验三：离散信道容量（1学时）一、实验目的1. 掌握离散信道容量的计算。

2. 理解离散信道容量的物理意义。

3. 练习应用matlab 软件进行函数曲线的绘制，并从曲线上理解其物理意义。

二、实验原理二元对称信道BSC （Binary Symmetric Channel ）二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。

如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即 (0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：信道容量公式：{()}max p x C I(X,Y)三、实验内容BSC 信道是DMC 信道对称信道的特例，对于转移概率为P(0/1)=P(1/0)=p ，P(0/0)=P(1/01)=1-p ，求出其信道容量公式，并在matlab 上绘制信道容量C 与p 的曲线。

根据曲线说明其物理意义。

参考代码：>> p = linspace(0,1,50);c = 1+p.*log2(p)+(1-p).*log2(1-p);plot(p,c)xlabel('p')ylabel('c')四、实验结果C=1+plogp+（1-p ）log （1-p ）1、 无噪声干扰时（p=0），损失熵H(X/Y)=0,信道容量等于信源发出的码元速率。

2、P=1/2时，C=0，信道已无传输能力。

实验四：Huffman编码软件实现（4个学时）一、实验目的（1）进一步熟悉Huffman编码过程；（2）练习matlab中哈夫曼编码函数的调用；（3）掌握Matlab中Huffman编码的思想；（4）掌握平均码长，编码效率的计算。

二、实验原理二元哈夫曼编码的具体步骤归纳如下：1.统计n个信源消息符号，得到n个不同概率的信息符号。

2.将这n个信源信息符号按其概率大小依次排序：p(x1) ≥p(x2)≥…≥p(x n)3.取两个概率最小的信息符号分别配以0和1两个码元，并将这两个概率相加作为一个新的信息符号的概率，和未分配的信息符号构成新的信息符号序列。

4.将剩余的信息符号，按概率大小重新进行排序。

5.重复步骤3，将排序后的最后两个小概论相加，相加和与其他概率再排序。

6.如此反复重复n-2次，最后只剩下两个概率。

7.从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字，构成霍夫曼编码字。

编码结束。

编码之后，哈夫曼编码的平均码长为：1()n ii i K p x K ==∑哈夫曼编码的效率为：()=H x K η=信源熵平均码长三、实验内容（一）直接调用matlab 哈夫曼编码函数进行编码，与人工编码结果做比较。

huffmandict 函数： 为已知概率分布的信源模型生成哈夫曼编解码索引表。

调用方法如下：[dict ，L] = huffmandict (symbols , p)调用Huffmandict 函数，使用数组s （编码符号）及其概率数组P 进行Huffman 编码,编码后产生一个编码词典dict ,以及平均码长L 。

求出熵H ，并计算其效率H/L基本参考：symbols = [1: ];p = [ ];[dict ，L] = huffmandict(symbols ,p)code1= dict{1,2}.. dict{ ,2}（二）根据编码思想编写要求（1）输入：信源的概率分布P ；（2）输出：每个信源符号对应的Huffman 编码的码字。

（3）计算平均码长 、信源熵 及编码效率并对：输入的概率数组中有小于0的值输入的概率数组总和大于1作出判断四、实验结果（一）(二)五、哈夫曼编码的MATLAB实现（基于0、1编码）：clc;clear;A=[5,3,1,6,2];%原概率序列A=A/sum(A);A=fliplr(sort(A));%按降序排列T=A;[m,n]=size(A);B=zeros(n,n-1);%空的编码表（矩阵）for i=1:nB(i,1)=T(i);%生成编码表的第一列endr=B(i,1)+B(i-1,1);%最后两个元素相加T(n-1)=r;T(n)=0;T=fliplr(sort(T));t=n-1;for j=2:n-1%生成编码表的其他各列for i=1:tB(i,j)=T(i);endK=find(T==r);B(n,j)=K(end);%从第二列开始，每列的最后一个元素记录特征元素在该列的位置r=(B(t-1,j)+B(t,j));%最后两个元素相加T(t-1)=r;T(t)=0;T=fliplr(sort(T));t=t-1;endB;%输出编码表END1=sym('[0,1]');%给最后一列的元素编码END=END1;t=3;d=1;for j=n-2:-1:1%从倒数第二列开始依次对各列元素编码for i=1:t-2if i>1 & B(i,j)==B(i-1,j)d=d+1;elsed=1;endB(B(n,j+1),j+1)=-1;temp=B(:,j+1);x=find(temp==B(i,j));END(i)=END1(x(d));endy=B(n,j+1);END(t-1)=[char(END1(y)),'0'];END(t)=[char(END1(y)),'1'];t=t+1;END1=END;endA%排序后的原概率序列END%编码结果for i=1:n[a,b]=size(char(END(i)));L(i)=b;endavlen=sum(L.*A)%平均码长H1=log2(A);H=-A*(H1')%熵P=H/avlen%编码效率。