实验一、离散信源的熵与离散信道的容量

信息论与编码实验报告

信息学院10电子A班级第组姓名同组成员实验名称实验一、离散信源的熵与离散信道的容量

实验设备（1）计算机（2）所用软件：Matlab或C

实验目的掌握信源的熵、信道容量的物理意义，概念；熟练掌握离散信源熵、离散信道容量的计算方法步骤；利用Matlab编写离散信源熵、离散信道容量的计算程序；验证程序的正确性。

实验内容（1）根据熵，信道容量计算的方法步骤，用Matlab编写离散信源熵、离散信道容量的计算程序；

（2）用习题2.16和例3.6验证程序的正确性。

实验报告要求

1、简要总结信源的熵、信道容量的物理意义，概念；

2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量

计算的程序流程图；

3、实现离散信源熵、离散信道容量计算的Matlab源程序；

4、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信

道转移概率的关系。

5、实验报告在实验后一周内交给老师，报告单一律用16开大小的纸写，以此单为封面，装

订成册。

完成时间：2012年12月22日

1、简要总结信源的熵、信道容量的物理意义，概念。

信源熵的物理意义是指信源中的各个符号的平均不确定性；熵是信源符号的平均信息量，是信源符号的平均不确定度。

信道容量概念：在信道可以传输的基本前提下，对信源的一切可能的概率分布而言，信道能够传输的最大（接收）熵速率称为信道容量。

意义：求出了某个信道的信道容量，也就找到了信源的最佳概率分布。从而指导人们改造信源，使之最大可能地利用信道的传输能力。

2、写出离散信源熵、离散信道容量计算的基本步骤，画出实现离散信源熵、离散信道容量计算的程序流程图；

离散信源熵的计算步骤：

()()()

11log log ()q r r r i i i i H X E p a a p a =⎛⎫==- ⎪⎝⎭∑信道容量的计算步骤：()(){}()符号/;max bit Y X I C X

P =3、实现离散信源熵、离散信道容量计算的Matlab 源程序；

实验程序：

1）计算信源熵：

新建M 文件：

function[h]=H(x)

h=-log2(x)*x';

保存为H.m

之后在命令窗口输入H(x)；

2）计算信道容量（对称信道）：

function[c]=C(p)

a=0;

s=length(p);

for i=1:s,a=a+p(1,i)*log2(p(1,i));

end

c=log2(s)+a;

保存为C.m

之后在命令窗口输入C(p)

习题2.16实验程序:

clear all;%清除所有变量

Px=[0.70.3];P=0;%输入信源概率，Px=p(x)

Hx=-Px*log2(Px')%计算信源的熵H(X)

Pyx=[0.90.2;0.10.8];px=[0.70.3;0.70.3];%Pyx为条件概率p(y/x)

Pxy=Pyx.*px;%计算联合概率p(xy)

for i=1:2

hxx(i,1)=-Pxy(i,:)*log2(Pxy(i,:)');

P=P+hxx(i,1);%计算H(X^2)

end

h2x=P/2%计算H2(X)

习题3.6实验程序：

clear all;%清除所有变量

a=0;

p=[2/31/3;1/32/3];%信道矩阵P

for i=1:2,a=a+p(1,i)*log2(p(1,i));end

C=log2(2)+a%计算对称离散信道的信道容量C

for i=1:2,p1(i)=1/2;end

p1%最佳输入概率分布

4、讨论信源的熵的大小与前后符号之间相关性的关系，讨论信道容量与信源先验概率及信道转移概率的关系。

信源的相关性是信源符号间的依赖程度的度量。由于信源输出符号间的依赖关系也就是信源的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当信源输出符号间彼此不存在依赖关系且为等概率分布时，信源的实际熵等于最大熵。

信道容量与信源先验概率及信道转移概率的关系。

信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管

信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。