信息论实验报告

桂林理工大学

实验报告班级：通信09-2班学号：3090731219 姓名：崔泽

实验名称：计算离散信源的熵日期：2011年5月10日

一、实验目的

1、熟悉离散信源的特点

2、熟悉离散信源平均信息量的计算方法

二、实验内容

1、写出计算自信息量的Matlab程序

2、写出计算离散信源平均信息量的Matlab程序

3、掌握二元离散信源的最大信息量与概率的关系

4、完成习题

三、习题

1、程序：

x=[0.5 0.25 0.125 0.125 ];

y=[0.875 0.125];

b=-x.*log2(x)

H1=sum(b)

c=-y.*log2(y)

H1=sum(c)

X=-log2(x)

Y=-log2(y)

程序运行结果：

b = 0.5000 0.5000 0.3750 0.3750

H1 =

1.7500

c = 0.1686 0.3750

H1 = 0.5436

X = 1 2 3 3

Y =0.1926 3.0000

由上面结果可以看出，甲信源的熵为： 1.7500

已信源的熵为：0.5436

甲地各种天气的信息量晴，云，大雨，小雨分别为1 2 3 3

已地各种天气的信息量晴，小雨分别为0.1926 3.0000

2、Matlab程序：

x=[1/4 1/8 1/8 3/16 5/16];

a=-x.*log2(x);

H=sum(a)

程序运行结果：

H = 2.2272

3、Matlab程序：

X=[1/4 1/8 1/8 1/2];

a=-x.*log2(x);

H=sum(a)

程序运行结果：

H = 1.7500

3、Matlab程序：

p=0.00011:0.1:0.99999;

x=[p,1-p];

a=-x.*log2(x);

H=sum(a)

plot(x,a)

p

H

H = 7.0879

当p呈等概率分布时，平均信息量达到最大值7.0879

桂林理工大学

实验报告

班级：通信09-2班学号：3090731225 姓名：崔泽

实验名称：离散信道德平均互信息及其信道容量的计算日期：2011年5月20日

一、实验目的

1、了解信道传输概率的状态图和信道转移概率的矩阵的特点

2、了解什么是信道容量和最佳输入概率分布

3、熟悉计算平均互信息和信道容量的计算步骤

二、实验内容

1、写出计算互信息和平均互信息的Matlab程序

2、写出计算几种特殊离散信道的信道容量的Matlab程序

3、完成习题

三、习题

1、Matlab程序：

w=0.01:0.1:0.99;

a1=log2(0.8./(0.6.*w+0.2));

a2=log2(0.2./((-0.6).*w+0.8))

I=0.8.*w.*a1+0.2.*(1-w).*a2+0.2.*w.*a2+0.8.*(1-w).*a1

plot(w,I)

程序运行结果：

Imax=1.1681；

即 C=1.1681；

2、（1）

原理：C=logr Matlab程序：

r=3;

c=log2(r)

运算结果：

c =

1.5850

（2）

原理：C=log2(s)

Matlab程序:

S=2;

C=log2(s)

运行结果：

C=

1

（3）

原理：C=log2(s)-H(p1,p2,…,ps); Matlab程序:

s=4;

c=log2(s)+2/3*log2(1/3)+1/3*log2(1/6) 运行结果：

c =

0.0817

（4）4、一般信道，其信道矩阵为：

111

244

121

636

113

884

P

⎡⎤

⎢⎥

⎢⎥

⎢⎥

=

⎢⎥

⎢⎥

⎢⎥

⎢⎥

⎣⎦

桂林理工大学

实 验 报 告

班级：通信09-2班 学号：3090731225 姓名：崔泽 实验名称：有噪信道编码定理 日期：2011年5月30日

一、实验目的

1、理解有噪信道编码定理的物理意义

2、熟悉 Matlab 编程

二、实验内容

1、学习应用有噪信道编码定理解决实际问题

2、将程序在计算机上仿真实现，验证程序的正确性

3、完成习。

三、实验报告要求

总结有噪信道编码的特点，写出习题实现的具体步骤。

四、习题

（习题 6.1）设有一离散信道，其信道传递矩阵为：1

112361

1162311136

2⎡⎤⎢⎥⎢⎥⎢

⎥

⎢⎥⎢⎥⎢⎥⎢⎥⎣

⎦

，并设12311

(),()(),24

p x p x p x ===试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算

相应的平均错误概率。

1、按最小错误概率准则，

P （ab ）=[1/4 1/6 1/12,1/24 1/8 1/12 ,1/12 1/24 1/8] Matlab 程序: p=(1/4+1/24)+(1/6+1/8)+(1/12+1/12) 运行结果： p =

0.7500，即相应平均错误概率为：0.7500

按最大似然译码准则译码规则： Matlab 程序：

p2=1/2*(1/3+1/6)+1/4*(1/6+1/3)+1/4*(1/3+1/6)

程序运行结果： p2 =

0.5000

即相应平均错误概率为：0.5000