信息论与编码实验报告(DOC)

实验一 绘制二进熵函数曲线（2个学时）

一、实验目的：

1. 掌握Excel 的数据填充、公式运算和图表制作

2. 掌握Matlab 绘图函数

3. 掌握、理解熵函数表达式及其性质

二、实验要求：

1. 提前预习实验，认真阅读实验原理以及相应的参考书。

2. 在实验报告中给出二进制熵函数曲线图

三、实验原理：

1. Excel 的图表功能

2. 信源熵的概念及性质

()()[]

()[]())(1)(1 .log )( .)

( 1log 1log )

(log )()(10 , 110)(21Q H P H Q P H b n

X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩

⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑

单位为 比特/符号 或 比特/符号序列。

当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。

四、实验内容：

用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。

（一） Excel

具体步骤如下：

1、启动Excel 应用程序。

2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。

3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。

在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)

双击B2的填充柄，即可完成H(p)的计算。

4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。

（二）用matlab软件绘制二源信源熵函数曲线

p = 0.0001:0.0001:0.9999;

h = -p.*log2(p)-(1-p).*log2(1-p);

plot(p,h)

五、实验结果

二元信源熵函数

信源熵为信息的不确定度，概率的大小反映了信息量的大小，如果二元信源的输出符号是确定的，即p=1,则该信源不提供任何信息，当二元信源符号0和1以等概率发生时，信源熵达到极大值，等于1bit信息量。

实验二：验证二元离散对称信道的互信息的性质（4学时）

（课后做）

一、实验目的

1掌握离散对称信道互信息的计算及性质特点。

2练习应用matlab软件进行互信息的函数曲线的绘制，并从曲线上理解其物理意义。

二、参看定理4.2.1及4.2.2

三、实验内容

1验证固定信道，I(X;Y)是信源分布的上凸函数；

2验证固定信源，I(X;Y)是信道传递概率的下凸函数；

3 I(X;Y)的三维分布绘制（自行学习三维图形的绘制函数）

四、实验结果

（1）

I(X;Y)是信源分布的上凸函数

（2）

I(X;Y)是信道传递概率的下凸函数

（3）

I(X;Y)的三维分布绘制

五、源代码

（1）验证固定信道，I(X;Y)是信源分布的上凸函数

syms w;

x=[w,1-w];

p=[0.90.1;0.10.9];

pxy=[x(1,1)*p(1,:);x(1,2)*p(2,:)];

py=[x*p(:,1),x*p(:,2)];

px_y=[pxy(:,1)/py(1,1),pxy(:,2)/py(1,2)];

Ix_y=sum(sum(pxy.*log2(p./[py;py])));

ezplot(w,Ix_y,[0,1,0,1]);

xlabel('变量w');

ylabel('平均互信息量I');

title('平均互信息量与w的关系');

grid on

（2）验证固定信源，I(X;Y)是信道传递概率的下凸函数

m=[1 0.5 0];

figure

hold on %设置为叠加绘图模式

for i=1:5

w=m(i);

p=0:0.01:1;

I=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))+(w.*p+(1-w).*(1-p )).*log2(1./(w.*p+(1-w).*(1-p)))-(p.*log2(1./p)+(1-p).*(log2(1./(1-p))));

plot(p,I,'b');

title('曲线图');xlabel('信道转移概率p');ylabel('平均互信息量I'); end

（3）I(X;Y)的三维分布绘制

[p,q]=meshgrid(0.000001:0.01:1,0.000001:0.01:1);

Hnoise=-p.*log2(p)-(1-p).*log2(1-p);%噪声熵

x=(1-p).*q+p.*(1-q);

I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise;

mesh(p,q,I)

实验三：离散信道容量（1学时）

一、实验目的

1. 掌握离散信道容量的计算。

2. 理解离散信道容量的物理意义。

3. 练习应用matlab 软件进行函数曲线的绘制，并从曲线上理解其物理意义。

二、实验原理

二元对称信道

BSC （Binary Symmetric Channel ）

二进制离散信道模型有一个允许输入值的集合X={0，1}和可能输出值的集合Y={0，1}，以及一组表示输入和输出关系的条件概率（转移概率）组成。如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错，且条件概率对称，即 (0/1)(1/0)(1/1)(0/0)1p Y X p Y X p p Y X p Y X p ======⎧⎨======-⎩

这种对称的二进制输入、二进制输出信道称做二元对称信道（或二进制对称信道，简称BSC 信道），如下图所示：