(完整版)计算离散信源的熵matlab实现

实验一：计算离散信源的熵

一、实验设备:

1、计算机

2、软件：Matlab

二、实验目的:

1、熟悉离散信源的特点；

2、学习仿真离散信源的方法

3、学习离散信源平均信息量的计算方法

4、熟悉 Matlab 编程；

三、实验内容:

1、写出计算自信息量的Matlab 程序

2、写出计算离散信源平均信息量的Matlab 程序。

3、掌握二元离散信源的最大信息量与概率的关系。

4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。

四、实验报告要求

简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。

信息论基础：

自信息的计算公式 21()log a

I a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式

22111()log log q

q i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题：

1. 甲地天气预报构成的信源空间为：

1111(),,,8482

X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨 云 大雨晴 乙地信源空间为：

17(),88

Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求此两个信源的熵。求各种天气的自信息量。

案：() 1.75;()0.5436H X H Y ==

运行程序：

p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率p2=[7/8,1/8];%p2代表乙信源对应的概率

H1=0.0;

H2=0.0;

I=[];

J=[];

for i=1:4

H1=H1+p1(i)*log2(1/p1(i));

I(i)=log2(1/p1(i));

end

disp('自信息量分别为：');

I

disp('H1信源熵为：');

H1

for j=1:2

H2=H2+p2(j)*log2(1/p2(j));

J(j)=log2(1/p2(j));

end

disp('自信息量分别为：');

J

disp('H2信源熵为：');

H2