关于某信源熵地实验报告材料

实验报告

实验名称关于信源熵的实验课程名称信息论与编码

姓名xxx 成绩90

班级电子信息

1102 学号0909112204

日期2013.11.22 地点综合实验楼

实验一MATLAB完成离散信源熵的计算

一、实验目的

1. 通过信息论与编码学理论，掌握离散信源熵的原理和计算方法。

2. 熟悉matlab 软件的基本操作和基本工具以及使用，掌握利用matlab求解信息熵的原理和方法。

3. 练习使用matlab 求解信源的信息熵。自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具

求解图像熵。

4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。

二、实验原理

1.离散信源的基本概念、原理和信源熵相关计算公式

产生离散信息的信源称为离散信源。离散信源只能产生有限种符号，因此离散离散消息可以看成是一种有限个状态的随机序列。

随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。即： I （xi ）= -log2p ( xi)

随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：

2.离散二元信源的信息熵

设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：

则该二元信源的信源熵为：

H(X) = - p*logp–q*logq = - p*logp –(1 - p)*log(1- p)

即：H (p) = - p*logp –(1 - p)*log(1- p) 其中 0 ≤ p ≤1

3.MATLAB二维绘图

用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。

例：在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤ 2

>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2

>>y =cos(x )； %计算余弦向量

>>plot(x ,y ) %绘制图形

4.MATLAB求解离散信源熵

求解信息熵过程：

1) 输入一个离散信源，并检查该信源是否是完备集。

2) 去除信源中符号分布概率为零的元素。

3) 根据平均信息量公式，求出离散信源的熵。

5.图像熵的相关知识

图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的

一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i 的像素所占的比例，则定义灰度图像的一元灰度熵为：

图像熵计算过程：

1) 输入一幅图像，并将其转换成灰度图像。

2) 统计出图像中每个灰度阶象素概率。

3) 计算出一幅图像的一维熵。

6. Excel的绘图功能

比如：用Excel或制作二元熵函数曲线。具体步骤如下：

1）启动Excel应用程序。

2）准备一组数据 p。在 Excel的一个工作表的 A 列（或其它列）输入一组 p ，取步长为0.01 ，从0 至100 产生101 个p（利用Excel填充功能）。

3）使用 Excel的计算功能，在 B 列中用二元熵函数计算公式，求得 A 列中

各数值对应的二元熵值。比如：在单元格B2中输入公式：

=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)。

4）使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无

数据点平滑散点图”，绘制二元熵函数散点图。

三、实验内容

1、使用matlab 软件绘制二元信源熵函数曲线，并说明其物理意义。

2、使用 matlab 软件求解离散单符号信源熵，请自己构造两个信源空间，根据求解结果说明其物理意义。

3、使用 matlab 软件计算图像一维图像熵，请自己选择任意两幅图像，根据求解结果说明其物理意义。

4、使用Excel软件，绘制二元信源熵函数曲线的散点图。

5、使用Excel软件，绘制（3）中两幅图像的灰度直方图（0 到255 各灰度

占图像像素的比例值，使用柱状图绘制其比列分布）。

四、程序设计与算法描述

（1）绘制二元信源熵函数曲线

实验代码：

p=0.00001:0.001:1;

H=-(p).*log2(p)-(1-p).*log2(1-p);

plot(p,H);

实验结果如下：

物理意义：（1）信源熵为信源的平均不确定性，而概率的大小决定了信息量的大小。

（2）由上图可知概率为1时，信息量最小，不确定性最低；概率等于0.5时熵最大。

（2）求解离散单符号信源熵

程序代码：

（1）

X=[1 2 3 4 5 6]

P=[1/6 1/6 1/6 1/6 1/6 1/6]

H=6*(-(1/6)*log(1/6))

（2）

X=[0 1 2 3 4 5 6 7 8 9]

P=[0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1] H=10*(-0.1)*log(0.1)

实验结果如下所示：

图1：

计算结果表明了信源的平均不确定度。

图2：

计算结果表明了信源的平均不确定度。

计算图像一维图像熵

选择的两幅图像如下：