绘制二元熵函数曲线

课程设计任务书
2011—2012学年第一学期
专业：通信工程学号：100310012 姓名：蒲佳佳
课程设计名称：信息论与编码课程设计
设计题目：绘制二元熵函数曲线
一．设计目的
1．巩固所学的理论知识。

2．提高综合运用所学理论知识独立分析和解决问题的能力。

3．更好地将理论与实践相结合。

4．掌握、理解熵函数表达式及其性质。

5．熟练使用MATLAB语言进行编程实现。

二．设计内容
1．在理解熵函数的定义基础上，准备一组数据，计算H(p)。

2．绘制与分析曲线图。

三．设计要求
1．认真查阅相应资料掌握Matlab绘图方法。

2．查阅资料，理解实验原理。

3．认真编写课程设计
四．设计条件
计算机、MATLAB语言环境
五、参考资料
[1]邓家先信息论与编码课程教学改革撂讨 [期刊论文] -电气电子教学学报2007(02)
[2]李正权.潘立兵.李琳《信息论与编码》研究性教学初步探讨2008(04)
指导教师（签字）：教研室主任（签字）：
批准日期：年月日
摘要
这次课程设计介绍了基于MATLAB的对熵函数的绘制设计，并使之实现的过程。

理解与掌握课程中的基本概念、基本原理、基本分析方法，利用Matlab 软件绘制。

自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

此外，熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号本课程设计介绍了在MATLAB环境中如何采集语音信号和语音信号采集后的文档处理方法绘制函数，利用MATLAB的语言进行编写，并通过实例分析了二元熵函数曲线。

关键词：MATLAB；二元熵函数曲线
目录
1课程描述 (1)
2设计原理 (1)
3设计过程 (2)
3.1软件介绍 (2)
3.2设计内容 (3)
3.3设计步骤 (4)
总结 (5)
参考文献 (6)
1课程描述
自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。

特殊公式某个pk=0时，0log0=0 ( )在熵的定义中忽略零概率事件。

利用MATLAB工具实现对二元熵函数曲线的绘制在理解熵函数的定义基础上，准备一组数据，计算H(p)并绘制与分析曲线图，。

自信息量具有下列特性：（1）()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性。

信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成H （X ）。

信源熵：()()log ()i
i
i
H X p x p x =-∑，
条
件
熵
：
(|)(,
i j
i
j
ij
H X Y p x y
p x y =-∑联
合熵
(|)(,i j
i j
ij
H X Y p x y
p x y =-∑，联合熵H(X,Y)与熵H(X)及条件熵H(Y|X)的关系：(,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+，熵的性质：非负性，对称
性，确定性，极值性。

2设计原理
自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。

熵的表示
[]()()()()()log ()i i i i i
i
H X E I X p x I x p x p x ===-∑∑
注意的问题
熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关：bit/符号、nat/符号、dit/符号、r 进制单位/符号。

特殊公式：某个pk=0时，0log0=0 (0
lim log 0→=x x x )在熵的定义中忽略零概率
事件。

3设计过程
3.1软件介绍
MATLAB 是目前流行的理论与工程仿真软件之一。

该软件自产生以来，就以
其独有的特点和明显的优势吸引了各行各业的工作者。

MATLAB 的函数主要包括MATLAB 操作基础、矩阵及其基本运算、与数值计算相关的基本函数、符号运算的函数、概率统计函数、绘图与图形处理函数、MATLAB 程序设计相关函数、Simulink 仿真工具函数、图形用户界面制作函数、信号处理工具箱函数和符号数学工具箱函数等内容。

MATLAB 的基本数据单位是矩阵，它的指令表达式与数学、工程中常用的形式十分相似，故用MATLAB 来解算问题要比用C ，FORTRAN 等语言完成相同的事情简捷得多，并且mathwork 也吸收了像Maple 等软件的优点,使MATLAB 成为一个强大的数学软件。

在新的版本中也加入了对C ，FORTRAN ，C++ ，JA V A 的支持。

可以直接调用,用户也可以将自己编写的实用程序导入到MATLAB 函数库中方便自己以后调用，此外许多的MATLAB 爱好者都编写了一些经典的程序，用户可以直接进行下载就可以用。

MATLAB 和Mathematic 、并称为三大数学软件。

它在数学类科技应用软件中在数值计算方面首屈一指。

MATLAB 可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等，主要应用于工程计算、控制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析等领域。

20世纪70年代，美国新墨西哥大学计算机科学系主任Cleve Moler 为了减轻学生编程的负担，用FORTRAN 编写了最早的MATLAB 。

1984年由Little 、Moler 、Steve Bangert 合作成立了的MathWorks 公司正式把MATLAB 推向市场。

到20世纪90年代，MATLAB 已成为国际控制界的标准计算软件MATLAB 的应用范围非常广，包括信号和图像处理、通讯、控制系统设计、测试和测量、财务建模和分析以及计算生物学等众多应用领域。

3.2设计内容
用 Matlab 软件绘制二进熵函数曲线。

二元信源
101
1⎛⎫⎛⎫=≤≤ ⎪ ⎪-⎝⎭⎝⎭
X p P p p
二元信源的熵为
(,1)log (1)log(1)-=----H p p p p p p
绘制当p 从0到1之间变化时的二元信源的信息熵曲线.
Matlab 程序： p=0.00001:0.001:1;
h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);
title('二进熵函数曲线'); ylabel('H(p,1-p)')
()()[]()[]())
(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b n
X H a p H p p p p x p x p X H p p p x x X P X i
i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫
-===⎥⎦⎤⎢⎣⎡∑
3.3设计步骤
运行matlab6.5
打开matlab6.5-单击工具栏中的Nue M-File ——输入如下代码p=0.00001:0.001:1;
h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h);
title('二进熵函数曲线'); ylabel('H(p,1-p)')
——将代码复制到编辑窗口处
运行得如图（1）所示：
xCZ xvvyy f vf
图（1）二元二元熵函数曲线
分析：信源信息熵H(X)是概率p的函数,通常用H(p)表示p取值于[0，1]区间。

H(p)函数曲线如图所示。

如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。

当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。

总 结
信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学信息是指各个事物运动的状态及状态变化的方式。

消息是指包括信息的语言、文字和图像等。

信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特性的信号上去。

信号是信息的载荷子或载体。

信息的基本概念在于它的不确定性，任何已确定的事物都不含有信息。

信息的特征：（1）接收者在收到信息之前，对其内容是未知的。

（2）信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。

（3）信息可以产生，也可以消失，同时信息可以被携带、存储及处理。

（4）信息是可以量度的，信息量有多少的差别。

编码问题可分解为3类：信源编码、信道编码、加密编码。

这次课程设计是用学过的信息论与编码为依据，用MATLAB 代码实现，通过这次课程设计，感触特别多，也学到了很多东西。

首先，为了完成这次的课程设计，翻阅了很多有关这次设计的参考书，对这些参考书的有关内容都做了认真的分析，了解了一些函数的用法。

其次，通过本次课程设计，学习了信息熵有关的计算，定义具有概率为()i p x 的符号i x 的自信息量为：()log ()i i I x p x =-。

自信息量具有下列特性：（1）()1,()0i i p x I x ==（2）()0,()i i p x I x ==∞（3）非负性（4）单调递减性（5）可加性。

信源熵是在平均意义上来表征信源的总体特征，它是信源X 的 函数，一般写成
H （X ）。

信源熵：()()log ()
i
i
i
H X p x p x =-
∑，条件熵：
(|)(
,)l o g i j
i j ij
H X Y p x y p x y =-∑联合熵
(|)(,)log (,)i j i j ij
H X Y p x y p x y =-∑，联合熵H(X,Y)与熵H(X)
及
条
件
熵
H(Y|X)
的
关
系
：
(,)()(|)()(|)H X Y H X H Y X H X H X Y =+=+。

还加强了我们的动手能力和
自觉性，巩固和运用在课程中所学的理论知识和实验技能，提高了自己的发现问题，分析问题和解决问题的能力。

再次，在做课程设计的过程中会遇到很多的困难，在困难面前不要放弃，只要有细心和耐心，坚持下去会达到想要的设计结果。

参考文献
[1]陈运信息论与缡码2008
[2]曹雪虹.张宗橙信息论与编码2004
[3]邓家先信息论与编码课程教学改革撂讨[期刊论文] -电气电子教学学报2007(02)
[4]李正权.潘立兵.李琳《信息论与缡码》研究性教学初步探讨2008(04)
[5]席在芳.欧青立.曾照福信息论与蝙码实验教学的探索与实践2008(02)。