实验一 绘制二进熵函数曲线

X P( X x1 0 ) p x 2 1 , 0 p 1 1 p
H ( X ) p( xi ) log p( xi ) p log p 1 p log 1 p H( p ) 信源熵的基本性质： 1.非负性 H( X ) 0 2.对称性 p( xi )的顺序任意互换时，熵的值不变 3.最大离散熵定理 信源X中包含n个不同离散信息时，信源熵 a . H ( X ) log 2 n 当且仅当X中各个消息出现的概率全相等时，上式取等号。 b. H P 1 Q H ( P ) 1 H ( Q )
未信的我
1 0.9 0.8 0.7 0.6
信源熵
0.5 0.4 0.3 0.2 0.1 0
0
0.1
0.2
0.3
0.4
0.5 概率
0.6
0.7
0.8
0.9
1
未信的我
实验一
一、实验目的：ቤተ መጻሕፍቲ ባይዱ
绘制二进熵函数曲线（2 个学时）
1. 掌握 Excel 的数据填充、公式运算和图表制作 2. 掌握 Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质
i
四、实验内容：
用 Excel 或 Matlab 软件制作二进熵函数曲线。 方法一 用 Excel 软件制作。 具体步骤如下： 1、启动 Excel 应用程序。 2、 准备一组数据 p。 在 Excel 的一个工作表的 A 列 （或其它列） 输入一组 p，
未信的我
取步长为 0.01，从 0 至 1. 产生 101 个 p （利用 Excel 填充功能） 。 若无法直接填充出 0~1 的 101 个数字， 可以先填充出 1~100，然后在旁边 B 列使用公式“=A1/100” ，再进行填充。 3、取定对数底 c，在 B 列计算 H(x) ,注意对 p=0 与 p=1 两处，在 B 列对应 位置直接输入 0。Excel 中提供了三种对数函数 LN(x),LOG10(x)和 LOG(x,c)，其 中 LN(x)是求自然对数，LOG10(x)是求以 10 为底的对数，LOG(x,c)表示求对数。 选用 c=2,则应用函数 LOG(x,2)。 在单元格 C2 中输入公式：=-B2*LOG(B2,2)-(1-B2)*LOG(1-B2,2) 双击 B2 的填充柄，即可完成 H(p)的计算。 4、使用 Excel 的图表向导，图表类型选“XY 散点图” ，子图表类型选“无 数据点平滑散点图” ， 数 据 区 域 用 计 算 出 的 H(p) 数 据 所 在 列 范 围 ， 即 $C$1:$C$101。在“系列”中输入 X 值(即 p 值)范围，即$B$1:$B$101。在 X 轴 输入标题“概率” ，在 Y 轴输入标题“信源熵” 。
信源熵散点图 1.2 1
信源熵
0.8 0.6 0.4 0.2 0 0 50 概率 100 150 系列1
方法二 用 matlab 绘制 x=0:0.01:1; y=zeros(1,101); for i=2:100 y(i)=-x(i)*log2(x(i))-(1-x(i))*log2(1-x(i)) end plot(x,y); xlabel('概率'); ylabel('信源熵');