实验一 绘制二进制熵函数曲线
实验一-信息熵与图像熵计算-正确
实验一信息熵与图像熵计算（2 学时）一、实验目的1.复习MATLAB的基本命令，熟悉MATLAB下的基本函数；2.复习信息熵基本定义,能够自学图像熵定义和基本概念。
二、实验内容1.能够写出MATLAB源代码，求信源的信息熵；2.根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。
三、实验仪器、设备1.计算机－系统最低配置256M内存、P4 CPU；2.MATLAB编程软件。
四实验流程图五实验数据及结果分析四、实验原理1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。
2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3.学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：2550 log i i i p p H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度2分布的空间特征量，与图像的像素灰度组成特征二元组，记为(i,j)，其中i表示像素的灰度值(0<=i<=255)，j表示邻域灰度(0<=j<=255),2 ( , ) / ij p f i j N上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i,j)为特征二元组(i,j)出现的频数，N为图像的尺度，定义离散的图像二维熵为:2550 log ij ij i p p H构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。
实验1-绘制二进熵函数曲线、串联信道容量曲线
信息论与编码实验1 绘制二进熵函数曲线、串联信道容量曲线学院:物理与电子学院班级:电信1105班姓名:学号:*********一、实验内容用Excel 或Matlab 软件制作二进熵函数曲线、串联信道容量曲线。
二、实验目的1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质三、实验要求1. 提前预习实验，认真阅读实验原理以及相应的参考书。
2. 认真高效的完成实验，实验中服从实验室管理人员以及实验指导老师的管理。
3. 认真填写实验报告。
四、实验原理1. Excel 的图表功能（略）2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑3. 串联信道的信道容量（图 1）。
图 1 三个二元对称信道（BSC ）的串联p -1 p -1pp0 1 p -1 p -1 p p 0 1 p -1 p -1 p p 0 1 1 0I II III五、实验步骤：1.信息熵函数H.m文件function y = H(p)y=-(p.*log(p)+(1-p).*log(1-p))./log(2);end2 matlab命令p=0.01:0.01:0.99;y1=H(p);y2=H(2.*p.*(1-p));y3=H(p.^3+3.*p.*(1-p).*(1-p));c1=1-y1;c2=1-y2;c3=1-y3;subplot(3,1,1);plot(p,c1);xlabel('p');ylabel('C1');subplot(3,1,2);plot(p,c2);xlabel('p');ylabel('C2');subplot(3,1,3);plot(p,c3);xlabel('p');ylabel('C3');六、实验心得通过本次信息与编码实验，了解了二进制上函数的曲线以及串联信道容量曲线，使自己对书上知识点的把握更加直观，收获很大，更深刻的了解了曲线产生的原理，比书上了解的更加具体，使自己受益匪浅，增加了学习兴趣。
试绘制单个样本的二分类交叉熵损失函数曲线
试绘制单个样本的二分类交叉熵损失函数曲线
二分类交叉熵损失函数是用于衡量二分类问题中模型预测结果与实际
标签之间的差异的一种常用指标。
它通常用于训练神经网络模型，并
且在深度学习领域得到了广泛应用。
下面我们来绘制单个样本的二分类交叉熵损失函数曲线。
假设我们有
一个样本，其真实标签为1，模型预测输出为y。
首先，我们需要定义二分类交叉熵损失函数的公式：
$$L(y,t) = -t \log(y) - (1-t) \log(1-y)$$
其中，y表示模型预测输出的概率值，t表示真实标签的取值（0或1）。
当t=1时，第一项起作用；当t=0时，第二项起作用。
接下来，我们将该公式代入上述样本中，并固定t=1不变。
假设我们
分别取y从0到1之间的100个值，并计算对应的损失函数值L(y,1)，最终得到100个点。
最后，将这些点依次连接起来就可以得到单个样本的二分类交叉熵损
失函数曲线了。
具体绘制方法可以使用Python中的Matplotlib库或
其他相应工具进行实现。
总之，在深度学习领域中，二分类交叉熵损失函数是一种非常重要的指标之一，它可以帮助我们评估模型在二分类问题中的表现，并指导我们进行模型的优化和改进。
关于信源熵的实验报告讲解
实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号**********日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
一绘制二元熵函数曲线报告
实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。
2.熟悉MATLAB软件。
1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。
任务栏：位于软件的正上方。
各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。
命令窗(Command Window)：位于软件操作界面的右侧。
在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。
该窗口用于输入命令并显示除图形以外的所有执行结果。
窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。
命令历史窗(Command History)：位于软件操作界面的左下方。
这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。
2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。
还有就是如何添加横坐标和纵坐标标题的命令语句。
3.实验程序。
w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。
绘制二元单符号离散信源熵的变化曲线
绘制二元单符号离散信源熵的变化曲线二元单符号离散信源熵是信息论中的一个重要概念，用于衡量一个二元符号序列中所包含的信息量。
在信息论中，熵表示了一个信源的不确定性，即信源输出的符号的平均信息量。
为了绘制二元单符号离散信源熵的变化曲线，我们需要考虑信源的概率分布。
在二元单符号离散信源中，每个符号的概率可以用一个长度为2的概率分布向量表示。
设P = (p1, p2)为信源的概率分布向量，其中p1和p2分别代表了两个符号的概率。
根据信息论的定义，信源的熵H可以通过以下公式计算：H = -p1*log2(p1) - p2*log2(p2)在绘制曲线之前，我们可以先确定概率分布的范围。
由于概率的范围是[0, 1]，我们可以选择一些典型的概率分布进行计算和绘图。
例如，我们可以选择p1从0到1变化，p2则为1-p1。
这样，我们就可以得到一个关于p1的二元单符号离散信源熵的变化曲线。
另外，我们还可以考虑其他形式的概率分布。
例如，可以选择p1从0到0.5变化，然后p2从0.5到1变化，这样可以得到一条从左上角到右下角的曲线。
通过使用计算机编程语言（如Python）和绘图库（如Matplotlib），我们可以根据上述公式和概率分布范围进行计算和绘制。
具体步骤如下：1. 导入所需的库和模块，如NumPy和Matplotlib。
2. 定义一个函数，用于计算给定概率分布的二元单符号离散信源熵。
该函数将概率分布作为输入，并返回对应的熵值。
3. 定义概率分布的范围，如p1从0到1变化，p2为1-p1。
4. 使用一个循环，遍历概率分布范围中的每个概率值。
5. 对于每个概率值，调用计算熵的函数，并将结果保存到一个列表中。
6. 使用Matplotlib库绘制概率值与熵值的变化曲线。
绘制二元单符号离散信源熵的变化曲线可以帮助我们理解不同概率分布下信源的不确定性变化情况。
这个曲线可以被应用于许多领域，如数据压缩和通信系统设计等。
一绘制二元熵函数曲线报告
实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。
2.熟悉MATLAB软件。
1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。
任务栏：位于软件的正上方。
各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。
命令窗(Command Window)：位于软件操作界面的右侧。
在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。
该窗口用于输入命令并显示除图形以外的所有执行结果。
窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。
命令历史窗(Command History)：位于软件操作界面的左下方。
这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。
2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。
还有就是如何添加横坐标和纵坐标标题的命令语句。
3.实验程序。
w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。
信息熵曲线
信息熵曲线
对于一个二进制信源，信息熵曲线描述了不同码长下的平均编码位数与概率分布之间的关系。
在信息论中，熵是衡量信息的不确定性的度量，而信息熵曲线则展示了不同码长下的平均信息量。
信息熵曲线通常呈现出以下特点：
1. 随着码长增加，平均编码位数逐渐减小。
这是由于较长的码
字可以用来表示较低概率的符号，从而节省了编码位数。
2. 当码长趋近于无穷大时，平均编码位数趋近于信息熵。
信息
熵是信源的平均信息量，表示了信源输出的平均不确定性。
3. 信息熵曲线在不同信源分布下可能呈现不同的形状。
对于均
匀分布的信源，信息熵曲线是一条平直的线；而对于不均匀分布的信源，信息熵曲线可能会有起伏或呈现其他形态。
信息熵曲线在信息论和编码理论中具有重要的应用价值。
通过了解信源的概率分布和信息熵曲线，我们可以设计出更高效的编码方案，以实现信息的压缩和传输的优化。
同时，信息熵曲线也有助于我们理解信息传输中的信息量和不确定性，并为数据压缩、通信系统设计等领域提供理论基础。
验证最大离散熵定理 使用matlab 绘制二进制信源的熵随概率变化的曲线
验证最大离散熵定理使用matlab 绘制二进制信源的熵随概率变化的曲线摘要：1.引言2.最大离散熵定理的定义和意义3.二进制信源的熵随概率变化的曲线4.使用Matlab 验证最大离散熵定理5.结论正文：1.引言在信息论中，熵是一个重要的概念，用于度量信息的不确定性或混乱程度。
离散信源的熵是描述其信息产生不确定性的一个指标，而最大离散熵定理则是指离散信源的熵在某种情况下可以达到的最大值。
本文将通过使用Matlab 绘制二进制信源的熵随概率变化的曲线，来验证最大离散熵定理。
2.最大离散熵定理的定义和意义最大离散熵定理是指对于一个有m 个符号的离散信源，其熵H(X) 可以达到的最大值为log2m，当且仅当每个符号出现的概率相等，即P(x)=1/m （x∈X）。
这意味着，当信源的不确定性最大时，信源的熵也达到最大。
3.二进制信源的熵随概率变化的曲线二进制信源是指只有两个符号的信源，例如硬币抛掷。
我们可以通过Matlab 绘制熵随概率变化的曲线，来直观地验证最大离散熵定理。
首先，我们可以定义一个二进制信源，其中每个符号的概率为p 和1-p。
然后，我们可以使用Matlab 的plot 函数绘制熵随概率变化的曲线。
具体地，我们可以将熵的计算公式H(X)=-p*log2p-(1-p)*log2(1-p) 作为plot 的函数，将p 作为x 轴的取值范围，将熵作为y 轴的取值范围。
4.使用Matlab 验证最大离散熵定理通过Matlab 绘制的熵随概率变化的曲线，我们可以看到当p=1/2 时，熵达到最大值，即H(X)=1。
这验证了最大离散熵定理的正确性。
5.结论通过使用Matlab 绘制二进制信源的熵随概率变化的曲线，我们验证了最大离散熵定理的正确性。
信息理论编码之实验一 绘制二进制熵函数曲线
强可加性
H ( p1q11 ,..., p1q1 j ,..., pk qk1 ,..., pk qkj ) H ( p1 , p2 ,..., pk ) pk H (qk1 , qk 2 ,..., qkj )
k, j
Matlab程序
arr = linspace(0.001, 0.999, 100); Z = zeros(length(arr), length(arr)); for i = 1:length(arr) for j = 1:length(arr) Z(i,j) = InterInfor(arr(i), arr(j), 1 - arr(j)); end end mesh(arr, arr, Z); xlabel('P(Y|X)') ylabel('P(X)') zlabel('I(X;Y)') title('平均互信息量的函数图形')
熵的表示
1 H ( X ) H ( p1 , p2 ,..., pk ) pk I ( xk ) pk log pk k 1 k 1
K
K
注意的问题
熵是自信息量的统计平均，因此单位与自信息量的单
位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。
实验一 绘制二进制熵函数曲线
一、实验目的
熟悉工作环境及工具箱 掌握绘图函数的运用 理解熵函数表达式及其性质
二、实验原理
熵
自信息量是针对信源的单个符号而言的，而符号是随
机发生的，因此单个符号的不确定性不足于代表信源 的不确定性性质，为此，可对所有符号的自信息量进
实验一 绘制二进熵函数曲线
H ( X ) p( xi ) log p( xi ) p log p 1 p log 1 p H( p ) 信源熵的基本性质： 1.非负性 H( X ) 0 2.对称性 p( xi )的顺序任意互换时，熵的值不变 3.最大离散熵定理 信源X中包含n个不同离散信息时，信源熵 a . H ( X ) log 2 n 当且仅当X中各个消息出现的概率全相等时，上式取等号。 b. H P 1 Q H ( P ) 1 H ( Q )
i
四、实验内容：
用 Excel 或 Matlab 软件制作二进熵函数曲线。 方法一 用 Excel 软件制作。 具体步骤如下： 1、启动 Excel 应用程序。 2、 准备一组数据 p。 在 Excel 的一个工作表的 A 列 （或其它列） 输入一组 p，
未信的我
取步长为 0.01，从 0 至 1. 产生 101 个 p （利用 Excel 填充功能） 。 若无法直接填充出 0~1 的 101 个数字， 可以先填充出 1~100，然后在旁边 B 列使用公式“=A1/100” ，再进行填充。 3、取定对数底 c，在 B 列计算 H(x) ,注意对 p=0 与 p=1 两处，在 B 列对应 位置直接输入 0。Excel 中提供了三种对数函数 LN(x),LOG10(x)和 LOG(x,c)，其 中 LN(x)是求自然对数，LOG10(x)是求以 10 为底的对数，LOG(x,c)表示求对数。 选用 c=2,则应用函数 LOG(x,2)。 在单元格 C2 中输入公式：=-B2*LOG(B2,2)-(1-B2)*LOG(1-B2,2) 双击 B2 的填充柄，即可完成 H(p)的计算。 4、使用 Excel 的图表向导，图表类型选“XY 散点图” ，子图表类型选“无 数据点平滑散点图” ， 数 据 区 域 用 计 算 出 的 H(p) 数 据 所 在 列 范 围 ， 即 $C$1:$C$101。在“系列”中输入 X 值(即 p 值)范围，即$B$1:$B$101。在 X 轴 输入标题“概率” ，在 Y 轴输入标题“信源熵” 。
信息论实验报告实验1
信息论实验报告一实验一1、实验内容（1）英文信源由26个英文字母和1个空格组成，假定字符从中等概选取，那么一条100个字符的信息提供的信息量为多少？（2）若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。
2、设计思路及步骤I=log2P iH(X)=∑−P i log2Pii26个字母和一个空格，因等概选取可以先求得其中一个字符的信息量，通过扩展实现计算100个字符的信息量。
对于第二问，可以将字符分为三组，又因每组字符的概率相等，因此可以求出每组每一个字符的概率。
通过信息熵的定义可以求出结果。
3、程序代码及调试过程4、出现的问题及解决方法（1）没有看清题目要求，漏掉空格（2）是否可以将三组字符看作整体5、结果及说明通过实验结果可以看出100个字符的信息量，以及字符信源熵。
比较H2与H3可以看出，并不可以简单的将三组数据看作整体。
6、实验总结本实验通过计算多字符的信息量与分组信息熵，让我们加深了信息论中有关信息量与信息熵的概念与定义，同时也让我们熟悉了matlab的基本操作。
实验二1、实验内容绘制二进制信源熵函数曲线。
2、设计思路及步骤根据信源熵的定义以及公式计算出熵，通过matlab的矩阵运算计算出熵数组，然后通过plot函数画出图像。
3、程序代码及调试过程4、出现的问题及解决方法矩阵乘法出错，，需要使用matlab中的点乘5、结果及说明信源熵的图像为凸形曲线，熵在信源等概分布时取最大值，先增大再减小。
6、实验总结本实验通过对信源熵的作图让我们熟悉了matlab中图像生成函数，以及矩阵运算。
实验三，四1、实验内容求信源的熵和其二次、三次扩展信源的熵。
离散二维平稳信源的概率空间：求：(a)信源符号之间无依赖性时，信源X的信息熵H(X)；(b)信源符号有依赖性时的条件熵H(X2｜X1)；(c)联合熵H(X1X2)；(d)根据以上三者之间的关系，验证结果的正确性。
绘制二元熵函数曲线
课程设计任务书2011—2012学年第一学期专业：通信工程学号：100310012 姓名：蒲佳佳课程设计名称：信息论与编码课程设计设计题目：绘制二元熵函数曲线一．设计目的1．巩固所学的理论知识。
2．提高综合运用所学理论知识独立分析和解决问题的能力。
3．更好地将理论与实践相结合。
4．掌握、理解熵函数表达式及其性质。
5．熟练使用MATLAB语言进行编程实现。
二．设计内容1．在理解熵函数的定义基础上，准备一组数据，计算H(p)。
2．绘制与分析曲线图。
三．设计要求1．认真查阅相应资料掌握Matlab绘图方法。
2．查阅资料，理解实验原理。
3．认真编写课程设计四．设计条件计算机、MATLAB语言环境五、参考资料[1]邓家先信息论与编码课程教学改革撂讨 [期刊论文] -电气电子教学学报2007(02)[2]李正权.潘立兵.李琳《信息论与编码》研究性教学初步探讨2008(04)指导教师（签字）：教研室主任（签字）：批准日期：年月日摘要这次课程设计介绍了基于MATLAB的对熵函数的绘制设计，并使之实现的过程。
理解与掌握课程中的基本概念、基本原理、基本分析方法，利用Matlab 软件绘制。
自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。
此外，熵是自信息量的统计平均，因此单位与自信息量的单位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号本课程设计介绍了在MATLAB环境中如何采集语音信号和语音信号采集后的文档处理方法绘制函数，利用MATLAB的语言进行编写，并通过实例分析了二元熵函数曲线。
关键词：MATLAB；二元熵函数曲线目录1课程描述 (1)2设计原理 (1)3设计过程 (2)3.1软件介绍 (2)3.2设计内容 (3)3.3设计步骤 (4)总结 (5)参考文献 (6)1课程描述自信息量是针对信源的单个符号而言的，而符号是随机发生的，因此单个符号的不确定性不足于代表信源的不确定性性质，为此，可对所有符号的自信息量进行统计平均，从而得到平均不确定性。
信息论与编码实验报告教材
实验一 绘制二进熵函数曲线（2个学时）一、实验目的：1. 掌握Excel 的数据填充、公式运算和图表制作2. 掌握Matlab 绘图函数3. 掌握、理解熵函数表达式及其性质二、实验要求：1. 提前预习实验，认真阅读实验原理以及相应的参考书。
2. 在实验报告中给出二进制熵函数曲线图三、实验原理：1. Excel 的图表功能2. 信源熵的概念及性质()()[]()[]())(1)(1 .log )( .)( 1log 1log )(log )()(10 , 110)(21Q H P H Q P H b nX H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤⎩⎨⎧⎭⎬⎫-===⎥⎦⎤⎢⎣⎡∑单位为 比特/符号 或 比特/符号序列。
当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。
当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。
四、实验内容：用Excel 和Matlab 软件制作二进熵函数曲线。
根据曲线说明信源熵的物理意义。
（一） Excel具体步骤如下：1、启动Excel 应用程序。
2、准备一组数据p 。
在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。
3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。
Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。
选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)双击B2的填充柄，即可完成H(p)的计算。
2.2熵函数的性质、随机变量序列的熵率
Hq1,q2,...,qn qiHpi1,pi2,...,pim n i1
HXYHXHY|XHXqxHY|x xX
二进制信源是离散信源的一个特例
该信源符号只有二个，设为“0”和“1”。符号输 出的概率分别为“”和“1- ”，即信源的概率空 间为：
p(xx)0
1
1
H(X) = -log –(1-) log(1-) =H()
H (X ) H (X 1 X 2 X L ) H (X 1 ) H (X 2|X 1 ) H (X L|X L 1 X 1 )
平均符号熵为
极限熵
HL(X)L1H(X)
HL l i m HL(X)
• 对离散平稳信源若H1(X)＜ ，则有以下性质：
• (1) 条件熵H(XN/X1X2…XN-1)随N的增加是递减的； • (2) HN(X) H(XN/X1X2…XN-1)； • (3) HN (X)也是随N增加而递减的； • (4) H 存在，并且:
统计独立信源X和Y的联合信源的熵等于信源 X和Y各自的熵之和。
H(XY) = H(X)+ H(Y)
可加性是熵函数的一个重要特性，正因具 有可加性，才使熵函数的形式是唯一的。
例如，甲信源为
pX (x)1a /1n
a2 1/n
... an ...1/n
乙信源为
pY (y)1b /1 m1b /2 m......1b /m m
离散无记忆:
p(Xi)p(xi1,xi2, ,xiL)
L
p(xi1)p(xi2)p(xi3)p(xiL) p(xil) l1
离散平稳信源
• 对于随机变量序列 XX1X2 XN各维联合 概率分布均与时间起点无关的完全平稳信 源称为离散平稳信源。
实验一 绘制二进制熵函数曲线
MATLAB实现
[p,q]=meshgrid(0.000001:0.01:1,0.000001:0.01:1); Hnoise=-p.*log2(p)-(1-p).*log2(1-p); x=(1-p).*q+p.*(1-q); I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise; mesh(p , q , I) % 噪声熵
二元信源的熵为
H ( p ,1 p ) p log p (1 p ) log(1 p )
Matlab程序
p=0.00001:0.001:0.99999; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)')
凸状性 H(p1,p2,…,pk)是上凸函数。
极值性
H ( p 1 , p 2 , ..., p k ) H ( 1 K , ..., 1 K ) lo g K
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。 二元信源
X P(X ) x 1 x 2 , 0 p 1 p 1 p
Matlab程序
p=linspace(eps,1-eps,100); q=linspace(eps,1-eps,100); [P,Q]=meshgrid(p,q); P_Q=P+Q; for n=1:100 for m=1:100 if P_Q(n,m)>=1 Q(n,m)=nan; end end end H=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q); mesh(P,Q,H) title('三维熵函数的图形')
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
从图上可以看出：信道给定的条件下，平均互信息随
信源分布呈现上凸性，具有最大值。而在信源给定的 条件下，平均互信息随信道转移概率呈现下凸性，具 有最小值。
四、实验报告要求
简述实验目的；
简述实验原理；
分别绘制二元信源和三元信源的熵。 通过图形分析他们的特点。
行统计平均，从而得到平均不确定性。
熵的表示
1 H ( X ) H ( p1 , p2 ,..., pk ) pk I ( xk ) pk log pk k 1 k 1
K
K
注意的问题
熵是自信息量的统计平均，因此单位与自信息量的单
位相同，与熵公式中所用对数的底有关： bit/符号、nat/符号、dit/符号、r进制单位/符号。
特殊公式
某个pk=0时，0log0=0 ( lim x log x 0
x 0
)
在熵的定义中忽略零概率事件。
离散熵的性质
对称性
H ( p1 , p2 ,..., pk ) H ( pm (1) , pm (2) ,..., pm ( k ) )
可扩展性
H ( p1 , p2 ,..., p k ) H ( p1 ,..., pi , 0, pi 1 ,..., pk )
H(p1,p2,…,pk)是上凸函数。
极值性
1 1 H ( p1 , p2 ,..., pk ) H ( ,..., ) log K K K
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。
二元信源
X x1 x2 P ( X ) p1 p ,0 p 1
熵函数是非负函数、上凸函数，并且等概率时达到最大值。
计算任意多个符号信源的熵
MATLAB函数说明
sum(A)：求数组A的元素之和
length(X)：求矢量X的长度 log2(X)：计算以2为底X的对数 error：显示错误信息
定义函数
function H=entropy(p) % 该函数用来计算包含任意多个符号的信源熵
非负性
H ( p1, p2,..., pk ) H ( p) 0
强可加性
H ( p1q11 ,..., p1q1 j ,..., pk qk 1 ,..., pk qkj ) H ( p1 , p2 ,..., pk ) pk H (qk 1 , qk 2 ,..., qkj )
MATLAB实现
[p,q]=meshgrid(0.000001:0.01:1,0.000001:0.01:1); Hnoise=-p.*log2(p)-(1-p).*log2(1-p); x=(1-p).*q+p.*(1-q); I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise; mesh(p , q , I) % 噪声熵
实验一 绘制二进制熵函数曲线
一、实验目的
熟悉工作环境及工具箱 掌握绘图函数的运用 理解熵函数表达式及其性质 掌握利用MATLAB对信源熵的求解 理解信道平均互信息的性质
二、实验原理
熵
自信息量是针对信源的单个符号而言的，而符号是随
机发生的，因此单个符号的不确定性不足于代表信源 的不确定性性质，为此，可对所有符号的自信息量进
二元信源的熵为
H ( p,1 p) p log p (1 p)log(1 p)
Matlab程序
p=0.00001:0.001:0.99999; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)')
% p为DMS的概率分布，行向量
例1 满足完备性
p=[0.1 0.2 0.3 0.4] h=entropy(p) 运行结果
例2 不满足完备性
p=[0.2 0.19 0.18 0.17 0.16 0.17]
h=entropy(p) 运行结果
绘制二进制对称信道平均互信息量（BSC）
Matlab程序
p=linspace(eps,1-eps,100); q=linspace(eps,1-eps,100); [P,Q]=meshgrid(p,q); P_Q=P+Q; for n=1:100 for m=1:100 if P_Q(n,m)>=1 Q(n,m)=nan; end end end H=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q); mesh(P,Q,H) title('三维熵函数的图形')
k 1 K
可加性
H ( p1q1 ,..., p1q j ,..., pk q1 ,..., pk q j ) H ( p1 , p2 ,..., pk ) H (q1, q2 ,..., qk )
渐化性
p1 p2 H ( p1 , p2 ,..., pk ) H ( p1 p2 , p3..., pk ) ( p1 p2 ) H ( , ) p1 p2 p1 p2 凸状性
绘制三元信源的熵
三元信源
X x1 x2 x3 P p p 1 p p x 1 2 1 2
三元信源的熵为
H ( p1 , p2 ,1 p1 p2 ) p1 log p1 p2 log p2 (1 p1 p2 )log(1 p1 p2 )
MATLAB函数说明
eps：极小值，避免0概率事件 meshgrid：语法[X,Y] = meshgrid(x,y) 将矢量x
和y规定的区域变换为数组X和Y，X和Y可用 于计算自变量函数或绘制3维网格/表面。X的 各行均为矢量x；Y的各列均为矢量y。
n观察输出结果中得到有关输入符号的信息。
平均互信息量
是统计平均意义下的先验不确定性和后验不确定性之 差，也是互信息量的统计平均。
信道平均互信息量
平均互信息量是非负； 平均互信息量是有界的； 平均互信息量的凸状性。
绘制二进制对称信道平均互信息量（BSC）
平均互信息量表达式
I ( X ; Y ) H (Y ) H (Y | X ) H ( pq pq ,1 pq pq ) H ( p, p)