熵函数实验报告
信源熵值计算实验报告材料(成型)(2)
信息论与编码课程设计报告设计题目：专业班级学号学生指导教师教师评分年月日目录目录一、设计任务与要求 (1)二、设计思路 (1)三、设计流程图 (2)四、程序运行及结果 (3)五、心得体会 (3)参考文献 (3)附录：源程序 (4)设计一.信源熵值计算一、设计任务与要求任务与要求：统计任意文本文件中各字符（不区分大小写）数量，计算字符概率，并计算信源熵。
二、设计思路由于能力有限，该程序统计只含有字母文档与空格的文档，下面对程序进行讲解：第一步：打开一个名为“text”的TXT文档，并判断文档是否为空，读入一篇英文文章存入一个数组temp，为了程序准确性将所读容转存到另一个数组S，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1；第二步：计算信源总大小计算出每个字母和空格出现的概率；第三步：通过统计数据和信息熵公式计算出所求信源熵值并计算文档长度。
三、设计流程图四、程序运行及结果建立文件夹，输入文字，编写好程序并运行，查看结果输入测试文档“text2”There is no hate without fear. Hate is crystallized fear, fears dividend, fear objectivized. We hate what we fear and so where hate is, fear is lurking. Thus we hate what threatens our person, our vanity and our dreams and plans for ourselves. If we can isolate this element in what we hate we may be able to cease from hating.结果：五、心得体会信息论与编码是我们电子信息工程的一门重要的专业课，通过对本次课程设计，学习将学到的理论知识用于实践，同时也学习了用软件编写程序，进一步对本课程知识的巩固和理解。
离散信源熵信道容量实验报告
离散信源熵信道容量实验报告实验目的：通过模拟离散信源熵和信道容量的实验，掌握熵和信道容量的概念及计算方法。
实验原理：离散信源：离散信源是指其输出符号集合为有限的离散符号集合，通常用概率分布来描述其输出符号的概率分布，称为离散概率分布。
离散信源的熵是度量这一离散概率分布的不确定度的量度，其单位是比特。
离散信源的熵公式为：H(S)=-Σpi×log2pi其中，H(S)为离散信源的熵，pi为消息符号i出现的概率，log2为以2为底的对数。
信道容量：信道容量是指在某一固定的信噪比下，能够传送的最大信息速率。
信道容量的大小决定了数字通信系统的最高可靠传输速率。
离散无记忆信道的信道容量公式为：C=max{I(X;Y)}其中，X为输入符号，Y为输出符号，I为信息熵。
实验步骤：1. 生成随机概率分布对于3种不同的符号数量，生成随机的符号及其概率分布。
在生成时，要求概率之和为1。
2. 计算离散信源的熵根据所生成的随机概率分布计算离散信源的熵。
3. 构建离散无记忆信道构建一个离散的2进制对称信道，并存储在一个概率矩阵中，利用生成的概率分布对该矩阵进行初始化。
4. 计算信道容量根据所构建的离散无记忆信道计算其信道容量。
实验结果分析：以下是实验结果分析，其中H(S)表示离散信源的熵，C表示离散无记忆信道的信道容量。
符号数量为3时：符号概率a 0.2b 0.3c 0.5H(S) = 1.485构建的离散无记忆信道的概率矩阵为：| 0 | 1 |--------------------------a | 0.20 | 0.80 |--------------------------b | 0.60 | 0.40 |--------------------------c | 0.80 | 0.20 |--------------------------C = 0.823从实验结果可以看出，当符号数量增加时，熵的值也会随之增加，这是由于符号集合增加，随机性增强所导致的。
计算信息熵实验原理的应用
计算信息熵实验原理的应用1. 实验目的本实验旨在探究信息熵在计算机科学和信息论中的应用，通过实验验证信息熵的计算原理，并分析其在数据压缩、密码学以及机器学习等领域的实际应用。
2. 实验原理信息熵是信息论中度量信息不确定性的常用指标。
信息熵的计算公式如下：H(X) = -Σ(P(x) * log2(P(x)))其中，H(X)代表随机变量X的信息熵，P(x)表示随机变量X取值为x时的概率。
信息熵的单位是比特，表示所需的平均比特数来编码一组符号。
3. 实验步骤1.首先，收集一组待处理的数据，可以是文本、图像或其他形式的数据。
2.对数据进行预处理，例如去除噪声、归一化处理等，以确保数据质量和准确性。
3.根据数据的特点和需求，选择合适的编码方式。
常用的编码方式包括ASCII编码、Unicode编码、Huffman编码等。
4.对编码后的数据计算信息熵。
根据实验原理中给出的信息熵计算公式，计算数据的信息熵。
可以使用编程语言的计算函数或自行编写计算代码进行计算。
5.分析实验结果。
根据计算得到的信息熵结果，进行进一步的分析和讨论。
比较不同编码方式和不同数据集的信息熵结果，探讨其差异和潜在规律。
6.探究信息熵在数据压缩、密码学和机器学习等领域的应用。
通过查阅相关文献和资料，了解和讨论信息熵在不同领域中的具体应用方式和效果。
4. 实验结果与讨论通过实验计算得到的信息熵结果可以用于评估数据的不确定性和信息量。
信息熵越高，表示数据的不确定性越大，需要更多的比特数来进行编码。
在数据压缩中，可以利用信息熵的概念来设计压缩算法，减少数据存储和传输的成本。
在密码学中，信息熵可以用于生成随机密钥，增加密码的强度和安全性。
在机器学习中，信息熵可以作为衡量模型复杂度和决策效果的指标，帮助选择和优化模型。
5. 实验结论信息熵是计算机科学和信息论中的重要概念，具有广泛的应用价值。
通过实验可以验证信息熵的计算原理，并了解其在数据压缩、密码学和机器学习等领域的应用。
信息函数操作实验报告
实验名称：信息函数操作实验实验日期：2021年X月X日实验地点：XX大学信息工程学院实验室实验目的：1. 理解信息函数的概念及其在信息论中的应用。
2. 掌握信息函数的计算方法。
3. 通过实验加深对信息函数在实际问题中的应用理解。
实验原理：信息函数是信息论中的一个基本概念，它反映了信息传输过程中信息的不确定性。
信息函数有几种常见的类型，如对数信息函数、指数信息函数等。
本实验主要研究对数信息函数，其表达式为：H(X) = -Σp(x)logp(x)其中，H(X)表示随机变量X的信息熵，p(x)表示随机变量X取值为x的概率。
实验内容：1. 实验一：信息熵的计算（1）选择一组随机变量X的可能取值及其概率，例如：X的可能取值：{1, 2, 3}概率分布：{p(1) = 0.4, p(2) = 0.3, p(3) = 0.3}（2）根据信息熵公式计算信息熵H(X)。
（3）验证计算结果是否正确。
2. 实验二：信息函数在通信系统中的应用（1）选择一个简单的通信系统，如二进制通信系统。
（2）计算通信系统中信源的信息熵。
（3）分析信息熵对通信系统性能的影响。
实验步骤：1. 实验一：（1）编写程序，输入随机变量X的可能取值及其概率。
（2）根据信息熵公式计算信息熵H(X)。
（3）输出计算结果，并验证计算结果是否正确。
2. 实验二：（1）编写程序，模拟二进制通信系统，输入信源的概率分布。
（2）计算通信系统中信源的信息熵。
（3）分析信息熵对通信系统性能的影响，并输出分析结果。
实验结果：1. 实验一：输入：X的可能取值{1, 2, 3}，概率分布{p(1) = 0.4, p(2) = 0.3, p(3) = 0.3}输出：信息熵H(X) = 1.072. 实验二：输入：信源概率分布{p(0) = 0.5, p(1) = 0.5}输出：信源信息熵H(X) = 1.0分析：在二进制通信系统中，信源信息熵为1.0，表示信源的信息不确定性较大。
关于信源熵的实验报告讲解
实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号**********日期2013.11.22地点综合实验楼实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p)即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤13. MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4. MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
一绘制二元熵函数曲线报告
实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。
2.熟悉MATLAB软件。
1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。
任务栏：位于软件的正上方。
各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。
命令窗(Command Window)：位于软件操作界面的右侧。
在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。
该窗口用于输入命令并显示除图形以外的所有执行结果。
窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。
命令历史窗(Command History)：位于软件操作界面的左下方。
这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。
2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。
还有就是如何添加横坐标和纵坐标标题的命令语句。
3.实验程序。
w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。
热力学熵函数的探讨
热力学熵函数的探讨热力学熵函数（thermodynamicentropyfunction）是一种用来描述物质的混乱程度的函数，它与物质的原子排列密切相关。
这种混乱程度的函数定义为：热力学熵S等于内能U与温度T的乘积，即S = UT。
热力学熵函数描述了物质系统中不可逆变化的总量，因此它也被称为“不可逆熵”。
二、热力学熵函数的形式和性质热力学熵函数有多种形式，其中最常用的是微分熵，也就是指热力学熵对温度表示为导数的形式，即S = U(dT/T)。
这种函数表示热力学熵的变化随着温度的变化而变化。
另外，热力学熵函数也可以表示为熵函数曲线，即热力学熵随着温度的变化而变化的曲线。
此外，热力学熵函数有三个重要的性质：第一，热力学熵是常数；第二，热力学熵函数可用来表示物质体系的混乱程度；第三，热力学熵函数可用来计算物质体系的热力学熵。
三、热力学熵函数的应用热力学熵函数在物理学和化学学科中有许多应用。
在化学领域，它可以用来表示物质的化学活动，以及物质的热反应和化学反应等热化学反应。
在物理学领域，它用来表示热力作用和自由能变化以及温度变化。
此外，热力学熵函数还可以用来计算物质体系的热量，以及物质开释或吸收热量的情况。
四、热力学熵函数与熵定律熵定律是物理学里最重要的定律之一，也是物质体系最基本的物理规律。
熵定律规定，任何系统的物理熵总是在逐步增大，直到达到最大的平衡状态，这种状态被称为熵的最大化状态。
与熵定律相关的概念就是热力学熵函数。
它可以被用来说明熵定律的作用，表明物质体系的熵增加是一个不可逆过程，并且物质体系的熵一直在增加，直到物质体系的总熵达到最大值，这就是熵的最大化。
五、结论热力学熵函数是一种用来描述物质的混乱程度的函数，它与物质的原子排列密切相关。
它可以用来表示物质体系的混乱程度，以及物质开释或吸收热量的情况，还可以计算物质体系的热量。
热力学熵函数与熵定律有着密切联系，它们联系着物质体系的熵是不可逆的，并且物质体系的总熵一直在增加，最终达到最大值。
信息论实验报告1--信息熵的计算
~
fori=1:5
forj=1:4
sum=sum+A(i,j);
end
A(i,:)=A(i,:)/sum;
，
sum=0;
end
y=A;
求H（x|y）：
functiony=H_x_y(A)
"
sum=0;
fori=1:4
forj=1:5
sum=sum+A(j,i);
end
\
A(:,i)=A(:,i)/sum;
实验
总结
日
本次实验的收获、体会、经验、问题和教训：
\
1、信息熵计算Matlab源码
求H（x）：
function[a,b]=H_x(A)
sum =0;
B=zeros(5,1);
;
hx=0;%求H（x）的熵
fori=1:5%i代表行
forj=1:4%j代表列
sum=sum+A(i,j);
end
…
hx=hx-sum*log2(sum);
求H（x|y），H（y|x）
A=[ 0 0 0; 0 0;0 0;0 0 ;0 0 0];
H_x_y(A)
ans =
0 0 0
0 0
0 0
0 0
0 0 0
H_y_x(A)
ans =
0 0 0
0 0
0 0
0 0
0 0 0
教师
评语
成绩
辽宁工程技术大学上机实验报告
(
实验名称
信息熵的相关计算
院系
/
姓名
—
实验
）
目的
简述本次实验目的：
1、理解信息熵的概念
信息论实验信息熵函数的计算
H_X=0;
for(i=0;i<m;i++)
H_X=H_X-P_X[i]*log2(P_X[i]);
printf("\n\n信息熵H(X)=%f",H_X);//信息熵H(X)
//条件熵H(X|Y)
H_X_Y=0;
for(j=0;j<n;j++)//求P(Y)
{P_Y[j]=0;
for(i=0;i<m;i++)
{P_Y_X=matrix[i][j];
P_XY=P_Y_X*P_X[i];
P_Y[j]=P_Y[j]+P_XY;}
}
for(i=0;i<m;i++)//求H(X|Y)
{for(j=0;j<n;j++)
{P_Y_X=matrix[i][j];
P_XY=P_Y_X*P_X[i];
P_X_Y=P_XY/P_Y[j];
三.实验方案或步骤（程序设计说明）
实验选用C语言编程，用一维数组存储信源分布数据，二维数组存储信道转移概率矩阵。利用循环（嵌套）语句计算以下公式并输出需要的结果：
,
,
四.实验程序（经调试后正确的源程序）
#include "stdio.h"
#include "stdlib.h"
#include "math.h"
#define M 20//最大行数
#d顶的对数*/
float log2(float x)
{return log(x)/log(2);}//log2(x)
/*主函数*/
void main()
信息论实验信息熵函数的计算
信息论实验信息熵函数的计算信息熵是信息论中的一个重要概念，用于度量信息的不确定性或者随机性。
它可以描述信息源的平均信息量，也可以用于衡量编码的效率。
本文将介绍信息熵的计算方法，并通过实例来说明如何计算信息熵。
首先，我们需要了解如何计算一个离散概率分布的信息熵。
对于一个离散概率分布，它可以由一个概率密度函数来描述，其中每个事件的概率都是非负的，并且所有事件的概率之和为1、令p(x)表示事件x的概率，则该分布的信息熵H(X)可以通过以下公式计算：H(X) = -∑ [p(x) * log₂(p(x))]其中，∑表示对所有事件求和。
log₂表示以2为底的对数函数。
该公式的物理意义是，对于每个事件x，我们将其概率p(x)与以2为底的对数计算结果相乘，并将所有结果相加，得到的值即为信息熵。
为了更好地理解信息熵的计算过程，我们可以通过一个实例来进行展示。
假设有一个硬币的抛掷实验，在该实验中，正面向上和反面向上的概率分别为p(正)=1/2和p(反)=1/2、则该实验的信息熵可以使用以下公式进行计算：H(硬币实验) = -[1/2 * log₂(1/2) + 1/2 * log₂(1/2)]首先，我们需要计算log₂(1/2)的值。
根据对数的定义，我们可以将此式化简为：H(硬币实验)=-[1/2*(-1)+1/2*(-1)]=-(-1/2+1/2)=-0正如我们所期望的，在这个实验中，硬币是确定性的，即每次抛掷都会出现正面或反面。
因此，硬币实验的信息熵为0，意味着在该实验中我们不需要任何信息来描述结果。
接下来，我们来计算一个更复杂的实例，假设有一组骰子的抛掷实验，其中每个面出现的概率分别为p(1)=1/6，p(2)=1/6，p(3)=1/6，p(4)=1/6，p(5)=1/6，p(6)=1/6、我们可以使用以上公式计算该实验的信息熵：H(骰子实验) = -[1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 *log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6) + 1/6 * log₂(1/6)]首先，我们需要计算log₂(1/6)的值。
信息熵实验报告心得
信息熵实验报告心得# 实验报告心得1. 引言实验报告心得是对进行的信息熵实验的总结和反思。
本次实验的目的是通过计算信息熵来评估不同信息系统中的信息量和不确定度。
实验中首先对信息熵的定义和计算方法进行了学习，然后使用Python语言编写了相应的程序进行模拟实验，并对实验结果进行分析和讨论。
2. 实验过程实验的第一步是理解信息熵的概念和计算方法。
信息熵是用来衡量信息量和不确定度的指标，它的值越大表示信息越丰富，越不确定。
在实验中，我们使用了香农熵的计算方法，通过计算给定事件发生的概率和对数运算来得到信息熵的值。
接下来，我们使用Python编程语言编写了一个计算信息熵的函数。
函数的输入是一个概率分布列表，输出是对应的信息熵值。
我们在函数中使用了循环和对数运算等基本的编程知识。
然后，我们通过多个实例来测试我们的函数。
我们选择了几个具体的信息系统，例如一枚均匀硬币的正反面、一个人抽奖的结果等等。
通过计算这些信息系统的信息熵，我们可以比较不同信息系统的信息量和不确定度。
最后，我们对实验结果进行了分析和讨论。
我们发现，在一个均匀硬币的情况下，信息熵达到了最大值，表示这个系统的信息量最高且最不确定。
而在一个完全确定的情况下，信息熵为0，表示这个系统的信息量最低且最确定。
我们还讨论了其他一些特殊情况和应用。
3. 实验收获通过进行信息熵实验，我对信息熵的概念和计算方法有了更深入的理解。
我学会了如何使用Python编程语言来实现信息熵的计算，并应用到具体的信息系统中。
另外，在实验中我也体会到了科学实验的重要性和方法。
通过设计和进行实验，我可以深入探索某个问题并得到结论。
我还学会了如何进行数据的收集和分析，如何通过绘图和数据处理来对实验结果进行呈现和解释。
总之，这次信息熵实验让我对信息量和不确定度有了更深入的理解，也提高了我的编程和科学实验能力。
这些经验和技能对我的学习和未来的研究都有很大的帮助。
4. 实验改进虽然本次实验取得了一些重要的结果和收获，但仍然存在一些可以改进的地方。
熵函数实验报告
一、实验目的1.掌握MATLAB 软件的使用，以及其设计流程；2.掌握熵函数的实现方法；3.用MATLAB 语言设计熵函数的实现方法。
二、实验仪器或设备装MATLAB 软件的微机一台 三、总体设计 （一） 设计原理信源熵是信源不确定度的一个度量，其表示式如下1()()log ()ni i i H X p x p x ==-∑（二） 设计流程图1 流程图 四、实验步骤（包括主要步骤、代码分析等） （一）主要步骤1．打开MATLAB 集成调试软件2．单击“File ”－“New ”，新建一个.M 文件，命名为“h ”。
3．保存后运行。
4．在MATLAB 的主窗口输入p=[0.2 0.3 0.5]按Enter 后，输入H(p)再按Enter ，即可出现实验结果。
5．观察到实验结果为ans =1.48556．并分析实验结果 （二）主要代码分析function H=H(p)if((p>=0)&(p<=1)) %如果01p ≤≤，执行下列语句 P0=sum(p); %P0为各概率之和if (P0==1) %如果P0=1执行下列语句 H=-sum(p.*log2(p)); elsedisplay('defult') %P0为各概率之和不为1，输出defult end elsedisplay('defult') %如果不是01p ≤≤，输出defult end五、结果分析与总结通过本次实验，我进一步理解了熵函数的意义，通过MATLAB 编程，我进一步理解了熵函数的是对信源不确定度的度量。
但是，我发现自己在MATLAB 编程上还存在很大的欠缺，以后要加强在这方面的练习。
教师签名：年 月 日。
信息熵与图像熵的计算
实验一信息熵与图像熵计算一、实验目的1．复习MATL AB 的基本命令，熟悉MATL AB 下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验仪器、设备1．计算机－系统最低配置256M 内存、P4 CPU。
2．Matlab仿真软件－ 7.0 / 7.1 / 2006a等版本Mat lab 软件。
三、实验内容与原理（1）内容：1．能够写出MATLAB源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出M ATLAB程序，求出给定图像的图像熵。
（2）原理1． MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3．学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：255log i iip p ==∑H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
实验1-信息论相关实验实验报告
信息论与编码实验一实验报告学生姓名周群创指导教师张祖平学号 0909110814 专业班级电子信息1101实验一关于信源熵的实验一、实验目的1. 掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel 的绘图功能，使用Excel 绘制散点图、直方图。
二、实验原理1. 离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
随机事件的自信息量I（x i）为其对应的随机变量x i 出现概率对数的负值。
即：I（x i）= -log2 p(x i)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量x i 出现概率的数学期望，即：H(X )=-∑p(x )I (x ) =-∑p(x ) log p(x )2. 二元信源的信息熵设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，p+ q=1，即信源的概率空间为则该二元信源的信源熵为：H(X) = - p log p –q log q = - p log p – (1- p) log (1- p)即：H (p) = - p log p – (1- p) log (1- p) 其中 0 ≤p ≤13. MATLAB 二维绘图用matlab 中的命令plot(x, y)就可以自动绘制出二维图来。
例1-2，在matlab 上绘制余弦曲线图，y = cos x，其中0 ≤x ≤2。
>>x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2>>y=cos(x)； %计算余弦向量>>plot(x,y) %绘制图形4. MATLAB 求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
信息熵的分析与计算 实验报告
西安石油大学实验报告
课程名称教育信息处理实验名称课件信息熵的分析与计算
姓名__@@@_ 学号___#####__专业班级_ ####### 实验日期_2012___ 年3月_16日成绩___ 指导教师_ ########
一、实验内容
1.检索可用课件；
2.分析课件信息熵存在形式；
3.计算课件信息熵值。
二、实验目的
1.充分理解信息熵及计算；
2.课件信息熵存在形式的了解；
3.关于课件检索。
三、实验方法与步骤
(1)对此课件，学习者对具有五种预选答案问题的应答分布
为（1/5）（1/5）（1/5）（1/5）（1/5）
其信息熵为：H=5*1/5log25=2.24(bit)
(2)对此规律，做出四次测试，其分布也为四个四分之一。
其信息熵为:H=4*1/4log24=2(bit)
(3)学习者了解反射与折射规律，实验记录八组数据。
其分布为：八个八分之一。
其信息熵为：H=8*1/8log28=3（bit）
此实验课件的总的信息熵为H=2.24+2+3=7.24（bit）
四、实验总结
通过对课件信息熵的分析与计算，从问题、课件所具有的学习功能来看，问题的信息量越大，表示学习者应答分布的分散性越大的，问题的信息量越小，表示学习者应答分布越集中。
变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
基于这样的分析，我们可以利用信息熵来评价课件中所设置的问题与功能，从而促进学习者的思考和提高学习效率。
一绘制二元熵函数曲线报告
实验一绘制二元熵函数曲线实验报告一、实验目的1.熟悉MATLAB工作环境及工具箱2.理解熵函数表达式及其性质二、实验内容用MATLAB软件编程绘制二元熵函数曲线三、实验过程1.复习二元熵函数，理解二元信源的熵H(w)=-wlogw-(1-w)log(1-w)表达式。
2.熟悉MATLAB软件。
1)MATLAB的操作界面MATLAB操作界面主要分为：任务栏、命令窗、命令历史窗、当前目录浏览器、工作空间浏览器及一个“启动按钮”。
任务栏：位于软件的正上方。
各个菜单分别为：文件、编辑、视窗、调试、桌面、窗体、帮助这几个窗口，点击每个窗口可以选择需要的操作。
命令窗(Command Window)：位于软件操作界面的右侧。
在此窗口里，可以输入各种指令、函数、变量表达式并进行各种操作。
该窗口用于输入命令并显示除图形以外的所有执行结果。
窗口中的“>>”为命令提示符，直接在其后面输入命令并按下回车键后，会出现计算结果在命令后面。
命令历史窗(Command History)：位于软件操作界面的左下方。
这个窗口记录了命令窗口已经运行过的所有命令（指令、函数等），允许用户对这些命令进行选择、复制。
2)MATLAB的函数绘制二维图形最常用的就是plot函数，调用plot函数的三种形式：plot(x)、plot(x,y)、plot(x,y,’r:x’)。
还有就是如何添加横坐标和纵坐标标题的命令语句。
3.实验程序。
w=0.000001:0.0001:0.999999999 %定义w的取值范围y=-w.*log2(w)-(1-w).*log2(1-w) %定义二元熵函数的表达式plot(w,y,'r') %画出二元熵函数的曲线图xlabel('w') %x轴的名称ylabel('H(w)') %y轴的名称grid on %给图形加上网格title('二元熵函数H(w)') %函数曲线的名称运行结果如下：四、实验结果分析从图中可以看出熵函数的一些性质，如果二元信源的输出概率是1或0（即二元信源的输出是确定的），则该信源不提供任何信息。
绘制二进制熵函数曲线
熵函数是非负函数、上凸函数，并且等概率时达到最大值。
计算任意多个符号信源的熵
MATLAB函数说明 sum(A)：求数组A的元素之和 length(X)：求矢量X的长度 log2(X)：计算以2为底X的对数 error：显示错误信息
定义函数
function H=entropy(p) % 该函数用来计算包含任意多个符号的信源熵 % p为DMS的概率分布，行向量
Matlab程序
p=linspace(eps,1-eps,100); q=linspace(eps,1-eps,100); [P,Q]=meshgrid(p,q); P_Q=P+Q; for n=1:100 for m=1:100 if P_Q(n,m)>=1 Q(n,m)=nan; end end end H=-P.*log2(P)-Q.*log2(Q)-(1-P-Q).*log2(1-P-Q); mesh(P,Q,H) title('三维熵函数的图形')
从图上可以看出：信道给定的条件下，平均互信息随信源分布呈现上凸性，具有最大值。而在信源给定的条件下，平均互信息随信道转移概率呈现下凸性，具有最小值。
四、实验报告要求
简述实验目的； 简述实验原理； 分别绘制二元信源和三元信源的熵。 通过图形分析他们的特点。
三、实验内容
用 Matlab 软件绘制二进熵函数曲线。 二元信源 二元信源的熵为
Matlab程序
p=0.00001:0.001:0.99999; h=-p.*log2(p)-(1-p).*log2(1-p); plot(p,h); title('二进熵函数曲线'); ylabel('H(p,1-p)')
实验一 绘制二进制熵函数曲线
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
一、实验目的
1.掌握MATLAB 软件的使用，以及其设计流程；
2.掌握熵函数的实现方法；
3.用MATLAB 语言设计熵函数的实现方法。
二、实验仪器或设备
装MATLAB 软件的微机一台 三、总体设计 （一） 设计原理
信源熵是信源不确定度的一个度量，其表示式如下
1()()log ()
n
i i i H X p x p x ==-∑
（二） 设计流程
图1 流程图 四、实验步骤（包括主要步骤、代码分析等） （一）主要步骤
1．打开MATLAB 集成调试软件
2．单击“File ”－“New ”，新建一个.M 文件，命名为“h ”。
3．保存后运行。
4．在MATLAB 的主窗口输入p=[0.2 0.3 0.5]按Enter 后，输入H(p)再按Enter ，即可出现实验结果。
5．观察到实验结果为ans =1.4855
6．并分析实验结果 （二）主要代码分析
function H=H(p)
if((p>=0)&(p<=1)) %如果01p ≤≤，执行下列语句 P0=sum(p); %P0为各概率之和
if (P0==1) %如果P0=1执行下列语句 H=-sum(p.*log2(p)); else
display('defult') %P0为各概率之和不为1，输出defult end else
display('defult') %如果不是01p ≤≤，输出defult end
五、结果分析与总结
通过本次实验，我进一步理解了熵函数的意义，通过MATLAB 编程，我进一步理解了熵函数的是对信源不确定度的度量。
但是，我发现自己在MATLAB 编程上还存在很大的欠缺，以后要加强在这方面的练习。
教师签名：
年 月 日。