(完整版)计算离散信源的熵matlab实现
matlab信源熵计算
MATLAB信源熵计算概述在信息论中，信源熵是一种度量信源中平均信息量的指标。
在MATLAB中，我们可以使用一些函数和算法来计算信源熵。
本文档将介绍如何使用MATLAB计算信源熵的方法，以及相关的概念和原理。
信源熵的定义在信息论中，信源熵表示信源输出的信息的平均量。
假设有一个离散信源，其输出符号的概率分布为P(x1), P(x2), …,P(xn)，并且满足∑P(xi) = 1。
则该信源的熵可以通过以下公式计算：H(X) = -∑P(xi)log2(P(xi))其中，H(X)表示信源X的熵。
MATLAB中计算信源熵的方法MATLAB提供了一些函数和算法来计算信源熵。
1. 基于概率分布的计算方法我们可以通过给出信源的概率分布来计算信源熵。
在MATLAB中，可以使用以下代码来计算：prob = [0.2, 0.3, 0.1, 0.4]; % 信源输出概率分布entropy = -sum(prob .* log2(prob)); % 计算信源熵这里的prob是一个包含信源输出概率分布的向量，根据具体情况进行调整即可。
entropy变量将保存计算得到的信源熵。
2. 基于数据样本的计算方法如果我们有信源的数据样本，而不是概率分布，我们也可以通过计算样本的统计信息来估计信源熵。
在MATLAB中，可以使用tabulate函数来统计数据样本的频次，并计算信源熵。
data = [1, 2, 3, 4, 3, 2, 1, 3, 4, 2]; % 数据样本counts = tabulate(data); % 统计样本频次prob = counts(:, 3) / 100; % 计算信源输出概率entropy = -sum(prob .* log2(prob)); % 计算信源熵这里的data是一个包含数据样本的向量，根据具体情况进行调整即可。
entropy变量将保存计算得到的信源熵。
3. 使用Entropy函数MATLAB还提供了一个名为entropy的函数来计算信源熵。
2.2 离散信源的熵
第 二 章 基 本 信 息 论
§2.2 离散信源的熵
二、基本性质
4. 扩展性 limH( p1 , p2 ,⋯, pi − ε , ⋯, pN ,ε ) = H( p1 , p2 ,⋯, pN ) .
ε →0
说明虽然小概率事件的信息量很大， 说明虽然小概率事件的信息量很大，但由于该事件几乎 不会出现，故熵几乎不变。反映了熵的总体平均性。 不会出现，故熵几乎不变。反映了熵的总体平均性。 证
H( X) = H( p1 , p2 ,⋯, pN ) = 0.
表明确定性的信源不含有任何信息量， 表明确定性的信源不含有任何信息量，其信源熵必为 0。 。 证 (1) 若 pl = 1 , pk = 0 ( k ≠ l ) , ⇒
N i =1
N
H ( X ) = − ∑ pi log pi = 0 .
轻松一下吧 ……
11
i =1
(2) 若 H ( X ) = − ∑ pi log pi = 0 , 由于 pi log pi ≤ 0 (∀i ) , ⇒ 又由于 pi log pi = 0 (∀i ) , ⇒ pi = 0 或 pi = 1 (∀i ) ,
∑ pi = 1 ,
i =1
N
故 { pk }中只有一个为 1，其余的为 0。 ， 。 6
§2.2 离散信源的熵
二、基本性质
1. 非负性
H( X) = H( p1 , p2 ,⋯, pN ) ≥ 0.
证 由 0 ≤ pi ≤ 1 ⇒ log pi ≤ 0 ,
N
⇒
i =1
pi log pi ≤ 0 ,
⇒
H ( X ) = − ∑ pi log pi ≥ 0 .
2. 对称性
MATLAB实现基本尺度熵算法
地理与生物信息学院2011 / 2012 学年第二学期实验报告课程名称：医学信号处理实验名称：基本尺度熵算法实现班级学号： 11111111学生姓名： AAAA 指导教师： BB日期：2012 年 6 月一、 实验题目：Matlab 软件处理生物医学数字信号（熵方法2）二、实验要求：基本尺度熵算法实现三、实验内容：能使用Matlab 软件编写、实现基本尺度熵算法并处理生物医学信号。
四、实验过程：对于数据长度为N 的时间序列u ：}1:)({N i i u ≤≤,把该时间序列嵌入m 维相空间[19]。
对于每一个)(i u ，取m 个点组成一m 维矢量：)])1((,),(),([)(L m i u L i u i u i X -++= ， （1）这里m 是嵌入维数，L 是延迟时间。
取1=L ，那么共有1+-m N 个m 维矢量。
对于每一个m 维矢量，计算出基本尺度BS ,BS 定义为m 维矢量中所有相邻点数据间隔（或大小）的差值方均根值，即1))1()((()(112--+-+=∑-=m j i u j i u i BS m j . （2）根据基本尺度选择符号划分标准为BS ⨯α，然后把每一个m 维矢量转换成m 维矢量符号序列))((i X S i ={ )1(,),1(),(-++m i s i s i s }, A s ∈ (3,2,1,0=A )。
具体的转换如下：)3(:3:2:1:0))((⎪⎪⎩⎪⎪⎨⎧⨯-≤≤<⨯-⨯+>⨯+≤<=++++BS a u u uu BS a u BS a u u BS a u u u i X S k i k i k i k i i这里,1,3,2,1+-=m N i 1,2,1,0-=m k 。
u 代表第i 个m 维矢量的平均值，BS 代表第i 个m 维矢量的基本尺度，符号0,1,2,3 仅仅作为每一个划分区域的记号，具体数值的大小并没有实际的意义。
信源熵函数曲线Matlab仿真
信源熵函数曲线Matlab仿真信源熵函数曲线Matlab仿真实验目的1.掌握离散信源熵的原理和计算方法。
2．熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。
3.理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。
实验原理离散信源相关的基本概念、原理和计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号。
假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。
设第i个变量x i发生的概率为p i=P{X=x i}。
则：定义一个随机事件的自信息量I（x i）为其对应的随机变量x i出现概率对数的负值。
即：I（x i）= -log2p(x i)定义随机事件X的平均不确定度H（X）为离散随机变量x i出现概率的数学期望，即：单位为比特/符号或比特/符号序列。
平均不确定度H（X）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H（X）称为信源X的信源熵。
必须注意一下几点：a.某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。
b.信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。
c.熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度，平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。
或者说获得这么大的信息量后，信源不确定度就被消除了。
信源熵和平均自信息量两者在数值上相等，但含义不同。
当某一符号x i的概率p(x i)为零时，p(x i)log p(x i) 在熵公式中无意义，为此规定这时的p(x i)log p(x i) 也为零。
当信源X中只含有一个符号x时，必有p(x)=1，此时信源熵H（X）为零。
matlab熵值法
matlab熵值法Matlab熵值法熵值法是一种常用的多指标综合评价方法，可以用于解决决策问题。
在Matlab中，可以利用熵值法进行数据处理和分析，从而得出较为准确的评价结果。
本文将介绍熵值法的基本原理和在Matlab中的应用。
一、熵值法的基本原理熵值法是基于信息论中的熵概念发展而来的一种综合评价方法。
其基本原理是通过计算指标的熵值和权重，将不同指标的数据标准化，并根据标准化后的数据进行综合评价。
具体步骤如下：1. 确定评价指标：根据具体问题，确定需要评价的指标，例如生产效率、环境质量等。
2. 收集数据：收集各指标的数据，可以是实测数据或者经验数据。
3. 数据标准化：将各指标的数据进行标准化处理，一般采用线性标准化或者非线性标准化方法。
4. 计算熵值：根据标准化后的数据，计算各指标的熵值。
熵值越小，表示该指标的信息量越大。
5. 计算权重：根据各指标的熵值，计算各指标的权重。
熵值越小，表示该指标的重要性越高，权重越大。
6. 综合评价：将各指标的权重与标准化后的数据相乘，得到各指标的加权综合值。
根据综合值的大小，对各评价对象进行排序或者分类。
二、Matlab中的熵值法实现在Matlab中，可以利用熵值法进行数据处理和分析。
下面以一个简单的案例来说明如何使用Matlab进行熵值法分析。
假设我们需要对某个城市的环境质量进行评价，评价指标包括空气质量、水质、噪声等。
我们已经收集到了这些指标的数据，并进行了标准化处理。
1. 首先，我们需要定义评价指标和标准化后的数据。
可以使用Matlab中的矩阵来表示，每一行表示一个评价对象，每一列表示一个评价指标。
2. 然后，我们可以使用熵值法的计算公式来计算各指标的熵值和权重。
在Matlab中，可以使用熵值法的计算函数进行计算。
函数的输入参数为标准化后的数据，输出结果为各指标的熵值和权重。
3. 最后，我们可以根据各指标的权重和标准化后的数据，计算各评价对象的综合值。
根据综合值的大小，可以对评价对象进行排序或者分类。
求条件熵和互信息的matlab实现
求条件熵和互信息的matlab实现作业1 _ 08116649 _朝云_宋EEE315信息论与编码分配1渠道容量和相互性信息身份证号码:08116649姓名:朝云。
歌曲作业1 _ 08116649 _朝云_宋1.介绍香农的信息内容应该具有一些直观的属性:1(()事件中包含的信息应该根据事件的不确定性的一些度量来定义。
不太确定的事件应该比更确定的事件包含更多的信息。
作为单个事件的不相关事件的信息应该等于不相关事件的信息之和。
在信息论中，熵是对随机变量不确定性的度量。
在这种情况下，该术语通常指的是香农熵，它量化了消息中包含的信息的期望值，通常以比特等单位表示。
在这种情况下，“消息”意味着随机变量的具体实现。
熵被定义为:H(x)？？？p(x)logp(x)它可以被视为:发送某种形式的信息所需的最低成本的量度；以比特为单位测量的信息的“惊奇因子的数量”。
或者携带信息需要花费多少能量，这些能量转化为编码信息所需的最小比特数。
在概率论和信息论中，相互两个随机变量的信息(有时被古老的术语transinformation所知)是衡量两个随机变量相互依赖性的一个量。
当使用以2为基数的对数时，相互信息最常见的度量单位是比特。
相互信息可以定义为:其中p(x，Y)是X和Y的联合概率分布函数，p1(x)和p2(y)分别是X 和Y的边际概率分布函数。
作业1 _ 08116649 _朝云_宋2.结果与Matlab条纹和函数(1)。
写一个Matlab函数来计算给定离散分布的源的熵。
计算下列分布的熵。
绘制每个分布的熵图。
甲={乙= {C={0.1，0.31，0.001，0.009，0.2，0.15，0.23}解:Matlab代码> > A =[1/2 1/4 1/8 1/8]；> > H1=-sum(A.*log2(A)) H1 =1.7500> > B =[1/4 1/4 1/4]；> > H2 =-总和(B.*log2(B)) H2 = 2> > C=[0.1、0.31、0.001、0.009、0.2、0.15、0.23]；> > H3 =-总和(摄氏度*log2(摄氏度))1111，，248814}14岁，14岁，14，}作业1 _ 08116649 _朝云_宋H3 =2.2897(2)。
验证最大离散熵定理 使用matlab 绘制二进制信源的熵随概率变化的曲线
验证最大离散熵定理使用matlab 绘制二进制信源的熵随概率变化的曲线摘要：1.引言2.最大离散熵定理的定义和意义3.二进制信源的熵随概率变化的曲线4.使用Matlab 验证最大离散熵定理5.结论正文：1.引言在信息论中，熵是一个重要的概念，用于度量信息的不确定性或混乱程度。
离散信源的熵是描述其信息产生不确定性的一个指标，而最大离散熵定理则是指离散信源的熵在某种情况下可以达到的最大值。
本文将通过使用Matlab 绘制二进制信源的熵随概率变化的曲线，来验证最大离散熵定理。
2.最大离散熵定理的定义和意义最大离散熵定理是指对于一个有m 个符号的离散信源，其熵H(X) 可以达到的最大值为log2m，当且仅当每个符号出现的概率相等，即P(x)=1/m （x∈X）。
这意味着，当信源的不确定性最大时，信源的熵也达到最大。
3.二进制信源的熵随概率变化的曲线二进制信源是指只有两个符号的信源，例如硬币抛掷。
我们可以通过Matlab 绘制熵随概率变化的曲线，来直观地验证最大离散熵定理。
首先，我们可以定义一个二进制信源，其中每个符号的概率为p 和1-p。
然后，我们可以使用Matlab 的plot 函数绘制熵随概率变化的曲线。
具体地，我们可以将熵的计算公式H(X)=-p*log2p-(1-p)*log2(1-p) 作为plot 的函数，将p 作为x 轴的取值范围，将熵作为y 轴的取值范围。
4.使用Matlab 验证最大离散熵定理通过Matlab 绘制的熵随概率变化的曲线，我们可以看到当p=1/2 时，熵达到最大值，即H(X)=1。
这验证了最大离散熵定理的正确性。
5.结论通过使用Matlab 绘制二进制信源的熵随概率变化的曲线，我们验证了最大离散熵定理的正确性。
实验一_信息熵与图像熵计算_正确
实验一信息熵与图像熵计算（2 学时）一、实验目的1.复习MATLAB的基本命令，熟悉MATLAB下的基本函数；2.复习信息熵基本定义,能够自学图像熵定义和基本概念。
二、实验容1.能够写出MATLAB源代码，求信源的信息熵；2.根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。
三、实验仪器、设备1.计算机－系统最低配置256M存、P4 CPU；2.MATLAB编程软件。
四实验流程图五实验数据及结果分析四、实验原理1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。
2.利用信息论息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3.学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：2550 log i i i p p H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度2分布的空间特征量，与图像的像素灰度组成特征二元组，记为(i,j)，其中i表示像素的灰度值(0<=i<=255)，j表示邻域灰度(0<=j<=255),2 ( , ) / ij p f i j N上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i,j)为特征二元组(i,j)出现的频数，N为图像的尺度，定义离散的图像二维熵为:2550 log ij ij i p p H构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域灰度分布的综合特征。
matlab样本熵分析
matlab样本熵分析【matlab样本熵分析】1. 引言在实际问题求解中，数据的复杂性和多样性经常导致难以从数据中得出有用的信息。
为了更好地理解和分析数据，在信号处理、图像处理以及模式识别领域中，熵函数被广泛应用。
在这篇文章中，我们将探讨一种基于 MATLAB 的方法，即样本熵分析，用于从数据中提取有关随机性和复杂性的信息。
2. 熵的概念熵是信息论中一个关键的概念，描述了随机变量的不确定性。
熵越大，表示随机变量越不确定，而熵越小，则表示随机变量越确定。
在我们的数据分析中，熵可以被用来衡量数据集的复杂性和不规律性。
3. 样本熵的计算在 MATLAB 中，可以使用以下步骤计算样本熵：3.1 数据准备需要准备一组数据用于计算样本熵。
这可以是任何类型的数据，时间序列数据、图像数据或声音数据。
3.2 确定样本长度样本长度是指用于计算样本熵的数据窗口的大小。
较小的样本长度会导致较短的时间尺度分析，而较大的样本长度则会产生较长的时间尺度分析。
在选择样本长度时，需要根据数据的实际情况和分析目的进行权衡。
3.3 计算样本熵样本熵的计算涉及到两个关键步骤：3.3.1 生成符号序列将数据分成不相交的样本长度窗口。
根据每个样本长度窗口中的数据值，将其映射到一系列符号。
符号的选择可以根据问题的具体要求来确定，可以将数据值离散化到不同的取值范围内，或者使用统计方法将数据映射为不同的符号。
3.3.2 计算样本熵使用生成的符号序列，可以通过应用香农熵的公式来计算样本熵。
香农熵是信息论中常用的一种熵度量方式，用于衡量随机变量的平均信息量。
3.4 统计分析完成样本熵的计算后，可以进行进一步的统计分析，例如绘制样本熵的分布图、计算平均样本熵或计算不同样本长度下的样本熵。
4. 优势和应用4.1 随机性分析样本熵可以用于分析数据中的随机性和不规律性。
通过计算样本熵，我们可以了解数据的复杂程度，并获取有关数据中的随机特征的信息。
4.2 异常检测样本熵可以作为一种异常检测的指标。
关于信源熵的实验报告
实验报告实验名称关于信源熵的实验课程名称信息论与编码姓名xxx 成绩90班级电子信息1102学号0909112204日期2013.11.22地点综合实验楼实验一MATLAB完成离散信源熵的计算一、实验目的1. 通过信息论与编码学理论，掌握离散信源熵的原理和计算方法。
2. 熟悉matlab 软件的基本操作和基本工具以及使用，掌握利用matlab求解信息熵的原理和方法。
3. 练习使用matlab 求解信源的信息熵。
自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。
二、实验原理1.离散信源的基本概念、原理和信源熵相关计算公式产生离散信息的信源称为离散信源。
离散信源只能产生有限种符号，因此离散离散消息可以看成是一种有限个状态的随机序列。
随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。
即： I （xi ）= -log2p ( xi)随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概率的数学期望，即：2.离散二元信源的信息熵设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q，p+ q =1，即信源的概率空间为：则该二元信源的信源熵为：H(X) = - p*logp–q*logq = - p*logp –(1 - p)*log(1- p)即：H (p) = - p*logp –(1 - p)*log(1- p) 其中 0 ≤ p ≤13.MATLAB二维绘图用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。
例：在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤ 2 。
>>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…，6.2>>y =cos(x )； %计算余弦向量>>plot(x ,y ) %绘制图形4.MATLAB求解离散信源熵求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
信息熵的matlab程序实例讲课稿
信息熵的m a t l a b程序实例求一维序列的信息熵（香浓熵）的matlab程序实例对于一个二维信号，比如灰度图像，灰度值的范围是0-255，因此只要根据像素灰度值(0-255)出现的概率，就可以计算出信息熵。
但是，对于一个一维信号，比如说心电信号，数据值的范围并不是确定的，不会是(0-255)这么确定，如果进行域值变换，使其转换到一个整数范围的话，就会丢失数据，请高手指点，怎么计算。
比如数字信号是x(n),n=1~N(1)先用Hist函数对x(n)的赋值范围进行分块，比如赋值范围在0~10的对应第一块，10~20的第二块，以此类推。
这之前需要对x(n)做一些归一化处理(2)统计每一块的数据个数，并求出相应的概率(3)用信息熵公式求解以上求解方法获得的虽然是近似的信息熵，但是一般认为，这么做是没有问题的求一维序列的信息熵的matlab程序代码如下：（已写成调用的函数形式）测试程序：fs=12000;N=12000;T=1/fs;t=(0:N-1)*T;ff=104;sig=0.5*(1+sin(2*pi*ff*t)).*sin(2*pi*3000*t)+rand(1,length(t));Hx=yyshang(sig,10)%———————求一维离散序列信息熵matlab代码function Hx=yyshang(y,duan)%不以原信号为参考的时间域的信号熵%输入：maxf:原信号的能量谱中能量最大的点%y:待求信息熵的序列%duan:待求信息熵的序列要被分块的块数%Hx:y的信息熵%duan=10;%将序列按duan数等分，如果duan=10,就将序列分为10等份x_min=min(y);x_max=max(y);maxf(1)=abs(x_max-x_min);maxf(2)=x_min;duan_t=1.0/duan;jiange=maxf(1)*duan_t;% for i=1:10% pnum(i)=length(find((y_p>=(i-1)*jiange)&(y_p<i*jiange)));% endpnum(1)=length(find(y<maxf(2)+jiange));for i=2:duan-1pnum(i)=length(find((y>=maxf(2)+(i-1)*jiange)&(y<maxf(2)+i*jiange))); endpnum(duan)=length(find(y>=maxf(2)+(duan-1)*jiange));%sum(pnum)ppnum=pnum/sum(pnum);%每段出现的概率%sum(ppnum)Hx=0;for i=1:duanif ppnum(i)==0Hi=0;elseHi=-ppnum(i)*log2(ppnum(i));endHx=Hx+Hi;endend%----------------扩展阅读：实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
熵值法matlab代码
熵值法matlab代码熵值法是一种常见的多指标决策方法，它可以用于确定各指标的权重，从而更准确地对不同方案进行评价和比较。
在matlab中，我们可以通过编写简单的代码来实现熵值法的计算。
首先，我们需要定义一个函数来计算熵值。
熵值的计算公式如下： $$ E_i = -frac{1}{ln{n}}sum_{j=1}^n p_{ij}ln{p_{ij}} $$ 其中，$E_i$表示第$i$个指标的熵值，$p_{ij}$表示第$j$个方案在第$i$个指标上的得分占比，$n$为方案数。
接下来，我们可以编写一个函数来计算每个指标的熵值，并返回一个熵值向量。
代码如下：```matlabfunction [E] = entropy(A)% 计算熵值% 输入参数：A为方案指标矩阵，每行为一个方案% 输出参数：E为各指标的熵值向量[n, m] = size(A);E = zeros(1, m);for i = 1:m% 计算每个方案在该指标上的得分占比p = A(:,i) / sum(A(:,i));% 计算熵值E(i) = -1 / log(n) * sum(p .* log(p));endend```接下来，我们可以编写一个函数来计算每个指标的权重。
权重的计算公式如下：$$ w_i = frac{1 - E_i}{m - sum_{j=1}^m E_j} $$ 其中，$w_i$表示第$i$个指标的权重，$m$为指标数。
代码如下：```matlabfunction [w] = entropy_weight(A)% 计算熵值权重% 输入参数：A为方案指标矩阵，每行为一个方案% 输出参数：w为各指标的权重向量E = entropy(A);m = size(A, 2);w = (1 - E) / (m - sum(E));end```最后，我们可以测试一下这些函数的效果。
假设我们有5个方案，每个方案有3个指标，分别是收益、成本和风险。
matlab信源熵计算
Matlab信源熵计算简介信息论是研究信息传输和处理的数学分支领域之一。
其中，信源熵是信息论中的一个重要概念，用于衡量一个信源产生的信息的不确定性程度。
在Matlab中，可以通过一些简单的代码来计算信源熵，帮助我们分析和理解信源的特性。
本文将介绍如何使用Matlab计算信源熵。
我们将先介绍信源熵的概念和计算方法，然后给出用Matlab实现的示例代码，并对代码进行详细解释。
信源熵的计算方法假设一个离散信源产生的符号集合为$S=\\{s_1, s_2, ...,s_n\\}$，每个符号s s出现的概率为s s。
信源熵s(s)可以通过下式计算得到：$$H(S) = -\\sum_{i=1}^n p_i \\log_2 p_i$$其中，$\\log_2$表示以2为底的对数运算。
示例代码下面给出一个使用Matlab计算信源熵的示例代码：% 定义符号集合和对应的概率symbols = {'a', 'b', 'c', 'd'};probs = [0.4, 0.3, 0.2, 0.1];% 计算信源熵entropy = -sum(probs .* log2(probs));% 显示结果disp(['信源熵为：', num2str(entropy)]);在这个代码中，我们首先定义了一个符号集合symbols和对应的概率probs。
然后，我们使用信源熵的计算公式来计算信源熵entropy，最后通过disp函数显示结果。
代码解释让我们逐行解释一下上面的示例代码：1.symbols = {'a', 'b', 'c', 'd'};：这一行定义了一个符号集合，其中包含四个符号a、b、c和d。
2.probs = [0.4, 0.3, 0.2, 0.1];：这一行定义了每个符号出现的概率，分别为0.4、0.3、0.2和0.1。
《信息论》实验指导书—-应用MATLAB软件实现
《信息与编码理论》上机实验指导书———————应用MATLAB软件实现UPC通信工程系前言本实验系列是采用MATLAB软件，主要针对《信息论基础》课程中的相关内容进行的实验。
MATLAB是一完整的并可扩展的计算机环境，是一种进行科学和工程计算的交互式程序语言。
它的基本数据单元是不需要制定维数的矩阵，它可直接用于表达数学的算式和技术概念，解决同样的数值计算问题，使用MATLAB要比使用Basic、Fortran和C语言等提高效率许多倍。
MATLAB还是一种有利的教学工具，在大学的线性代数课程以及其它领域的高一级课程的教学中，已称为标准的教学工具。
该指导书共安排了4个实验，现就一些情况作简要说明：各实验要求学生在MATLAB系统上尽量独立完成，弄懂。
实验内容紧扣课程教学内容的各主要基本概念，希望同学们在完成每个实验后，对所学的内容起到巩固和加深理解的作用。
每个实验做完后必须交一份实验报告。
恳请各位实验老师和同学在实验中提出宝贵意见，以利于以后改进提高。
目录实验一离散信源及其信息测度 (3)实验二离散信道及其容量 (6)实验三无失真信源编码 (8)实验四有噪信道编码 (10)附录部分常用MATLAB命令 (12)实验一 离散信源及其信息测度一、[实验目的]离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。
本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。
二、[实验环境]windows XP,MATLAB三、[实验原理]信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下1()[()]()log ()qi i i H X E I xi p x p x ===-∑信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。
四、[实验内容]1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。
熵权法(matlab实现)知识讲解
熵权法(m a t l a b实现)clearclcx=[1.65,1.88,30.40,41.10,5.40,1.55,16.61,250.16,8.04,133.98,1.25,62.90,27.81,76.60,11 8.00,21.67,2.97,2.19,39.90,9.10;1.69,2.28,41.20,32.30,7.20,1.20,20.18,265.54,1.45,88.94,0.44,80.60,27.01,78.40,126.10,3 4.84,1.92,3.67,35.90,12.80;1.73,1.17,37.10,25.60,5.40,1.66,20.01,259.60,3.18,52.30,1.71,62.30,29.00,74.30,115.80,42.92,2.27,4.74,32.40,12.90;2.08,2.17,57.10,31.90,7.30,1.55,24.24,201.89,5.07,138.75,4.63,56.40,20.31,69.20,103.40, 34.75,2.05,3.35,33.70,9.10];a=min(x);b=max(x);[n,m]=size(x);k=1/log(n);for i=1:nfor j=1:mx(i,j)=(x(i,j)-a(j))/(b(j)-a(j))*100; %高优指标处理endendfor i=1:nfor j=1:mx(i,j)=(b(j)-x(i,j))/(b(j)-a(j))*100; %低优指标处理endendhe=sum(x);for i=1:nfor j=1:mp(i,j)=x(i,j)/he(j);endend %指标归一化for i=1:nfor j=1:mif p(i,j)==0z(i,j)=0;elsez(i,j)=log(p(i,j));endendende=zeros(1,m);for i=1:1nfor j=1:me(j)=e(j)+p(i,j)*z(i,j)*(-k);endendhe=sum(e);for i=1:mg(i)=1-e(i)/(m-he) ;endfor i=1:mw(i)=g(i)/sum(g); %计算权重ends=zeros(1,n);for i=1:n %计算综合得分for j=1:ms(i)=s(i)+w(j)*p(i,j);endendt=;plot(t,s,'b*-') ;data a;input A B C D;cards;2 2 1 03 1 3 2;proc transpose data=a out=aa;run;proc stdize data=aa out=aaa method=range;var col1 col2;run;proc transpose data=aaa out=result(drop=_name_);var col1 col2;id _name_;run;function weights = EntropyWeight[1,2,3;4,5,6];%% 熵权法求指标权重,R为输入矩阵,返回权重向量weights[rows,cols]=size[2,3]; % 输入矩阵的大小,rows为对象个数，cols为指标个数k=1/log(rows); % 求kf=zeros(rows,cols); % 初始化fijsumBycols=sum(R,1); % 输入矩阵的每一列之和(结果为一个1*cols的行向量) % 计算fijfor i=1:rowsfor j=1:colsf(i,j)=R(i,j)./sumBycols(1,j);endendlnfij=zeros(rows,cols); % 初始化lnfij% 计算lnfijfor i=1:rowsfor j=1:colsif f(i,j)==0lnfij(i,j)=0;elselnfij(i,j)=log(f(i,j));endendendHj=-k*(sum(f.*lnfij,1)); % 计算熵值Hjweights=(1-Hj)/(cols-sum(Hj));endA=[2,2,1,0;3,1,3,0];%A为所要计算的权重矩阵，行数为指标数，列数为专家数m=size(A,1); %m存放A的列数n=size(A,2); %n存放A的行数B=ones(m,1);C=ones(m,1);b=1;C=0;For j=1:ma=1;for i=1:na=a*A(j,i) %计算第j行权值的乘积End b=a^(1/n);B(j)=b;C=c+b;EndB;for j=1:m %以下为归一化处理，计算权重值C(j)=B(j)/c;EndC %C为所求的权重值矩阵R=[1.65,1.88,30.40,41.10,5.40,1.55,16.61,250.16,8.04,133.98,1.25,62.90,27.81,76.60,11 8.00,21.67,2.97,2.19,39.90,9.10;1.69,2.28,41.20,32.30,7.20,1.20,20.18,265.54,1.45,88.94,0.44,80.60,27.01,78.40,126.10,3 4.84,1.92,3.67,35.90,12.80;1.73,1.17,37.10,25.60,5.40,1.66,20.01,259.60,3.18,52.30,1.71,62.30,29.00,74.30,115.80,42.92,2.27,4.74,32.40,12.90;2.08,2.17,57.10,31.90,7.30,1.55,24.24,201.89,5.07,138.75,4.63,56.40,20.31,69.20,103.40, 34.75,2.05,3.35,33.70,9.10 ];[rows,cols]=size(R);k=1/log(rows);f=zeros(rows,cols);sumBycols=sum(R,1);for i=1:rowsfor j=1:colsf(i,j)=R(i,j)./sumBycols(1,j);endendlnfij=zeros(rows,cols);for i=1:rowsfor j=1:colsif f(i,j)==0lnfij(i,j)=0;elselnfij(i,j)=log(f(i,j));endendendHj=-k*(sum(f.*lnfij,1));weights=(1-Hj)/(cols-sum(Hj));。
计算离散信源的熵matlab实现
实验一：计算离散信源的熵一、实验设备:1、计算机2、软件：Matlab二、实验目的:1、熟悉离散信源的特点；2、学习仿真离散信源的方法3、学习离散信源平均信息量的计算方法4、熟悉 Matlab 编程；三、实验内容:1、写出计算自信息量的Matlab 程序2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。
信息论基础：自信息的计算公式 21()log aI a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式22111()log log qq i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题：1. 甲地天气预报构成的信源空间为：1111(),,,8482X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨 云 大雨晴 乙地信源空间为：17(),88Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求此两个信源的熵。
求各种天气的自信息量。
案：() 1.75;()0.5436H X H Y ==运行程序：p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率p2=[7/8,1/8];%p2代表乙信源对应的概率H1=0.0;H2=0.0;I=[];J=[];for i=1:4H1=H1+p1(i)*log2(1/p1(i));I(i)=log2(1/p1(i));enddisp('自信息量分别为：');Idisp('H1信源熵为：');H1for j=1:2H2=H2+p2(j)*log2(1/p2(j));J(j)=log2(1/p2(j));enddisp('自信息量分别为：');Jdisp('H2信源熵为：');H2。
熵值法matlab
熵值法matlab
熵值法是一种用于评价多指标决策的方法，可以用于在多个选择方案中找到最佳的解决方案。
在Matlab中，可以使用一些函数和工具箱来实现熵值法。
其中，entropy函数是用于计算熵值的函数，a=[a1,a2,…,an]是一个包含n个元素的向量，entropy(a)将返回a 的熵值。
在计算熵值时，还需要使用归一化函数normalize，该函数将向量归一化为概率分布向量。
例如，a=[1,2,3]，normalize(a)将返回[0.1667,0.3333,0.5]，表示a中每个元素出现的概率分别为0.1667,0.3333和0.5。
除了这些基本函数外，还可以使用fuzzy工具箱进行模糊多指标决策分析。
该工具箱提供了模糊综合评价方法，将多个指标的模糊信息转化为模糊综合评价值。
使用fuzzy工具箱，可以通过以下步骤进行模糊多指标决策分析：
1. 确定决策问题和决策指标。
2. 对每个指标进行模糊化。
3. 对每个指标进行标准化，并计算每个指标的权重。
4. 对每个指标的指标值进行熵值计算，并计算每个指标的信息熵。
5. 计算每个指标的贡献度和权重。
6. 将每个指标的贡献度和权重相加，得到最终的综合评价值。
总之，熵值法是一种简单有效的多指标决策方法，可以使用Matlab中提供的函数和工具箱来实现。
使用熵值法可以在多个选择
方案中找到最佳的解决方案，为决策提供有力的支持。
信息熵与图像熵的计算
实验一信息熵与图像熵计算一、实验目的1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验仪器、设备1．计算机－系统最低配置 256M 内存、P4 CPU。
2．Matlab 仿真软件－ 7.0 / 7.1 / 2006a 等版本Matlab 软件。
三、实验内容与原理（1）内容：1．能够写出MATLAB 源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。
（2）原理1． MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3．学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：255log i iip p ==∑H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示邻域灰度(0 <= j <= 255),2(,)/ijP f i j N =上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j) 为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：255logij ijip p ==∑H构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征.四、实验步骤1．求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
离散系统的MATLAB实现
课程设计题目：离散系统的MATLAB实现一、设计目的通过该设计，加强学生的实际操作能力，培养学生的创新能力，加深对MATLAB在信号与系统方面的应用的理解，并达到熟练掌握各相关函数的使用方法的目的，更好地理解系统的单位抽样响应，频率响应及零极点增益的概念及意义。
并且，进一步了解MATLAB广泛的应用。
二、设计内容及主要MATLAB函数如图所示的一个离散系统Z－10.2x(n)y(n)Z－10.10.40.5该离散系统对应的输入输出差分方程为：y(n)-0.4y(n-1)-0.5y(n-2)=0.2x(n)+0.1x(n-1)求该系统的单位抽样响应，频率响应及零极点增益。
1.单位抽样响应系统的单位抽样响应是当输入信号为单位抽样信号时系统的输出响应。
MATLAB中有两个函数可以计算系统的单位抽样响应：filter函数和impz函数。
1）filter函数filter函数是利用递归滤波器或非递归滤波器对数据进行滤波。
因为一个离散系统可以看做一个滤波器。
系统的输出就是输入经过滤波器滤波的结果。
filter函数的格式为：y=filter(b,a,x)此函数是对由a和b组成的系统对输入进行滤波，如果输入为单位抽样信号δ（n）,那么输出就是系统的单位抽样响应。
2）impz函数impz函数的格式为：impz(b,a)可直接给出系统的单位抽样响应。
2.频率响应H（e jw）)由向量a和b组成的系统的频率响应为：M∑b(r)e-jwrr=0H(e jw)=———————N1+∑a(k)e-jkwk=1MATLAB中的freqz函数使用基于FFT的算法来计算由向量a和b组成的系统的频率响应。
其一般用法为：[h,f]=freqz(b,a,n,Fs)其中向量a和b由离散系统决定，Fs为采样频率，在[0,Fs]频率范围内选取n个频率点，并记录在f中。
由于freqz函数是采用基2的FFT算法，n常取2的幂次方，这样可以提高运算速度。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一：计算离散信源的熵
一、实验设备:
1、计算机
2、软件：Matlab
二、实验目的:
1、熟悉离散信源的特点；
2、学习仿真离散信源的方法
3、学习离散信源平均信息量的计算方法
4、熟悉 Matlab 编程；
三、实验内容:
1、写出计算自信息量的Matlab 程序
2、写出计算离散信源平均信息量的Matlab 程序。
3、掌握二元离散信源的最大信息量与概率的关系。
4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。
四、实验报告要求
简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB 实现语句。
信息论基础：
自信息的计算公式 21()log a
I a p = Matlab 实现：I=log2(1/p) 或I=-log2(p) 熵（平均自信息）的计算公式
22111()log log q
q i i i i i i H x p p p p ====-∑∑ Matlab 实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题：
1. 甲地天气预报构成的信源空间为：
1111(),,,8482
X p x ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨 云 大雨晴 乙地信源空间为：
17(),88
Y p y ⎡⎤⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦⎣⎦ 小雨晴 求此两个信源的熵。
求各种天气的自信息量。
案：() 1.75;()0.5436H X H Y ==
运行程序：
p1=[1/2,1/4,1/8,1/8];%p1代表甲信源对应的概率p2=[7/8,1/8];%p2代表乙信源对应的概率
H1=0.0;
H2=0.0;
I=[];
J=[];
for i=1:4
H1=H1+p1(i)*log2(1/p1(i));
I(i)=log2(1/p1(i));
end
disp('自信息量分别为：');
I
disp('H1信源熵为：');
H1
for j=1:2
H2=H2+p2(j)*log2(1/p2(j));
J(j)=log2(1/p2(j));
end
disp('自信息量分别为：');
J
disp('H2信源熵为：');
H2。