图像熵
信息熵与图像熵计算
p (a i ) ∑ n《信息论与编码》课程实验报告班级：通信162姓名：李浩坤 学号：163977实验一信息熵与图像熵计算 实验日期：2018.5.31一、实验目的 1.复习 MATLAB 的基本命令，熟悉 MATLAB 下的基本函数。
2. 复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验原理及内容1.能够写出 MATLAB 源代码，求信源的信息熵。
2.根据图像熵基本知识，综合设计出 MATLAB 程序，求出给定图像的图像熵。
1.MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。
2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： H (X ) = E [ log 1 ] = -∑ p (a i ) log p (a i )i =1信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
1. 学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令 P i 表示图像中灰度值为 i 的像素所占的比例，则定义灰度图像的一元灰度熵为：255H = p i log p ii =0图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示邻域灰度(0 <= j <= 255),pij=f (i, j) / N 2上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：255H =pij log piji=0构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征.三、实验步骤1.求解信息熵过程：1)输入一个离散信源，并检查该信源是否是完备集。
图像熵的概念
图像熵的概念图像熵是信息论中一个重要的概念，在计算机视觉、图像处理和数字信号处理等领域中得到广泛应用。
本文将从熵的概念、原理、计算方法、应用等方面进行阐述。
熵的概念熵（entropy）是信息论中的一个重要概念，它衡量的是一个随机变量的不确定性。
在信息理论中，熵可以被看作是信息量的度量方式，对于一个随机事件，其熵越大，则其不确定性也越大。
熵的单位是比特（bit），它表示每一种状态所需要的信息量。
表达式：H=-\sum_{i=1}^n p_i\log_2p_i其中，H 表示熵，p_i 表示第i 种状态出现的概率。
图像熵的原理在图像处理中，熵的概念可以被应用于图像的亮度分布、灰度直方图、图像纹理、图像边缘等方面。
对于一张图像而言，它的熵可以表示图像的信息量，熵越大，则图像的信息量也就越大，图像也就越复杂。
在计算图像熵时，我们需要统计图像中每一个像素值出现的频率分布，然后利用公式计算出熵的值。
在黑白图像中，每一个像素点都只有一个像素值（0或1），因此图像熵可以表示为：H=-p(0)\log_2p(0)-p(1)\log_2p(1)其中，p(0) 表示黑色像素在图像中出现的概率，p(1) 表示白色像素在图像中出现的概率，\log_2 表示以2为底的对数，表达的是信息量的单位。
图像熵的计算方法计算图像熵的方法一般是通过计算灰度直方图得到的。
灰度直方图表示的是图像中每一个像素值出现的频率分布。
我们可以根据图像矩阵中的像素值分布，统计出每一个像素值所占的比例，并计算出每一个像素值的信息量，从而得到图像的熵。
假设我们有一个大小为n \times m 的灰度图像，一共有L 个灰度级别，其灰度值为[0, 1, ..., L-1]。
那么我们可以计算出每一个像素值i 所占的比例p_i，然后根据熵的公式进行计算：H=-\sum_{i=0}^{L-1} p_i\log_2p_i根据这个公式，可以通过遍历整个图像矩阵来计算图像的熵，并得出图像中每一个像素值的信息量。
图像分割的熵方法综述
*国家自然科学基金资助项目（No．40971217）收稿日期：2011－10－13；修回日期：2012－07－13作者简介曹建农，男，1963年生，博士后，教授，主要研究方向为遥感、图像分析、地理信息系统．E-mail ：caojiannong@126．com．图像分割的熵方法综述*曹建农（长安大学地球科学与资源学院西安710054）摘要对图像分割的熵方法进行较全面地分析和综述，其中包括一维最大熵、最小交叉熵、最大交叉熵图像分割方法等．对Shannon 熵、Tsallis 熵及Renyi 熵之间的关系等进行分析与评述．对二维（高维）熵及空间熵等进行分析与评述．最后指出一维熵与其它理论的有机结合、高维熵模型的计算效率等未来研究方向．关键词图像分割，交叉熵，二维（高维）熵，空间熵，玻耳兹曼熵中图法分类号P 237Review on Image Segmentation Based on EntropyCAO Jian-Nong（School of Earth Science and Resourses ，Chang ＇an University ，Xi ＇an 710054）ABSTRACTThe image segmentation based on entropy is analyzed and reviewed including one-dimensional maximum entropy ，minimum cross entropy ，maximum cross entropy and so on．The relations of Shannon entropy ，Tsallis entropy and Renyi entropy are analyzed and commented ，and the performance of two dimensional （high dimension ）entropy and spatial entropy is also appraised．In conclusion ，it points out the future research direction ，such as the computational efficiency of the high-dimensional entropy model and one-dimensional entropy and other theories integrated．Key WordsImage Segmentation ，Cross Entropy ，Two Dimensional （High Dimentional ）Entropy ，Spatial Entropy ，Boltzmann Entropy1引言许多应用中，图像分割是最困难且最具挑战的问题之一．自从20世纪80年代开始，利用熵的概念选择图像分割阈值一直受到研究者的关注．文献［1］首先提出最大后验熵上界法，文献［2］提出一维最大熵阈值法，文献［3］提出二维熵阈值法．在最大熵阈值法中，熵采用香农（Shannon ）熵的定义形式［1－10］．香农熵满足可加性（Additivity ）或者说广延性（Ex-tension ），这一特性忽略了子系统之间的相互作用．Tsallis 熵［11］和Renyi 熵［12］具有非可加性（Non-addi-tivity ）或者说非广延性（Non-extension ），它考虑两个子系统之间的相互作用．文献［13］提出最小交叉熵，并不断完善［14］，随后产生最大交叉熵算法［15］以及极大交叉熵算第25卷第6期模式识别与人工智能Vol．25No．62012年12月PR ＆AI Dec 2012法［16］，它们具有较好的有效性、合理性和鲁棒性，受到广泛关注［17］．文献［18］提出基于高斯分布的最小交叉熵迭代方法．文献［19］提出基于伽马（Gamma）分布的最小交叉熵阈值优化搜索方法．文献［20］提出基于伽马分布的最小交叉熵迭代算法．文献［21］将交叉熵应用于马尔可夫随机场（MRF）能量函数的构造．文献［22］提出基于MRF的空间熵概念．文献［23］用玻耳兹曼熵直接表达灰度变化．基于熵方法的图像分割经历三十多年的研究发展，存在一些值得综合讨论的问题，因此有必要进行梳理与评价，以利于继续深入研究．2图像分割的熵方法文献［24］将图像分割方法分为6类：1）基于直方图形状；2）基于聚类；3）基于熵；4）基于对象属性；5）空间分析：包括高维概率分布和像素共生关系；6）局部方法：调整像素与图像局部特征关系阈值选择，并认为，基于熵的方法是最好的分割方法之一［24］．文献［25］将熵方法分为7类：局部熵（Local Entropy，LE）；全局熵（Global Entropy，GE）；联合熵（Joint Entropy，JE）；局部相对熵（Relative Local Entropy，LRE）；全局相对熵（Relative Global Entropy，GRE）；联合相对熵（Relative Joint Entropy，JRE）；最大熵（Maximum Entropy，ME）［1］等．相对熵又称互熵或交叉熵等，本文统一称为交叉熵（Cross Entropy，CE）．综合上述观点，本文将熵在图像分割中的应用分为5类：1）基于直方图形状的熵方法；2）基于熵测度的聚类方法；3）基于对象属性熵方法；4）基于熵的空间分析方法：包括高维概率分布的高维熵和基于共生关系的联合熵；5）局部熵方法：调整像素与图像局部熵特征关系的阈值选择．因为聚类和对象属性熵方法中的熵测度可以是任何一种熵形式，所以本文进一步概括为3种基本熵方法：基于全局信息的一维熵方法；基于局部信息的二维（高维）熵方法；交叉熵方法．2．1熵方法概念香农［26－27］定义一个n状态系统的熵：H=－∑ni=1piln（pi），（1）其中，pi是第i个事件发生的概率，并且相关事件的概率满足∑n i=1pi=1，0≤pi≤1．（2）认为获得一个事件的信息增益（Gain in Information）恰好与事件发生的概率相关，所以香农用ΔI=ln(1p i)=－ln（p i），（3）作为信息增益的测度，显然，上式表达的信息增益的数学期望就是H=E（ΔI）=－∑ni=1piln（pi）．（4）考虑到，概率为“0”时，式（3）和式（4）均无定义；无知性测度（Measure of Ignorance）或信息增益在统计学上更宜于表示成（1－pi）的形式，文献［28］提出将信息增益表达成ΔI（p i）=e（1－p i），则上式表达的信息增益的数学期望就是指数熵［28］：H=E（ΔI）=∑ni=1pie（1－p i）．（5）图1给出状态系统中香农熵和指数熵与事件概率的函数关系，可见香农熵与指数熵在信息增益或无知性测度上是一致的，式（4）和（5）在实践中是等价的，但是后者在概率闭区间中连续．图12个状态系统的概率与标准化熵分布Fig．1Distribution of probability vs．normalized entropy fortwo state systems从式（4）和（5）以及图1，可得熵与概率关系的以下特性：1）具有极高可能性或极低可能性的事件，信息增益的期望必置于两个有限极限值附近；2）当系统中所有事件的概率均等时，熵最大，数学关系如下：H（p1，p2，…，pn）≤H（1n，1n，…，1n）；（6）3）当事件发生的概率为0．5时，该事件的熵最大，即对此事件的无知性测度、不确定性最大，或者说，对此事件的信息增益最大，可获得的信息量最大；4）当概率大于或小于0．5时，熵呈下降趋势，即9596期曹建农：图像分割的熵方法综述对此事件的无知性测度、不确定性在减小，或者说，对此事件的信息增益在减小，可获得的信息量在减小．文献［29］对图像分割给出较严密的定义，即将图像细分为其组成区域或对象．图像分割的实质就是寻找直接或间接实现像素对均质区域归属的某种最优化机制．利用熵进行图像分割，就是选择恰当的多个（一个或以上）灰度阈值，将图像的灰度分为多个（二个或以上）集合，这多个集合所对应的所有像素的概率和，分别构成多个事件，这多个事件的信息增益的数学期望就是熵，如式（4）或式（5）．显然，此时图像的熵是灰度阈值的函数，通过迭代优化控制，当熵取得最大值时，根据式（6），图像灰度的多个集合的概率最接近，其信息增益最小，或者说信息量变化最小，获得最优化分割．熵的特性是其优化评价的能力，因此，图像分割的熵方法本质，是借助熵对事物信息量的数理异同性测度能力，构造不同的熵函数以帮助确定最优度量或最优控制实现图像分割．2．2熵模型原理2．2．1一维（全局）熵模型基于直方图形状的熵方法可归为一维熵方法，是一种高效经典的熵方法．1）一维熵的两元统计法．根据式（4）或式（5）中的一维（直方图）概率p i 直接构造熵函数，就是一维熵，因为它只依据图像全局直方图信息，又称全局熵（Global Entropy ）．假设F =［f （x ，y ）］M ˑN 是一幅尺寸为M ˑN 的图像，其中f （x ，y ）是空间位置（x ，y ）处的灰度值，f （x ，y ）∈G L =｛0，1，…，L －1｝灰度集合．设第i 个灰度级的频数为N i ，则∑L －1i =0N i =MN ，文献［1］、［2］和［30］都将图像F 的灰度直方图看作L 个符号的一次输出，这L 个符号独立对应于图像F 的L 个灰度级．根据式（1），文献［1］定义的图像熵：H =－∑L －1i =0p i ln （p i ），p i =N iN．（7）设t 为分割阈值，P t =∑ti =0p i表示直方图灰度取值在［0，t ］区间内的所有像素的概率和，则图像的后验熵：H'L （t ）=－P t ln （P t ）－（1－P t ）ln （1－P t ）．（8）文献［1］用上式的最大化上界为准则选择阈值．由上式可知，图像中的目标与背景被看作两元事件，所以，称其为一维熵的两元统计法．2）一维熵的多元统计法．与文献［1］不同，文献［2］则考虑两个概率分布，一个对应目标，一个对应背景，将目标与背景的熵分别加和，并以其最大值为准则选择阈值，图像的一维后验熵：HᵡL （t ）=－∑ti =0p i P t ln (p iP t)－∑L －1j =t +1(p j 1－P t )ln (p j1－P t)，（9）由上式可知，图像中的目标与背景被看作两个系列多元事件，所以，称其为一维熵的多元统计法．3）一维熵的泊松分布假设法．除了式（8）和式（9）的算法之外，文献［28］根据文献［31］等的研究，认为如果感光一致，则图像灰度值服从泊松分布．因此，数字图像的灰度直方图将由两个泊松分布混合构成，两个泊松分布的参数λO 和λB 分别对应目标和背景，如图2（b ）中的虚线所示．因此，目标与背景的分割问题就是寻找灰度阈值t ，使其满足λB＞t ＞λO ，并通过两个泊松分布的熵之和最大化选择阈值t．两个泊松分布的概率p O i 和p B i 分别由参数λO 和λB 决定，λO 和λB 则由最大似然方法或其它方法预估得到．因此，图像熵H （t ）=∑ti =0p O ie 1－p O i+∑L －1j =t +1p B i e 1－p B i．（10）这里选择式（5）计算熵，可避免概率为零时，香农熵无定义，下文类似问题不再说明．根据式（8）对Lena 图像（如图2（a ））进行分割的结果（如图2（b ）），阈值为0．25，此时背景与目标像素的概率和分别为0．4992和0．5008，其处于等概率位置．实验表明，式（8）的算法认为，目标与背景像素是同一概率事件的两个状态，当目标与背景像素的概率基本均等，熵取得最大值时，为阈值选取准则，虽然符合熵的第二特性，但不够恰当．其不合理性在于，直方图的灰度等概率分割点，不一定对应图像目标与背景的分割点．与式（8）的观点相反，根据式（11）对Lena 图像进行分割的结果（如图2（c ）），阈值为0．46，它认为目标与背景像素是两个相关独立事件，属于目标或背景的像素概率，各自的总熵之和取得最大值时，为阈值选取准则．其合理性在于，独立计算目标或背景的像素概率及其熵，可更客观地测度目标与背景的内部一致性以及外部差异性，符合图像分割的本质特性．根据式（10）采用泊松分布对Lena 图像进行分割，结果如图2（d ），分割阈值为0．32，其阈值介于图2（b ）和（c ）之间，理论较完善．但是，泊松分布的参069模式识别与人工智能25卷数需要预先估计，需要先验知识为条件，而且泊松分布假设不适合许多实际图像，因此，具有局限性．（a ）Lena 原始图像（b ）式（8）分割结果（a ）Original image Lena（b ）Segmentation result of equation （8）（c ）式（9）分割结果（d ）式（10）分割结果（c ）Segmentation result of equation （9）（d ）Segmentation result of equation （10）图23种方法分割结果对比Fig．2Segmentation result comparison of 3methods2．2．2二维（局部）熵模型从一维熵原理可知，灰度的概率统计方法是使用熵原理选取阈值的关键，因此，可用高维统计量或条件统计量，计算图像近邻灰度的高维概率或条件概率，获得图像的局部统计特征信息，实现高维熵或条件熵的图像分割［28］．1）高维熵（Higher-Order Entropy ）．式（6）是一维统计概率p i 的熵，据此可推广，高维统计概率p （L q i ）的熵：H （q ）=1q ∑ip （L q i ）exp （1－p （L qi ）），（11）其中，p （L q i ）表示与灰度L 有关的q 维统计概率，i 为灰度序号．当q =1时，是一维（全局）熵的表达式，例如式（10）或式（8）和式（9）的指数熵表达式．当q =2时，可得二维（局部）熵的表达式：H （2）=12∑ip （L 2i ）exp （1－p （L 2i ））．（12）当q ＞2时，高维统计概率为p （L q i ），可依上式类似方法，构造高维局部熵测度H （q ），或称为q 维局部熵（Local Entropy of Order q ）．2）条件熵（Conditional Entropy ）．条件熵取决于条件概率的计算，设图像灰度L O k 和L Bk 分别属于目标O 和背景B ，其中k 表示图像空间中任意位置的灰度，基于某种准则的条件概率分别为p （L O k /L B k ）和p （L B k /L O k ），则相应的条件熵：H （O /B ）=∑L O k∈O ∑L B k∈Bp （L O k /L Bk ）exp （1－p （L O k /L Bk ）），（13）H （B /O ）=∑L B k∈B ∑L O k∈Op （L B k /L Ok ）exp （1－p （L B k /L Ok ））．（14）图像的条件熵：H （C ）=12（H （B /O ）+H （O /B ））．（15）3）联合熵（Joint Entropy ）．文献［28］提出条件熵，文献［25］将条件熵归入联合熵．本文认为从概率的计算过程看，式（16）和式（17）表达目标或背景灰度联合出现的概率，因此，式（18）到式（20）是联合熵表达．文献［25］将式（18）到式（20）归类为局部熵，文献［28］则将条件熵和联合熵都称作局部熵，可见，联合熵与条件熵具有内在联系．局部熵实验，采用图像灰度共生概率（Probability of Co-occurrence of Gray Levels ，PCGL ）矩阵，表达二阶统计概率，其它高维统计问题，可依此类推．根据不同空间关系或不同近邻阶数，式（12）中的p （L 2i ）可有多种定义方法，本文采用3ˑ3近邻无结构方向区分方法计算PCGL ，则PCGL 矩阵如图3（a ）（原始图像为图2（a ））．PCGL 矩阵的行、列分别表示灰度从上到下、从左到右逐渐增大．设图像被阈值t 分为两个的灰度区间L O i 和L B i ，其分别属于目标O 和背景B ，则阈值t 将PCGL 矩阵划分为四个区域，如图3（a ）中A 、B 、C 、D 区域．基于二维（局部）熵的表达式（14）对图像进行分割，图3（a ）中A 、C 区域分别是对应背景与目标的二维局部概率：p Ai ，j=p i ，jP A；0≤i ，j ≤t ；P A =∑t i =0∑tj =0p i ，j ，（16）pCi ，j=p i ，jP C ；t +1≤i ，j ≤L －1；P C =∑L －1i =t +1∑L －1j =t +1p i ，j ．（17）则其熵分别为H 2A（t ）=12∑ti =0∑tj =0p A i ，j exp （1－p Ai ，j ），（18）1696期曹建农：图像分割的熵方法综述H 2C（t ）=12∑L －1i =t +1∑L －1j =t +1p C i ，j exp （1－p C i ，j ）．（19）因此，图像分割的二维局部熵：H 2T （t ）=H 2A （t ）+H 2C （t ），（20）基于上式的二维局部熵分割结果如图3（b ），阈值为0．43．（a ）原始图像PCGL 矩阵（a ）Matrix PCGL of originalimage（b ）式（20）分割结果（c ）式（21）分割结果（b ）Segmentation result of equation （20）（c ）Segmentation result of equation （21）图3局部熵与条件熵分割结果对比Fig．3Segmentation result comparison between local entropy and conditional entropy利用PCGL 矩阵提供条件概率，如图3（a ）的B 、D 区域中，阈值为t ko ，kb ，其中ko 和kb 分别表示PCGL 矩阵的行列号，当第kb 灰度属于目标O 时，第ko 灰度出现在背景B 的概率为p （L O k /L Bk ），同理当第ko 灰度属于目标O 时，第kb 灰度出现在背景B 的概率为p （L B k /L Ok ），条件概率分别为p （L O k /L B k ）=p Bi ，j =p i ，j P B；0≤i ≤t ，and t +1≤j ≤L －1；P B =∑ti =0∑L －1j =t +1p i ，j ；p （L B k /L O k ）=p D i ，j =p i ，jP D；t +1≤i ≤L －1，and 0≤j ≤t ；P D =∑L －1i =t +1∑tj =0p i ，j ．则相应条件熵分别为H （O /B ）=∑ti =0∑L －1j =t +1p B i ，j exp （1－p B i ，j ），H （B /O ）=∑L －1i =t +1∑tj =0p D i ，j exp （1－p D i ，j ）．因此，图像分割的条件熵H （C ）T （t ）=H （O /B ）+H （B /O ）2．（21）基于上式的条件熵分割结果如图3（c ），阈值为0．13．可见，统计矩阵PCGL 的不同区域，可看作对图像灰度的不同统计方法，A 、C 区域被看作背景与目标的后验联合概率分布，而B 、D 区域则被看作背景与目标的后验条件概率分布．这种垂直划分具有一定误差，因此，近年来产生一些斜分区域的研究（见第4节）．2．2．3交叉熵模型原理假设存在两个分布P =｛p 1，p 2，…，p N ｝，Q =｛q 1，q 2，…，q N ｝，两个分布间信息论意义的距离是D （Q ，P ）（以下简称距离），交叉熵可度量两个分布之间的距离，数学关系［32］D （Q ，P ）=∑Nk =1q k log 2q kp k．（22）Renyi 特别强调式（22）的信息论意义［33］，即当一个分布（Q ）替代另一个分布（P ）时，式（22）是信息变化量的期望值，使其成为优化计算的前沿热点［34］．只要获得某两个分布，就可通过式（22）获得两个分布之间相互替代或逐渐相互替代过程中期望值变化的全部状态值，这些状态特征值就是优化的标志，如最大或最小值，极大或极小值等．当没有先验信息可获得时，通过对p k 设定相同初始估计值，则最小交叉熵方法可看作是最大熵方法的扩展［14］，这一结论是极大交叉熵算法［16］的指导思想之一．1）最小交叉熵模型．文献［14］将图像分割过程描述为图像灰度分布的重构过程．设图像函数为f ʒN ˑN →G ，这里G =｛1，2，…，L ｝ N 灰度集，N 是自然整数集．图像分割过程就是构造一个函数g ʒN ˑN →S ，这里S =｛μ1，μ2｝∈R +ˑR +，R +是实正数集合．分割图像g （x ，y ）重构如下：g （x ，y ）=μ1，f （x ，y ）＜t μ2，f （x ，y ）≥t {（23）分割图像g （x ，y ），通过3个未知参数t 、μ1和μ2的确定，由原始图像f （x ，y ）唯一生成．因此，必须构造一个准则，等价确定一套优化参数集t 、μ1和μ2，269模式识别与人工智能25卷使f （x ，y ）和g （x ，y ）之间尽可能相似，即η（g ）≡η（t ，μ1，μ2）．这个准则函数，是某种变形测度，例如从原始图像f 到分割图像g 的均方差就是常用测度，最小误差算法［35－36］和Otsu 算法［37］都属于这一类．文献［14］认为，对于正定加性分布（如图像分布），交叉熵测度比均方差测度更适合．此时，图像分割就被转化为使用约束的经典最大熵推理问题，设一个数值集合G =｛g 1，g 2，…，g N ｝，则数值集合G 只能由被观测图像F =｛f 1，f 2，…，f N ｝，连同所使用的适当约束条件推理得到，它们的分布，可用相同方法通过线性化二维分布得到．g i 和f i 来自图像空间中的相同位置，并且，G 包含的元素只有两个值μ1和μ2．为计算μ1和μ2，文献［14］提出灰度守恒约束准则，认为重构G 的灰度分布应该与F 的灰度密切相关，原始图像灰度F 给出μ1和μ2数值上的约束，则分割图像G 中的两类灰度强度的总和，等于原始图像F 的灰度强度总和．文献［15］和［38］对灰度守恒约束准则提出不同意见，但是，文献［39］在理论上证明这一准则的正确性．据此，这些约束可被概括为g i ∈｛μ1，μ2｝，∑f i ＜tf i =∑f i＜t μ1，∑f i≥t f i =∑f i≥tμ2，（24）其中，μ1和μ2可确定如下：μ1（t ）=∑f i＜tf i N 1，μ2（t ）=∑f i≥tf i N 2，N 1和N 2分别是两个区域（目标和背景）内的像素数．结合式（22）、式（23）和上式，可得η（t ）=∑f i ＜t f i lnf iμ1（t ）()+∑f i ≥t f i lnf iμ2（t ）()，（25）则阈值t 0=min t（η（t ）），其中t 0就是所求阈值．由于式（25）的加和操作，需要在整个图像上进行的，存在重复聚集计算问题，因此对式（25）进行改造，得μ1（t ）=∑j =t －1j =1jh j∑j =t －1j =1h j =1P 1∑j =t －1j =1jh j ，μ2（t ）=∑j =Lj =t jh j∑j =Lj =th j =1P 2∑j =Lj =tjh j ，η（t ）=∑j =t －1j =1jh j lnjμ1（t ）()+∑j =Lj =tjh j lnjμ2（t ）()，（26）其中h j 是离散图像的直方图函数，对上式η（t ）最小化，就可得阈值t 0．2）最小后验交叉熵改进模型．文献［15］提出的最大后验交叉熵方法与文献［14］本质一样．如果用标准交叉熵式（27）取得最小值，则可得最小后验交叉熵分割结果，即文献［14］、［15］的改进方法［39］．3）最大交叉熵模型基于最小交叉熵准则的算法，是考虑目标或背景的类内特性．如果考虑目标和背景的类间差异性，则构造的交叉熵函数必然是上凸函数，其最大值可作为分割阈值．据此，文献［15］定义类间差异为图像中所有像素点分别判决到目标和背景的后验概率之间的平均差异．该算法假设目标和背景像素的条件分布服从正态分布，利用贝叶斯公式估计像素属于目标或背景两类区域的后验概率，再搜索这两类区域后验概率之间的最大交叉熵．设用图像灰度值j 表示图像F 在j =f （x ，y ）处的像素点，j ∈F =｛f （x ，y ）ʒ（1，2，…，L ）∈M ˑN ｝，其中M ，N 是图像行列号，表示图像灰度集．定义像素点j （j ∈G ）基于后验概率p （1/j ）、p （2/j ）的对称交叉熵：D （1ʒ2；j ）=p （1/j ）log 2p （1/j ）p （2/j ）+p （2/j ）log 2p （2/j ）p （1/j ）．（27）考虑到后验概率可能趋于0，会使上式中的对数项奇异化，在保证非负性的前提下将式（27）做如下修正（文献［15］没有给出说明是一个缺陷）：D （1ʒ2；j ）=13［1+p （1/j ）］log 21+p （1/j ）1+p （2/j ）+13［1+p （2/j ）］log 21+p （2/j ）1+p （1/j ）．（28）然后分别对目标和背景内的像素的交叉熵求取平均值，将两者之和作为总的类间差异，得D （1ʒ2）=∑j ∈1p （j ）P 1D （1ʒ2；j ）+∑j ∈2p （j ）P 2D （1ʒ2；j ）．（29）同时假设目标和背景灰度的条件分布服从正态分布：p （j /i ）=12槡πσi （t ）exp (－（j －μi （t ））22σ2i （t ）)，其参数由直方图估计，其中类内均值估计同式（26）的μ1（t ），类内方差估计分别为σ21（t ）=1P 1∑j =t －1j =1h （j ）（j －μ1（t ））2，σ22（t ）=1P 2∑j =Lj =th （j ）（j －μ2（t ））2．用贝叶斯公式求取后验概率如下：3696期曹建农：图像分割的熵方法综述p （i /j ）=P i ·p （j /i ）∑2i =1（P i ·p （j /i ）），结合灰度直方图重写式（38），得D （1ʒ2；t ）=∑tj =1h （j ）P 1D （1ʒ2；j ）+∑Lj =t +1h （j ）P 2D （1ʒ2；j ）．（30）搜索使上式最大的值t 就是最优分割阈值．根据式（26）对Lena 图像（如图2（a ））进行分割实验，结果如图4（a ），分割阈值为0．208．根据式（27）对Lena 图像进行分割实验，结果如图4（b ），分割阈值为0．200．根据式（28）对Lena 图像进行分割实验，结果如图4（c ），分割阈值为0．196．可看出，3种方法，虽然对交叉熵的理解角度不同，但是其核心原理具有一致性，所以它们的分割结果非常接近．（a ）式（26）分割结果（b ）式（27）分割（c ）式（28）分割结果结果［15］（a ）Segmentation result of equation （26）（b ）Segmentation result of equation （27）（c ）Segmentation result of equation （28）图43种方法分割结果对比Fig．4Segmentation result comparison of 3methods3熵模型评述3．1香农熵模型文献［40］提出最大熵原理，在约束条件下推理未知概率分布，其解存在于给出最大熵的位置（或时间），最初的概念是可以给出最大无偏估计，同时允许约束条件具有最大自由度．随着中心理论的应用与重数（Multiplicity ）的研究，已经表明，较高的熵分布具有较高的重数特性，因而也更容易观察［41］．对归纳推理来说，当新的信息以期望值形式给出时，最大熵方法是唯一正确的方法［42］，给出比传统方法（例如最大似然法）更好的解决方案［43］．文献［28］认为式（8）和式（9）假设图像信息完全被直方图所表达，因此，即使不同图像的灰度空间分布不同，但当其具有完全一样的直方图时，将会产生相同分割结果，显然不正确，式（8） 式（10）一维全局熵的共同缺陷主要在于此，它们忽略图像灰度邻域的空间信息，对图像分割的灵活性和准确性都不够，另外，对式（9）的多阈值区间统计将导致计算量按（L －2）！（L －2－k ）！k ！增加（L 是灰度级，k 是阈值数）．文献［25］基于均质（Uniformity ）和形状（Shape ）性能的算法测试表明，最大熵［2］与局部熵性能相同并且最优，这一结论与本文第2节的实验结果一致，如图2（c ）和图3（b ）．虽然式（9），被认为优于其它熵阈值算法［43］，但是依然不能被广泛接受，并且有时分割性能很差，多有研究者对其进行扩展、改造．文献［44］使用图像的近邻空间关系和联合熵，作为选择阈值的准则．虽然文献［43］在最大熵阈值方法中，保留直方图熵函数，但却引入一套额外启发式原理选择阈值．因此，只要将式（9）与其它处理策略相结合，就可产生许多更有效的算法（见第4节）．3．2Tsallis 熵与香农熵模型熵是热力学中与不可逆过程顺序相关的一个基本概念［45－46］，它可用来度量物理系统内在的无序性．Tsallis 熵也称为不可扩展熵，其概念首先出现在统计力学中，它的提出进一步促进香农熵在信息理论中的拓展．因为现实世界的信息内容具有重大争议，所以香农的信息论强调信息量的数学表达（不涉及信息的内容），其关键在于给出具有普遍意义的信息量的定义，如式（3）．按照布里渊的思想［46］，信息的不同的可能性（概率）可和状态数联系起来，从而获得信息与熵的关系．状态数是热力学熵的统计度量，概率则适用于一切具有统计特征的包含信息的事件．可见，信息熵不但来自于热力学熵，而且具有内在联系．Tsallis 熵是传统玻耳兹曼/吉布斯（Boltzmann /Gibbs ）熵在具有不可扩展性物理系统中的推广［47］．香农重新定义玻耳兹曼/吉布斯熵函数，用来考查系统内所包含信息的不确定性，并且定量地衡量各状态过程所产生信息量的大小，其定义如式（1） （4）．但是，式（4）的应用，受限于玻耳兹曼－吉布斯－香农（BGS ）的统计学有效范围内．通常将服从BGS 统计学的系统称为可扩展系统．假设一个物理系统，可分解为两个统计独立的子系统A 和B ，子系统事件必须等概率，则复合系统的概率为p A +B =p A p B ，可证明香农熵具有可扩展性（可加性），即满足S （A +B ）=S （A ）+S （B ），469模式识别与人工智能25卷即一个系统分成若干独立子系统，则整个系统的熵等于若干子系统的香农熵之和．然而，对于呈现远距离交互、长时间记忆以及具有不规则结构的物理系统来说，需要在BGS统计学的基础上进行适当的改进．因此，Tsallis重新定义一种熵，用来描述不可扩展系统的热统计特性［11］：S q =1－∑ni=1（pi）qq－1，（31）其中，n是系统可能的状态数目，实数q衡量系统不可扩展的程度．一个统计独立系统的Tsallis熵，即不可扩展熵：Sq（A+B）=S q （A）+Sq（B）+（1－q）Sq（A）Sq（B）．（32）Renyi熵的定义及其不可扩展熵：S α=11－αln∑ni=1（pi）α，（33）S α（A+B）=Sα（A）+Sα（B），（34）其中，n是系统可能的状态数目，α＞0．Renyi熵和Tsallis熵不但在形式上，而且在图像分割的阈值选取方法上，都具有特殊的等价关系［12］．3．3交叉熵模型文献［14］的交叉熵形式与文献［48］的图像熵很相似，而图像熵推导援引4个公理才得s（f，m）=∫d x（f（x）－m（x））－f（x）ln(f（x）m（x）)，（35）其中，f（x）是图像灰度强度分布，m（x）是（被处理）图像f（x）的模型．事实上，如果考虑灰度守恒约束，则式（26）的η（t）与式（35），正好大小相等符号相反，因为式（35）的前两项在对所有类进行积分后消掉．文献［14］的方法是在原始图像和分割图像之间求取最小交叉熵，获得优化结果，Otsu类间方差最大化算法则可从与式（24）相同的约束条件中，利用均方差距离作为两个图像之间的测度推导出来．在这种情况下，准则函数如下：θ（t）=∑f i＜t （fi－μ1（t））2+∑f i≥t（fi－μ2（t））2．如果使用直方图进行聚集加和，则这个准则函数：θ（t）=∑f i＜t hj（j－μ1（t））2+∑f i≥thj（j－μ2（t））2．上式就是文献［37］所定义的类内方差．上式定义函数的最小化，等价于Otsu算法的准则．文献［15］提出的基于最大类间后验交叉熵准则的二值化阈值分割算法，可根据式（26） 式（30）导出，并且与文献［14］给出的交叉熵形式及文献［48］导出的图像熵相似，实验结果如图4（b）、（c）．同时，文献［39］从理论上证明文献［14］、［49］所提方法符合最小交叉熵概念，从而为最小交叉熵方法的广泛应用奠定坚实的理论基础．因为每幅图像都有自身的灰度（平衡）特征，文献［14］不对图像进行任何分布假设，提出图像的灰度守恒准则，更符合图像个性，所以更具一般性．相反，文献［15］的正态分布假设与文献［28］的泊松分布假设一样，都要求直方图具有双峰特征，就直接全图分割而言，对大多数图像不适合．最小交叉熵的灰度守恒条件［14］，实质上，是产生相关性时间序列函数的条件．也就是说，图像的每个分割区域，例如目标或背景，都被各自的灰度均值来表示，且都是灰度阈值的函数，即时间序列函数．在图像分割过程中，每个具有特定灰度值的像素的概率测度，就是动态相关实验的结果，其实质是将相似像素归为等概率事件［50］．所以灰度守恒条件在一定程度上确保像素近邻空间信息的相关性．3．4熵模型相互关系Tsallis熵引入参数q度量系统的不可扩展性，解决图像区域间相关性而产生的不独立部分的熵表示问题．文献［11］提出基于Tsallis熵的阈值分割方法．文献［51］将Tsallis熵推广到二维．文献［44］提出一种基于二维Tsallis熵的全局阈值方法，由于算法复杂性高且运算时间长，因此，利用粒子群优化算法来搜索全局分割阈值．文献［51］提出Tsallis交叉熵的概念，并研究它的基本性质．文献［52］将Tsallis熵的非广延性应用到最小交叉熵的阈值法中，提出最小Tsallis交叉熵阈值法，既考虑目标和背景之间的信息量差异，又考虑目标和背景之间的相互关系，克服传统最小交叉熵忽略目标和背景之间的相互关系所导致的阈值选择不恰当的缺陷．香农熵强调系统内部的均匀性，在分割算法中就是搜索使目标或背景内部的灰度分布尽可能均匀的最优阈值．交叉熵则是度量两个概率分布之间的信息量差异［32］，最初称作有向散度（Directed Divergence），它所构造的熵函数可能是下凹或上凸函数．熵函数的凸性方向与对交叉熵的两个分布理解及定义有关，据此可分别构成最大或最小交叉熵寻优机制．文献［13］提出最小交叉熵图像分割方法，并在文献［14］中得到进一步阐述，其主要贡献在于将交叉熵对图像分割问题进行成功的数学建模．文献［49］利用对称性交叉熵改进文献［14］的方法．文献［38］把原始图像和分割图像的直方图分别作为两个概率分布，利用交叉熵选择阈值．针对文5696期曹建农：图像分割的熵方法综述。
基于Otsu准则及图像熵的阈值分割算法
（ｃｏ ｌ ｆ ｌｃ ｉ ｌｎ ｆｒ ｔ ｎＥ ｇｎ ｅ ｎ ，ｉｎ ｓ ｉｅｓｙ Ｚ ｅｊａｇ２ ２ １） Ｓｈ ｏ ｏ ｅｔ ｃ ｄＩ ｏｍａ ｏ ｎ ｉｅｒ ｇ ＪａｇｕＵｎｖ ｒｉ ， ｈ ｎｉｎ １０ ３ Ｅ ｒ ａａ ｎ ｉ ｉ ｔ
ｐ ｔｆ ｒ ｒ ，ｗｈ ｃ ｓ ｂ ｓ ｄ ｏ ｅ Ｏｔｕ ｔ ｒ ｓ ｏ ｄ ｓ ｌ ｃ ｉ ｇ ｍｅ ｏ ｕ ｏ ｗａ ｄ ｉ ｈ ｉ ａ ｅ ｎ ｔ ｓ ｈ ｅ ｈ ｌ ｅ ｅ ｔ ｔ ｄ．Ｂａ ｅ ｎ ｈ ｅ ｉ ｆ ｒ ａ ｉ ｎ ｏ ｎｔｏ ｙ ｏ ｍａ ｅ ｐ ｘ ｌ，ａ ｐａ ｔ ｅ ｕ ｓｖ ｈ ｎ ｈ ｓ ｄ ｏ ｔ ｎ ｏ ｍ ｔ ｆ ｅ ｒ ｐ ｆ ｉ ｇ ｉ ｅ ｓ ｒｉ ｒ ｃ ｒ ｉ ｅ ｏ ｌ ａ ａ ｇ ｒｔ ｍ ｅ ｅ ｒ ｈ ｏ ｔ ａ ｈ ｅ ｈ ｌ Ｉ ｏ ｎ ｙ ｒ ｄ ｃ ｓｔ ｅ ｒ ｎ ｉ ｇ ｔｍｅ ｂｕ ｓ ａ ｅ ｔｒｓ ｌ－ ｄ ｐ ａ ｉｉ Ｗ ｉ ｉ ｌ ｏ ｔ ｍ， ｅｉ ｇ ｌ ｏｉ ｈ ｉ ｕｓ ｄ ｔ ｓ ａ ｃ ｐ ｉ ｌｔ ｒ ｓ ｏ ｄ． ｔ ｔｏ ｌ ｅ ｕ ｅ ｈ ｕ ｎ ｎ ｉ ， ｔ ｏ ｈ ｓｂ ｔｅ ｅ ｆａ ａ ｔ ｂ ｌｔ ｓ ｏ ｃ ｎ ｌ ａ ｙ． ｔ ｔ ｓａ ｇ ｒ ｈ ｔ ｈｈ ｉ ｈ ｍａ ｅ ｃ ｎ ｂ ｅ ｍ ｅ ｅ ｆｅ ｔ ｅ ｙ ｅ ｅ ｆ ｔ ｓｕ ｅ ｅ ｎ ｏ ｉ ｇ ｅ ｍｏ ａ ｒｂ ｍ ｏ ａ ｎ ． ｈｅ ｓ ｇ ｎ ａ ｉ ｎ ｒ ｓ ｌ ｈ ｓ ｍｏ ｅｄｅ ａｌ ， ｉ ｈ ｉ ｏ ａ ｅ ｓ ｇ ｎｔｄ ｅ ｆ ｃ ｉ ｌ ｖ ｎ ｉ ｎ ｖ ｎ ａ ｄ ｎ ｔｔ ｓｎ ｌ — ｄ ｏ ｉ ｄ ｌｏ ｅ Ｔ ｅ ｍｅ ｔ ｔ ｅ ｕ ｔ ａ ｒ ｔ ｉｓ ｗｈ ｃ ｓｇｏ ｄ ｖ ｉｉ ｈｅ ｌ ｏ ｔ ｅｆ ａ ｕ ｅ ｅ ｔａ ｔｏ ． ｘ ｅ ｍ ｅ ｔｗｉｈＬｅ ａ ｉ ｇ ａ ｅ ａ ｄ ｇ ｄ ｒ ｓ ｌ ｉ ｏ ｔ ｉ ｅ ｏ ｔ ｅ ｔ ｒ ｘ ｃ ｉ ｎ Ａｎ ｅ ｐ ｒ ｎ ｔ ｎ ｈ ｒ ｉ ｍａ ｅｉ ｍ ｄ ｎ ｏｏ ｅ ｕ ｔ ｓ ｂ ａ ｎ ｄ． ｓ
信息熵与图像熵的计算
实验一信息熵与图像熵计算一、实验目的1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验仪器、设备1．计算机－系统最低配置 256M 内存、P4 CPU。
2．Matlab 仿真软件－ 7.0 / 7.1 / 2006a 等版本Matlab 软件。
三、实验内容与原理（1）内容：1．能够写出MATLAB 源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。
（2）原理1． MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3．学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：255log i iip p ==∑H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0 <= i <= 255)，j 表示邻域灰度(0 <= j <= 255),2(,)/ijP f i j N =上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中f(i, j) 为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：255logij ijip p ==∑H构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征.四、实验步骤1．求解信息熵过程：1) 输入一个离散信源，并检查该信源是否是完备集。
图像的熵值
end
end
end
P(2:1+Depth,:)=P(2:1+Depth,:)/N_pixels;
for i=1:N_grays
for j=1:Depth
if P(1+j,i)~=0
function result=imgentropy(img)
%img必须为灰度图像（2-D）
%written by hangbing6174,CUMT
%
[M,N]=size(img);
imax=ceil(max(max(img)));
temp=zeros(1,imax);
%对图像的灰度值在[0,imax]上做统计
for m=1:M;
for n=1:N;
if img(m,n)==imax;
i=imax+1;
else
i=fix(img(m,n))+1;
end
temp(i)=temp(i)+1;
logp(i)=log2(p(i));
entropele=-p(i)*logp(i);
entropy=entropy+entropele;
end
end
entropy
%图像的熵
%图像初始化
clear
clc
end
end
result=resul;
以上代码保存为m文件就是一个熵的计算函数了。
%求每一个符号的出现概率
P=zeros(1+Depth,N_grays);%第一行是序号，第2到1＋Depth行每行对应一个颜色
信息熵与图像熵的计算
信息熵与图像熵的计算信息熵是信息论中一个重要的概念，用来衡量信源中包含的信息量。
而图像熵是在图像处理中引入的概念，用来衡量图像中的信息量。
1.信息熵的概念信息熵是用来度量一个信源的平均信息量的，也可以看作是随机变量的不确定性的度量。
信息熵的计算公式如下：H(X) = -Σ(p(x) * log2(p(x)))其中，X表示一个离散型的信源，p(x)表示X取值为x的概率。
计算信息熵的步骤如下：1)统计信源中每个离散值出现的概率；2)根据计算出的概率值，计算每个离散值的信息量；3)将每个离散值的信息量相加，即可以得到信源的信息熵。
2.图像熵的概念图像熵是用来衡量图像中信息量的一个指标。
在图像处理中，图像熵用来描述图像的纹理复杂程度，即图像中包含的信息量。
图像熵的计算公式如下：H(I) = -Σ(p(i) * log2(p(i)))其中，I表示一个图像，p(i)表示图像中像素值为i的概率。
计算图像熵的步骤如下：1)统计图像中每个像素值出现的概率；2)根据计算出的概率值，计算每个像素值的信息量；3)将每个像素值的信息量相加，即可以得到图像的熵。
3.信息熵与图像熵的比较信息熵和图像熵的计算方法相似，但是在具体的应用场景中存在一些差别。
首先，信息熵是用来度量信源的不确定性，所以信源可以是任意类型的数据，包括离散型信源和连续型信源。
而图像熵是针对图像数据的一种度量，因此信源是离散型的。
其次，图像熵主要用来衡量图像的纹理复杂程度，所以在计算图像熵时，通常会将图像转化为灰度图像。
这样做的目的是忽略图像的颜色信息，只关注亮度信息，因为在大多数场景下，图像的颜色信息对于图像的信息量没有太大的贡献。
此外，信息熵和图像熵的计算结果都是一个非负数，越大表示信息量越大，越小表示信息量越少。
当信息熵或图像熵为0时，表示信源或图像中只有一个确定的值，没有任何信息的不确定性。
总结来说，信息熵和图像熵都是衡量信息量的一种指标，用来描述数据的不确定性或者纹理复杂程度。
图形图像编码中的熵编码算法使用教程
图形图像编码中的熵编码算法使用教程在图形图像编码中，熵编码算法是一种常用的数据压缩技术。
通过对图像中的数据进行编码，可以减小图像所占用的存储空间，提高传输效率。
本文将介绍图形图像编码中的熵编码算法的使用教程，并详细解释其原理和操作步骤。
熵编码是一种无损压缩方法，它通过使用较短的位数来表示频率较高的符号，以实现数据的压缩。
在图形图像编码中，熵编码通常用于对图像中的颜色或像素值进行编码。
首先，我们需要了解熵编码的原理。
熵编码基于信息熵的概念，信息熵是用来度量信息量的一个指标。
当一个符号出现的概率越高时，其信息量越低，所需编码的位数也越少。
熵编码就是根据符号的概率分布，将频率较高的符号用较少的位数进行编码，从而减小数据的表示长度。
接下来，我们可以了解一下常用的熵编码算法，如霍夫曼编码和算术编码。
这两种算法都是通过建立符号和编码之间的对应关系来实现熵编码。
在实际使用中，我们可以先进行图像预处理，将图像进行离散化处理，将连续的像素值转化为离散的符号。
然后，利用统计方法来获取符号的概率分布。
对于图像中的颜色编码，我们可以统计每种颜色的出现次数，并计算其概率。
对于像素值编码，我们可以统计不同像素值的频率，并计算其概率。
接下来，我们需要根据符号的概率分布来构建编码表。
对于霍夫曼编码，我们可以根据符号的概率构建一颗霍夫曼树，将概率较高的符号放在树的较低层，概率较低的符号放在树的较高层。
然后，我们可以从树的根节点开始遍历树，根据左子树和右子树的关系为符号赋予相应的编码。
而对于算术编码，我们可以使用算术编码表来对符号进行编码。
编码完成后，我们将编码后的信息进行传输或存储。
在传输或存储过程中，我们需要注意将编码后的信息进行解码，以使接收方能够正确地解析图像数据。
为了正确地解码信息，接收方需要了解和发送方相同的编码表。
总结一下，图形图像编码中的熵编码算法是一种常用的数据压缩技术。
通过统计符号的概率分布，构建编码表，对数据进行编码，可以实现数据的压缩和传输效率的提高。
信息熵与图像熵的计算
实验一信息熵与图像熵计算一、实验目的1．复习MATL AB 的基本命令，熟悉MATL AB 下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验仪器、设备1．计算机－系统最低配置256M 内存、P4 CPU。
2．Matlab仿真软件－ 7.0 / 7.1 / 2006a等版本Mat lab 软件。
三、实验内容与原理（1）内容：1．能够写出MATLAB源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出M ATLAB程序，求出给定图像的图像熵。
（2）原理1． MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
3．学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：255log i iip p ==∑H图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
图像信息熵
图像信息熵图像信息熵是模糊信息理论中相当重要的一种信息度量方法，它可以衡量图像的复杂性和自由度，提供定量的分析，以便于更好地提取和处理图像。
本文旨在介绍图像信息熵的定义、计算方法以及其应用。
一、图像信息熵的定义信息熵是由日本信息理论家西摩佐藤于1965年提出的，它是信息理论中一个重要的概念，也是熵的一种概念，是对熵的一种拓展，定义为：让图像经过分层处理，将空间中不可分割的最小单位分割成多个最小单位，它们构成的像素总数就是图像的信息熵。
图像信息熵的实质是根据图像的熵值来计算图像信息量的大小，图像的复杂程度越高，图像信息熵越高。
图像信息熵的另一种定义是：在一定空间维度中，根据图像选择的特征，提取到图像信息的量级，即为图像信息熵。
二、图像信息熵的计算方法图像信息熵的计算主要是通过计算图像的熵值来计算。
首先，计算一幅图像中每个像素的频率，将像素的值看作概率，记为P(x）；然后，在每个像素的概率P(x）上计算信息熵，即：Sx= -Σi=1n P(x)logP(x)；最后，将各个像素的信息熵相加求和，就得到了图像信息熵。
三、图像信息熵在图像处理中的应用1、图像分割。
图像分割是将图像分割成不同的区域，以便对其中的信号进行处理。
图像信息熵是一种量化图像复杂程度的指标，通过计算图像信息熵，可以根据熵值大小来判断图像是否具有足够的复杂程度，进而可以有效地实现图像的分割。
2、图像压缩。
图像压缩是指在保持原图像质量的前提下，将图像数据量减少以减少图像文件大小的一种处理方法。
图像压缩的基本思想是：通过对图像信息熵的计算，可以找出图像中哪些信息是可以被压缩的；以达到节省存储空间的目的。
四、总结本文详细介绍了图像信息熵的定义、计算方法及其应用。
图像信息熵是根据图像的熵值来计算图像信息量的大小，图像的复杂程度越高，图像信息熵越高，可以量化图像复杂程度。
图像信息熵可用于图像分割和图像压缩，可以有效地提取和处理图像。
图像编码中的熵编码方法详解(五)
图像编码是一种将图像数据转换为二进制序列以便传输或存储的过程。
在图像编码中，熵编码方法起到了重要的作用。
在本文中，我们将详细解释熵编码方法在图像编码中的原理和应用。
一、熵编码方法简介熵编码是一种基于信息论的编码方法，旨在通过最小化编码序列的熵来减少传输或存储数据所需的比特数。
熵编码方法的核心思想是，通过使用较短的二进制码字表示出现频率较高的符号，以实现数据压缩的目的。
二、香农熵和离散概率分布在熵编码中，我们需要先计算出符号的概率分布。
而概率分布可以通过香农熵来度量。
香农熵是根据概率分布来计算信息源的信息量的度量标准。
在图像编码中，我们可以将像素值视为符号，并根据频率统计来计算符号集的概率分布。
三、霍夫曼编码霍夫曼编码是熵编码中最为常用的方法之一。
它通过构建霍夫曼树来生成最优的编码方案，即通过较短的编码长度来表示出现频率较高的符号。
霍夫曼编码的前提是符号的概率分布已知，通过构建霍夫曼树可以得到每个符号的二进制码字。
四、算术编码算术编码是另一种常用的熵编码方法，在图像编码中也得到了广泛应用。
与霍夫曼编码不同，算术编码不需要预先构建编码表，而是将整个消息序列视为一个整体进行编码。
算术编码通过不断缩小编码区间来表示不同的符号，最终得到较短的二进制码字。
五、熵编码方法的性能比较虽然霍夫曼编码和算术编码在熵编码中都有出色的表现，但它们在性能上有一些区别。
霍夫曼编码通常适用于固定长度的码字，适用于传输带宽有限的场景。
而算术编码则可以根据符号的概率分布生成变长的码字，更适合于传输带宽充足的场景。
六、熵编码在图像压缩中的应用熵编码方法在图像压缩中起到了至关重要的作用。
图像压缩的目标是减少图像数据的存储空间或传输带宽。
通过使用熵编码方法，可以将图像数据压缩至更小的体积，从而减少存储和传输的需求。
在图像编码中，熵编码方法常常与其他编码方法结合使用，如DCT变换和量化等。
七、总结通过熵编码方法，我们可以将图像数据转换为更小的二进制序列，以实现图像的压缩和传输。
计算图像信息熵报告
计算图像信息熵报告1. 简介图像信息熵是一种用来描述图像中信息量的指标，它可以反映图像的复杂程度和信息丰富度。
本报告将介绍计算图像信息熵的步骤和方法。
2. 图像信息熵的定义图像信息熵是指图像中每个像素点的信息量的平均值。
信息量的计算可以通过像素的灰度值来实现。
在灰度图像中，每个像素的灰度值通常是一个从0到255的整数，代表了图像中的亮度。
3. 计算图像信息熵的步骤计算图像信息熵的步骤如下：步骤一：将图像转换为灰度图像在计算图像信息熵之前，首先需要将彩色图像转换为灰度图像。
这是因为彩色图像包含了RGB三个通道的信息，而计算信息熵只需要考虑灰度值。
步骤二：计算每个像素的灰度值频率对于灰度图像中的每个像素点，计算其灰度值出现的频率。
频率可以通过统计每个灰度值在图像中出现的次数来得到。
步骤三：计算每个像素的信息量利用每个像素的灰度值频率，计算每个像素的信息量。
信息量可以通过以下公式计算：信息量 = -频率 * log(频率)步骤四：计算图像信息熵将每个像素的信息量相加，然后取平均值，即可得到图像的信息熵。
信息熵的计算公式如下：信息熵 = 平均信息量 = 总信息量 / 像素数量4. 示例代码以下是使用Python编程语言实现计算图像信息熵的示例代码：import cv2import numpy as npimport mathdef calculate_entropy(image):gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)height, width = gray_image.shapepixel_count = height * width# 计算灰度值频率gray_level_counts = np.bincount(gray_image.flatten(), minlength=256) gray_level_probabilities = gray_level_counts / pixel_count # 计算信息量entropy =0for p in gray_level_probabilities:if p >0:entropy -= p * math.log2(p)return entropy# 读取图像image = cv2.imread("example.jpg")# 计算图像信息熵entropy = calculate_entropy(image)print("图像信息熵为：", entropy)5. 结论本报告介绍了计算图像信息熵的步骤和方法。
图像编码中的熵编码方法详解(十)
图像编码中的熵编码方法详解在数字图像处理领域，图像编码作为一种将图像信息以更高效方式表示的方法，一直受到广泛关注。
而其中，熵编码被认为是一种效果较好的编码方法之一。
本文将对图像编码中的熵编码方法进行详细探讨，包括熵编码原理、熵编码方法的分类和具体实现。
一、熵编码原理熵编码的基本原理是通过统计信息的量化表示来实现数据压缩。
它利用源符号出现的概率分布特性，将出现概率高的符号用较短的二进制码表示，而将出现概率低的符号用较长的二进制码表示，以达到数据压缩的目的。
二、熵编码方法的分类熵编码方法根据具体实现方式可分为霍夫曼编码、算术编码和自适应编码三种。
1. 霍夫曼编码霍夫曼编码是一种静态编码方法，需要事先对数据进行统计分析，根据符号出现的概率分布来构建码表。
它的基本思想是将出现概率高的符号用较短的二进制码表示，而将出现概率低的符号用较长的二进制码表示。
这样一来，在编码时可以利用霍夫曼树的特点，将编码后的码字尽量紧凑地表示。
2. 算术编码算术编码是一种连续性的编码方法，其核心思想是将符号序列编码为一个在0到1之间的分数，并将该分数映射到二进制码的指定范围内。
算术编码方法相比霍夫曼编码，可以更加精确地表示每个符号的概率，因此具有更好的编码效率。
3. 自适应编码自适应编码是一种动态编码方法，它不需要事先对源信号进行统计分析，而是根据实时的符号出现概率分布来进行编码。
在自适应编码中，编码表会根据输入数据的特点进行动态更新，以适应源信号的变化。
自适应编码方法相比于静态编码方法，具有更好的适应性和实时性。
三、熵编码方法的实现1. 霍夫曼编码的实现霍夫曼编码的实现过程主要包括两个阶段，即霍夫曼树的构建和编码树的生成。
首先，根据符号出现的概率分布构建霍夫曼树，然后根据霍夫曼树生成编码表，将每个符号对应的霍夫曼编码存储起来。
在实际编码过程中，根据要编码的源符号依次查找对应的霍夫曼编码，并输出到编码文件中。
2. 算术编码的实现算术编码的实现过程需要根据符号的概率分布构建累积概率表。
图像编码中的熵编码方法详解(三)
图像编码是将图像数据转换为数字信号的过程，以便于储存和传输。
而在图像编码中，熵编码方法是一种重要的压缩算法，可有效地减少数据的大小。
本文将详细介绍图像编码中的熵编码方法，包括哈夫曼编码和算术编码两种常用的熵编码方法。
在了解熵编码方法之前，我们需要先了解一些基本概念。
首先是熵的概念，熵是信息理论中的一个重要指标，用来衡量信息的不确定性。
在图像编码中，熵可以理解为图像中像素值的平均信息量。
接下来是编码和解码的概念。
编码是将源数据转换为编码数据的过程，解码是将编码数据还原为源数据的过程。
哈夫曼编码是一种熵编码方法，它是由David A. Huffman在1952年提出的。
哈夫曼编码的基本思想是通过构建一种可变长度的编码表来对源数据进行编码，使得出现频率高的符号使用较短的二进制码，而出现频率低的符号使用较长的二进制码。
这样可以有效地减少编码后数据的大小。
哈夫曼编码的过程可以简单描述为以下几步：首先，统计源数据中每个符号的出现频率。
然后，根据频率构建一棵哈夫曼树，每个叶子节点代表一个符号，并且叶子节点的深度表示该符号的编码长度。
接下来，根据哈夫曼树构建编码表，即为每个符号分配一个唯一的二进制码。
最后，将源数据中的每个符号替换为对应的二进制码，得到编码后的数据。
相比于哈夫曼编码，算术编码是一种更为高效的熵编码方法。
算术编码的基本思想是将整个输入序列编码为一个单一的大数，该大数可以表示源数据中所有符号的概率分布。
这样就能够实现非固定长度的编码，进一步减少编码后数据的大小。
算术编码的过程可以简述为以下几步：首先，根据源数据统计各个符号的概率分布并构建概率模型。
然后，将输入序列编码为一个在[0,1)区间内的小数，该小数表示了输入序列所对应的概率区间。
接下来，利用二分搜索将概率区间进一步细分，直到最后得到一个唯一的编码。
需要注意的是，由于熵编码是一种无损压缩算法，它能够完全还原原始数据。
因此，在解码时，我们只需要利用编码表或概率模型，将编码数据还原为原始数据即可。
图像的熵
图像的熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令表示图像中灰度值
为i的像素所占的比例，则定义灰度图象的一元灰度熵为：
H= - E i=0255P i lnP i
(其中，E i=0255表示从灰度0到255进行求和运算，因为公式无法输入，
暂且这样表示)
图象的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为(i,j)，其中i表示像素的灰度值(0<=i<=255)，j 表示领域灰度均值(0<=j<=255),P ij=(f(i,j))/N2即可
反应某像素位置上的灰度值与其周围像素的灰度分布的综合特征，其中f(i, j)为特征二元组(i,j)出现的频数，N为图像的尺度，定义离散的图像二维熵为：
H= - E
i=0255E
j=0
255 (P
ij
lnP ij )
依此构造的图像二维熵可以在反映图像所包含的信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征；。
图像的熵——精选推荐
图像的熵已知图像X，包含N个像素，p1，p2...p N，其中p i为灰度为i的像素个数，则图像的熵为H（p1，p2...p N）=-∑p i*log p i图像的熵反映了图像包含的信息量⼤⼩，信息量越⼤，熵值H越⼤，图像的熵H具有以下特性1）对称性H（p1，p2...p N）= H（p2，p1...p N） p i可以任意置换2）归⼀性对于2值图像，当图像灰度均匀时，即p0=p1H（p1，p1）=H（1/2,1/2）= log23）确定性当p i=1，p1，p2...p i-1，p i+1，....p N=0时H（p1，p2...p N）= -log1 = 04）极值性H（p1，p2...p N）<= H(1/N，1/N...1/N）=logN总结：图像的熵反映了图像包含的信息量1）当图像为纯⾊图时（纯⽩，纯⿊图），图像只包含⼀个灰度值，此时熵最⼩，H=0（见定理3），图像的信息量为0。
因为图像为纯⾊时（灰度为⼀个值），也就说明图像不包含任何地物⽬标，信息量为0。
（类似于空⽩地图）2）当图像包含N个灰度值时，即图像每个像素的灰度值都不同，此时熵最⼤，H=logN，图像的信息量最⼤。
因为此时，图像每个像素灰度都不同，可以认为图像每个单⼀像素都是⼀个独⽴地物⽬标，信息量为最⼤N。
（类似于地图充满了地物）图像的熵H越⼤，图像包含的像素灰度越丰富，灰度分布越均匀，图像的地物⽬标越多，图像的信息量越⼤，反之则反。
图像灰度分布越均匀（各个灰度值的像素个数⼀致）& 图像灰度范围越⼤（N越⼤），图像的熵H=logN越⼤；⼀副图像，当每个像素的灰度都不同时（灰度⼀致并且灰度范围N最⼤），此时的熵最⼤。
实验一-灰度图像信息熵的相关计算与分析
实验一灰度图像信息熵的相关计算与分析一、实验目的1、复习信息熵，条件熵，联合熵，互信息，相对熵的基本定义, 掌握其计算方法，学习互信息与相对熵的区别之处并比较两者的有效性，加深对所学理论理论知识的理解。
2、掌握图像的的基本处理方法，了解图像的编码原理。
3、学习使用matlab ，掌握matlab 的编程。
4、通过对比分析，。
在解决问题的过程中，锻炼自身对问题的研究能力。
二、实验内容与要求1、计算灰度图像的信息熵，条件熵，联合熵，互信息，相对熵，并比较互信息和相对熵在判别两幅图像的联系与区别。
2、利用matlab 编程计算，并书写完整实验报告。
三、实验原理1、信息熵离散随机变量X 的熵H(X)为： ()()log ()x H X p x p x χ∈=-∑图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。
图像的一 维熵表示图像中灰度分布的聚集特征所包含的信息量，将图像的灰度值进行数学统计，便可得到每个灰度值出现的次数及概率，则定义灰度图像的一元灰度熵为：255log iii H p p==-∑利用信息熵的计算公式便可计算图像的信息熵，求出任意一个离散信源的熵（平均自信息量）。
自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。
所发出的消息不同，它们所含有的信息量也就不同。
任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。
它是从平均意义上来表征信源的总体特性的。
对于某特定的信源，其信息熵只有一个。
不同的信源因统计特性不同，其熵也不同。
图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。
选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0255)i ≤≤，j 表示邻域灰度(0255)j ≤≤,2(,)/ij P f i j N=上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中 f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：2550log ij iji H p p ==∑构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。
肖氏熵的计算学方法
肖氏熵的计算学方法肖氏熵，也叫作Shannon熵，是信息论中的一个重要概念。
在信号处理、通信和数据传输等领域，肖氏熵被广泛应用。
它可以衡量一个信源的不确定性或信息含量，透露出信源背后的随机性质。
如何计算肖氏熵？下面我们介绍几种常见的方法。
一、离散型信源的熵对于一个有N种可能性的离散型信源X，它的熵定义为：H(X) = -Σp(i)log2p(i)其中p(i)表示X在第i种状态下发生的概率。
这个式子中的log2表示以2为底的对数，常用于信息论中。
熵的单位是比特(bit)，它可以理解为传输单个消息所需要的平均比特数。
当信源的熵越高，说明它包含的信息越多。
我们可以选择任意一种基数进行计算，但以2为底的对数比较常见。
当p(i)等于1/N时，X的熵最大。
举个例子，一个双面硬币正反两面出现的概率都为1/2，那么这个双面硬币的熵为1。
二、连续型信源的熵对于一个有无限个可能取值的连续型信源，我们不能用上述的离散型信源熵来计算。
此时我们可以借助概率密度函数f(x)来计算连续型信源的熵：H(X) = -∫f(x)log2f(x)dx其中∫表示积分符号，x为信源可能取到的任意实数。
f(x)表示信源在x处的概率密度函数，也就是在一个非常小的区间内，信源可能发生的概率。
这样，求解连续型信源的熵就变成了对概率密度函数进行积分的问题。
举个例子，假设你有一个温度变化的传感器，它可以将每秒的温度变化转换成一个连续的随机变量。
你采集这些数据后，可以绘制出它们的概率密度函数。
这个函数可以在不同的温度值处取到不同的概率值。
根据上述公式，你就可以算出这个连续型信源的熵了。
三、灰度图像的熵在实际应用中，我们经常需要处理图像的信息。
图像可以看成是一个二维数组，里面的每个点包含一个灰度值。
灰度图像的熵可以用下面的公式来计算：H(I) = -Σp(i)log2p(i)其中p(i)表示灰度为i的点在图像中出现的概率。
我们可以将图像看成是由一个离散型信源构成的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
OpenMp
（1）、OpenMP只能并行化for循环，它不会并行while和 do-while循环，而且只能并行循环次数在for循环外面就确 定了的for循环。 （2）、循环变量只能是整型和指针类型（不能是浮点型）
OpenMp使用
（3）、循环语句只能是单入口单出口的。循环内部不能改 变index，而且里面不能有goto、break、return。但是可以 使用continue，因为它并不会减少循环次数。另外exit语句 也是可以用的，因为它的能力太大，他一来，程序就结束了。
double Result::result(Mat* Xiang,vector<double>*Rp,vector<double>* Gp,vector<double>* Bp,vector<double>* Ri,vector<double>* Gi,vector<double>* Bi) { double E=0,Er=0,Eg=0,Eb=0; double all=(*Xiang).cols*((*Xiang).rows); int j=0; #pragma omp parallel for for(j;j<256;j++){ pictureData(Xiang, j, Ri, Gi, Bi);} #pragma omp parallel for int k=0; for(k;k<256;k++){ (*Rp).at(k)=(*Ri).at(k)/all; (*Gp).at(k)=(*Gi).at(k)/all; (*Bp).at(k)=(*Bi).at(k)/all; if( (*Rp).at(k)==0) { (*Rp).at(k)=1;} if((*Gp).at(k)==0) { (*Gp).at(k)=1;} if((*Bp).at(k)==0) { (*Bp).at(k)=1;} Er+=(*Rp).at(k)*log((*Rp).at(k)); Eg+=(*Gp).at(k)*log((*Gp).at(k)); Eb+=(*Bp).at(k)*log((*Bp).at(k)); }
某图像图像熵
■ OpenMP是一种用于共享内存并行系统的多线程程序设计 方案，支持的编程语言包括C、C++和Fortran。 OpenMP提供了对并行算法的高层抽象描述，特别适合在 多核CPU机器上的并行程序设计。编译器根据程序中添加 的pragma指令，自动将程序并行处理，使用OpenMP降 低了并行编程的难度和复杂度。当编译器不支持OpenMP 时，程序会退化成普通（串行）程序。程序中已有的 OpenMP指令不会esult::pictureData(Mat *Tu,int div,vector<double>* Ri,vector<double>* Gi,vector<double>* Bi) { int rown=(*Tu).rows; int coln=(*Tu).cols; int i=0; int a=0,b=0,c=0; #pragma omp parallel for for(i;i<=rown;i++) { for(int n=0;n<=coln;n++){ //blue if((*Tu).at<Vec3b>(i,n)[0]==div){ a+=1;} //green if((*Tu).at<Vec3b>(i,n)[1]==div){ b+=1;} //red if((*Tu).at<Vec3b>(i,n)[2]==div){ c+=1;} }} (*Ri).at(div)=c; (*Gi).at(div)=b; (*Bi).at(div)=a;}
图像熵
信息熵与图像熵
■ 信息熵是跟所有可能性有关系的一个值。 在一定条件下， 所有事件的发生都有一定的概率（或高或低） ， 信息熵 就表示了一件事物蕴含了多少的信息。 所以数学上， 信 息熵其实是信息量的期望； 而在图像处理上先人引出图像 熵这个概念。
■ 在很多多干扰的复杂环境下， 需要判断图像受影响程度， 和图像收干扰程度，这个时候就需要图像熵使用图像熵来 判断图像发生的变化。 图像熵越大图像所蕴含的信息越多， 图像熵越小图像所蕴含的信息越少。
图像熵公式
公式中,L是RGB通道颜色 值的离散化级数,其中L=256,而 PRi、PGi、PBi为 图像中 Ri、Gi、Bi颜色值存在的概率,可以使用 Ri、Gi、Bi存在的频率来近似， 因此可以根据一副图像在 R、G、B 三个颜色通道中的颜色直方图分布来计算。 假设图像中红色分量值为 Ri的像素数量为 Nri,而图像共有 N 个像素,则 PRi=NRi/N。PGi和 PBi也可以类似的求出。根据式子,图像熵的最小值为0最大值 为 16.6355,图像熵随着图像中颜色值分布的平均程度而单调递减。