实验一 灰度图像信息熵的相关计算与分析
求一维序列的信息熵
求一维序列的信息熵（香浓熵）的matlab程序实例
目录
求一维序列的信息熵（香浓熵）的matlab程序实例 (1)
引言 (1)
测试程序 (2)
额外信息上代码 (4)
实验一：计算离散信源的熵 (5)
一、实验设备 (5)
二、实验目的 (5)
三、实验内容 (5)
四、实验报告要求 (5)
习题 (6)
引言
对于一个二维信号，比如灰度图像，灰度值的范围是0-255，因此只要根据像素灰度值(0-255)出现的概率，就可以计算出信息熵。
但是，对于一个一维信号，比如说心电信号，数据值的范围并不是确定的，不会是(0-255)这么确定，如果进行域值变换，使其转换到一个整数范围的话，就会丢失数据，请高手指点，怎么计算。
比如数字信号是x(n),n=1~N
(1)先用Hist函数对x(n)的赋值范围进行分块，比如赋值范围在0~10的对应第
一块，10~20的第二块，以此类推。这之前需要对x(n)做一些归一化处理
(2)统计每一块的数据个数，并求出相应的概率
(3)用信息熵公式求解
以上求解方法获得的虽然是近似的信息熵，但是一般认为，这么做是没有问题的
求一维序列的信息熵的matlab程序代码如下：（已写成调用的函数形式）
测试程序
%% 将下面程序拷贝保存成m文件，直接运行就行，不需要分开保存function cal_entropy()%主程序
clear
clc
close all
fs=12000;
N=12000;
T=1/fs;
t=(0:N-1)*T;
ff=104;
sig=0.5*(1+sin(2*pi*ff*t)).*sin(2*pi*3000*t)+rand(1,length(t));
信息熵与图像熵计算
p (a i ) ∑ n
《信息论与编码》课程实验报告
班级：通信162
姓名：李浩坤 学号：163977
实验一
信息熵与图像熵计算 实验日期：2018.5.31
一、实验目的 1.
复习 MATLAB 的基本命令，熟悉 MATLAB 下的基本函数。 2. 复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验原理及内容
1.能够写出 MATLAB 源代码，求信源的信息熵。
2.根据图像熵基本知识，综合设计出 MATLAB 程序，求出给定图像的图像熵。
1.MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。
2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出
的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： H (X ) = E [ log 1 ] = -∑ p (a i ) log p (a i )
i =1
信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。
1. 学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令 P i 表示图像中灰度值为 i 的像素所占的比例，则定义灰度图像的一元灰度熵为：
遥感数字图像处理试题
1一幅灰度级均匀分布的图像,其灰度在0,255,则该图像的信息量为8
2图像与灰度直方图间的对应关心是：多对一
3下列算法中属于图像锐化处理的是：高通滤波
4下列算法中属于点处理的是：二值化
A梯度锐化 b二值化 c傅立叶变换 d中值滤波
5计算机显示器主要采用哪一种彩色模型RGB
6下列算法中属于图像平滑处理的是：中值滤波
A梯度锐化 b直方图均衡 c中值滤波 d laplacian增强
7采用模版-1,1主要检测：垂直方向的边缘;
8对衣服100X100像元的图像,若每像元用8bit表示其灰度值,经霍夫曼编码后压缩图像的数据量为40000bit,则图像的压缩比为：2：1
9维纳滤波器通常用于复原图像
10图像灰度方差说明了图像的哪一个属性：图像对比度
11下列算法中属于局部处理的是：中值滤波;
12数字图像处理研究的内容不包括：数字图像存储;包括：图像数字化,图像增强,图像分割等
13将灰度图像转换成二值图像的命令为： im2bw
14图像的形态学处理方法包括：腐蚀
15下列图像边缘算子中抗噪性能最好的是：Prewitt算子
17二值图像中分支点的连接数为：3
填空题
1图像锐化除了在空间域进行外,也可以在：频率域进行;
2对于彩色图像,通常用以区别颜色的特性是：色调、饱和度、亮度;
3依据图像的保真度,图像压缩可分为：无损压缩和有损压缩;
4存储一幅大小为1024X1024,256个灰度的图像,需要：8M bit;
5一个基本的数字图像处理系统由：图像输入,图像存储,图像输出,图像通信,图像处理和分析 5个模块组成;
6低通滤波法是使：高频成分受到抑制而让：低频成分顺利通过,从而实现图像平滑;
实验一灰度图像信息熵的相关计算与分析
实验⼀灰度图像信息熵的相关计算与分析
实验⼀
灰度图像信息熵的相关计算与分析
⼀、实验⽬的
1、复习信息熵，条件熵，联合熵，互信息，相对熵的基本定义, 掌握其计算⽅法，学习互信息与相对熵的区别之处并⽐较两者的有效性，加深对所学理论理论知识的理解。
2、掌握图像的的基本处理⽅法，了解图像的编码原理。
3、学习使⽤matlab ，掌握matlab 的编程。
4、通过对⽐分析，。在解决问题的过程中，锻炼⾃⾝对问题的研究能⼒。
⼆、实验内容与要求
1、计算灰度图像的信息熵，条件熵，联合熵，互信息，相对熵，并⽐较互信息和相对熵在判别两幅图像的联系与区别。
2、利⽤matlab 编程计算，并书写完整实验报告。
三、实验原理
1、信息熵
离散随机变量X 的熵H(X)为： ()()log ()
x H X p x p x χ
∈=-∑
图像熵是⼀种特征的统计形式，它反映了图像中平均信息量的多少。图像的⼀维熵表⽰图像中灰度分布的聚集特征所包含的信息量，将图像的灰度值进⾏数学统计，便可得到每个灰度值出现的次数及概率，则定义灰度图像的⼀元灰度熵为：
255
log i
i
i H p p
==-∑
利⽤信息熵的计算公式便可计算图像的信息熵，求出任意⼀个离散信源的熵（平均⾃信息量）。⾃信息是⼀个随机变量,它是指某⼀信源发出某⼀消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何⼀个消息的⾃信息量都代表不了信源所包含的平均⾃信息量。
信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有⼀个。不同的信源因统计特性不同，其熵也不同。
实验1_信息论相关实验实验报告
信息论与编码实验一
实验报告
学生姓名周群创
指导教师张祖平
学号 0909110814 专业班级电子信息1101
实验一关于信源熵的实验
一、实验目的
1. 掌握离散信源熵的原理和计算方法。
2. 熟悉 matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。
3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。
4. 掌握 Excel 的绘图功能，使用Excel 绘制散点图、直方图。
二、实验原理
1. 离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。
随机事件的自信息量I（x i）为其对应的随机变量x i 出现概率对数的负值。即：
I（x i）= -log2 p(x i)
随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量x i 出现概
率的数学期望，即：
H(X )=-∑p(x )I (x ) =-∑p(x ) log p(x )
2. 二元信源的信息熵
设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q，
p+ q=1，即信源的概率空间为
则该二元信源的信源熵为：
H(X) = - p log p –q log q = - p log p – (1- p) log (1- p)
即：H (p) = - p log p – (1- p) log (1- p) 其中 0 ≤p ≤1
3. MATLAB 二维绘图
用 matlab 中的命令plot(x, y)就可以自动绘制出二维图来。
例 1-2，在matlab 上绘制余弦曲线图，y = cos x，其中0 ≤x ≤2。>>x=0:0.1:2*pi； %生成横坐标向量，使其为0，0.1，0.2，…，6.2
基于区域随机性度量的LSB匹配隐写分析
基于区域随机性度量的LSB匹配隐写分析
熊钢;平西建;张涛;李侃
【摘要】依据图像信源区域平稳性质,分析LSB匹配隐写对图像区域统计特性的影响,提出一种基于区域随机性特征的隐写分析方法.运用分块处理划分图像区域,对各区域像素进行Hilbert扫描并提取像素最低有效位比特序列,进而将比特序列作异或运算所得到的参量定义为区域随机性度量指标,最后统计并分析区域随机性指标直方图,提取直方图信息熵、特殊取值及原点矩3类特征,结合Fisher线性分类器对载体、载密图像进行判别.实验结果表明,该方法在不同图像库和不同嵌入率条件下对LSB匹配隐写均表现出良好的检测性能,与现有典型检测算法相比其检测性能具有明显提高.
【期刊名称】《计算机研究与发展》
【年(卷),期】2013(050)005
【总页数】9页(P942-950)
【关键词】隐写分析;LSB匹配;图像区域;随机性;直方图
【作者】熊钢;平西建;张涛;李侃
【作者单位】解放军信息工程大学郑州 450002;解放军信息工程大学郑州450002;解放军信息工程大学郑州 450002;解放军西安通信学院西安710106【正文语种】中文
【中图分类】TP309
随着信息隐藏技术的发展，隐写分析已成为多媒体信息安全领域的一个研究热点，其中由于图像像素的最低有效比特位（least significant bit，LSB）隐写方法的广泛应用，其相对的隐写分析更是得到了学术界高度关注．目前针对LSB替换的隐
写分析方法较为成熟，而LSB匹配隐写［1］对LSB替换进行了改进，其安全性
遥感影像信息量的计算方法研究
ＺＨＥＮＧ ｅｆ ｎ ，．Ｎ Ｚ ｎ ｉｎ ， Ｘｕ —ｅ Ｉ ｏ ｇｊ 。 ＦＡＮ ｉ ， Ｉ ａ Ｌ ＧＵＯ ａ ＸＵ ｎ —ｅ ｇ Ｌ Ｕ ｕ ｇ ｎ Ｙｕ ｎ ， Ｈｏ ｇｆ ｎ ， Ｉ Ｙｏ — ｅ
（ ． ｐ ．ｏ ｃ ｉ ｃｕ ａ ｎ 、 ｈ ｎ ｏ ｇ Ｖｏ ａ ｉｎ ｌ ｏ ｌｇ ｆＵｒ ａ ｎ ｔｕ ｔ ｎ ｉ ａ ，Ｓ ａ ｄ ｎ ５ ０ ４，Ｃｈ ｎ ； １ Ｄｅ ｔ ｆＡｒ ｈ ｔ ｔ ｒ ｌＥ ｇ ．Ｓ ａ ｄ ｎ ｃ ｔ ａ ｌ ｅ ｏ ｂ ｎ Ｃｏ ｓ ｒ ｃ ｉ ，Ｊ ｎ ｎ ｅ ｏ Ｃ ｅ ｏ ｈ ｎ ｏ ｇ２ ０ １ ｉａ
２ Ｃｈｎ ｓａ ｃ ｎ ｔ ｕｅｏ ｕ ｖ ｙｎ ｎ ａ ｐｎ ｃｅ ｃ ｓ ｅｊ ｇ １ ０ ３ ，Ｃｈｎ ） ． ｉａＲｅ ｅ ｒｈＩ ｓｉ ｔ ｆＳ ｒ ｅ ｉｇａ ｄＭ ｐ ｉｇＳ ｉｎ ｅ ，Ｂ ｉｎ ０ ０ ９ ｔ ｉ ｉａ
～ 一一 一 一 ～ ～ 一一 wk.baidu.com ～
热 力学 中 把 熵 理 解 为 自然 界 存 在 着 各 种 各 样 的
能 量转 变 ； 计 物理 中 把 熵 理 解 为 自然 界 所 发 生 统 的 过程 都 具 有 单 向性 ， 是 从 不 平 衡 状 态 自动 向 都
—■●—■●
１ 基 于熵 的 信 息 论 基础
熵 （ ｎｒｐ ） ｅ ｔｏ ｙ 一词 ， 自希腊语 “ｐ￣ ” 表 示 变 源 ｒｏ ｒ ， ｒ ／
计算图像间互信息的报告
西北工业大学自动化学院信息工程专业
信息论实验报告
计算图像间的互信息
09030702 2007302171 马志强
2009/10/20
摘要:基于Matlab程序,计算出图像的熵和两幅差异不大的图像之间的互信息,从而加深对互信息和熵值的理解.关键字:Matlab工程应用,信息熵与互信息.
一.实验目的：
利用Matlab计算两幅差异不大的图片熵值和互信息的值，并通过对图片差异较大区域进行裁剪，增多两个图片相同的区域，从而使得两图片的互信息的值增加，重发以上的操作多次，达到可获得的互信息的最大值，将获得的两个图片进行比较，验证互信息是否会根据图片拥有更多的相似区域而有所增大。
二.实验步骤：
1.获取图片：
由于rgb图像的像素范围过大，所以实验所用的图片采用像素范围只有0—255的gray图像（灰度图像）；可以通过对同一张彩色图片进行灰度处理，也可以直接通过摄像设备获取灰度图像，拍照时应该注意尽量保持两张图片的差异尽可能的小，原因在于人为的摄像中存在不可避免的误差，从而导致最后的结果中的互信息值过于小，即使通过剪裁等手段也无法有效提高互信息的值；将选择好的图片进行剪裁，如果是直接拍摄的两张图片，可以略过此步骤，方法是只减少图片中的极少部分的像素，而且更改的像素希望是条状，然后保存两张图片，供实验中使用。
2.上机操作：
将事先准备好的程序输入到Matlab中，利用Matlab的图片处理及转换功能，计算出图像的熵值和两个图像的互信息值，进行比较，以下附图及部分程序：
3.记录数据
以上程序运行出的结果分列如下:
一种直方图均衡插值的图像细节增强方法
一种直方图均衡插值的图像细节增强方法作者：***
来源：《江苏理工学院学报》2020年第02期
摘要：傳统直方图均衡具有灰度级减少、细节丢失和过度增强等不足，为此，提出了一种基于直方图均衡插值的图像细节增强方法。首先，算法对输入图像作直方图均衡处理;其次，在传统直方图均衡的直方图相邻灰度间隔值从大到小的位置，插入某一灰度SP构成新直方图;最后，将新直方图的灰度值按照从小到大的顺序一一映射至原图像直方图中，并输出增强图像。与其它算法比较，信息熵指标始终排名第1，表明了直方图均衡插值算法在图像细节保留方面的优越性;同时，算法增强的图像视觉效果清晰、柔和。
关键词：直方图均衡;图像增强;细节保留;灰度插值
中图分类号：TP391 文献标识：A 文章编号：2095-7394（2020）02-0023-07
图像增强是图像后续理解与识别处理的重要基础技术，其目的是利用图像增强技术突出目标、提高对比度，为后续图像理解与分析奠定基础[1]。在关于直方图相关技术的处理方法中，全局直方图均衡方法（Global Histogram Equalization，GHE）应用最为广泛，其基本思想是通过修改图像的直方图，以达到理想均匀分布、提升人眼观察的视觉效果、提升对比度的目的[2]。GHE方法具有增强简单、运算速度快与效果显著的优点，同时，也存在灰度被吞并、图像细节丢失与视觉生硬的问题。为改善GHE算法的不足，研究人员提出了众多直方图相关的改进技术。例如：扈佃海等人利用输入图像的高频成分与直方图均衡图像进行融合的细节增强方法[3];顾建雄等人通过幂函数调整输入图像直方图概率，再进行直方图均衡处理的细节增强，该方法对于图像亮度保持比较好[4];陈文飞等人提出了一种亮度自适应的保熵直方图均衡化方法，为防止灰度级被吞噬，提出了灰度距离控制参数[5];宋岩峰等人提出一种双平台直方图修正的均衡化方法，该算法在直方图的像素统计大小设置两个固定数值，过大或过小的直方图都用对应的固定值代替，最后对调整后的直方图作均衡化处理，从而减少了灰度级被合并和过增强现象[6];韩殿元提出了一种低照度下视频图像保细节直方图均衡化方法，算法在两灰度级的距离分别赋于一定步长递增的权重系数，以防止两个灰度被合并，使图像的细节保留较好[7]。然而，上述方法虽然在细节保留与减少灰度级被吞并方面取得了一定的效果，但是仍然不尽如人意。
一种基于信息熵的灰度失真图像的快速拼接方法
Ｖｏ． ０ ＮＯ ６ １３ ．
ຫໍສະໝຸດ BaiduＤｅ ・ ２ 【， ００６
文 章 编 号 ：０ ６— ４ ４ ２ ０ ）６— ６ ５一 ３ １０ ０ ６ （０ ６ ０ ０ ０ Ｏ
一
种 基 于 信 息熵 的灰 度 失 真 图像 的快 速 拼 接 方 法
洪春 勇 ， 徐 琨
（ 昌 大 学 计 算 中 心 ， 西 南 昌 ３ ０３ ） 南 江 ３０ １
提 出的算法 中 ， 只要 当块 取 足 够 大 ， 确度 就 较 高 ， 精 但 计算 量 大 。钟 力 提 出 的算 法 计算 量 虽 然 有 所
减少 ， 由 于 涉 及 到 大 量 浮 点 运 算 ， 度 有 所 下 但 精 降 。李 志 刚所提算 法计 算 量 有 进 一 步改 善 ， 仍 但 难达 到理想 的精 度 。若 图像 重 霍部 分是信 息较 贫乏 区域 ， 常 不 能 准 确 匹 配 ， 时 采 用 基 于 几 何 特 则 此
要定 义 图像 的熵 ，首 先 假 定 图 像 数 具 有 非 负
值， 厂 Ｙ 即 （ ）＞０ 对 于一 幅 Ｍ ×Ｎ大 小的 图象 ， ， ， 定
义：
Ｍ Ｎ
幅 图像 上 寻找 相 应 的模 式 ， 叫 做 图像 准 ， 就
因此 图像 配 准 自然 会应 用 到图像 拼接 技术 中 。图像
数字图像处理期末复习
空域处理是直接对图像进行处理
变换域处理则是在图像的某个变换域内，对图像的变换
系数进行运算，然后通过逆变换获得图像增强效果
33
期末总复习
《数字图像处理》方峻
图像增强
图像增强还可能为了人类视觉的需要, 使图像的内
容更突出，更容易被获取，并不关心和原始图像
b>0： 增加亮度
b<0： 减小亮度
37
期末总复习
《数字图像处理》方峻
对比度拉伸
非线性地加亮、减暗图像，显著增加或减少中间
部分的亮度。
曲线斜率先大于1后小于1，显
次性
线性变换的重要性质：总是把图像中的直线变
换为直线。
25
期末总复习
《数字图像处理》方峻
仿射变换的矩阵表示形式
仿射变换的坐标变换函数为（给出方程组写出矩
阵形式，后反之）
要能根据代数
′ = + +
表达式写出矩
′ = + +
阵表达式
仿射矩阵右乘形式
（公式不要求记，只求理解）
平均信息量反映了图像信息的丰富程度。
设一幅图像的灰度级共有级，则当所有灰度的概
率等于1/时，信息熵最大，这是直方图均衡的理
论基础。
信息熵与图像熵的计算
实验一信息熵与图像熵计算
一、实验目的
1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。
2．复习信息熵基本定义, 能够自学图像熵定义和基本概念。
二、实验仪器、设备
1．计算机－系统最低配置 256M 内存、P4 CPU。
2．Matlab 仿真软件－ 7.0 / 7.1 / 2006a 等版本Matlab 软件。
三、实验内容与原理
（1）内容：
1．能够写出MATLAB 源代码，求信源的信息熵。
2．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。（2）原理
1． MATLAB 中数据类型、矩阵运算、图像文件输入与输出知识复习。
2．利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出
的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的
数学期望为信源的平均自信息量：
信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。
3．学习图像熵基本概念，能够求出图像一维熵和二维熵。
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一
维熵表示图像中灰度分布的聚集特征所包含的信息量，令P
i 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：
255
log i i
灰度直方图结合信息熵对图像检测的研究
灰度直方图结合信息熵对图像检测的研究
作者：吴宪君
来源：《消费电子·理论版》2013年第11期
摘要：灰度直方图能直观显示相同灰度的像素之间在空间分布上的差异，间接反映图像特征。为了提高检索准确率引入信息熵投票的方法进行图像检测实验。在特定的训练集的样本数的各光照强度的分别率条件下，均能得到较好的识别率，数据库60%被分配到训练集。
关键词：灰度直方图；信息熵；图像检测
中图分类号：TP391.41 文献标识码：A 文章编号：1674-7712 （2013） 22-0000-01
一、引言
许多的面向非交互式生物识别应用和安全人-机接口脸识别系统在处理人脸图像采用预处理方法。当图像照明变化，人物姿势和面部表情变化情况下准确率降低。为尝试解决这个问题的方法，在特征提取步骤Turk和Pentland提出特征脸的方法，它根据一组人脸训练图像构造主元子空间[1]。Belhumeur的FisherFace方法等回归面部表情和封闭信号稀疏表示融合信息以不同类型的传感器替代脸识别方法来得到系统鲁棒性[2]。
二、交互信息
交互信息，这是信息理论中的一个基本概念[3]，是1，2个随机变量X和Y之间的依赖。基于这两个变量之间的共享信息，如果他们是离散，则它被定义为：
其中p（x，y）联合概率分布函数（PDF）的变量，px（x）和py（y）是X和Y的概率密度函数分别在图像的PDF文件中估计精度，在0至1的概率值范围可把图像分为不同数量相同的宽度的区域。强度的图像直方图与不同数量的影响标签。
三、交互算法
在单侧照明的情况下，假定每个识别图像被垂直分成左右两个子图像（图1a），SL和SR。
基于同态滤波的灰度图像去烟处理方法
2.3 基于同态滤波去烟处理
当一个灰度图像从物理过程产生时，光源照度分量与光 源反射分量成正比，因此灰度图像的照度分量与反射分量的 性质取决于光照条件，所以对于灰度图像的去烟处理可以看 作灰度图像照射分量与反射分量的调整问题 [8-9]。基于此，利 用同态滤波算法对含有烟雾图像进行处理，抑制灰度图像照 射分量的同时增加灰度图像的反射分量。由于灰度图像的光 源照度分量和反射分量的乘积具有非线性特征，在对灰度图
关键词：同态滤波；灰度图像；去烟处理；信息熵 中图分类号：TP391 文献标识码：A 文章编号：1003-9767（2021）07-070-03
Smoke Removal Processing Method of Gray Image Based on Homomorphic Filtering
灰度图像亮度的常数系数 α 值取值为 2.2 ～ 2.4，可以保证灰
度图像光照补偿效果最佳。按照上述步骤可以实现对灰度图
像的光照补偿。
2.2 灰度图像比例线性调整
在对灰度图像进行光照补偿的基础上，对灰度图像比例 线性进行调整，图像的比例线性调整和变换是将图像灰度按照 设定的比例进行扩展，实际就是对图像的灰度分量 V 进行拉伸。 假设原始图像的灰度范围为 V[a,b]，先需要将原始图像的灰度 范围调整到 V[c,b]，当原始图像中仅有少数灰度超出原始灰度 V[a,b]，而极大部分区域灰度仍在 V[a,b] 范围内，为了获得更 好的图像增强效果，对灰度图像比例线性进行调整。
图像熵计算及分割
图像熵计算及分割
一、实验目的
1．复习MATLAB 的基本命令，熟悉MATLAB 下的基本函数。
2．复习信息熵基本定义, 能够理解图像熵定义和基本概念。
3. 了解图像分割算法,并利用最小交叉熵,大津算法实现图像分割
二、实验仪器、设备
1．计算机。
2．Matlab 软件。
三、实验内容与原理
1. 内容：
1)．能够写出MATLAB 源代码，求信源的信息熵。
2)．根据图像熵基本知识，综合设计出MATLAB 程序，求出给定图像的图像熵。
2. 原理：
信息熵：
利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。一条信息的信息量和它的不确定性有着直接的关系。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量：
信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。信息熵一般用符号H表示，单位是比特。变量的不确定性越大，熵也就越大。
图像熵：
1).一元灰度熵
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi 表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为：
其中Pi是某个灰度在该图像中出现的概率，可由灰度直方图获得。
灰色关联熵
灰色关联熵
（实用版）
目录
1.灰色关联熵的概念
2.灰色关联熵的应用
3.灰色关联熵的优缺点
正文
灰色关联熵是一种用于衡量信息熵的数学工具，主要用于度量信息的不确定性和随机性。它由灰色系统理论中的灰色关联度和信息熵理论相结合而产生，具有广泛的应用价值。
灰色关联熵可以用于许多领域，如经济学、社会学、信息科学等。例如，在经济学中，它可以用于度量市场信息的不确定性，帮助投资者做出更明智的决策。在社会学中，它可以用于度量社会现象的不确定性，帮助社会学家更好地理解社会现象。在信息科学中，它可以用于度量信息的随机性，帮助信息科学家更好地度量和控制信息。
灰色关联熵的优点在于它能够较好地度量信息的不确定性和随机性，尤其是在处理灰色系统时具有较好的效果。缺点在于它的计算较为复杂，需要具备一定的数学知识才能进行。此外，它的适用范围也有限，对于某些非灰色系统，它的度量效果可能并不理想。
总的来说，灰色关联熵是一种重要的数学工具，具有广泛的应用价值和一定的局限性。
第1页共1页
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
实验一
灰度图像信息熵的相关计算与分析
一、实验目的
1、复习信息熵，条件熵，联合熵，互信息，相对熵的基本定义, 掌握其计算方法，学习互信息与相对熵的区别之处并比较两者的有效性，加深对所学理论理论知识的理解。
2、掌握图像的的基本处理方法，了解图像的编码原理。
3、学习使用matlab ，掌握matlab 的编程。
4、通过对比分析，。在解决问题的过程中，锻炼自身对问题的研究能力。
二、实验内容与要求
1、计算灰度图像的信息熵，条件熵，联合熵，互信息，相对熵，并比较互信息和相对熵在判别两幅图像的联系与区别。
2、利用matlab 编程计算，并书写完整实验报告。
三、实验原理
1、信息熵
离散随机变量X 的熵H(X)为： ()()log ()
x H X p x p x χ
∈=-∑
图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一 维熵表示图像中灰度分布的聚集特征所包含的信息量，将图像的灰度值进行数学统计，便可得到每个灰度值出现的次数及概率，则定义灰度图像的一元灰度熵为：
255
log i
i
i H p p
==-∑
利用信息熵的计算公式便可计算图像的信息熵，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。
信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。
图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度分布的空间特征量，与图像的像素灰度组成特征二元组，记为( i, j )，其中i 表示像素的灰度值(0255)i ≤≤，j 表示邻域灰度(0255)j ≤≤,
2
(,)/ij P f i j N
=
上式能反应某像素位置上的灰度值与其周围像素灰度分布的综合特征，其中 f(i, j)为特征二元组(i, j)出现的频数，N 为图像的尺度，定义离散的图像二维熵为：
255
0log ij ij
i H p p ==∑
构造的图像二维熵可以在图像所包含信息量的前提下，突出反映图像中像素位置的灰度信息和像素邻域内灰度分布的综合特征。
2、联合熵
离散型随机变量（X,Y ）的联合分布函数为
(,)p x y ,其联合熵(,)H X Y ：
(,)(,)log (,)
x y H X Y P x y P x y χγ
∈∈=-∑∑
3、条件熵
若(,)~(,)X Y p x y ，则条件熵(/)H Y X 为：
(/)()(/)
x X
H Y X p x H Y X x ∈==∑
()(/)log (/)
x X
y Y
p x p y x p y x ∈∈=-∑∑
(,)log (/)
x X y Y
p x y p y x ∈∈=-∑∑
log (/)E p Y X =-
4、相对熵
相对熵是对两种分布之间的偏移的测量，在统计学中，以概率比的对数的期望形式出现。相对熵是两个概率分布P 和Q 差别的非对称性的度量。是用来度量使用基于Q 的编码来编码来自P 的样本平均所需的额外的比特个数。典型情况下，P 表示数据的真实分布，Q 表示数据的理论分布，模型分布，或P 的近似分布。
相对熵的定义如下： p(x) 和 q(x)之间相关熵为
()(//)()log
()x X
p x D p q P x q x ∈=∑
()log
()p p X E q X =
5、互信息
互信息是一个随机变量包含另一个随机变量多少的一个量度，是一个随机变量由另一个随机变量的信息其不确定性的减少。
互信息的定义如下：两个随机变量X 和Y ，联合概率分布函数p(x, y)，边缘概率分布函数为p(x)和p(y)，互信息为联合分布和分布乘积之间的相对熵。
(,)(;)(,)log
()()x X y Y
p x y I X Y p x y p x p y ∈∈=∑∑
互信息是一有用的信息度量，指两个事件集合之间的相关性，互信息的值越大（小），相关程度越高（低）。相对熵是两个概率分布差别的非对称性的度量，是用来度量使用基于一个的编码来编码来自另一个的样本平均所需的额外的比特个数，相对熵的值越大（小），非对称性的量度越大（小），侧面反映相关程度的低（高）。两者都可以用来衡量两幅图像的相关程度，但是也有区别。
四、实验步骤
1) 输入一幅图像，并将其转换成灰度图像。 2) 统计出图像中每个灰度阶象素概率。
3) 统计出图像中相邻两象素的灰度阶联合分布矩阵。
4) 计算出每幅图像的熵和成对图像的条件熵，联合熵，互信息，相对熵 5）分析实验结果。
五、实验结果及分析
3）结果分析：
从原始图像可以看出图1分别与图2，图3，图4的差别原来越大。从计算结果上看，它们的互信息的值越来越小、相对熵的值越来越大，与实际相符，结果正确。回顾互信息与相对熵的定义，我们可以了解到互信息是一种有用的信息度量，它是指两个事件集合之间的相关性，因此互信息越大，二者的相似程度就越高。而相对熵基于熵来定义，其直观意义是用p进行编码平均比q多的比特数，也就是p与q的差距，p与q差距越大相对熵就越大。用两者不同的信息去衡量相同的信息，会产生较大的误差。所以在衡量两个随机变量的相关程度时，互信息要比相对熵有优势，效果会更好一些。
六、心得体会
本次大作业我们首先对之前学过的知识复习一下，加深对信息熵、联合熵、互信息、条件熵以及相对熵的理解。对于KL散度,虽然老师上课有专门讲解过,但是具体操作的时候还是概念不太清晰,为此我们参考网络已有的资料又重新学习了一下。在图像的选择方面，我们刚开始决定用一组图像来计算，但是一组图像并不能完全说明互信息与相对熵之间的对比关系，最后经过讨论我们决定采用多组图像进行对比。整个作业过程中程序仍然是大问题，我们不断的对程序进行修改，时间主要耗费在程序编写与数据的分析。最后还是依靠大家一起合作，顺利完成了此次作业。