图像理解

V1
V3
i k
(g
k 1 i k
k 1
r i ,c
g r i 1,c )
2
V2
i k
2 ( g g ) r i,ci r i1,ci1
k 1
2 ( g g ) r ,c i r ,c i 1 V 4
i k
图像特征依赖于图像内容,特征提取旨在获取图像中视觉 特征信息，减少视觉特征数据量。提取特征要尽量反映 目标重要的本原特性（本原特性是指一些不随提取特征 时条件和环境变化的特征）。
Biblioteka Baidu


图像特征对图像理解的效果有重要的影响
4.2图像信息表示
4.21图像数据结构
选择一个适合的信息表示和存储方式，可以表示具体结构 关系，节省存储空间，快速存取数据和执行运算，因此合 理的数据结构是视觉数据信息表示的关键。 常用的图像数据结构包括：线性表，金字塔结构，图结构 以及复杂循环结构
4.313纹理特征

纹理特征是从纹理图像中计算相应统计分布值，对纹理 内部灰度级变化的特征进行量化，反映图像本身灰度变 化。

1统计法
2种：基于图像灰度直方图的特征提取（没利用空间位置信 息）、基于图像灰度共生矩阵的特征提取（算法复杂）。
2结构法
通过粗糙度、对比度、方向度、线像度、规整度和粗略度
3分形法 自相似性：某种结构或过程的特征从不同的空间尺度 或时间尺度来看都是相似的或者某系统或结构的局域性质

取候选点中的极值点作为特征点。在一定大小的窗口内,将候选点中 兴趣值不是最大者均去掉，仅留下一个兴趣值最大者，该像素即为 一个特征点。

如果两个特征点之间的距离过短，则去掉其中一个。否则，在影像
校正时，三角形边长过短将使解算出来的仿射变换参数出现错误

SUSAN 算子
SUSAN 算法是由英国牛津大学的S. M. Smith , J . M. Brady 首先 提出的,它主要是用来计算图像中的角点特征的。SUSAN 算法的特点: 1. 对角点的检测比对边缘检测的效果要好,适用于基于角点匹配的 图像配准; 2. 无需梯度运算,保证了算法的效率; 3. 具有积分特性(在一个模板内计算SUSAN 面积),这样就使得SUSAN

harrir算子

Harris算法的感性认识 下图是理想的角点、边缘和平坦地区示例
角点、边缘的直观概念

角点：最直观的印象就是在水平、竖直两个方向上变化 均较大的点，即Ix、Iy都较大 边缘：仅在水平、或者仅在竖直方向有较大的变化量， 即Ix和Iy只有其一较大 平坦地区：在水平、竖直方向的变化量均较小，即Ix、Iy 都较小
线性表 1. 链码描述 线性表是有序性偏序元素集，而平面曲线链码常用于数据信息的线性 表示 通过边界的搜索等算法的处理，所获得的输出最直接的方式是各边界 点像素的坐标，也可以用一组被称为链码的代码来表示，这种链码组 合的表示既利于有关形状特征的计算，也利于节省存储空间。 用于描述曲线的方向链码法是由Freeman提出的，该方法采用曲线起 始点的坐标和斜率 (方向)来表示曲线。对于离散的数字图像而言， 区域的边界轮廓可理解为相邻边界像素之间的单元连线逐段相连而 成。对于图像某像素的8-邻域，把该像素和其8-邻域的各像素连线 方向按八链码原理图所示进行编码，用0，1，2，3，4， 5，6，7表 示8个方向，这种代码称为方向码。
算法在抗噪和计算速度方面有较大的改进

用一个一定半径(3或4个像素)的圆模板放置在图像上（如图）。如 果模板上存在一区域，使该区域上对应图像的每一像素处的灰度值 与圆心的灰度值相同（或相近），那么就定义该区域为核值相似区， 即USAN，其中像素的个数定义为这个模板的面积。

图像上每一点都有一个邻近的具有相似灰度值的局部区域是SUSAN 算法的基础。这个局部区域或USAN 包含了许多关于图像结构的信息。 SUSAN 算法的基本原理是：在每个像素移动一个小的圆形模板以检 测局部信息，并利用预先设定的亮度阈值比较模板核及其周围像素 的亮度值，亮度值相同或相近的为一个USAN，最后通过面积最小的 USAN 检测角点。
或局域结构与整体相似。
尺度不变性 在分形上任选一个局部区域，对它进行放大，放大的图显 现原图的形态特性，同时它的形态、复杂程度等特性都不 会发生变化。

对图像4-11（c）进行不同程度的缩放 ，对应产生不同形式的分形 维数.分形维数反映了复杂形体占有空间的有效性，它是复杂形体不 规则性的量度。

图像特征的提取的结果就是给出某一图像与其他图像相 区别的特征。颜色、形状、纹理是场景中目标的基本特 征。
4.3.1.1颜色特征

一颜色空间：又叫彩色空间，是用来表示颜色的三个参 数所构成的3D空间，是颜色抽象表示和描述的方法.
RGB颜色空间：红、绿、蓝三基色构成。空间中的其他 颜色都是由着三色线性或非线性构成。 XYZ颜色空间：由虚拟的三种基色构成，能够表示所有的 颜色。

4.3图像特征提取

图像特征提取是图像理解中从图像获得数据信息并进行 相关分析的前提条件和关键环节 图像的特征提取策略1基本特征提取方法

2常用特征提取方法
4.3.1基本图像特征提取

图像特征指的是图像的原始特征或属性，而基本图像特 征就是指那些视觉能够直接感受到的自然特征，属于像 素级特征，如区域亮度、边缘轮廓、纹理或色彩。
4.23数据与知识的融合

图像中的数据和人类知识构成了图像理解的信息流，处 理和分析这些信息流需要建立两类信息之间的统一对应 关系，体现“数据”和“知识”的融合.

保证视觉信息的存储方式和知识信息处理方式的一致连 贯性，选择合适的计算机特征表示方法实现人类的知识 表示。
在图像理解中，人对图像场景理解所需的知识是以语句 概念为基本实体的若干关系下的网络壮结构认知体系。 实体关系则具体包括相似关系，因果关系、位置关系、 包含关系等。


相似度

相似度是实体间视觉相似度的度量，既有可能是目标之 间，又有可能是场景之间。 任何目标和场景的信息均存储在反应视觉特征的结构单 元中。 可采用特征共享编码矩阵表示实体间的相似关系


因果关系，位置关系

因果关系式认知体系中最常见的关系 位置关系主要包括特征线面间和目标实体间的位置关系。 “场景→目标→区域→线段→像素点”逐层认知包含关系。
金字塔结构

处理和分析多分辨率图像时图像数据存储的一种 有效方式。 底层为原图像，每层像素尺寸大小不变，图像尺 寸改变，因此，各层有不同分辨率。

图结构

图结构表述了图像中点，线，面之间的更为复杂的连接关系和空间 关系。 为了表示和控制可视模型，可以采用RSE结构，即区域，线段和端点 组成的图
图像理解理论和方法论
第四章
图像信息表示和特征提取
4.1引言

信息和特征是图像理解最基本的处理和分析对象，是完 成目标识别，场景分类以及语义分析推理等任务的先决 条件。

图像信息表示的基本形式独立于图像内容本身，他主要 表示的是图像的基本信息和以何种数据类型存储于计算 机中。（通过一些对应关系，使得知识指导图像理解）


结构分为3层，分别为区域，线段，和节点。
复杂空间数据结构

通用结构，用于表示任何目标和关系集
4.22知识表示

仅仅依靠输入图像提供的信息还不能完全理解图像中的 内容因此还需要将人类的知识引入计算机系统，用于对 图像的理解和解释。

人工智能中常用的知识表述方法包括基于规则的产生式 表示、框架结构表示、语义网络表示
4.3.1.2形状特征

形状可看做是目标轮廓，能刻画物体边缘的本质特征。 形状特征表达的一条重要准则是要求对目标的位移、旋 转及尺度缩放具有不变性。


形状特征主要包括：全局几何特征和形状域几何特征。
全局几何特征是指周长、面积、长轴、短轴等
小波描绘子

将原始图像分解为一幅低频图和三幅高频图，完成小波 一级分解，然后将一级小波分解中的低频图转化为一幅 低频图和三幅高频图完成小波二级分解。
八链码原理图

八链码例子
其中偶数码为水平或垂直方向的链码，码长为1；奇数码为对角线方向 的链码，码长为根号2。八链码例子图为一条封闭曲线，若以s为起始 点，按逆时针的方向编码，所构成的链码为556570700122333，若按顺 时针方向编码，则得到链码与逆时针方向的编码不同。

边界链码具有行进的方向性，在具体使用时必须加以注意。



具体步骤：

2线特征提取算法 canny算子、sobel算子、prewitt算子等
3面特征提取算子（区域特征提取)
略
Thank You
2 ( g g ) r i,ci r i1,ci1
k 1
其中k INT (w / 2)
取其中最小者作为该像素的兴趣值： V= min{V1，V2，V3，V4}

给定一经验阈值，将兴趣值大于该阈值的点（即窗口的中心点）作 为候选点。阈值的选择应以候选点中包括所需要的主要特征点而又 不含过多的非特征点为原则。
HIS颜色空间：由灰度、强度、饱和度构成。
L*a*b颜色空间：由RGB三基色转化而来，其中L是指发光 率。 L=0.299R+0.587G+0.114B
颜色统计特性：颜色特征是图像最直观、最明显的特征、 一般用直方图描述，除了直方图，还可以用颜色矩、和颜 色集表示。

一阶是颜色的均值，二阶是颜色的标准差，三阶是颜色的偏差

（a）,(b)分形维数较小，（c）,(d)分形维数较大
凹凸量 凹凸量是对纹理几何的一种二阶统计，较大的值代表较大 的颗粒，较小的值代表较小的颗粒。
4.3.2常用图像特征提取

分别为点特征提取、线特征提取、面特征提取 Moravec算子
1点特征提取算法
Moravec算子是利用灰度方差提取特征点的算子，它在四个主要方向 上，选择具有最大-最小灰度方差的点作为特征点。其步骤为： 1 计算各像元的兴趣值（Interest Value）。在以像素为中心w×w 的影像窗口中（如3×3的窗口），计算图中所示四个方向相邻像素 灰度差的平方和：