(完整版)纹理分析与合成数字图像处理

左边为棋格图像，中间为位移矢量为d=(1,1)的 灰度级同现矩阵，右边为位移矢量为d=(1,0)的 灰度级同现矩阵。
2020/6/16
CV:Texture
15
灰度级同现矩阵
• 请计算
灰度级同现矩阵？
位移矢量d=(1,1)
2020/6/16
CV:Texture
16
基于灰度级同现矩阵的纹理特征
• 灰度级同现矩阵在一定程度上反映了纹 理图像中各灰度级在空间上的分布特性
2020/6/16
CV:Texture
19
8.3.2 自相关函数
• 图像自相关(autocorrelation)函数 ：
px,
y
N
1
xN
Nx Ny
y u1 v1 I u, vI u
1
N2
N u 1
N
I2
v1
u, v
x, v
y
• 自相关函数的周期性反映纹理基元重复出现 的周期性；其下降速度反映纹理基元的粗细 度(coarseness)：纹理粗，则缓降；纹理细， 则速降. 规则纹理的自相关函数具有峰值和谷 值，可用于检测纹理基元的排列情况.
w ft , Nt [w1 ft w2 ft w3 ft w4 ft ]
[1 2 3 4 ]T
2020/6/16
CV:Texture
35
Markov随机场纹理模型
wr ft v ft , ftr v ft , ftr , 1 r 4
• Derin-Elliott模型：
2020/6/16
CV:Texture
20
纹理粗细度与自相关函数的关系示意图
2020/6/16
CV:Texture
21
自相关函数
• 自相关函数与Fourier变换存在联系 • 自相关函数可在频域中计算，而且效率
更高.
规则纹理的Fourier对数谱
同一纹理的自相关函数
2020/6/16
CV:Texture
2020/6/16
CV:Texture
34
Markov随机场纹理模型
• 有许多种不同的Markov随机场纹理模型
• 两种采用单个图象象素，双位团，二阶 邻域的Markov随机场模型：
（1）Derin-Elliott模型
（2）自二项(auto-binomial)模型
U
f
1 2
MN t 1
w
ft
,
Nt
• 如果灰度级同现矩阵集中于对角线上， 则对应位移矢量接近于该纹理中基元的 排列规则．
• 在灰度级同现矩阵的基础上，可定义多 种纹理特征.
• 纹理分析领域中广为人知和最经常采用 的特征之一.
2020/6/16
CV:Texture
17
纹理特征
墒 (entropy) 能量 (energy) 对比度 (contrast) 均匀度 (homegeneity)
2020/6/16
CV:Texture
24
8.5.1 Markov随机场
• 图像建模的重要工具，应用广泛．
(J. Besag, 1974)
• 预备知识（标注问题，labeling）
位(site)集合：
S 1,2, , m
标志(label)集合，位上可能发生事件的集合， 可以是连续的，也可以是离散的：
• 用下式表示一幅
图像
2020/6/16
CV:Texture
12
8.3.1 灰度级同现矩阵
• 对于具有G个灰度级的图像，受位移矢量
控制的灰度级同现矩阵 是一个 的矩阵，矩阵行列表示各个灰度级，矩阵元素 反映两种灰度在相距一定距离的位置上同时出 现的次数，具体按下式计算：
(Haralick, 1979)
2020/6/16
CV:Texture
32
Gibbs随机场
• 物理意义
配置的能量越小，其概率越大
• 均匀性 (homogeneity)：
Vc f 与团在随机场中的位置无关
或者说，P fi fNi 与位i无关
• 各向同性(isotropic)：
Vc f 与团的方向无关
• 在纹理领域，Markov(Gibbs)随机场具 有均匀性
• 实际应用时，需要考虑上下文约束
(contextual constraints) Markov随机场
2020/6/16
CV:Texture
28
Markov随机场
• 当且仅当以下两个条件满足时，随机场 为Markov随机场：
P f 0
正性（Positivity）
P fi fSi P fi f Ni Markov性(Markovianity)
• 纹理合成(synthesis):
由基元合成纹理图像. 图形绘制(graph rendering)、图像压缩(image compression)、纹理分析.
2020/6/16
CV:Texture
7
纹理分割与分类
• 纹理分割
确定图像中纹理的边界。 • 纹理分类
确定纹理区域或图像的类别.
2020/6/16
water
4
8.1 纹理（Texture）
• 纹理是一种普遍存在的视觉现象，目前对 于纹理的精确定义还未形成统一认识，多 根据应用需要做出不同定义．
• 两种较常采用的定义：
定义1 按一定规则对元素（elements）或基元 （primitives）进行排列所形成的重复模式. 定义2 如果图像函数的一组局部属性是恒定的， 或者是缓变的，或者是近似周期性的，则图象 中的对应区域具有恒定的纹理．
利用基元排列成纹理的规则性： 基元特征，基元组合规则
2020/6/16
CV:Texture
10
纹理分析与合成方法
• 基于模型的方法(modal based methods)
一幅纹理图像是一类参数模型的实例： Markov (Gibbs) 随机场，分形(fractal)
• 信号处理方法(signal processing methods)
v a,
b
1, 1, a
a
b
b
• 自二项模型
va,b ab
2020/6/16
CV:Texture
36
一种Markov随机场纹理合成算法
22
8.4 结构方法
• 认为纹理基元的规则排列构成纹理，根据 基元来分析与合成纹理
• 两种策略：
1. 计算各个基元的统计特征，作为纹理特征， 如平均强度、面积、周长、方向、离心率… 2. 基于基元组合规则分析与合成纹理：图模型、 树文法等等
• 主要问题是纹理基元的提取
多尺度LoG滤波
2020/6/16
2020/6ห้องสมุดไป่ตู้16
CV:Texture
5
纹理
• 纹理的基本特征
纹理是区域属性，并且与图像分辨率（或称尺 度，resolution or scale）密切相关
重复性 规则性 周期性 方向性
2020/6/16
CV:Texture
6
纹理分析与合成
• 纹理分析(analysis):
纹理分类(classification)、纹理分割 (segmentation)、从纹理恢复形状(shape from texture).
• 如果各个位为随机变量，则位集合 S 称 为随机场.
2020/6/16
CV:Texture
27
Markov随机场
• 在随机场中，从 F 导出 f 的过程就是确 定 f 出现的概率.
• 假设各个位的标注是彼此无关的，则有
P( f ) P fi ， P( fi fi) P fi
只需单独考虑每个位，问题简单（理想）
根据纹理的周期性，采用滤波方法处理： 空域滤波、频域滤波（Fourier变换，Gabor变 换，小波变换）
2020/6/16
CV:Texture
11
8.3 统计方法
• 研究纹理在空间上的灰度分布特征
灰度级同现矩阵（grey level co-occurrence matrices，GLCM）
自相关性函数（autocorrelation function）
• 例2
10101010 01010101 10101010 01010101 10101010 01010101 10101010 01010101
i
j
1 24 0 0 i 49
0 25 1
01 j
d=(1,1)时的P[i,j]
ij
1 0 28 56
28 0
0i 1
01 j
d=(1,0) 时的P[i,j]
2020/6/16
CV:Texture
33
Gibbs随机场
• Hammersley-Clifford定理
Markov随机场与Gibbs随机场等价
• 意义：
既可以用局部成分的相互影响来建模，也可以 用全局能量来建模.
• 如何确定团势能的形式和参数是 Markov(Gibbs)随机场的主要工作.
• 划分函数的计算复杂度很高，是一个难 题，实际多做一定简化.
26
Markov随机场
• 标注：从如下 F空间中导出 f 的过程：
F L1 L2 Lm , 当L1 L2 Lm时，F Lm
在图象领域，可将 f 理解为一幅图象，F 则是
全部可允许图像的集合.
• 标注也被称为着色(coloring，数学规划) 或配置(configuration，随机场)
• Markov随机场是Markov随机过程的推 广，除了考虑历史信息的影响外，还考 虑未来信息的影响.
2020/6/16
CV:Texture
29
Gibbs随机场
• 邻域系统(neighboring system)
邻域集 (neighbor set)： 一阶邻域（四连通），二阶邻域（八连通）等 团(cliques)： 由邻域关系限定的位子集 单位团(single-site) ，双位团(pair-site) ，三位团 (triple-site)等
Lc [ X l , X h ] R ， Ld [l1, l2 , , ln ]
2020/6/16
CV:Texture
25
Markov随机场
• 标注：为位集合中每个位指定一个标志的过程，
位集合到标志集合的映射：
f f1, f2 , , fm
f :S L
2020/6/16
CV:Texture
CV:Texture
23
8.5 基于模型的方法
• 建立纹理图像的参数模型，用于表示与合 成纹理．
• 纹理合成主要采用基于模型的方法．
• 主要问题是估计模型参数，使根据模型合 成的纹理图像逼近原纹理图像. • 两种模型
Markov随机场（Markov random field, or Gibbs random field ） 分形（fractal）
第八章 纹理分析与合成
Chapter 8 Texture Analysis and Synthesis
灰度纹理图象
2020/6/16
CV:Texture
2
包含多个纹理区域的图象
2020/6/16
CV:Texture
3
beeren
flower
彩色纹理图像
2020/6/16
food
CV:Texture
称为Gibbs随机场:
P f
1
1U f
eT
T ：温度常量，常取1
z
Z
1U f
eT
f F
规范化常量，称为划分函数 （partition function）
U f Vc f cC
所有团势能之和，称为能量函 数(energy function)
Vc f ：团势能(clique potential)
公式
相关性 (correlation)
2020/6/16
CV:Texture
18
灰度级同现矩阵的问题与发展
• 问题
缺乏选择位移矢量的有效方法. • 发展
自适应多尺度灰度级同现矩阵 (adaptive multiscale GLCM)：种子区域增长 基于遗传算法的GLC特征提取 (genetic algorithm based GLC feature extraction): 用遗 传算法实现高斯加权优化
CV:Texture
8
纹理合成
海洋图像
合成图像 （初始）
合成图像
合成图像
（一次迭代） （四次迭代）
2020/6/16
CV:Texture
9
8.2 纹理分析与合成方法
• 统计方法（statistical methods）
利用纹理在空间上的灰度分布特性： 灰度级同现矩阵，自相关函数
• 结构方法（structural methods）
2020/6/16
CV:Texture
13
灰度级同现矩阵
• 例1
21201 02112 01220 12201 20101
0 12
i
0022
j 1212
2 232
左边为一幅5×5的图象，具有三个灰度级， 右边为灰度级同现矩阵，位移矢量d=(1,1)
2020/6/16
CV:Texture
14
灰度级同现矩阵
C1 i,C2 i,i,C3 i,i,i,i,i,i互为邻居
团是有序的: i,i i,i
2020/6/16
CV:Texture
30
Gibbs随机场
• 邻域 •团
团具有尺寸, 形状和方向
2020/6/16
CV:Texture
31
Gibbs随机场
• 当且仅当随机场的配置服从Gibbs分布时，