《视频图像技术原理与案例》第10章 图像分割
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
• 分类：基于阈值的图像分割算法、基于边缘的图像分割算法、基于区域的图像 分割算法以及基于图论的图像分割算法
• 基于边缘的图像分割算法利用边缘图像获取不同目标区域间的边界，进而分割 图像，如利用Sobel算子、Canny算子等获取边缘图像，再连接边缘形成边界 轮廓。
• 基于区域的图像分割算法利用像素间的相似程度进行区域分割。 • 基于图论的图像分割算法将图像视作图，利用图论的方法进行图像分割，如最
算法应用步骤：
（1）利用基于图表示的图像分割算法获取具有相似特性的初始分割区域 R=r1, r2,..., rn
（2）获取两两邻近区域在颜色、纹理、大小及吻合度之间的相似度 s(ri , rj ) （3）聚合最相似的两个区域ri和rj为ri,从相似度集合s中移除两区域的相似度 s(ri , rj ) ， 重新计算相似度并将区域ri添加至区域集合R中。 （4）重复Step 3至 s ，获取区域集合R中每个区域的外界矩形，
• 由于需要与已标注物体位置信息进行比较，因此输出结果为重合度。
[boxes blobIndIm blobBoxes hierarchy] = Image2HierarchicalGrouping(im, sigma, k, minSize,… colorT ype, simFunctionHandles);
10.4.2 基于阈值的图像分割
4. Niblack 算法
光照非常不均匀时，对图像每个像素点计算其邻域的灰度均值m和标准差s。图像中任 意一点的阈值计算公式如下：
T mk*s
其中，k为自定义系数。k值越大噪声去除效果越好，但目标区域也变大。
10.4.2 基于阈值的图像分割
5. 高斯拉普拉斯方法
高斯拉普拉斯算子是把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先用高斯函数 对图像进行平滑，去除噪声影响，然后用拉普拉斯算子进行边缘检测。
为最小生成树以便进行进一步的图像分割操作。
图的区域划分
(a) 原始图像
(b) 理想分割
(c)分割阈值过大
(d)分割阈值过小
10.4.4 选择性搜索算法
选择性搜索算法（Selective Search）以基于图表示的图像分割算法为基础，构 建了覆盖物体颜色、纹理、大小及吻合度的语义表达模型，通过对图像内具有纹 理、颜色等相似特性的区域进行合并，从而获得若干个目标区域。
ei, j 2 G i, j* f i, j
*代表卷积，2为拉普拉斯算子，G(i,j)为二维高斯函数
G I , j E 2 i2 j2 /2 2 ,i, j n,..., 1, 0,1,..., n
2G(i,j)称为高斯拉普拉斯算子，是一个各向同性的轴对称函数。该算子在距 中心距离为处过零点，距中心距离小于时为正，大于时为负。
（2）对比不同算法的处理效果。其中，局部阈值方法应至少取3组不同参数 进行对比。
10.5.3 实现选择性搜索算法，并进行图像分割测试
（1）相似度组合策略设置。
simFunctionHandles = {@SSSimColourTextureSizeFillOrig, @SSSimTextureSizeFill, … @SSSimB oxFillOrig, @SSSimSize};
c
k j
)
k 1
纹理（Texture，T）相似度：通过局部特征表示邻近区间的纹理相似度。图像
的局部特征最常用的是SIFT特征和HOG特征。采用HOG特征时，可计算区域内8
个区间的梯度方向直方图，并将区域中每个颜色通道切分为10个区间。
n
stexture (ri , rj )
min(tik
,
t
k j
7test.mat文件获得位置信息。
10.5.2 编程实现基于阈值的方法
（1）编程实现基于阈值的方法，进行人工采集数据的分割。 大津法在matlab中使用方法如下： 调用Matlab自带函数gray获取图片img的大津阈值T： T = graythresh(img) 根据大津阈值T对图像img进行二值化处理： BW = im2bw(img,T)
区域间的相似度 s(ri , rj ) a1scolor a s2 texture a3ssize a4 fill
ai {0,1}
• 对算法效果的评测通常采用重合度Overlap，也称为交并比（IOU）
10.4.4 选择性搜索算法
Color similarity
Graph based segmentation
式中，w(vi,vj)表示像素vi与vj间的相似度权值，ri、gi、bi表示像素点vi的R、
G、B颜色通道的值。权值越小，像素相似程度越高。
10.4.3 基于图表示的图像分割算法
• 利用区域间或区域与像素点间相互连接的边的权值对两者进行相似度描述。 • 基于图表示的图像分割算法在求得各个相邻像素间的相似程度后，将图像简化
目标的灰度均值为： 0 t ip i / w0 t 0it
背景的灰度均值为： 1 t ip i / w1 t t i m 1
总的图像灰度均值为： w0 t 0 t w1 t 1 t
那么，图像最佳阈值g为：
g Max[w0 t (0 t )2 w1 t 1 t )2
10.4.2 基于阈值的图像分割
10.4.3 基于图表示的图像分割算法
基于图表示的图像分割算法利用不同像素之间的距离w(vi,vj)（灰度图像为灰度值，
RGB图像为各颜色通道灰度值的大小）衡量两个像素点间的相似程度：
w(vi , v j ) (ri rj )2 (gi g j )2 (bi bj )2
)
k 1
10.4.4 选择性搜索算法
大小（Size，S）相似度：当颜色、纹理相似度相同时，面积较小的区域有更大 可能属于同一物体，即大小相似度越大越合并，因此定义大小相似度 ssize (ri , rj ) 吻合（Fill，F）相似度：当相邻区域存在相交或包含关系时，该相邻区域更具相
似性，因此定义吻合相似度 fill(ri , rj )
即阈值在0~ L -1 之间遍历，求得类间方差
w0 t (0 t )2 w1 t 1 t 2
为最大值时对应的g即为所求的阈值。
10.4.2 基于阈值的图像分割
2. 迭代法
常用的自动全局阈值方法。算法具体过程如下：
（1）选取初始阈值Ti。通常可选择图像灰度的中值作为初始阈值T0。
（2）利用阈值Ti把图像分割成两部分区域，R1和R2（或者说目标、背景），计算其灰度均值，再
Texture similarity
Size similarity
Fill similarity
选择性搜索算法流程图
10.5 实施步骤
10.5.1 采集并标注数据
（1）采集数据集，包括人工采集的简单文本数据或者车牌数据，以及较为复杂场景的公 开数据集VOC2007。 （2）明确数据集内各个物体的位置信息。 • 其中，人工采集的图像可以自行标注。 • 对于公开数据集，可以阅读其说明文件，了解各个物体位置信息的保存形式及测试形式。 • 在Matlab环境中，对VOC2007数据可以直接加载已经训练好的GroundTruthVOC200
大流/最小割算法等。
10.4.2 基于阈值的图像分割
基于阈值的图像分割有时候也称为图像二值化，即将图像中的像素区分成目标 与背景两种类型。对于简单的图像内容识别，如文字识别、车牌识别，这种方 法能够高效地获取目标区域，因此应用非常广泛。其数学表达式为：
g
x,
y
1, 0,
若f 若f
x, y T x, y T
（2）最小初始分割区域设置（取k=200）。 （3）颜色空间设置。
colorTypes = {‘Rgb’, ‘Hsv’, ‘Lab’, ‘RGI’, ‘H’, ‘Intensity’};
10.5.3 实现选择性搜索算法，并进行图像分割测试
（4）确定输入、输出。 • 输入图像的格式/文件名
images = {‘000015.jpg’}; im = imread(images{1});
即为目标区域。
10.4.4 选择性搜索算法
颜色（Color，C）相似度：对图像进行归一化并统计各个颜色通道的25个区间
的直方图，对于RGB图像，每个初始分割区域可得到3*25维颜色空间向量 Ci = ci1,..., cin
n
颜色相似度为 scolor (ri , rj )
min(cik
,
4 改变选择性搜索算法参数（颜色空间、合并策略、k值），观察实验结果并总结规律
10.3 准备材料
准备材料 实验数据集
MATLAB 计算机
数量（单位） 1组（可使用公开数据集）
1个（不低于2010a） 1台
10.4 预备知识
10.4.1 图像分割算法研究现状
• 目的：利用图像内物体的共有特性，将图像分割成为若干个具备相同特性的目 标区域或边缘集合，并为目标检测提供初始分割区域。
何种组合策略能达到最佳的实验效果并分析原因。 • 分析选择性搜索算法的时间消耗，并联想实际使用场景。
性，最佳阈值应该体现最好的两类分离性能。方差是特征分布离散性的一 种度量，方差值越大，说明构成图像的和两部分差别越大，好的全局阈值 使得两个类别的类内方差小，类间方差大。 • 大津法使用了最大类间方差计算获取最佳分割阈值。
10.4.2 基于阈值的图像分割
1. 大律法（OTSU）
计算步骤：对M×N大小的图像f (x,y) ，灰度级
其中，Boxes是检测到的物体矩形框。
[boxAbo boxMabo boScores avgNumBoxes] = BoxAverageBestOverlap(gtBoxes, geImIds, … boxes);
• 计算目标检测重合度。
10.5.3 实现选择性搜索算法，并进行图像分割测试
（5）确定最佳参数（固定两种，调整其中一种）（最佳参数表现为重合 度最高）。 （6）观察实验结果（图像及数据） • 观察实验结果，分析该算法的实用性。 • 观察怎样的组合策略能达到最佳的实验效果，并分析原因。 • 针对数据集中不同类别的图像（如纹理性更强，颜色更强等），观察
第10章 图像分割
目录
10.1 学习目的 10.2 实践内容 10.3 准备材料 10.4 预备知识 10.5 实施步骤
10.1 学习目的
1 了解目标检测算法的常用方法 2 掌握基于阈值的图像分割技术
3 掌握基于区域相似性的图像分割算法
10.2 实践内容
1 采集实验素材，理解用于图像分割的数据标注方式 2 编程实现基于阈值的图像分割技术，对不同光照条件的车牌图像处理并对比结果 3 编程实现选择性搜索（Selective Search）算法
将结果取平均以获取一新的阈值Ti+1。
Ti1
1 2
h TiLeabharlann Baidu
k0 k
*k
h Ti
k0 k
h L1
k Ti1 k
*k
L 1
h k Ti1 k
式中，L为灰度级的个数，hi是灰度值为k的像素点的个数。
（3）当新的阈值Ti+1与Ti的值差别小于某个给定值时，结束迭代。此时Ti+1值
即为图像的分割阈值。
f(x,y)、g(x,y)分别为输入图像和输出图像，T是阈值。 基于阈值的图像分割方法关键是如何计算阈值T。根据阈值应用的空间范围， 可分为全局阈值方法和局部阈值方法两类。
10.4.2 基于阈值的图像分割
1. 大律法（OTSU）
• 效果较好且应用比较广泛的一种全局阈值方法。 • 原理：把图像分为目标像素和背景像素两类，以灰度值为两个类的特征属
10.4.2 基于阈值的图像分割
3. Bernsen 算法
将窗口内像素最大值与最小值的平均值作为当前像素点的阈值。
T x, y 0.5* max f (x m, y n) min f (x m, y n)
W mW W nW
W mW W nW
其中T(x,y)为点f(x,y)对应的阈值，此处选择的计算窗口是边长为2W的正方形。根 据各点的阈值对图像中的像素点逐个进行二值化。
取值为[0 ~L-1]（通常为[0,255]）。记p(k)为
灰度值为k的数量： pk 1
1
MN f i, jk
目标部分比例为： w0 t p i 0it
目标部分像素数为： N0 MN p i 0it
背景部分比例为： w1 t p i t i m 1
背景部分像素数为： N1 MN p i t i m 1
• 基于边缘的图像分割算法利用边缘图像获取不同目标区域间的边界，进而分割 图像，如利用Sobel算子、Canny算子等获取边缘图像，再连接边缘形成边界 轮廓。
• 基于区域的图像分割算法利用像素间的相似程度进行区域分割。 • 基于图论的图像分割算法将图像视作图，利用图论的方法进行图像分割，如最
算法应用步骤：
（1）利用基于图表示的图像分割算法获取具有相似特性的初始分割区域 R=r1, r2,..., rn
（2）获取两两邻近区域在颜色、纹理、大小及吻合度之间的相似度 s(ri , rj ) （3）聚合最相似的两个区域ri和rj为ri,从相似度集合s中移除两区域的相似度 s(ri , rj ) ， 重新计算相似度并将区域ri添加至区域集合R中。 （4）重复Step 3至 s ，获取区域集合R中每个区域的外界矩形，
• 由于需要与已标注物体位置信息进行比较，因此输出结果为重合度。
[boxes blobIndIm blobBoxes hierarchy] = Image2HierarchicalGrouping(im, sigma, k, minSize,… colorT ype, simFunctionHandles);
10.4.2 基于阈值的图像分割
4. Niblack 算法
光照非常不均匀时，对图像每个像素点计算其邻域的灰度均值m和标准差s。图像中任 意一点的阈值计算公式如下：
T mk*s
其中，k为自定义系数。k值越大噪声去除效果越好，但目标区域也变大。
10.4.2 基于阈值的图像分割
5. 高斯拉普拉斯方法
高斯拉普拉斯算子是把高斯平滑滤波器和拉普拉斯锐化滤波器结合起来，先用高斯函数 对图像进行平滑，去除噪声影响，然后用拉普拉斯算子进行边缘检测。
为最小生成树以便进行进一步的图像分割操作。
图的区域划分
(a) 原始图像
(b) 理想分割
(c)分割阈值过大
(d)分割阈值过小
10.4.4 选择性搜索算法
选择性搜索算法（Selective Search）以基于图表示的图像分割算法为基础，构 建了覆盖物体颜色、纹理、大小及吻合度的语义表达模型，通过对图像内具有纹 理、颜色等相似特性的区域进行合并，从而获得若干个目标区域。
ei, j 2 G i, j* f i, j
*代表卷积，2为拉普拉斯算子，G(i,j)为二维高斯函数
G I , j E 2 i2 j2 /2 2 ,i, j n,..., 1, 0,1,..., n
2G(i,j)称为高斯拉普拉斯算子，是一个各向同性的轴对称函数。该算子在距 中心距离为处过零点，距中心距离小于时为正，大于时为负。
（2）对比不同算法的处理效果。其中，局部阈值方法应至少取3组不同参数 进行对比。
10.5.3 实现选择性搜索算法，并进行图像分割测试
（1）相似度组合策略设置。
simFunctionHandles = {@SSSimColourTextureSizeFillOrig, @SSSimTextureSizeFill, … @SSSimB oxFillOrig, @SSSimSize};
c
k j
)
k 1
纹理（Texture，T）相似度：通过局部特征表示邻近区间的纹理相似度。图像
的局部特征最常用的是SIFT特征和HOG特征。采用HOG特征时，可计算区域内8
个区间的梯度方向直方图，并将区域中每个颜色通道切分为10个区间。
n
stexture (ri , rj )
min(tik
,
t
k j
7test.mat文件获得位置信息。
10.5.2 编程实现基于阈值的方法
（1）编程实现基于阈值的方法，进行人工采集数据的分割。 大津法在matlab中使用方法如下： 调用Matlab自带函数gray获取图片img的大津阈值T： T = graythresh(img) 根据大津阈值T对图像img进行二值化处理： BW = im2bw(img,T)
区域间的相似度 s(ri , rj ) a1scolor a s2 texture a3ssize a4 fill
ai {0,1}
• 对算法效果的评测通常采用重合度Overlap，也称为交并比（IOU）
10.4.4 选择性搜索算法
Color similarity
Graph based segmentation
式中，w(vi,vj)表示像素vi与vj间的相似度权值，ri、gi、bi表示像素点vi的R、
G、B颜色通道的值。权值越小，像素相似程度越高。
10.4.3 基于图表示的图像分割算法
• 利用区域间或区域与像素点间相互连接的边的权值对两者进行相似度描述。 • 基于图表示的图像分割算法在求得各个相邻像素间的相似程度后，将图像简化
目标的灰度均值为： 0 t ip i / w0 t 0it
背景的灰度均值为： 1 t ip i / w1 t t i m 1
总的图像灰度均值为： w0 t 0 t w1 t 1 t
那么，图像最佳阈值g为：
g Max[w0 t (0 t )2 w1 t 1 t )2
10.4.2 基于阈值的图像分割
10.4.3 基于图表示的图像分割算法
基于图表示的图像分割算法利用不同像素之间的距离w(vi,vj)（灰度图像为灰度值，
RGB图像为各颜色通道灰度值的大小）衡量两个像素点间的相似程度：
w(vi , v j ) (ri rj )2 (gi g j )2 (bi bj )2
)
k 1
10.4.4 选择性搜索算法
大小（Size，S）相似度：当颜色、纹理相似度相同时，面积较小的区域有更大 可能属于同一物体，即大小相似度越大越合并，因此定义大小相似度 ssize (ri , rj ) 吻合（Fill，F）相似度：当相邻区域存在相交或包含关系时，该相邻区域更具相
似性，因此定义吻合相似度 fill(ri , rj )
即阈值在0~ L -1 之间遍历，求得类间方差
w0 t (0 t )2 w1 t 1 t 2
为最大值时对应的g即为所求的阈值。
10.4.2 基于阈值的图像分割
2. 迭代法
常用的自动全局阈值方法。算法具体过程如下：
（1）选取初始阈值Ti。通常可选择图像灰度的中值作为初始阈值T0。
（2）利用阈值Ti把图像分割成两部分区域，R1和R2（或者说目标、背景），计算其灰度均值，再
Texture similarity
Size similarity
Fill similarity
选择性搜索算法流程图
10.5 实施步骤
10.5.1 采集并标注数据
（1）采集数据集，包括人工采集的简单文本数据或者车牌数据，以及较为复杂场景的公 开数据集VOC2007。 （2）明确数据集内各个物体的位置信息。 • 其中，人工采集的图像可以自行标注。 • 对于公开数据集，可以阅读其说明文件，了解各个物体位置信息的保存形式及测试形式。 • 在Matlab环境中，对VOC2007数据可以直接加载已经训练好的GroundTruthVOC200
大流/最小割算法等。
10.4.2 基于阈值的图像分割
基于阈值的图像分割有时候也称为图像二值化，即将图像中的像素区分成目标 与背景两种类型。对于简单的图像内容识别，如文字识别、车牌识别，这种方 法能够高效地获取目标区域，因此应用非常广泛。其数学表达式为：
g
x,
y
1, 0,
若f 若f
x, y T x, y T
（2）最小初始分割区域设置（取k=200）。 （3）颜色空间设置。
colorTypes = {‘Rgb’, ‘Hsv’, ‘Lab’, ‘RGI’, ‘H’, ‘Intensity’};
10.5.3 实现选择性搜索算法，并进行图像分割测试
（4）确定输入、输出。 • 输入图像的格式/文件名
images = {‘000015.jpg’}; im = imread(images{1});
即为目标区域。
10.4.4 选择性搜索算法
颜色（Color，C）相似度：对图像进行归一化并统计各个颜色通道的25个区间
的直方图，对于RGB图像，每个初始分割区域可得到3*25维颜色空间向量 Ci = ci1,..., cin
n
颜色相似度为 scolor (ri , rj )
min(cik
,
4 改变选择性搜索算法参数（颜色空间、合并策略、k值），观察实验结果并总结规律
10.3 准备材料
准备材料 实验数据集
MATLAB 计算机
数量（单位） 1组（可使用公开数据集）
1个（不低于2010a） 1台
10.4 预备知识
10.4.1 图像分割算法研究现状
• 目的：利用图像内物体的共有特性，将图像分割成为若干个具备相同特性的目 标区域或边缘集合，并为目标检测提供初始分割区域。
何种组合策略能达到最佳的实验效果并分析原因。 • 分析选择性搜索算法的时间消耗，并联想实际使用场景。
性，最佳阈值应该体现最好的两类分离性能。方差是特征分布离散性的一 种度量，方差值越大，说明构成图像的和两部分差别越大，好的全局阈值 使得两个类别的类内方差小，类间方差大。 • 大津法使用了最大类间方差计算获取最佳分割阈值。
10.4.2 基于阈值的图像分割
1. 大律法（OTSU）
计算步骤：对M×N大小的图像f (x,y) ，灰度级
其中，Boxes是检测到的物体矩形框。
[boxAbo boxMabo boScores avgNumBoxes] = BoxAverageBestOverlap(gtBoxes, geImIds, … boxes);
• 计算目标检测重合度。
10.5.3 实现选择性搜索算法，并进行图像分割测试
（5）确定最佳参数（固定两种，调整其中一种）（最佳参数表现为重合 度最高）。 （6）观察实验结果（图像及数据） • 观察实验结果，分析该算法的实用性。 • 观察怎样的组合策略能达到最佳的实验效果，并分析原因。 • 针对数据集中不同类别的图像（如纹理性更强，颜色更强等），观察
第10章 图像分割
目录
10.1 学习目的 10.2 实践内容 10.3 准备材料 10.4 预备知识 10.5 实施步骤
10.1 学习目的
1 了解目标检测算法的常用方法 2 掌握基于阈值的图像分割技术
3 掌握基于区域相似性的图像分割算法
10.2 实践内容
1 采集实验素材，理解用于图像分割的数据标注方式 2 编程实现基于阈值的图像分割技术，对不同光照条件的车牌图像处理并对比结果 3 编程实现选择性搜索（Selective Search）算法
将结果取平均以获取一新的阈值Ti+1。
Ti1
1 2
h TiLeabharlann Baidu
k0 k
*k
h Ti
k0 k
h L1
k Ti1 k
*k
L 1
h k Ti1 k
式中，L为灰度级的个数，hi是灰度值为k的像素点的个数。
（3）当新的阈值Ti+1与Ti的值差别小于某个给定值时，结束迭代。此时Ti+1值
即为图像的分割阈值。
f(x,y)、g(x,y)分别为输入图像和输出图像，T是阈值。 基于阈值的图像分割方法关键是如何计算阈值T。根据阈值应用的空间范围， 可分为全局阈值方法和局部阈值方法两类。
10.4.2 基于阈值的图像分割
1. 大律法（OTSU）
• 效果较好且应用比较广泛的一种全局阈值方法。 • 原理：把图像分为目标像素和背景像素两类，以灰度值为两个类的特征属
10.4.2 基于阈值的图像分割
3. Bernsen 算法
将窗口内像素最大值与最小值的平均值作为当前像素点的阈值。
T x, y 0.5* max f (x m, y n) min f (x m, y n)
W mW W nW
W mW W nW
其中T(x,y)为点f(x,y)对应的阈值，此处选择的计算窗口是边长为2W的正方形。根 据各点的阈值对图像中的像素点逐个进行二值化。
取值为[0 ~L-1]（通常为[0,255]）。记p(k)为
灰度值为k的数量： pk 1
1
MN f i, jk
目标部分比例为： w0 t p i 0it
目标部分像素数为： N0 MN p i 0it
背景部分比例为： w1 t p i t i m 1
背景部分像素数为： N1 MN p i t i m 1