基于对象语义的图像分割和分类方法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
i=N
图2
图像分割效果图
F 将输入空间变换到一个高维空间， 并在这个
100
重庆大学学报 （ 自然科学版）
2006 年
空间求解广义最优分类超平面， 相应的分类函数为： （ xi， x ）+ J｝ （ f x）= sgn｛ ! i } i K
ห้องสมุดไป่ตู้i =1 n
4
实验结果
［ 11］ 实验采用的图像库包含 2 360 幅彩色景物图像 .
（6）
其中， K （ xi， x） 是用于空间映射的核函数， 样本 x i 即支持向量. 文中选用了径向基高斯核函数作为分类映 K （ xi， x ）= exp （射器： 1 2 "2 xi， x
2
将特征提取数据输入 Binary SVM， 进行多层样本训练和 分类. 首层将图像分为 “ 自然景物” 和 “ 人造物体” 两类 （训练样本按 2： 1 - 4： 1 的正反样本比例抽取， 测试样本 从正样集合中随机抽取） ， 实验结果见表 1.
Aug. 2006 VoI. 29 No. 6
文章编号： 1000 - 582X （ 2006 ） 08 - 0098 - 04
基于对象语义的图像分割和分类方法
徐 驰， 徐燕凌
*
（ 同济大学 软件学院， 上海 201804 ）
摘 要： 提出一种基于对象语义的图像分割和分类方法. 建立多层级区域生长算法 ~RGseg 对图像 进行分割， 从而去除 “ 弱对象语义” 细节， 降低过度分割的影响. 在此基础上， 提取颜色、 边缘、 纹理等低 层次特征作为特征向量， 并利用支持向量机建立样本训练机制， 实现低层次特征向高层对象语义的映 射. 实验中， 采用层次化分类机制， 取得了较理想的结果. 关键词： 对象语义； 图像分割； 支持向量机； 语义分类 中国分类号： TP391 文献标识码： A 基于内容的图像检索研究在早期主要有 2 个发展 方向： 基于低层次全局特征的图像检索方法和基于区 域的图像检索方法. 前一种方法通过将图像信息抽象 ［ 1］ ， 建立特征 为包括颜色、 纹理、 形状等方面的特征集 ［ 2 - 3］ 相似度匹配， 实现图像检索 . 它计算复杂度低， 但 不能充 分 表 达 图 像 丰 富 的 语 义 信 息， 造成 “ 语义鸿 ［ 4］ . 后一种方法致力于解决前者的局限性， 通过分 沟” 割将图像划分成若干区域， 并从区域提取特征向量， 依 据制定的相似度计算规则， 对备选图像进行相似度排 ［ 5 - 6］ . 这种方法潜在的问题包括： 1） 过度分割导致无 序 法准确地刻画图像语义特性； 2） 基于区域提取的特征 向量缺乏向高层语义映射的机制. 为获取更加贴近用户感知的查询方法， 提高图像 检索的准确度， 近年来的研究更多地转向基于区域和 ［ 7］ .这 目标对象相结合的高层语义特征的提取和分析 其中， 图像分割聚集了具有相似颜色、 纹理等属性的像 素， 是图像对象语义分析的前提和关键， 而语义分类方 法的选择直接决定着此后图像检索的效果. 文中利用 多级六边形拓扑模型， 构建了一种基于多级区域生长 的图像分割算法 （ ~ierarchicaI Region Growing segmentation ，~RGseg） ， 通过融合区域和整体的信息， 能够较 好地保留原始图像的语义信息， 并降低过度分割的影 响. 在此基础上， 对颜色、 边缘等低层次特征进行提取， 并用支持向量机 （ sVM ） 原理实现图像中包含对象语 义区域的层次化分类.
实验发现， 选择体现对象语义的低层次特征作为 分类依据以及适当增加区域细分层次， 都是提高对象 语义相似图像聚类的有效方法. 采用综合特征的分类 方法使查准率有一定的提高， 但相应的计算复杂度也 会大幅增加. 实验对 “ 花卉” 和 “ 焰火” 类别统计了分割 算法阈值对分类性能的影响 （ 见图 3 ） . 20 ~ 25 的灰度 阈值所产生的分类质量较优， 说明该区间的阈值较好 地融合了观察者的主观视觉感受， 对特征提取 以 及 SVM 样本训练的指导价值较大.
In m
于图像对 象 语 义 分 类 上： 将图像标识的信息划为 C r2 ， …r c }. 对于分类 r 类： p o { rl ， P， 建立训练样本集 E o R N 是由 其中 x i （xl ， yl ） ， （x2 ， y2 ） ， …， （x p ， yp ） { }，
这意味着即使 值， 则须 将 S Ikn 区 域 和 S Imn 区 域 分 开， 仍需作进一 S sub - seg 内部像素的特性差异在阈值之下， 步分割. S Imn ， S sub - seg ） 算法按照上述要求， PARTITION（ S Ikn ， 将分 割 区 域 S sub - seg 进 一 步 分 割 为 无 交 集 的 两 部 分： PARTITION l 和 PARTITION2 . 图 2 给出了 HRGSeg 算法的实验结果. 原始图像 信息较为复杂， 经分割处理后， “ 弱对象语义” 细节被 去除.
［ 8］ 拓扑模型 ， 见图 1 （ a） . 该模型由多级 “ 岛” 组成： 其 中， “ 0 级岛” 包含 7 个像素， “ ! + 1 级岛” 由 7 个交叠 的 “ ! 级岛” 组成. 根据图像像素排列的特征， 通过坐标 平移和伸缩将上述拓扑结构转化成多级 直 角 “ 像素 （ b） . 岛” 结构， 见图 1 1. 2 分割算法描述 该算法主要分 3 个阶段： 1 ） 始化 设阈值向量 V t = （ GrayscaIe_ThreshoId ， ~ue_
3
利用支持向量机 （ SVM ） 实现图像的对象语 义分类
将支持向量机 （ Support Vector Machine ） 原理应用
0 （ S sub - seg
In m
S IS ） ， 如果存在像素 p u ， p（ v pu S Y S ） ， 其色度等差异高于设定阈
In k In m
In m
首层分类统计结果序号分类训练例测试正例正例遴准率最优特征正例遴准率琮台实验发现选择体现对象语义的低层次特征作为分类依据以及适当增加区域细分层次都是提高对象语义相似图像聚类的有效方法
2006 年 8 月 第 29 卷第 8 期
重庆大学学报 （ 自然科学版） JournaI of Chongging University （ NOturOI science Edition）
［ l0 ］ . 2 ）缘特征： 采用置入可信度的边缘检测方法
该方法根据人类视觉系统的敏感程度， 在准确地检测 出图像整体边缘的基础上， 忽略细节信息. 3 ）理特征： 采用 Daubechies - 4 型小波， 图像纹理 特征可由一系列的小波通道的能量和方差系数表示， 第 I 通道的平均能量和方差由以下公式给出： l M D （ x， y） ， MNi = l
颜色、 边缘、 纹理等特征属性构成的模式向量， yi ｛ + l， - l｝ ， 用来标识正反例. 文中用一个最优分类超平 面 建立测试样本集的属性目标值模型. 找到最优分类 超平面只需求解下面的二次规划问题： min! （ W） l 2 W2 l i = l， 2. . . I （3） （4）
s. t. y［ t W. W i + 6 函数：
1
1. 1
多级区域生长图像分割算法 （ ~RGseg）
模型依据 ~RGseg 算法利用了 ~artmann 提出的多级六边形
收稿日期： 2006 - 04 - 07 作者简介： 徐驰 （ 1981 - ） ， 男， 陕西乾县人， 同济大学硕士研究生， 主要从事图像处理、 软件工程方向研究. 图1 多级六边形拓扑模型
表 2 “ 自然景物” 细分统计结果 序号 1 2 3 4 5 6 7 8 分类 水域 天空 山岩 草场 花卉 云 鸟 焰火 训练例 65 80 120 150 140 140 175 45 测试正例 22 43 35 61 53 55 51 23 正例遴准率 最优特征 86. 4 88. 4 77. 1 86. 9 86. 8 90. 9 82. 4 91. 3 （ 纹理） （ 颜色） （ 边缘） （ 纹理） （ 边缘） （ 颜色） （ 边缘） （ 边缘） 正例遴准率 综合 90. 9 90. 7 82. 9 88. 5 88. 7 92. 7 86. 3 91. 3
用拉 格 朗 日 优 化 法 求 解 上 述 对 偶 问 题， 得分类
I
x + 6｝ （ f x）= sgn｛ ! i y i x i ，
i =l I i =l
（5）
其中， 6 是分类阈值， w （ ! ）= ! i 是拉格朗日乘子， ! i y i x i 是最优分类超平面的法向量. 对于非线性可分的情况， 可通过非线性变换 " ： R
In m In k In k In m n +l
2
图像特征描述方法
从分割后的图像中提取颜色、 边缘、 纹理等低层次
特征， 描述如下：
［ 9］ l ）色特征： 采用颜色集 作为颜色直方图的近
似. 首先， 将 RGB 颜色空间转换成更接近人体视觉系 统的 HSV 空间， 并将量化成若干个 bin. 然后， 对图像 进行区域划分， 每个区域用出现比率最高的颜色分量 作为索引， 将图像表示成一个二进制的颜色索引集.
*
第 29 卷第 8 期
徐
驰， 等： 基于对象语义的图像分割和分类方法
99
ThreshoId ， …） ， 对 “ 0 级像素岛 I0 ” 中的像素分割： i 6） Group pixeIs into S I（ 0 0 Where pixeIs p u and p v in each S I0 meet： （ p u - p v ） ，… ） （ p u - p v ） ， Hue （ GrayscaIe 0 u， v 6， u v Vt ， 2 ） 区域合并 从 “ 0 级像素岛” 开始， 逐级向高层扩展， 直至整幅 n +l “ n + l 级像素岛” ， S I n 属于第 n 图像被覆盖. 设 I 为 级分割 S n ； 而 I n 表示 “ n 级像素岛” ， Adjacency （ In ） 表 n “ n 级像素岛” ， 公共区域记为 Sub （ In ， 示与 I 毗邻的 n Adjacency （I ） ） . 合并阶段伪代码如下： l n > 0 ）S n + l ： =0 For aII pixeI isIands I n +（ In S k from S I n and S sub - seg S sub - seg ， S sub - seg If S Sub （ I n， Adjacency （ I n） ） Then search S Imn in S Adjacency S sub - seg （ I n） which meets： If pixeIs p u ， p v in S Ikn Y S Imn meet： GrayscaIe （ pu - pv ） GrayscaIe _ ThreshoId Hue （ p u - p v ） Hue_ThreshoId ， … Then PARTITION（ S Ikn ， S Imn ， S sub - seg ） ： = （ S Ikn - S sub - seg ）Y PARTITIONl S Ikn ： S Imn ： = （ S Imn - S sub - seg ）Y PARTITION2 EIse Remove S Ikn from S I n and S Imn from S Adjacency （ I n） Append = S Y S to S S In + l ： 3 ） 重叠区域分割 在区域合并阶段， 特性平滑变化的像素不断聚集. 在此过程中， 一些基于全局角度有价值的低对比度区 S Imn I 域边界信息容易被忽略， 如上文提到的 S Ikn 和 S Imn ， S S Y S 且 pv
S Imn or
EC n =
（l） （2）
StdC I =
M X N 是小波通道的尺寸， i 和
!
M N l 2 （ D （ x， y） EC I ） . MN - l i = li = l
分别代表通道元素
的行列值， D 是该通道小波分解系数. 进行 4 次小波分 解， 舍弃 4 个高频通道， 保留余下 9 个通道的小波系数 作为特征提取依据.
） .
表 1 首层分类统计结果 序号 1 2 分类 自然景物 人造对象 训练例 300 82 测试正例 116 27 正例遴准率 边缘 86. 2 81. 5 正例遴准率 纹理 77. 6 70. 4 正例遴准率 综合 87. 9 85. 2
按更细粒度的对象语义划分为 8 类. 以 “ 自然景物” 为例， 实验结果见表 2.
图2
图像分割效果图
F 将输入空间变换到一个高维空间， 并在这个
100
重庆大学学报 （ 自然科学版）
2006 年
空间求解广义最优分类超平面， 相应的分类函数为： （ xi， x ）+ J｝ （ f x）= sgn｛ ! i } i K
ห้องสมุดไป่ตู้i =1 n
4
实验结果
［ 11］ 实验采用的图像库包含 2 360 幅彩色景物图像 .
（6）
其中， K （ xi， x） 是用于空间映射的核函数， 样本 x i 即支持向量. 文中选用了径向基高斯核函数作为分类映 K （ xi， x ）= exp （射器： 1 2 "2 xi， x
2
将特征提取数据输入 Binary SVM， 进行多层样本训练和 分类. 首层将图像分为 “ 自然景物” 和 “ 人造物体” 两类 （训练样本按 2： 1 - 4： 1 的正反样本比例抽取， 测试样本 从正样集合中随机抽取） ， 实验结果见表 1.
Aug. 2006 VoI. 29 No. 6
文章编号： 1000 - 582X （ 2006 ） 08 - 0098 - 04
基于对象语义的图像分割和分类方法
徐 驰， 徐燕凌
*
（ 同济大学 软件学院， 上海 201804 ）
摘 要： 提出一种基于对象语义的图像分割和分类方法. 建立多层级区域生长算法 ~RGseg 对图像 进行分割， 从而去除 “ 弱对象语义” 细节， 降低过度分割的影响. 在此基础上， 提取颜色、 边缘、 纹理等低 层次特征作为特征向量， 并利用支持向量机建立样本训练机制， 实现低层次特征向高层对象语义的映 射. 实验中， 采用层次化分类机制， 取得了较理想的结果. 关键词： 对象语义； 图像分割； 支持向量机； 语义分类 中国分类号： TP391 文献标识码： A 基于内容的图像检索研究在早期主要有 2 个发展 方向： 基于低层次全局特征的图像检索方法和基于区 域的图像检索方法. 前一种方法通过将图像信息抽象 ［ 1］ ， 建立特征 为包括颜色、 纹理、 形状等方面的特征集 ［ 2 - 3］ 相似度匹配， 实现图像检索 . 它计算复杂度低， 但 不能充 分 表 达 图 像 丰 富 的 语 义 信 息， 造成 “ 语义鸿 ［ 4］ . 后一种方法致力于解决前者的局限性， 通过分 沟” 割将图像划分成若干区域， 并从区域提取特征向量， 依 据制定的相似度计算规则， 对备选图像进行相似度排 ［ 5 - 6］ . 这种方法潜在的问题包括： 1） 过度分割导致无 序 法准确地刻画图像语义特性； 2） 基于区域提取的特征 向量缺乏向高层语义映射的机制. 为获取更加贴近用户感知的查询方法， 提高图像 检索的准确度， 近年来的研究更多地转向基于区域和 ［ 7］ .这 目标对象相结合的高层语义特征的提取和分析 其中， 图像分割聚集了具有相似颜色、 纹理等属性的像 素， 是图像对象语义分析的前提和关键， 而语义分类方 法的选择直接决定着此后图像检索的效果. 文中利用 多级六边形拓扑模型， 构建了一种基于多级区域生长 的图像分割算法 （ ~ierarchicaI Region Growing segmentation ，~RGseg） ， 通过融合区域和整体的信息， 能够较 好地保留原始图像的语义信息， 并降低过度分割的影 响. 在此基础上， 对颜色、 边缘等低层次特征进行提取， 并用支持向量机 （ sVM ） 原理实现图像中包含对象语 义区域的层次化分类.
实验发现， 选择体现对象语义的低层次特征作为 分类依据以及适当增加区域细分层次， 都是提高对象 语义相似图像聚类的有效方法. 采用综合特征的分类 方法使查准率有一定的提高， 但相应的计算复杂度也 会大幅增加. 实验对 “ 花卉” 和 “ 焰火” 类别统计了分割 算法阈值对分类性能的影响 （ 见图 3 ） . 20 ~ 25 的灰度 阈值所产生的分类质量较优， 说明该区间的阈值较好 地融合了观察者的主观视觉感受， 对特征提取 以 及 SVM 样本训练的指导价值较大.
In m
于图像对 象 语 义 分 类 上： 将图像标识的信息划为 C r2 ， …r c }. 对于分类 r 类： p o { rl ， P， 建立训练样本集 E o R N 是由 其中 x i （xl ， yl ） ， （x2 ， y2 ） ， …， （x p ， yp ） { }，
这意味着即使 值， 则须 将 S Ikn 区 域 和 S Imn 区 域 分 开， 仍需作进一 S sub - seg 内部像素的特性差异在阈值之下， 步分割. S Imn ， S sub - seg ） 算法按照上述要求， PARTITION（ S Ikn ， 将分 割 区 域 S sub - seg 进 一 步 分 割 为 无 交 集 的 两 部 分： PARTITION l 和 PARTITION2 . 图 2 给出了 HRGSeg 算法的实验结果. 原始图像 信息较为复杂， 经分割处理后， “ 弱对象语义” 细节被 去除.
［ 8］ 拓扑模型 ， 见图 1 （ a） . 该模型由多级 “ 岛” 组成： 其 中， “ 0 级岛” 包含 7 个像素， “ ! + 1 级岛” 由 7 个交叠 的 “ ! 级岛” 组成. 根据图像像素排列的特征， 通过坐标 平移和伸缩将上述拓扑结构转化成多级 直 角 “ 像素 （ b） . 岛” 结构， 见图 1 1. 2 分割算法描述 该算法主要分 3 个阶段： 1 ） 始化 设阈值向量 V t = （ GrayscaIe_ThreshoId ， ~ue_
3
利用支持向量机 （ SVM ） 实现图像的对象语 义分类
将支持向量机 （ Support Vector Machine ） 原理应用
0 （ S sub - seg
In m
S IS ） ， 如果存在像素 p u ， p（ v pu S Y S ） ， 其色度等差异高于设定阈
In k In m
In m
首层分类统计结果序号分类训练例测试正例正例遴准率最优特征正例遴准率琮台实验发现选择体现对象语义的低层次特征作为分类依据以及适当增加区域细分层次都是提高对象语义相似图像聚类的有效方法
2006 年 8 月 第 29 卷第 8 期
重庆大学学报 （ 自然科学版） JournaI of Chongging University （ NOturOI science Edition）
［ l0 ］ . 2 ）缘特征： 采用置入可信度的边缘检测方法
该方法根据人类视觉系统的敏感程度， 在准确地检测 出图像整体边缘的基础上， 忽略细节信息. 3 ）理特征： 采用 Daubechies - 4 型小波， 图像纹理 特征可由一系列的小波通道的能量和方差系数表示， 第 I 通道的平均能量和方差由以下公式给出： l M D （ x， y） ， MNi = l
颜色、 边缘、 纹理等特征属性构成的模式向量， yi ｛ + l， - l｝ ， 用来标识正反例. 文中用一个最优分类超平 面 建立测试样本集的属性目标值模型. 找到最优分类 超平面只需求解下面的二次规划问题： min! （ W） l 2 W2 l i = l， 2. . . I （3） （4）
s. t. y［ t W. W i + 6 函数：
1
1. 1
多级区域生长图像分割算法 （ ~RGseg）
模型依据 ~RGseg 算法利用了 ~artmann 提出的多级六边形
收稿日期： 2006 - 04 - 07 作者简介： 徐驰 （ 1981 - ） ， 男， 陕西乾县人， 同济大学硕士研究生， 主要从事图像处理、 软件工程方向研究. 图1 多级六边形拓扑模型
表 2 “ 自然景物” 细分统计结果 序号 1 2 3 4 5 6 7 8 分类 水域 天空 山岩 草场 花卉 云 鸟 焰火 训练例 65 80 120 150 140 140 175 45 测试正例 22 43 35 61 53 55 51 23 正例遴准率 最优特征 86. 4 88. 4 77. 1 86. 9 86. 8 90. 9 82. 4 91. 3 （ 纹理） （ 颜色） （ 边缘） （ 纹理） （ 边缘） （ 颜色） （ 边缘） （ 边缘） 正例遴准率 综合 90. 9 90. 7 82. 9 88. 5 88. 7 92. 7 86. 3 91. 3
用拉 格 朗 日 优 化 法 求 解 上 述 对 偶 问 题， 得分类
I
x + 6｝ （ f x）= sgn｛ ! i y i x i ，
i =l I i =l
（5）
其中， 6 是分类阈值， w （ ! ）= ! i 是拉格朗日乘子， ! i y i x i 是最优分类超平面的法向量. 对于非线性可分的情况， 可通过非线性变换 " ： R
In m In k In k In m n +l
2
图像特征描述方法
从分割后的图像中提取颜色、 边缘、 纹理等低层次
特征， 描述如下：
［ 9］ l ）色特征： 采用颜色集 作为颜色直方图的近
似. 首先， 将 RGB 颜色空间转换成更接近人体视觉系 统的 HSV 空间， 并将量化成若干个 bin. 然后， 对图像 进行区域划分， 每个区域用出现比率最高的颜色分量 作为索引， 将图像表示成一个二进制的颜色索引集.
*
第 29 卷第 8 期
徐
驰， 等： 基于对象语义的图像分割和分类方法
99
ThreshoId ， …） ， 对 “ 0 级像素岛 I0 ” 中的像素分割： i 6） Group pixeIs into S I（ 0 0 Where pixeIs p u and p v in each S I0 meet： （ p u - p v ） ，… ） （ p u - p v ） ， Hue （ GrayscaIe 0 u， v 6， u v Vt ， 2 ） 区域合并 从 “ 0 级像素岛” 开始， 逐级向高层扩展， 直至整幅 n +l “ n + l 级像素岛” ， S I n 属于第 n 图像被覆盖. 设 I 为 级分割 S n ； 而 I n 表示 “ n 级像素岛” ， Adjacency （ In ） 表 n “ n 级像素岛” ， 公共区域记为 Sub （ In ， 示与 I 毗邻的 n Adjacency （I ） ） . 合并阶段伪代码如下： l n > 0 ）S n + l ： =0 For aII pixeI isIands I n +（ In S k from S I n and S sub - seg S sub - seg ， S sub - seg If S Sub （ I n， Adjacency （ I n） ） Then search S Imn in S Adjacency S sub - seg （ I n） which meets： If pixeIs p u ， p v in S Ikn Y S Imn meet： GrayscaIe （ pu - pv ） GrayscaIe _ ThreshoId Hue （ p u - p v ） Hue_ThreshoId ， … Then PARTITION（ S Ikn ， S Imn ， S sub - seg ） ： = （ S Ikn - S sub - seg ）Y PARTITIONl S Ikn ： S Imn ： = （ S Imn - S sub - seg ）Y PARTITION2 EIse Remove S Ikn from S I n and S Imn from S Adjacency （ I n） Append = S Y S to S S In + l ： 3 ） 重叠区域分割 在区域合并阶段， 特性平滑变化的像素不断聚集. 在此过程中， 一些基于全局角度有价值的低对比度区 S Imn I 域边界信息容易被忽略， 如上文提到的 S Ikn 和 S Imn ， S S Y S 且 pv
S Imn or
EC n =
（l） （2）
StdC I =
M X N 是小波通道的尺寸， i 和
!
M N l 2 （ D （ x， y） EC I ） . MN - l i = li = l
分别代表通道元素
的行列值， D 是该通道小波分解系数. 进行 4 次小波分 解， 舍弃 4 个高频通道， 保留余下 9 个通道的小波系数 作为特征提取依据.
） .
表 1 首层分类统计结果 序号 1 2 分类 自然景物 人造对象 训练例 300 82 测试正例 116 27 正例遴准率 边缘 86. 2 81. 5 正例遴准率 纹理 77. 6 70. 4 正例遴准率 综合 87. 9 85. 2
按更细粒度的对象语义划分为 8 类. 以 “ 自然景物” 为例， 实验结果见表 2.