基于手绘草图的图像检索

基于关键形状草图的图像检索
彩色图像时，我们需要将它们转换为草图。进行该转换的简单的方法来是通过使用一个 边缘检测过程。为此,我们用坎尼运算符[3]。比起其他方法如伯克利边界探测器[20]，我 们更喜欢坎尼法,有两个原因:(1)坎尼让我们得到准确的边缘像素 ,(2)计算坎尼法比伯克 利法要快得多。图 3 我们描绘了一幅图像及用著名的坎尼法计算的边缘地图，其中σ=
基于关键形状草图的图像检索
抽象图像的角分区(APAI)。抽象图像角的像素空间分布是特征提取阶段的关键概念。该 方法将抽象的图像划分为八个角分区或角分片。 然后,它用每片边缘点下降的数量组成的 特征向量。 边缘局部方向直方图（HELO ）是 Saavedra 和 Bustons 提出的[23],在 SBIR 的检索 性能方面有所改善。HELO 根据局部边缘方向计算一个 K-进制直方图。为得到 HELO 的特征向量,首先将草图分为 W×W 格。第二,估计每个单元格的边缘方向。第三，利用 已知的边缘方向计算 72 进制的直方图。最后,用曼哈顿距离测量直方图之间的差异性。 在局部技术中，通常用一组特征向量表示手绘草图。尽管这些技术比全局技术在时 间上慢些， 但这些技术若使用局部属性和结构特征,可能会使检索性能更好。 属于这一类 的相关方法有 Shape Context[1]和 STELA[24]。此外,局部技术的特点是支持部分匹配， 且在只包括部分对象时也性能很好。 Shape Context 是 ,Belongie[1]等人提出的。是一种测量形状之间的相似性的局部方 法。在 Shape Context 中，草图是由一组从画点中提取出来的随机取样点。以采样点作 为参考来计算一组形状特征向量。 形状语境特征向量描述了其他采样点的分布和一个给 定点的对数极坐标直方图。 结构局部方法(STELA)是 Saavedra[24]等人提出的。 最初应用在基于草图的 3D 对象 检索。STELA 将整个草图转换成一组关键形状，且使用直线作为关键形状。然后,以每 个关键形状为参考计算局部的特征向量。最后的过程是匹配两个草图的不同特征向量。 为此,STELA 将测试统计量χ2 应用于匈牙利方法作为成本函数。 另一种技术是词袋法 （BoF） ， 它通过一个学习过程使用局部描述符去获得电报密码 本。最近，Eitz [11]等人表明,这种技术优于已知的方法。BoF 的问题是它不支持因局部 化信息丢失的部分匹配。 在词袋法的语境中 ,Hu[15,16] 等人提议使用一个梯度场图像 , 其局部描述符可由 HOG 法[7]的变量得到。 计算完整图像数据库的局部描述符将用来集群获得大约 1000 个 编码的码本。 尽管作者在一个小的数据库中得到了很好的结果,但计算梯度场图像是一个 耗时的过程，这过程需要解一个稀疏线性方程组,未知项的数量是输入图像尺寸的顺序。 此外，Cao 等人[4]提出了处理大型数据库的方案。该方法是基于倒角距离[2,25]来 衡量草图和图像之间的差异性。 虽然作者展示了一个有趣的基于倒排索引结构的索引方 法，但这种方法没有给出如何处理位移和尺寸的变化。 解决 SBIR 问题的另一个方法是基于转换输入草图为有颜色纹理的普通图像[6,10]。 这个转换过程称为图像蒙太奇。运用蒙太奇的过程后,SBIR 的问题是减少了基于内容的 图像检索的经典问题，即需要输入的例图是蒙太奇过程的结果。由于将图像转换成普通 图像的附加过程，基于蒙太奇的图像检索过程代价很高。 在这篇论文中，我们对给出简单草图输入的检索图像提出一个新颖的局部方法。不
2015 年 4 月 19 日
大连理工大学
Dalian University of Technology
基于关键形状草图的图像检索
摘要
虽然基于草图的图像检索(SBIR)仍然是一个的新的研究领域,但研究这一检索模式 仍然有十分广阔的应用前景,如网页搜索和图形检测。此外,随着触摸屏技术的发展，现 在画一个简略的草图查询非常简单。 在这篇论文中,我们提出了一种基于检测关键形状草 图的图像检索的新方法， 该方法是一个局部策略,它将通过计算关键形状的局部描述子来 检测关键形状，而不是检测特征点。我们基于特征形状的提议使得我们能够表示图像中 对象的结构，可以提高目标检索的有效性。而事实上，结果显示，与现有的技术发展相 比，我们的方法在检索效率方面确实有所改善。此外，经我们论证，关键形状检索方法 结合词袋法能够显著改善目标检索的有效性。
图4
多尺度坎尼产生的边缘图像
同样,我们采用了降低采样的方法查询。 然而,由于查询变成了一个草图,细化操作[14]
基于关键形状草图的图像检索
大连理工大学本科毕业外文翻译
基于关键形状草图的图像检索
Sketch-based image retrieval using keyshapes
学 院 （系） ：电子信息与电气工程学部 专 业：电子信息工程（英语强化） 康 妙 201081511 付海燕
学 生 姓 名： 学 号：
指 导 教 师： 评 阅 教 师： 完 成 日 期：
源自文库
2. 相关研究工作
基于草图的图像检索方法可分为全局或局部的技术。 全局范畴的一些令人关注的方 法有：在边缘直方图描述符 EHD[26],抽象图像的角分区(APAI)[5],和边缘局部方向直方 图（HELO）[23] 边缘直方图描述符(EHD)是基于 MPEG-7 的可视部分提出的[21]和 Sun Won 等人进 行了改善[26]。其目标是从图像的局部区域获得五种类型（垂直，水平，45 度对角线， 135 度对角线方向和无向）的局部边缘分布。局部分布的串联组成最后的描述符。 Chalechale 等人提出了另一种重要的基于草图的图像检索方法[5]。这种方法是基于
图1
茶壶手绘草图示例
分布:组件分布描述此类组件之间的空间关系。 再次使用茶壶的例子， 分布应该指出 手柄和槽位于身体的两边,一个在左边,另一个在右边。 据我们所知，提出了基于草图的图像检索方法不利用草图的结构属性。目前的方法 是基于边缘点分布或边缘点的方向， 这不能适当表示图像的结构组件。 此外,兴趣点的方 法在计算机视觉领域[27]的组件与我们这里定义的语义水平不同。此外,因为草图是简单 的基于行的图纸，所以关键点的局部区域可能不能识别。 这篇论文的主要贡献是利用图像中出现的结构属性提出了基于草图图像检索的新 方法。利用结构组件表示草图能带来以下优势: — 结构表示法允许在反映增量的检索效率的更高的语义层面来表示对象， — 结构表示法可以使用兴趣点法处理小数量的组件。这将使匹配步骤更高效。 我们建议通过检测简单的几何形状处理对象的结构属性,关键形状称之为
基于关键形状草图的图像检索
同于 STELA，我们的建议检测多种类型的关键形状并应用于图像检索中。这些关键形 状可以是线、弧、椭圆等等。经证实，基于关键形状的方法结合词袋法明显优于现有的 方法。
3. 基于关键形状的方法
草图的特点是代表对象的结构组成而不是代表颜色或纹理信息。 例如,当一个人被要 求做一个简单的图描绘了一个茶壶,他可能会画三个部分:壶身,壶嘴和手柄， 如图 1 所示。 此外，草图没有颜色和纹理信息可能会导致检索过程成为一个艰巨的任务。这一事实也 意味着认为适合常规的图像技术并不适应于草图。因此,在本节中,我们提出一个用草图 作为查询的新颖的图像检索方法。我们方法的主要特征是利用草图提供的结构信息。 定义 1：对象的结构是指组成对象的各部分的分布。 从定义 1,我们提取两个相关术语:(1)对象的组件,(2)组件的分布 组件:因为存在不同的尺度，所以一个对象的组件很难定义。然而,我们将从几何的 角度定义一个组件。 因此,一个组件是一个简单的几何形状像弧,椭圆,圆,三角形,长方形,正方形,或仅是一 条直线。这样,图 1 所示的茶壶分解为两个弧代表的壶嘴,椭圆代表的壶身。
图2
SBIR 方法的流图表示
3.1 关键形状的检测
在本节中,我们描述了方法的第一阶段。这个阶段主要涉及获得类似草图表示,特别 是从草图不是本身的测试图像中获取,并检测一组将用于计算局部描述符的简单图像。 3.1.1 类似草图表示 我们将从输入草图(查询)和数据库的图像(测试图像)检测 keyshapes。为了比较草图 与测试图像,我们需要将一个测试图像转换为一个类似草图表示。 尤其当测试图像是常规
基于关键形状草图的图像检索
keyshapes，它代表对象的结构组成。此外,我们提出两个局部描述符计算每个检测出的 keyshape。这些描述符表示结构组件的空间分布。简而言之,我们的提议利用对象的结构 属性描述组成部分的分布。此外,由于我们的方法基于不同特征(结构)，这些特征都来自 现有方法,因此我们的方法组合一种效果很好的方法，将显著改善检索效果。在本文中, 我们实验证明了这样的性质。 定义 2 keyshape 是一个简单的几何形状,它结合其他简单几何图形组成一个更复 杂的对象。keyshape 的例子可能是一个圆,一个椭圆,一个正方形或一条线等。 如图 2 所示，我们提出的方法包括三个阶段(1)keyshapes 的检测,我们能从一个输入 图像检测简单的形状,(2)局部描述符计算,使我们能局部表示参考形状和其他方面之间的 空间关系,(3)匹配,设置两组局部描述符之间的一些关系后计算成本值。在下面几节中,我 们将详细描述每一个阶段。
0.3。
图3 测试图像边缘的坎尼示例
一个简单的边缘检测方法产生一个边缘混乱的图像。 许多边缘像素不提供相关的结 构信息,如图 3 所注。此外,其中很多可能是由于噪声引起的 keyshape 检测以及相应的检 索效率的变差。 为了解决这个问题,我们在多尺度方式下运用坎尼描述符。 每个尺度都用 低采样的图像中的坎尼算子来计算。 对于每个尺度,图像都用之前尺度的一个 0.5 的系数 降低采样。 在我们的方法中,我们将采样过程迭代， 直到生成图像其中一个维度大小小于 200 像素。在我们的实验中,大约三个迭代后采样结束。我们在图 4 展示了一个这一过程 的例子。
关键词： 基于草图的图像检索；基于内容的图像检索；局部描述子；局部匹配
基于关键形状草图的图像检索
1. 简介
在过去的几年里，随着图像获取和存储的便捷，影像技术的进步促使图像检索成为 了一门与计算机科学相关的学科。 在基于内容的图像检索系统中， 输入内容为一幅图像。 这幅图像应该表达了用户的需求,但是用户经常没有满足需求的图像。 另外， 没有这样的 查询图像通常也是搜索的原因。而表达用户查询的简单的方式就是用手绘草图，这就促 使了基于手绘草图图像检索的诞生。事实上，草图是利用 CAD 或 3D 模型检索进行查 询的自然方式。 一些作者已经开始研究基于草图的图像检索了。其中的成果包括：边缘直方图描述 符(EHD)[26],弹性匹配图像检索 [8], 抽象图像的角分区 [5], 结构张量 [9], 边缘局部方向直 方图[23]。近来，,Eitz 等人[11]已经发表了用词袋算法实现基于手绘草图的图像检索结 果。其中的有些方法将在下一节中描述。 这篇论文的主要贡献是提出一种新颖的基于检测关键形状的局部方法。 我们的方法 通过 keyshapes 的含义考虑了结构特征,同时通过本文提出的局部描述子的意义将局部特 征也考虑在内。 另外， 根据笔画特点,我们提出一个新颖的策略去避免检测关键形状的效 率问题，即类似于基于霍夫变换[29]的方法。 我们的实验结果显示，与目前的技术水平相比，检索效率略有改善。然而,由于我们 提出的方法是利用用当前方法提取的不同特征（对象的结构，结合） ，因此该方法结合 目前主要方法在检索效率上有显著改善。 在本文中，通过统计测试验证表明，结合 Eitz[11]等人提出的词袋法，我们提出的 方法的能够有很大提高。具体地说,合并后的方法将词袋法报告中的检索效率提高了近 22%。 本文的其余部分安排如下。第二章描述了当前基于草图图像检索的方法。第三章详 细描述了本文的新方法，第四章介绍了实验评估。最后第五章介绍结论。