基于内容的图像检索

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
LL HL3 HL2 LH3 HH3 HL1
LH2
HH2
LH1
HH1
图1
图2
计算LL低频子带所有像素点的感兴趣值:如图2所示的空间方向树 上所有对应点的像素值组成的向量的模
特征计算:小波变换
计算感兴趣值的均值MEAN和标准差SD,设定阈值T=MEAN+SD。
对感兴趣值进行排序,选取大于阈值T的点为感兴趣点。分别在感 兴趣点的8个位平面进行求和,得到每层位平面的“面积”。归一 化后即得到8个特征值。 另外,对于初始的灰度图较高的的4层位平面,分别求“面积”, 形成4个整体特征值。
2
− 3 ������21 + ������03
2
2 2
− ������30 − 3������12 ������21 + ������03 3 ������30 + ������12
− ������21 + ������03
特征计算:灰度共生矩阵
灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的 常用方法
特征计算:HSV颜色特征
首先按下列公式将RGB图像转化为HSV图像:
然后分别计算H,S,V三个通道的一阶矩(均值)、二阶矩(方差)和三阶矩 (斜度) 1 ������������ = ������
������
������������������
������=1
1 ������������ = ������
������ ������=1
������, ������ log(������(������, ������))
特征计算:小波变换
将RGB图像按下面公式转化为灰度图像: ������������������������ = 0.299 ∗ ������ + 0.587 ∗ ������ + 0.114 ∗ ������ 对灰度图像进行3层小波变换得到如图1所示图像:
������������ D ������1 , ������2 > ������2 ,P H ������1 == H ������2
P稳定分布(P=1 OR 2)
∀������1 , . . , ������������ ∈ ������ 均满足:������( |������1 |������ )������ 与
1
•������~������, ������������ ~������, ������. ������. ������. (������ = 1, . . , ������) ,分布D称为P(P=1或2)稳定的,如果有: ������������ ������������ 具有相同分布
������
灰度共生矩阵的大小为L*L(L为灰度级),位置(i,j)上的值是图像中灰 度级为(i,j)的像素点对的个数 根据点对距离、方向的不同,可以得到各种灰度共生矩阵。目前,本 算法实现的是水平相邻点对的灰度共生矩阵 依照如下方式得到两组灰度级坐标:
特征计算:灰度共生矩阵
通常可以用一些标量来描述灰度共生矩阵的特征(令G表示灰度共生矩阵)
特征计算:HU不变矩
HU利用二阶和三阶中心矩构造了七个不变矩,它们在连续图像条件 下可以保持平移,旋转和比例不变性 ������1 = ������20 + ������02 ������2 = (������20 − ������02 )2 +4������11 2 ������3 = (������30 − 3������12 )2 +(3������21 − ������03 )2 ������4 = (������30 + ������12 )2 +(������21 + ������03 )2 ������5 = ������30 − 3������12 ������30 + ������12 ������30 + ������12
基于内容的图像检索
总体流程 特征计算 索引结构 检索方法 评价
总体流程 特征计算 索引结构 检索方法 评价
总体流程
图像检索
功能
图像归档
功能
查询
输入
四个关键: 1. 要选取恰当的图像特征 2. 要采取有效的特征提取方法 3. 要有准确且高效的索引结构 4. 要有准确的特征匹配算法

IDM(Inverse different Moment)
������ ������
������4 =
������=1 ������=1
������(������, ������) 1 + (������ − ������)2
������ ������=1 ������

熵(entropy) ������5 = −
������ −������������������
������
• 对于某些特征值普遍很小的维度,取对数后再应用上述公式
局部敏感哈希(Local Sensitive Hashing)
• 基于概率的索引方法,不用计算距离 • 以高概率将相似的数据点映射到相同的索引值 • 检索时将索引值与目标相同的数据取出
特点
• 应用于聚类、检索, 可作为降维方法
• 建索引和检索的速度快;高维有优势 • 有随机性不稳定、需要重复算法
索引结构:LSH算法原理
目标:哈希函数是局部敏感的
• ������2 > ������1 > 0,1 > ������1 > ������2 > 0,点������1 , ������2 ∈ ������������ , D ������1 , ������2 是������1 , ������2 的距离, ������������ D ������1 , ������2 < ������1 ,P H ������1 == H ������2 > ������1 ; < ������2 ; 哈希函数H: ������������ → ������称为 ������1 , ������2 , ������1 , ������2 敏感的,若满足:
������
1 2
������������������ − ������������
������=1
2
1 ������������ = ������
������
1 3
������������������ − ������������
������=1
3
每个通道3个特征,共有9个特征
特征计算:SIFT特征
• ASM能量(Angular Second Moment)
������ ������
������1 =
������=1 ������=1
������ ������, ������
2

对比度(Contrast)
������−1 ������ ������
������2 =
������=0
������2
������ − ������0
������0 =
������10 , ������0 ������00
������
������ − ������0 ������ ������(������, ������)
������01 ������00
其中������, ������ = 0,1,2, …
=
使用归一化中心矩使特征具有平移,旋转和比例不变性 ������������������ ������������������ = ������00 ������ ������ + ������ + 2 其中������ = 2 ������ + ������ = 2,3, …
•P |������1 ������ − ������2 ������| < Ε = P |(������1 −������2 )������| < Ε = P ������ ������1 − ������2
• ������1 − ������2
������
< Š= P ������ <
Ε ������1 −������2 ������
������范数 越小,������1 ������与������2 ������接近的概率越大
•对Q做线性变换(QX)=>局部敏感 •P=2时=>欧氏距离,D=N(0,1)
索引结构:LSH算法原理
哈希函数H(Q)
• ������ ������ = (ℎ1 ������ , … . , ℎ������ ������ ),二进制:ℎ������ (������)值域{0,1} • 点������ ∈ ������������ ,取分布D=N(0,1),������ = (������1 , . . , ������������ ), ������I ~������, ������. ������. ������ , 则子函数H(Q)如 下: ℎ ������ = 1, ������������ ������������ ≥ 0 0, ������������ ������������ < 0
������ ������ ������ ������
������������������ =
������=1 ������=1
������ ������ ������ ������ ������ ������, ������
������������������ =
������=1 ������=1
特征计算:边缘直方图
使用边缘模Hale Waihona Puke 对图像进行滤波,得到某方向的边缘图像
垂直边缘
水平边缘
45°对角
135°对角
没有方向
统计该边缘图像中像素值大于一定阈值的边缘个数作为该方向边 缘的特征值 对下一个方向边缘的模板进行同样的操作,直至处理完全部方向
特征计算:HU不变矩
对于离散的数字图像,(p+q)阶几何矩和中心距定义如下:
SIFT(scale-invariant Feature Transform)是一种检测图像局部 特征的方法,具有尺度不变形,并且对于图像不同的的旋转、颜 色、亮度变化,以及拍摄角度等都具有良好的检测效果 通过SIFT提取图像的局部性特征 对所有图像的特征向量聚类, 形成词汇表(BOW, Bag of Words) 为每张图片生成词汇表对应的特征向量
������=1 ������=1 ������−������ =������
������(������, ������)

方差(Sum of Squares)
������ ������
������3 =
������=1 ������=1
������ − ������ 2 ������(������, ������)
特征计算:LBP特征
LBP(local Binary Patterns)是一种有效的纹理描述算子,度量和 提取图像局部的纹理信息,对光照具有不变性 在3*3的窗口内,以窗口中心像素为阈值,将相邻的8个像素的灰 度值与其进行比较,可得到8位二进制数(256个值),即为中心 像素的LBP值 使用Uniform Pattern进行降维,如果0/1或1/0跳变次数超过2则 归为一类,直方图从256维降为58+1维 将LBP值按位旋转,取二进制码最小的值,得到LBPROT(具有旋 转不变性的LBP),总共有36个值,Uniform Pattern可降维到10
分析
分析
特征
特征 特征库
匹配
索引
图像库
输出
阶段 阶段
总体流程 特征计算 索引结构 检索方法 评价
特征计算
7个特征:
• 边缘直方图 • HU不变矩 • 灰度共生矩阵 • 小波变换 • LBP特征 • HSV颜色特征
形状特征 纹理特征
• SIFT特征
预处理
• 对每张图片进行双三次差值扩张为64*64 • 并用如右图所示的拉普拉斯算子对图片进行锐化
总体流程 特征计算 索引结构 检索方法 评价
索引结构
预处理:特征值的归一化
• 计算图像库中的所有图片在每个特征维度上的最大特征值和最小特 征值
������ ������ • 归一化后的特征������������′ = ������������������ −������������������ ������
2
− 3 ������21 + ������03
2 2
+ 3������21 − ������03 ������21 + ������03 3 ������30 + ������12 2 − ������21 + ������03 ������6 = ������20 − ������02 (������30 +������12 )2 − (������21 +������03 )2 +4������11 (������30 + ������12 )(������21 + ������03 ) ������7 = 3������21 − ������03 ������30 + ������12 ������30 + ������12
相关文档
最新文档