图像视觉特征与视觉单词构造-2016年
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一步：构造原始图像的尺度空间
13
图像特征：SIFT（Scale-Invariant Feature Transform）
第一步：构造不同尺度的高斯滤波算子，对图像进 行不同尺度的高斯模糊，获得一系列不同尺度的高 斯模糊图像
14
图像特征：SIFT（Scale-Invariant Feature Transform）
方差为1的7*7高斯滤波矩阵
方差为1的7*7高斯滤波矩阵卷积结果
方差为10的7*7高斯滤波矩阵
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像 “局部空间相关”特性。在高斯卷积滤波算子中，高斯函数中方差越大，图 像中心像素点权重越小，则图像越模糊。
David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）（2014年10月引用次数为34479）
图像特征：SIFT（Scale-Invariant Feature Transform）
第五步：SIFT点的描述（ Keypoint descriptor）
对于这个图像中以极（大/小）值点L(x,y)为中心的16*16大 小区域中每个像素点，计算其梯度幅度和方向
图像特征：SIFT（Scale-Invariant Feature Transform）
第二步：构造高斯差图像（Difference of Gaussian, DoG）
对DoG的进一步说明（来自Wiki）： Difference of Gaussians is a grayscale image enhancement algorithm that involves the subtraction of one blurred version of an original grayscale image from another, less blurred version of the original. The blurred images are obtained by convolving the original grayscale image with Gaussian kernels having differing standard deviations. Blurring an image using a Gaussian kernel suppresses only high-frequency spatial information. Subtracting one image from the other preserves spatial information that lies between the range of frequencies that are preserved in the two blurred images. Thus, the difference of Gaussians is similar to a band-pass filter that discards all but a handful of spatial frequencies that are present in the original grayscale image
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像“局部空ห้องสมุดไป่ตู้相关”特性 。在高斯卷积滤波算子中，高斯函数中方差越大，图像中心像素点权重越小，则图像越模糊。
图像特征：SIFT（Scale-Invariant Feature Transform）
图像是由具有不同色度值的像素点所组成，可以用每一 种色度值的像素点总数来表达一幅图像。 具体应用中可对颜色直方图进行归一化，即将直方图的 值规整到[0,1]区间。
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的提取过程 lena=imread(‘lena.bmp’); （将分辨率大小为512×512的 Lena原始灰度图像读 入，即原始图像像素点个数为262144 ，lena变量大小为512×512） H1=imhist(lena,20); （从lena图像中提取维度为20的颜色直方图，H1变量的 大小为20×1，其值为（0, 0, 750, 14613, 24233, 11126, 12943, 19345, 22012, 23122, 27978, 33309, 25312, 15992, 9563, 12967, 8045, 828, 6, 0）
或者将彩色图像转换成灰度图像，在灰度色彩空间中计 算其颜色直方图。由于在灰度图像中，每一个像素点仅 存在一种色度值，因此这一方法在直方图提取上较为简 单。
颜色直方图 （Histogram）
RGB空间颜色直方图的提取：
lena=imread(‘lena512color.tiff’); 将分辨率大小为512×512
或者
lena=rgb2gray(imread(‘lena512color.tiff’)); 将彩色图像转换成灰
度图像，lena变量大小为512×512） Hist=imhist(lena,20); 提取灰度图像中20维直方图
图像卷积操作
(P*P)
The size of the Convolution. Feature is (N-P+1)* (N-P+1)
SIFT（Scale-invariant feature transform）是一种在 尺度空间中提取的图像局部特征。SIFT特征在相当 多领域得到应用，是目前一种很重要的局部特征。
去除可能的噪音点 （如低对比度和 边缘孤立点）
构造空间 尺度
搜索尺度空间 中的极值
计算方向 构造特征向量
SIFT特征提取流程
图像特征：SIFT（Scale-Invariant Feature Transform）
第五步：极（大/小）值点方向表示（ Orientation assignment ）
对于某个被Gaussain算子滤波后的图像中，给定这个图像中 的极（大/小）值点L(x,y)，如下计算其梯度幅度和方向（ all computations are performed in a scale-invariant manner. ）
图像视觉特征与视觉单词构造
吴飞 浙江大学计算机学院 http://mypage.zju.edu.cn/wufei 2016年
Email: wufei@cs.zju.edu.cn
提纲
颜色直方图 视觉特征(SIFT） 视觉单词 基于聚类的视觉单词构造
颜色直方图 （Histogram）
图像特征：SIFT（Scale-Invariant Feature Transform）
第四步：去除候选极（大/小）值点中可能噪音点
如去掉对比度低的点和位于边缘上的点
22 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
0.14 0.12
0.1
0.08
0.06
0.04
0.02
0
0
5
10
15
20
25
原始灰度图像Lena及其归一化的20维颜色直方图特征
颜色直方图 （Histogram）
给定同一幅图像，如果其位于不同色彩空间，则所 得到的颜色直方图将不同。 一般而言，对于彩色图像直方图的提取可采取如下 办法：
在彩色图像的每一个色度通道中计算其对应的直方图。如对 于RGB色彩空间的图像，我们可分别计算其在R、G和B三个 色度通道中的颜色直方图，然后将得到的所有色度通道的颜 色直方图作为图像颜色直方图特征
23 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
图像特征：SIFT（Scale-Invariant Feature Transform）
x 10 8 7 6 5 4 3 2 1 0 0 50 100 150 200 250
4
原始灰度图像Lena及其20维颜色直方图特征
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的归一化过程过程 lena=imread(‘lena.bmp’); [m,n]=size(lena); H1=imhist(lena,20)； H1=H1./(m*n);bar(H1) （20维直方图则变为（0,0, 0.0029, 0.0557, 0.0924, 0.0424, 0.0494, 0.0738, 0.0840, 0.0882, 0.1067, 0.1271, 0.0966, 0.0610, 0.0365, 0.0495, 0.0307, 0.0032, 0.0000, 0）
图像特征：SIFT（Scale-Invariant Feature Transform）
高斯滤波的几点解释：
图像特征：SIFT（Scale-Invariant Feature Transform）
第二步：构造高斯差图像（Difference of Gaussian, DoG）
The DOG performs edge detection by performing a Gaussian blur on an image at a specified theta (also known as sigma or standard deviation). The resulting image is a blurred version of the source image. The module then performs another blur with a sharper theta that blurs the image less than previously
(N*N)
图像卷积操作
图像像素点模和方向计算：
给定如下卷积算子，计算每个像素点梯度的模和方向(注:下述2个卷积算 子表示图像纵向和横向上的变化。这两个算子也称为Prewitt算子)
图像卷积操作
图像卷积操作
方差为1的7*7高斯滤波矩阵
方差为1的7*7高斯滤波矩阵卷积结果
方差为10的7*7高斯滤波矩阵
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
基于高斯差图像的线条画生成
Holger Winnemö ller,XDoG: Advanced Image Stylization with eXtended Difference-of-Gaussians, Proceedings of NPAR 2011
的 Lena原始彩色图像读入，lena变量大小为512×512×3 ） histR=imhist(lena(:,:,1),20); （红色通道的20维直方图） histG=imhist(lena(:,:,2),20); （绿色通道的20维直方图） histB=imhist(lena(:,:,3),20); （蓝色通道的20维直方图）
图像特征：SIFT（Scale-Invariant Feature Transform）
第三步：搜索候选极（大/小）值点
搜索图像的候选特征点就是在尺度空间中搜索极值点，包括极大值和极 小值。对于上述求得某一高斯差尺度空间中的每一个点，将其与周围26 个点（如图 所示同一层的8个相邻的和两个相邻高斯差层的9*2个点）比 较，如果其色度值为最大或者最小，则将该点作为候选特征点。
13
图像特征：SIFT（Scale-Invariant Feature Transform）
第一步：构造不同尺度的高斯滤波算子，对图像进 行不同尺度的高斯模糊，获得一系列不同尺度的高 斯模糊图像
14
图像特征：SIFT（Scale-Invariant Feature Transform）
方差为1的7*7高斯滤波矩阵
方差为1的7*7高斯滤波矩阵卷积结果
方差为10的7*7高斯滤波矩阵
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像 “局部空间相关”特性。在高斯卷积滤波算子中，高斯函数中方差越大，图 像中心像素点权重越小，则图像越模糊。
David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）（2014年10月引用次数为34479）
图像特征：SIFT（Scale-Invariant Feature Transform）
第五步：SIFT点的描述（ Keypoint descriptor）
对于这个图像中以极（大/小）值点L(x,y)为中心的16*16大 小区域中每个像素点，计算其梯度幅度和方向
图像特征：SIFT（Scale-Invariant Feature Transform）
第二步：构造高斯差图像（Difference of Gaussian, DoG）
对DoG的进一步说明（来自Wiki）： Difference of Gaussians is a grayscale image enhancement algorithm that involves the subtraction of one blurred version of an original grayscale image from another, less blurred version of the original. The blurred images are obtained by convolving the original grayscale image with Gaussian kernels having differing standard deviations. Blurring an image using a Gaussian kernel suppresses only high-frequency spatial information. Subtracting one image from the other preserves spatial information that lies between the range of frequencies that are preserved in the two blurred images. Thus, the difference of Gaussians is similar to a band-pass filter that discards all but a handful of spatial frequencies that are present in the original grayscale image
方差为10的7*7高斯滤波矩阵卷积结果
与Prewitt滤波矩阵中权重固定不同，高斯卷积矩阵中的权重设置反映了图像“局部空ห้องสมุดไป่ตู้相关”特性 。在高斯卷积滤波算子中，高斯函数中方差越大，图像中心像素点权重越小，则图像越模糊。
图像特征：SIFT（Scale-Invariant Feature Transform）
图像是由具有不同色度值的像素点所组成，可以用每一 种色度值的像素点总数来表达一幅图像。 具体应用中可对颜色直方图进行归一化，即将直方图的 值规整到[0,1]区间。
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的提取过程 lena=imread(‘lena.bmp’); （将分辨率大小为512×512的 Lena原始灰度图像读 入，即原始图像像素点个数为262144 ，lena变量大小为512×512） H1=imhist(lena,20); （从lena图像中提取维度为20的颜色直方图，H1变量的 大小为20×1，其值为（0, 0, 750, 14613, 24233, 11126, 12943, 19345, 22012, 23122, 27978, 33309, 25312, 15992, 9563, 12967, 8045, 828, 6, 0）
或者将彩色图像转换成灰度图像，在灰度色彩空间中计 算其颜色直方图。由于在灰度图像中，每一个像素点仅 存在一种色度值，因此这一方法在直方图提取上较为简 单。
颜色直方图 （Histogram）
RGB空间颜色直方图的提取：
lena=imread(‘lena512color.tiff’); 将分辨率大小为512×512
或者
lena=rgb2gray(imread(‘lena512color.tiff’)); 将彩色图像转换成灰
度图像，lena变量大小为512×512） Hist=imhist(lena,20); 提取灰度图像中20维直方图
图像卷积操作
(P*P)
The size of the Convolution. Feature is (N-P+1)* (N-P+1)
SIFT（Scale-invariant feature transform）是一种在 尺度空间中提取的图像局部特征。SIFT特征在相当 多领域得到应用，是目前一种很重要的局部特征。
去除可能的噪音点 （如低对比度和 边缘孤立点）
构造空间 尺度
搜索尺度空间 中的极值
计算方向 构造特征向量
SIFT特征提取流程
图像特征：SIFT（Scale-Invariant Feature Transform）
第五步：极（大/小）值点方向表示（ Orientation assignment ）
对于某个被Gaussain算子滤波后的图像中，给定这个图像中 的极（大/小）值点L(x,y)，如下计算其梯度幅度和方向（ all computations are performed in a scale-invariant manner. ）
图像视觉特征与视觉单词构造
吴飞 浙江大学计算机学院 http://mypage.zju.edu.cn/wufei 2016年
Email: wufei@cs.zju.edu.cn
提纲
颜色直方图 视觉特征(SIFT） 视觉单词 基于聚类的视觉单词构造
颜色直方图 （Histogram）
图像特征：SIFT（Scale-Invariant Feature Transform）
第四步：去除候选极（大/小）值点中可能噪音点
如去掉对比度低的点和位于边缘上的点
22 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
0.14 0.12
0.1
0.08
0.06
0.04
0.02
0
0
5
10
15
20
25
原始灰度图像Lena及其归一化的20维颜色直方图特征
颜色直方图 （Histogram）
给定同一幅图像，如果其位于不同色彩空间，则所 得到的颜色直方图将不同。 一般而言，对于彩色图像直方图的提取可采取如下 办法：
在彩色图像的每一个色度通道中计算其对应的直方图。如对 于RGB色彩空间的图像，我们可分别计算其在R、G和B三个 色度通道中的颜色直方图，然后将得到的所有色度通道的颜 色直方图作为图像颜色直方图特征
23 David G. Lowe, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, 60, 2 (2004）
图像特征：SIFT（Scale-Invariant Feature Transform）
x 10 8 7 6 5 4 3 2 1 0 0 50 100 150 200 250
4
原始灰度图像Lena及其20维颜色直方图特征
颜色直方图 （Histogram）
Matlab程序中对颜色直方图的归一化过程过程 lena=imread(‘lena.bmp’); [m,n]=size(lena); H1=imhist(lena,20)； H1=H1./(m*n);bar(H1) （20维直方图则变为（0,0, 0.0029, 0.0557, 0.0924, 0.0424, 0.0494, 0.0738, 0.0840, 0.0882, 0.1067, 0.1271, 0.0966, 0.0610, 0.0365, 0.0495, 0.0307, 0.0032, 0.0000, 0）
图像特征：SIFT（Scale-Invariant Feature Transform）
高斯滤波的几点解释：
图像特征：SIFT（Scale-Invariant Feature Transform）
第二步：构造高斯差图像（Difference of Gaussian, DoG）
The DOG performs edge detection by performing a Gaussian blur on an image at a specified theta (also known as sigma or standard deviation). The resulting image is a blurred version of the source image. The module then performs another blur with a sharper theta that blurs the image less than previously
(N*N)
图像卷积操作
图像像素点模和方向计算：
给定如下卷积算子，计算每个像素点梯度的模和方向(注:下述2个卷积算 子表示图像纵向和横向上的变化。这两个算子也称为Prewitt算子)
图像卷积操作
图像卷积操作
方差为1的7*7高斯滤波矩阵
方差为1的7*7高斯滤波矩阵卷积结果
方差为10的7*7高斯滤波矩阵
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
图像特征：SIFT（Scale-Invariant Feature Transform）
若干图像的DoG结果示意图：
基于高斯差图像的线条画生成
Holger Winnemö ller,XDoG: Advanced Image Stylization with eXtended Difference-of-Gaussians, Proceedings of NPAR 2011
的 Lena原始彩色图像读入，lena变量大小为512×512×3 ） histR=imhist(lena(:,:,1),20); （红色通道的20维直方图） histG=imhist(lena(:,:,2),20); （绿色通道的20维直方图） histB=imhist(lena(:,:,3),20); （蓝色通道的20维直方图）
图像特征：SIFT（Scale-Invariant Feature Transform）
第三步：搜索候选极（大/小）值点
搜索图像的候选特征点就是在尺度空间中搜索极值点，包括极大值和极 小值。对于上述求得某一高斯差尺度空间中的每一个点，将其与周围26 个点（如图 所示同一层的8个相邻的和两个相邻高斯差层的9*2个点）比 较，如果其色度值为最大或者最小，则将该点作为候选特征点。