OpenCV特征提取与图像检索实现(附代码)

OpenCV特征提取与图像检索实现（附代码）

“拍立淘”“一键识花”“街景匹配”……不知道大家在使用

这些神奇的功能的时候，有没有好奇过它们背后的技术原理？其实这些技术都离不开最基本的图像检索技术。本篇文章我们就将对这一技术的原理进行介绍，并通过一个简单的Python脚本来实现一个最基本的图像检索demo。

▌图像特征

首先我们需要明白图像特征是什么以及它的使用方法。

图像特征是一种简单的图像模式，基于这种模式我们可以描述我们在图像上所看到的内容。例如，在一张跟猫有关的

图片中，猫咪的眼睛就可以作为这幅图像的特征。特征在（包括但不限于）计算机视觉中的主要作用是将视觉信息转换为向量空间表示。这种向量空间表示让我们可以利用数学运算对其进行处理，例如通过计算寻找相似向量（这可以用来寻找相似图像或图像中的相似目标）。

▌如何从图像中获取特征？

从图像中获取特征的方法有两种，第一种是通过提取图像描述符实现（白盒算法）；第二种通过基于神经网络的方法实

现（黑盒算法）。本文主要介绍第一种方法。

特征提取的算法有很多，最常用的有：SURF、ORB、SIFT、BRIEF等。这些算法大多是基于图像梯度的。为了简化安装

需求，本教程使用的是KAZE描述符，因为其他描述符在python的基础OpenCV库中没有提供。

下面是特征提取器的实现代码：

import cv2

import numpy as np

import scipy

from scipy.misc import imread

import cPickle as pickle

import random

import os

import matplotlib.pyplot as plt

# Feature extractor

# 特征提取器

def extract_features(image_path, vector_size=32): image = imread(image_path, mode='RGB')

try:

# Using KAZE, cause SIFT, ORB and other was moved to additional module

# which is adding addtional pain during install

#此处为了简化安装步骤，使用KAZE，因为SIFT/ORB以及其他特征算子需要安

#装额外的模块

alg = cv2.KAZE_create()

# Finding image keypoints

#寻找图像关键点

kps = alg.detect(image)

# Getting first 32 of them.

#计算前32个

# Number of keypoints is varies depend on image size and color pallet

#关键点的数量取决于图像大小以及彩色调色板

# Sorting them based on keypoint response value(bigger is better)

#根据关键点的返回值进行排序（越大越好）

kps = sorted(kps, key=lambda x:

-x.response)[:vector_size]

# computing descriptors vector

#计算描述符向量

kps, dsc = pute(image, kps)

# Flatten all of them in one big vector - our feature vector

# 将其放在一个大的向量中，作为我们的特征向量

dsc = dsc.flatten()

# Making descriptor of same size

# 使描述符的大小一致

# Descriptor vector size is 64

#描述符向量的大小为64

needed_size = (vector_size * 64)

if dsc.size

# if we have less the 32 descriptors then just adding zeros

# at the end of our feature vector

#如果少于32个描述符，则在特征向量后面补零

dsc = np.concatenate([dsc,

np.zeros(needed_size - dsc.size)])

except cv2.error as e:

print 'Error: ', e

return None return dsc

def batch_extractor(images_path,

pickled_db_path='features.pck'):

files = [os.path.join(images_path, p) for p in

sorted(os.listdir(images_path))]

result = {}

for f in files:

print 'Extracting features from image %s' % f

name = f.split('/')[-1].lower()

result[name] = extract_features(f)

# saving all our feature vectors in pickled file

# 将特征向量存于pickled 文件

with open(pickled_db_path, 'w') as fp:

pickle.dump(result, fp)OpenCV中的大多数特征提取算法的python接口都相同，所以如果你想要使用SIFT特征，只需要用SIFT_create替换KAZE_create就行。

首先，程序会用extract_features检测图像上的关键点（局

部模式的中心点）。因为关键点数量随图像的不同有所不同，因此我们需要添加一些规则，以确保所得到的特征向量大小始终相同（这是因为在计算时，我们无法对维度不同的向量进行比较，所以必须保证相同的大小）。

然后是根据关键点构建向量描述符，每个描述符的大小为64，我们有32个这样的描述符，所以我们的特征向量是2048维。batch_extractor是在所有的图像中批量运行特征提取器，并将特征向量保存在pickled文件中以供后续使用。

现在我们来建立类Matcher，它会将待搜索图像和数据库中的图像进行匹配。

class Matcher(object): def __init__(self,

pickled_db_path='features.pck'):