结合自适应阈值与Forstner的Harris角点匹配优化算法
Harris角点检测算法
Harris⾓点检测算法⼀，⾓点 ⾓点还没有明确的数学定义。
⼀般的⾓点检测都是对有具体定义的、或者是能够具体检测出来的兴趣点的检测。
这意味着兴趣点可以是⾓点，也可以是在某些属性上强度最⼤或者最⼩的孤⽴点、线段的终点，或者是曲线上局部曲率最⼤的点。
在实践中，通常⼤部分称为⾓点检测的⽅法检测的都是兴趣点，⽽不是独有的⾓点。
因此，如果只要检测⾓点的话，需要对检测出来的兴趣点进⾏局部检测，以确定出哪些是真正的⾓点。
⽬前的⾓点检测算法可归纳为3类：基于灰度图像的⾓点检测、基于⼆值图像的⾓点检测、基于轮廓曲线的⾓点检测。
⾓点是图像很重要的特征，对图像图形的理解和分析有很重要的作⽤。
对灰度图像、⼆值图像、边缘轮廓曲线的⾓点检测算法进⾏综述，分析了相关的算法，并对各种检测算法给出了评价。
⼆，Harris算法 Harris⾓点提取算法：Harris ⾓点提取算法是Chris Harris 和Mike Stephens 在H.Moravec 算法的基础上发展出的通过⾃相关矩阵的⾓点提取算法，⼜称Plessey算法。
Harris⾓点提取算法这种算⼦受信号处理中⾃相关⾯数的启发，给出与⾃相关函数相联系的矩阵M。
M 阵的特征值是⾃相关函数的⼀阶曲率，如果两个曲率值都⾼,那么就认为该点是⾓点特征。
算法流程1.利⽤⽔平，竖直差分算⼦对图像的每个像素进⾏滤波以求得Ix,Iy,进⽽求得M中的四个元素的值。
代码中如果窗⼝数组array为-1,0,1,-1,0,1,-1,0,1}则是求解X⽅向的，如果为{-1,-1,-1,0,0,0,1,1,1}为Y⽅向的，则Ix和Iy求解结束，求解IX2相对⽐较简单，像素相乘即可。
2.对M的四个元素进⾏⾼斯平滑滤波，为的是消除⼀些不必要的孤⽴点和凸起，得到新的矩阵M。
3.3.接下来利⽤M计算对应每个像素的⾓点响应函数R，即：4、局部极⼤值抑制，同时选取其极⼤值5.在矩阵R中，同时满⾜R(i,j)⼤于⼀定阈值threshold和R(i,j)是某领域内的局部极⼤值，则被认为是⾓点三，代码1from pylab import *2from PIL import Image3from PCV.localdescriptors import harris4"""5 Example of detecting Harris corner points (Figure 2-1in the book).6"""7 # 读⼊图像8 im = array(Image.open(r'b3.jpg').convert('L'))9 # 检测harris⾓点10 harrisim = pute_harris_response(im)11 # Harris响应函数12 harrisim1 = 255 - harrisim13 figure()14 gray()15 #画出Harris响应图16 subplot(141)17 imshow(harrisim1)18 print (harrisim1.shape)19 axis('off')20 axis('equal')21 threshold = [0.01, 0.05, 0.1]22for i, thres in enumerate(threshold):23 filtered_coords = harris.get_harris_points(harrisim, 6, thres)24 subplot(1, 4, i+2)25 imshow(im)26 print (im.shape)27 plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')28 axis('off')29 show()四，运⾏结果 4.1纹理平坦的图 4.1.1正⾯ 4.1.2侧⾯ 4.1.3旋转 4.1.4相对较远处 4.1.5较亮情况 4.2垂直或⽔平边缘多 4.2.1正⾯ 4.2.2侧⾯ 4.2.3旋转 4.2.4相对较远处 4.3纹理⾓点丰富 4.3.1正⾯ 4.3.2侧⾯ 4.3.3旋转 4.3.4相对较远处五，结论以及实验中遇到的问题 5.1实验结果分析1. Harris⾓点具有旋转不变性。
Harris角点检测的优化算法
， ，
（ Ｄ ｅ ｐ ａ ｒ ｔ ｍｅ ｎ ｔ ｏ ｆ Ｅ ｃ ｏ ｎ ｏ ｍｉ ｃ ｓ ａ ｎ ｄ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｍａ ｎａ ｇ ｅ ｍｅ ｎ ｔ ， Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｆ ｉ ｎ ｎｃ ａ ｅ ｎｄ ａ Ｅ ｃ ｏ ｎ ｏ ｍｉ ｃ ｓ Ｚ ｈ ￣ｉ ｎｇ ａ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ， Ｊ ｉ ｎ ｈ ｕ ａ ３ ２ １ ０ ０ ０ ， Ｃ ｈ ｉ ｎ ａ ） （ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｉ ｎ ｆ ｏ ｍａ ｒ ｔ ｉ ｏ ｎ Ｍａ ｎａ ｇ ｅ ｍｅ ｎ ｔ ｎｄ ａ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ， Ｓ ｈ ｎｇ ａ ｈ ａ ｉ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｙ ｔ ｏ ｆ Ｆ ｉ ｎ ｎｃ ａ ｅ ａ ｎ ｄ Ｅ ｃ ｏ ｎ ｏ ｍｉ ｃ ｓ ， Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ ２ ０ ０ ０ ０ ０ ， Ｃ ｈ ｉ ｎ ａ ） （ Ｎ ｏ ． ７ ３ ０ ５ １ ｏ ｆ Ｐ Ｌ Ａ， Ｊ ｉ ｎ ｈ ｕ ａ ３ ２ １ ０ ０ ０ ， Ｃ ｈ ｉ ｎ ａ ）
摘
要：针对 Ｈａ ｒ ｒ ｉ ｓ 角 点检测算法 中提取 出较 多的伪 角点和计算量大的 问题， 提 出了一种基于 Ｈａ ｒ ｒ ｉ ｓｉ ｓ 角 点检测 中的伪 角点数 目并且提高算法的效率，首先加入 预筛选 得到候 选角点， 在计算
水平和垂直方 向梯度时， 对 于梯度 较小 的像素 点进行预 处理， 在进行 非极大值抑制时采用 自适应 阈值，提高算法 自适应性， 最 后利用 ＵＳ Ａ Ｎ对角 点进行进一 步选择 ． 实验结果表 明，改进 的 Ｈ ａ ｒ ｒ ｉ ｓ 角点检测算法不仅提高 了检测
harris角点检测算法的原理
harris角点检测算法的原理宝子！今天咱来唠唠这个超有趣的Harris角点检测算法的原理呀。
你看啊，在图像里呢，角点可是很特别的存在。
就像是人群里那个特别出众的帅哥或者美女，一眼就能被瞅见。
角点不是那种平平无奇的点哦。
比如说在一个方形的图像里，四个角就是很典型的角点。
那这个Harris角点检测算法呢，就像是一个超级侦探，专门去把这些角点给找出来。
想象一下，这个算法是怎么看待图像的呢？它把图像看成是一个充满变化的小世界。
对于图像中的每个小区域，算法会去研究这个区域周围的像素是怎么变化的。
就好比你站在一个小广场上，看看周围的人是怎么分布的，是均匀散开呢，还是有某个方向特别密集或者稀疏。
这个算法有个很关键的东西叫自相关函数。
这函数就像是一个小魔法棒，它会去计算每个小区域在不同方向上的像素变化情况。
如果在某个点的周围，不管你朝哪个方向去看，像素的变化都很明显，那这个点就很有可能是角点啦。
比如说，你在一个十字街头，不管你是看南北方向的街道，还是东西方向的街道，周围的景色（也就是像素）变化都很大，那这个十字路口就像是图像里的角点一样。
那这个算法具体是怎么操作的呢？它会先建立一个小的窗口，就像拿着一个小放大镜在图像上到处看。
这个窗口会在图像上滑动，每到一个地方，就开始计算这个地方的自相关函数。
这个计算过程呢，其实就是在看这个小窗口里的像素和周围像素的关系。
如果这个关系在各个方向上都很独特，那就有可能是角点啦。
你知道吗，这个算法还会用到矩阵呢。
不过别被矩阵吓到，它就像是一个小账本，记录着这个小区域像素变化的各种信息。
比如说，矩阵会告诉你这个区域在水平方向和垂直方向上像素变化的快慢呀之类的。
如果这个矩阵的特征值有某种特殊的情况，那就说明这个点很可能是角点。
就好像是这个小账本上的某些数字组合起来，就指向了这个特别的角点。
而且哦，这个Harris角点检测算法还有个很贴心的地方。
它不是那种很死板的算法，它会根据不同的图像特点去调整自己的判断标准。
一种自适应的Harris角点检测算法
2008年5月May 2008计 算 机 工 程Computer Engineering 第34 第10期Vol 卷.34 No.10·人工智能及识别技术·文章编号：1000—3428(2008)10—0212—03文献标识码：A中图分类号：TP391一种自适应的Harris 角点检测算法赵万金，龚声蓉，刘纯平，沈项军(苏州大学计算机科学与技术学院，苏州 215006)摘 要：分析Harris 角点检测算子的实现原理及其不足，提出一种基于图像分块和邻近角点剔除策略的自适应Harris 角点检测算法，检症测出的角点均匀分布，有效避免了角点聚簇现象。
实验结果表明，该算法检测出的角点分布更均匀合理，能很好地适应图像拼接等实际应用。
关键词：角点检测；Harris 算子；特征提取Adaptive Harris Corner Detection AlgorithmZHAO Wan-jin, GONG Sheng-rong, LIU Chun-ping, SHEN Xiang-jun(School of Computer Science & Technology, Soochow University, Suzhou 215006)【Abstract 】This paper analyzes the theory of Harris operator, and points out its disadvantage. It proposes an auto-adaptive Harris operator based on the ideology of image break and neighboring point eliminating method. It makes the corners are well-proportioned distributing, and avoids too many corners stay together effectively. Experimental results show that the algorithm can detect corner more reasonable, and can be used in image mosaics well.【Key words 】corner detection; Harris operator; feature extraction1 概述角点是二维图像亮度变化剧烈或图像边缘曲线上曲率极大值的点，它决定了目标的轮廓特征，被广泛应用于摄像机标定、虚拟场景重建、运动估计、图像配准等计算机视觉处理任务中[1]，这些点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使得实时处理成为可能。
harris角点检测阈值
harris角点检测阈值
Harris角点检测是一种常用的图像处理算法，用于检测图像中的角点。
在Harris角点检测中，阈值的选择对于最终的检测结果至关重要。
阈值的设定可以影响检测到的角点数量和质量，因此需要根据具体的应用场景来进行选择。
首先，阈值的选择应该考虑到图像的特性，包括图像的噪声水平、对比度以及所需的角点数量。
较高的阈值可以过滤掉一些较弱的角点，从而得到更可靠的结果，但可能会丢失一些重要的角点信息；而较低的阈值可能会导致检测到大量的噪声点或者非角点，从而影响最终的结果。
其次，阈值的选择也应该结合算法的参数和具体的应用需求。
一般来说，可以通过实验和调参的方式来确定一个合适的阈值，或者根据具体的应用场景来进行调整。
此外，也可以考虑使用自适应阈值的方法，根据局部像素的特性来动态调整阈值，从而更好地适应不同的图像情况。
另外，还可以考虑使用多尺度的Harris角点检测方法，通过在不同尺度下进行检测和阈值的选择，从而得到更全面和准确的角点
检测结果。
总之，Harris角点检测的阈值选择需要综合考虑图像特性、算法参数和应用需求，通过实验和调参来确定合适的阈值，或者采用自适应阈值的方法来动态调整阈值，以获得更好的检测结果。
自适应的Harris棋盘格角点检测算法
表 3 高斯窗口参数
角点数目 148 205 137 184 134 149 134 158 134 137
误角点率 0.8310 0.8780 0.8175 0.8641 0.8134 0.8322 0.8134 0.8417 0.8134 0.8175
2009,30 (20) 4743
Байду номын сангаас
的宽度：5~15，步长为 1；④高斯函数的方差：0.2~3.0，步长为 0.2。
高斯方差和高斯模板大小。
高 斯 方 差 和 高 斯 模 板 大 小 不 易 确 定 。 窗 口 太 小 ，在 真 实
收稿日期：2008-10-22；修订日期：2008-12-14。 作者简介：侯建辉 (1983－)，女，山西交城人，硕士研究生，研究方向为计算机图形与图像； 林意 (1963－)，男，副教授，硕士生导师，研究 方向为计算机图像处理与辅助设计。E-mail：hou_mary@
目 前 ，常 见 的 角 点 检 测 方 法 主 要 有 两 类 。 第 一 类 主 要 依 赖 于 图 像 的 分 割 和 边 缘 提 取 ，计 算 量 较 大 且 算 法 性 能 依 赖 于 边 缘 检 测 的 效 果 ，因 此 使 用 范 围 较 小 。 第 二 类 是 基 于 图 像 灰 度的方法，主要通过计算图像中点的曲率及梯度来检测角点， 常见的有 Harris 算子、Susan(smallest univalue segment assimilating nucleus)算 子 等 。文 献 [1] 中 对 几 种 角 点 检 测 算 法 进 行 了 比 较 和 评价，认为 Harris 的定位性能和鲁棒性较好。Harris 算子计算 简 单 ，算 法 稳 定 ，是 目 前 使 用 最 广 泛 的 角 点 提 取 算 法 之 一 。
自适应阈值Harris算法遥感图像配准的FPGA实现
第24期2023年12月无线互联科技Wireless Internet Science and TechnologyNo.24December,2023作者简介:汪强(1997 ),男,安徽宣城人,硕士研究生;研究方向:图像处理及FPGA 开发㊂自适应阈值Harris 算法遥感图像配准的FPGA 实现汪㊀强,郭来功(安徽理工大学电气与信息工程学院,安徽淮南232001)摘要:针对Harris 角点检测器响应值R 的阈值选择而导致角点失真问题,文章提出了一种基于现场可编程门阵列(FPGA )的自适应Harris 角点检测器实现遥感图像的配准方式㊂该方式依据非最大值抑制(NMS )处理后的响应值对阈值进行实时变化㊂实验结果显示,优化架构在硬件资源仅增加2.76%的情况下,准确率相应提升了8.31%㊂因此,文章提出的遥感图像配准架构适用于硬件资源有限的平台㊂关键词:Harris 角点检测器;FPGA ;非最大值抑制(NMS );遥感图像配准中图分类号:TP391㊀㊀文献标志码:A 0㊀引言㊀㊀在众多的计算机视觉应用中,Harris 角点检测被视为关键的预处理技术,例如特征识别㊁动态追踪㊁图像配准㊁3D 模型构建等㊂在众多常用的计算方法中,选择合适的阈值通常会对最终结果产生长远和深刻的影响㊂但是,在Harris 算法的应用中,阈值的选择只能依赖于个体的经验判断[1]㊂过高的阈值不仅可能导致角点信息的丢失,还可能引发伪角点的出现;较低的阈值不仅导致角点质量的下降,还会提高其对噪声的敏感性[2]㊂潘聪等[3]通过消除伪角点的方法,成功地实施了基于FPGA 的Harris 角点自适应阈值检测㊂本研究在其基础上,对自适应阈值算法进行了优化,并利用FPGA 将其成功应用于遥感图像配准技术中㊂1㊀Harris 角点检测算法㊀㊀在图像中,角点是正交轴渐变较高的点,Harris 算法能满足这些条件的点[4]㊂扫描窗口w (x ,y )(位移u 在x 方向,v 在y 方向),得到式(1):E (u ,v )=ðw (x ,y )[I (x +u ,y +v )-I (x ,y )]2(1)其中,w (x ,y )为(x ,y )处的窗口位置;I (x ,y )为(x ,y )处的强度;I (x +u ,y +v )为移动窗口(x +u ,y +v )处的强度㊂因为算法的最终目的是找到有角点(强度变化很大)的窗户㊂因此,必须最大化公式(1),则对公式(1)使用泰勒展开,得到公式(2):E (u ,v )=ð[I (x ,y )+uI x +vI y -I (x ,y )]2(2)展开公式(2),并用-I (x ,y )抵消I (x ,y ),得到公式(3):E (u ,v )=ðu 2I 2x+2uvI x I y +v 2I 2y(3)公式(3)可以用矩阵形式表示为:E (u ,v )=[u ㊀v ]ðw (x ,y )I 2xI x I y I x I y I 2y éëêêùûúú()u v éëêêùûúú(4)则公式(4)可表示为以下形式:E (u ,v )=[u ㊀v ]M u v éëêêùûúú(5)最后,计算遥感图像中每个窗口的分数,以确定其是否可能包含符合条件的角点:R =det (M )-k (trace (M ))2(6)其中,det (M )=λ1λ2;trace (M )=λ1+λ2㊂λ1和λ2相关数学意义如图1所示㊂在非最大抑制(NMS)中,如果半径r =1,则边界框为2ˑr +1=3㊂在这种情况下,考虑中心像素上的3ˑ3邻域㊂如果中心像素大于周围像素,则将其视为角点㊂同时将与半径内的周围像素进行比较㊂2㊀硬件实现架构㊀㊀遥感图像配准的硬件实现架构如图1所示,依次通过导数生成模块㊁高斯滤波模块㊁角点获得模块(角点提取和非最大值抑制)和优化后的自适应阈值模㊀㊀㊀㊀图1㊀λ1㊁λ2特征值相关数学意义块,以实现遥感图像角点的提取㊂至于图像配准部分,本次实验选择了特征法和区域法㊂2.1㊀导数生成模块㊀㊀导数生成器分别计算每一个像素水平方向和垂直方向的导数及其乘积[3]㊂先读取SDRAM存储器中图像灰度数据,再用IP核的加法器㊁减法器和乘法器来实现I2x㊁I2y和I x I y值的计算㊂其中,设置这3个数值的输出位宽为32㊂2.2㊀高斯滤波模块㊀㊀对上一步计算得到的3幅梯度图像进行高斯平滑处理,得到3个高斯值㊂高斯滤波模块窗口大小设置为3ˑ3,主要由X方向和Y方向进行㊂其中,图像在FPGA中是逐行输出的,因此需要通过延迟的方式来获得3ˑ3窗口内的9个图像像素值㊂其中实验输入的遥感图像大小为128ˑ128,对图像的第一二行分别进行128延迟和256延迟[5]㊂2.3㊀角点获得模块㊀㊀将高斯滤波得到的3个高斯值代入公式(7),得到遥感图像中每一个像素的Harris角点响应函数值R,其中R为该局部区域的最大值[6]㊂其计算需要完成3个乘法计算,并保存至寄存器中,其中乘以参数k (设k=0.06)的计算,使用算数右移来完成㊂同时避免造成角点团簇现象,R需要非最大值抑制(NMS),即去除一些较小值,将其中一些大于阈值的R输出进行后一级的角点配准功能[5]㊂2.4㊀自适应阈值模块㊀㊀阈值的选择对图像候选角点的质量也有很大影响㊂寻找理想阈值需要在未检测到的真角和检测到的假角之间进行权衡比较,这个阈值因图像而异[7]㊂本文设计的自适应模块结构如图2所示,依据NMS 后角点数量值N,分3个区间对阈值进行调节,同时利用简单地左右移1个单位以实现P值的乘除法,其中P取2.2ˑ10-7㊂图2㊀自适应阈值模块实现结构2.5㊀遥感图像配准模块㊀㊀特征法是通过图像中的特征点来进行图像的配准操作㊂核心的步骤包括:首先从2张图片中抽取特征点或描述特征的子项㊂再对2张图片中的特征点或描述子项进行匹配,以确定它们之间的匹配关系㊂依据所识别的相应关联,进行图像变换矩阵的计算㊂最后,对其中一张图像执行变换操作,确保2张图像在空间维度上达到配准状态㊂至于后2步通常采用最小二乘法来进行问题的解决,这样就可以达到图像的精确配准㊂3㊀仿真验证与分析㊀㊀该部分采用FPGA和MATLAB对比的方式进行㊂其中,FPGA采用Intel(Altera)公司CycloneⅣE系列的EP4CE15F23C6型开发平台,开发环境为Quartus II18.0,使用Verilog HDL完成数据流的描述㊂遥感图像配准仿真对比结果如图3 5所示㊂图3㊀传统遥感图像配准的MATLAB仿真4㊀结语㊀㊀本文提出的基于FPGA的自适应阈值Harris特征提取和遥感图像配准架构,以NMS为载体,改进自适应阈值模块,在FPGA占用资源增加2.76%的情况下,适度提高了遥感图像角点检测速度和配准精度㊂图4㊀传统遥感图像配准的FPGA仿真图5㊀自适应遥感图像配准的FPGA 仿真参考文献[1]孙万春.基于视频的公共场所人数统计研究[D ].重庆:重庆理工大学,2018.[2]孙万春,张建勋,朱佳宝,等.S -Harris :一种改进的角点检测算法[J ].重庆理工大学学报(自然科学),2018(10):156-161.[3]潘聪,黄鲁.基于FPGA 的自适应阈值Harris 角点检测硬件实现[J ].微型机与应用,2016(19):44-46,49.[4]SIKKA P ,ASATI A R ,SHEKHAR C.Real timeFPGA implementation of a high speed and areaoptimized Harris corner detection algorithm [J ].Microprocessors and Microsystems ,2021(2):1-6.[5]王跃霖.基于FPGA 的动态目标检测与跟踪系统的研究[D ].兰州:兰州交通大学,2018.[6]闫小盼,敖磊,杨新.Harris 角点检测的FPGA 快速实现方法[J ].计算机应用研究,2017(12):3848-3851.[7]MAURYA S ,CHOUDHURY Z ,PURINI S.Accuracyconfigurable FPGA implementation of Harris corner detection [C ].2022IEEE Computer Society Annual Symposium on VLSI (ISVLSI ).Nicosia ,2022:422-427.(编辑㊀沈㊀强)FPGA implementation of adaptive threshold Harris algorithm for remotesensing image registrationWang Qiang Guo LaigongSchool of Electrical and Information Engineering Anhui University of Technology Huainan 232001 ChinaAbstract Aiming at the problem of corner distortion caused by the threshold selection of the response value R ofHarris corner detector an adaptive Harris corner detector based on FPGA is proposed to achieve remote sensing imageregistration.This method changes the threshold in real -time based on the response value after Non Maximum Suppression NMS processing.The experimental results show that the optimized architecture achieved an accuracyimprovement of 8.31%with only a 2.76%increase in hardware resources.Therefore the remote sensing imageregistration architecture proposed in this article is suitable for computing on platforms with limited hardware resources.Key words Harris corner detector FPGA Non Maximum Suppression NMS remote sensing image registration。
完整版Harris角点检测算法编程步骤及示例演示
Harris 角点检测算法编程步骤及示例演示也不说那么多废话了，要介绍啥背景意义之类的，角点检测，顾名思义，就是检测角点，最简单的就是两条线的交点了，还有比如下国际象棋的棋盘格子的交点之类的，反正就是检测这些点。
简单将Harris 角点检测算法的思想说下，就是拿一个小窗在图像中移动，通过考察这个小窗口内图像灰度的平均变换值来确定角点。
1)如果窗口内区域图像的灰度值恒定，那么所有不同方向的偏移几乎不发生变化；2)如果窗口跨越一条边，那么沿着这条边的偏移几乎不发生变化，但是与边垂直的偏移会发生很大的变化；3)如果窗口包含一个孤立的点或者角点，那么所有不同方向的偏移会发生很大的变化。
面给出具体数学推导：设图像窗口平移量为( u,v) ,产生的灰度变化为E(u,v),有E(u,v)二sum[w(x,y)[l(x+u,y+v)-l(x,y)F2棋中w(x,y)为窗口函数, l(x+u,y+v为平移后的灰度值，l(x,y)为平移前的灰度值。
有泰勒公式展开可得：l(x+u,y+v)=l(x,y)+lx*u+ly*v+0(uA2,v八2);lx,ly分别为偏微分，在图像中为图像的方向导数因此E(u,v)=sum[w(x,y) [lx*u+ly*v+O(u八2,v八2)]八2],可以近似得到E(u,v)=sum[w(x,y) [lx*u+ly*v]^2],即E(u,v)二[u,v][lx八2,lx*ly;lx*ly,ly八2][u,v]T令M=[lx八2,lx*ly;lx*ly,ly八2]，因此最后对角点的检测成了对矩阵M的特征值的分析了，令M 其特征值为x1,x2;当x1>>x2或者x2>>x1，则检测到的是边缘部分;当x1,x2都很小，图像窗口在所有移动的方向上移动灰度级都无明显变化.当X1,X2都很大时且相当，检测到的是角点。
编程时用x1,x2不方便，因此定义角点响应函数；R二det(M)-k(trace(M))八2;其中det(M)为矩阵M的行列式，trace(M)为矩阵M的迹。
harris角点检测算法步骤
harris角点检测算法步骤Harris角点检测算法步骤：一、引言Harris角点检测算法是计算机视觉中常用的角点检测算法之一。
它通过分析图像的局部灰度变化来寻找图像中的角点，被广泛应用于图像处理、物体识别、图像匹配等领域。
本文将介绍Harris角点检测算法的步骤及其原理。
二、灰度处理Harris角点检测算法首先需要将彩色图像转换为灰度图像，这是因为角点检测主要关注图像的灰度变化而非颜色信息。
通过将彩色图像的每个像素的RGB值加权平均，可以得到相应的灰度值。
三、计算梯度接下来，对灰度图像进行梯度计算。
梯度表示图像中的灰度变化，是图像中像素灰度值变化最快的方向。
通过对图像使用Sobel算子或其他梯度计算算法，可以计算出每个像素的梯度幅值和方向。
四、计算结构张量在Harris角点检测算法中，结构张量是一个重要的概念。
对于每个像素点，结构张量是一个2x2的矩阵，它描述了该像素点周围区域的灰度变化情况。
结构张量的计算公式包括对梯度幅值的平方、梯度幅值的乘积以及梯度方向的加权。
五、计算角点响应函数角点响应函数是Harris角点检测算法的核心。
它通过对结构张量进行特征值分解，得到每个像素点的角点响应值。
角点响应值的计算公式是通过特征值的乘积减去特征值的和，再乘以一个经验系数。
如果特征值的乘积较大，说明该像素点是角点。
六、非极大值抑制由于角点响应函数在角点处达到最大值，但在边缘和平坦区域也可能有较大值，为了提取出准确的角点，需要进行非极大值抑制。
在非极大值抑制过程中，对于每个像素点，比较其角点响应值与周围像素点的角点响应值，如果大于周围像素点的角点响应值，则保留，否则抑制。
七、阈值处理为了进一步提取出准确的角点，可以根据角点响应值设置一个阈值。
只有角点响应值大于阈值的像素点才被认为是角点。
阈值的选择是一个关键问题，需要根据具体应用场景和图像特点进行调整。
八、角点标记最后一步是将检测到的角点在原始图像上进行标记。
harris角点检测算法原理
harris角点检测算法原理Harris角点检测算法原理引言：角点检测是计算机视觉中一项重要的任务，它可以帮助计算机识别和跟踪图像中的角点特征。
Harris角点检测算法是一种经典的角点检测方法，它通过计算图像中像素点的角点响应函数来确定角点的位置。
一、角点的定义和特点角点是图像中突然变化的区域，其特点是在多个方向上都具有较大的灰度变化。
由于角点在图像中具有明显的特征，因此检测角点可以帮助计算机识别和跟踪物体。
二、角点响应函数Harris角点检测算法通过计算每个像素点的角点响应函数来确定是否为角点。
角点响应函数的计算公式如下：R = det(M) - k * trace^2(M)其中，M是一个2×2的矩阵，表示像素点附近的灰度变化情况。
det(M)表示矩阵M的行列式，trace(M)表示矩阵M的迹，k是一个常数。
三、角点响应函数的计算步骤1. 图像梯度计算：首先，对图像进行梯度计算，得到每个像素点的梯度幅值和梯度方向。
2. 构建自相关矩阵：对于每个像素点，根据其周围像素点的梯度幅值和梯度方向，构建一个2×2的自相关矩阵M。
3. 计算角点响应函数：根据自相关矩阵M的行列式和迹，计算角点响应函数R。
4. 阈值化和非极大值抑制：对于每个像素点，根据角点响应函数的值，进行阈值化操作，并对超过阈值的像素点进行非极大值抑制。
四、Harris角点检测算法的优缺点1. 优点：（1）计算简单：Harris角点检测算法的计算量相对较小，适合在实时应用中使用。
（2）稳定性好：Harris角点检测算法对图像的旋转、缩放和亮度变化具有较好的稳定性。
（3）可靠性高：Harris角点检测算法在各种场景下都能够较为准确地检测到角点。
2. 缺点：（1）对噪声敏感：Harris角点检测算法对噪声比较敏感，噪声会影响角点的检测结果。
（2）对尺度变化不敏感：Harris角点检测算法对于图像的尺度变化比较不敏感，可能会漏检或误检角点。
基于Harris角点检测的改进算法研究
基于Harris角点检测的改进算法研究徐振武;徐志京【摘要】经典的Harris算法在提取图像的角点上具有计算简单、适应性强等优势,但该方法由于人为设定单一阈值,容易出现伪角点、漏检点及运行速度不理想等现象.针对这一情况,文章在传统Harris算法基础上提出一种新的检测方法,采用多阈值的圆形非极大值抑制法提取角点,以此降低算法检测时间并增强图像旋转不变性,再借鉴SUSAN思想消去大部分伪角点.通过实验对比,该算法具有更好的角点检测性,为后期的图像配准奠定了良好的基础.【期刊名称】《微型机与应用》【年(卷),期】2016(035)013【总页数】4页(P15-18)【关键词】Harris角点检测;圆形区域;多阈值;SUSAN算法【作者】徐振武;徐志京【作者单位】上海海事大学信息工程学院,上海201306;上海海事大学信息工程学院,上海201306【正文语种】中文【中图分类】TP391引用格式：徐振武，徐志京. 基于Harris角点检测的改进算法研究[J].微型机与应用，2016,35(13)：15-18.随着近代计算机的迅速发展，人们为了获取更高像素更宽视角的图像以作科学研究，图像拼接逐渐成为了计算机各领域的研究热点[1-2]。
图像蕴含有丰富的信息特征，其中角点特征是图像拼接领域的主要技术指标，业界对角点没有统一定义，一般被认为是图像像素点亮度发生了剧烈改变或边缘曲线曲率极大值的点[3]，它能以极少的数据量来表现图像的整体信息，这有利于图像处理的速度与精度。
角点检测方法在图像拼接中的配准、融合、定位等方面起着重要作用，其提取的好坏决定图像拼接的质量结果。
适量恰当的正确角点在图像拼接过程中可增强图像的抗噪性和图像形变的适应能力，有利于图像的后续匹配,使得实时处理成为可能。
目前角点的检测方法大致分两种：基于图像边缘特征的角点检测, 该算法依赖于图像边缘特征[4]，提取边缘信息而求得角点，但算法定位精度差，对噪声敏感；基于图像灰度的角点检测，该方法依赖于像素点的曲率与梯度值信息。
harris角点检测算法 题目
harris角点检测算法题目Harris角点检测算法是一种用于检测图像中角点的算法。
角点是图像中具有明显方向变化的地方，通常对应于场景中的边缘或拐点。
Harris角点检测算法具有较好的抗噪声性能和稳健性，因此在计算机视觉和图像处理领域得到了广泛应用。
题目：Harris角点检测算法的实现与应用一、问题描述Harris角点检测算法是一种广泛应用于图像处理和计算机视觉领域的角点检测算法。
该算法通过分析图像局部区域的灰度变化来确定角点位置，具有较好的稳定性和准确性。
本题目要求实现Harris角点检测算法，并探讨其在图像处理和计算机视觉领域的应用。
二、实现步骤1. 导入必要的库和模块，包括NumPy、OpenCV等。
2. 读取待处理的图像，并将其转换为灰度图像。
3. 定义Harris角点检测函数，包括计算图像中每个像素点的Harris响应值和确定角点位置等步骤。
4. 对灰度图像中的每个像素点应用Harris角点检测函数，得到每个像素点的Harris响应值。
5. 根据Harris响应值的大小，确定角点位置，并将其标记在图像上。
6. 可选：对检测到的角点进行可视化展示，以便更好地理解角点位置和分布情况。
三、应用示例1. 特征匹配：利用Harris角点检测算法检测两幅图像中的相似区域，通过特征匹配实现图像拼接、目标跟踪等功能。
2. 运动估计：利用Harris角点检测算法提取视频序列中的关键帧，通过对关键帧中角点的运动轨迹分析，估计视频中物体的运动轨迹和方向。
3. 3D重建：结合Harris角点检测算法和立体视觉技术，从多视角图像中提取角点信息，通过立体匹配和三维重建技术，重建出场景的三维结构。
4. 目标识别：利用Harris角点检测算法提取图像中的角点特征，结合分类器对目标进行识别和分类，如人脸识别、手势识别等。
5. 增强现实：通过Harris角点检测算法确定图像中的特征点位置，将虚拟物体与实际场景中的特征点进行配准，实现增强现实的效果。
基于自适应非最大抑制的Harris角点检测算法
基于自适应非最大抑制的Harris角点检测算法作者：王瑞等来源：《价值工程》2015年第08期摘要：本文提出一种基于自适应非最大抑制策略的Harris角点检测算法；算法从角点响应函数的局部极大值入手，计算图像中每个像素点的局部极大值通过设置抑制半径与角点响应函数的局部最大值关联最终获取角点。
实验表明，该算法检测出的角点均匀分布，提高了检测角点的准确性，算法能够应用于图像特征匹配、运动估计等方面。
关键词： Harris；角点检测；自适应；非最大抑制0 引言地面场景下的目标检测问题一直是研究的难点和重点，由于目标所处的环境和人为方面的因素，导致采用一般的检测算法效果不够理想。
目标检测通过提取感兴趣的目标特征进行轮廓提取、特征匹配、目标跟踪等研究。
角点作为最重要的特征之一，既保留了图像的重要信息又减少了信息的数据量。
近年来，基于角点检测的算法被频繁引入到检测算法中[1-3]，其中Harris算法的检测效果较其他算法效果好，应用广泛。
Harris角点检测算法的基本思想是通过构建自相关矩阵得到图像上灰度信号具有明显变化的像素点，计算自相关矩阵的特征值即可得到角点[4]。
Harris角点检测算法必须给出阈值才能提取角点，一般方法的阈值选取对图像的属性依赖性大，同时计算复杂不容易满足实时性要求。
如何在Harris算法的框架下设计一种提取角点策略是实现检测的重要因素，本文设计了新的自适应非最大抑制算法提取理想的角点。
1 Harris算法原理角点是指二维图像边界曲率变化明显的点[4]，即图像灰度在多个方向急剧变化的点。
Harris角点检测算法是在Moravec算法基础上发展起来的，通过计算一个窗口内图像灰度的变化量将特征点和非特征点分离，算法采用微分算子和自相关矩阵作为角点检测算子：M（x，y）=■？棕（x，y）■（1）（1）式中，Ix和Iy分别为x，y方向的偏导数，反映了图像在每个像素点的灰度变化方向；？棕（x，y）为高斯窗函数，通过平滑后对噪声有一定的抑制作用。
Harris点特征提取算子以及改进算法-模板
Harris点特征提取算子以及改进算法算子的原理与实现Harris算子的原理Harris算子的思想是计算像素所在位置的梯度构成自相关矩阵M,由M阵的特征值的大小来检测角点,如果像素所在位置有两个方向梯度的绝对值都比较大,就判定此像素点为角点。
由于Harris 算子的公式只涉及图像的一阶导数,所以该算子计算较为简单、复杂度适中,是一种简单而又稳定的算法。
Harris算子的计算公式如下所示,式(1) 中, gx 为x 方向的梯度, gy 为y 方向的梯度, G( s ) 为高斯模板。
式(2) 中, det 为矩阵的行列式,tr 为矩阵的直迹, k为默认常数。
而在实际操作中可以将计算兴趣值的(2)式改为I = det( M)/ ( tr(M) +ε)。
其中ε为任意小的正数, 该角点响应函数与(2)式相比,避免了k 的选取,减少了k 选择的随机性。
博士论文,Harris算子。
Harris算子的实现Harris 算子主要有以下特点: ①算法简单:Harris算子中只需对原始图像进行灰度的一阶差分以及对梯度值进行高斯滤波,操作简单。
②提取的点特征均匀而且合理:Harris 算子对图像中的每个点都计算其兴趣值,然后在邻域中选择最优点。
在图像纹理信息丰富的域,Harris 算子可以提取出大量有用的特征点,而在图像中纹理信息少的区域,提取的特征点则较少。
博士论文,Harris算子。
③可以定量的提取特征点:Harris 算子最后一步是对所有的局部极值点进行排序,可以根据需要提取一定数量的最优点。
④Harris 角点检测在对角点度量执行非极大值抑制,确定局部极大值时,角点提取的效果完全依赖于单阈值的设定。
⑤Harris角点检测虽然采用了可调窗口的高斯平滑函数,但高斯窗口的大小实际应用中难以确定。
博士论文,Harris算子。
如果选用较小窗口的高斯平滑函数,则会因为噪声的干扰导致众多伪角点的出现;如果用较大窗口的高斯平滑函数,则会因为卷积的圆角效应使得角点的位置产生偏移。
基于FPGA的自适应阈值Harris角点检测硬件实现
基于FPGA的自适应阈值Harris角点检测硬件实现
潘聪;黄鲁
【期刊名称】《微型机与应用》
【年(卷),期】2016(35)19
【摘要】基于FPGA实现了一种自适应阈值Harris角点检测,用于解决低成本ARM处理器无法实时检测到目标角点的问题.该算法首先对整帧像素点进行预筛选,将筛选通过的点进行Harris角点检测,通过设置容忍距离剔除伪角点,得到最终角点并通过LCD屏实时显示.采用自适应阈值方法来解决单一阈值不适应于多样化环境的问题,使每帧(分辨率为480×272)都能检测到大约120个角点,在低成本FPGA
芯片Spartan6 XC6SLX45上验证实现.实验结果表明,该实现方法处理速度为115 f/s,能高效准确地检测到目标角点,满足精度、稳定性和实时性要求.
【总页数】4页(P44-46,49)
【作者】潘聪;黄鲁
【作者单位】中国科学技术大学信息科学技术学院,安徽合肥230026;中国科学技术大学信息科学技术学院,安徽合肥230026
【正文语种】中文
【中图分类】TN911.73
【相关文献】
1.一种自适应阈值的预筛选Harris角点检测方法 [J], 沈士喆;张小龙;衡伟
2.Harris角点检测的FPGA快速实现方法 [J], 闫小盼;敖磊;杨新
3.基于图像对比度区域的自适应Harris角点检测算法 [J], 唐雄;潘骏;王岳;孙亮;
4.基于图像对比度区域的自适应Harris角点检测算法 [J], 唐雄;潘骏;王岳;孙亮
5.基于模板边缘的自适应Harris角点检测算法 [J], 李冰;吕进来;郝晓丽
因版权原因，仅展示原文概要，查看原文内容请购买。
Harris角点检测算法优化
Harrｉｓ角点检测算法优化一、综述用 Harｒis 算法进行检测，有三点不足:（１)该算法不具有尺度不变性; (２ )该算法提取的角点是像素级的；（3 )该算法检测时间不是很令人满意。
基于以上认识，我主要针对第(3 ）点对Harris 角点检测算法提出了改进。
二、改进 Harriｓ算法原理在介绍我的方法之前，我先提出如下概念：图像区域像素的相似度。
我们知道, Harris 角点检测是基于图像像素灰度值变化梯度的，灰度值图像的角点附近，是其像素灰度值变化非常大的区域,其梯度也非常大。
换句话说,在非角点位置邻域里，各点的像素值变化不大，甚至几乎相等，其梯度相对也比较小。
从这个角度着眼,我提出了图像区域像素的相似度的概念，它是指检测窗口中心点灰度值与其周围ｎ邻域内其他像素点灰度值的相似程度，这种相似程度是用其灰度值之差来描述的。
如果邻域内点的灰度值与中心点Image （ｉ,ｊ) 的灰度值之差的绝对值在一个阈值t 范围内，那我就认为这个点与中心点是相似的。
与此同时,属于该Iｍａge (ｉ,ｊ）点的相似点计数器ｎlｉkｅ(i, j) 也随之加一。
在Ｉmａgｅ (ｉ,ｊ) 点的ｎ邻域全部被遍历一边之后，就能得到在这个邻域范围内与中心点相似的点个数的统计值ｎliｋe（ｉ，j)。
根据nlikｅ（i，j) 的大小,就可以判断这个中心点是否可能为角点。
由于我选择3*3 的检测窗口，所以, 对于中心像素点 , 在下面的讨论中只考虑其8 邻域内像素点的相似度。
计算该范围的像素点与中心像素点的灰度值之差的绝对值 ( 记为Δ) , 如果该值小于等于设定的阈值( 记为t） , 则认为该像素点与目标像素点相似。
nlikｅ(i,j)=suｍ（Ｒ(i＋x, j+y))ﻫ（－１≤ｘ≤ 1 , - 1 ≤y ≤ 1 , 且x ≠０ , y ≠0) ，其中 :１ , Δ( i ＋ x , j + y)≤ tＲ(i+x, j+y)＝0 , Δ（ i ＋ x , j + y) ＞ t从定义中可以看出 : 0 ≤ nｌｉke ( i ，ｊ ) ≤8 。
基于自适应非最大抑制的Harris角点检测算法
一种自适应阈值的预筛选Harris角点检测方法(修改稿)
An improved Harris corner detection algorithm based on auto-adaptive threshold and pre-selection
Shen Shizhe1, Zhang Xiaolong1, Heng Wei1,2 (1. School of Information Science and Engineering, Southeast University, Nanjing, 210096, China;2. National
实验，不断调整设定的 p 值，比较结果，发现 p 取
经验值 0.005-0.015 时，基本所有角点都可以被检验
出来，而且产生的错误角点和漏检角点都较少。因
为我们选取的图像上百幅，并且包括建筑图，静物
图，山水图，人物图和街景图，所以我们认为这样
其中
, ,
,
,
、
,
,,
（1）
是一阶灰度梯度，反映图
像在每个像素点的灰度变化方向； ,
角点响应函数最大值的一定比例，通过对比可以发
为高斯窗口，对图像窗口进行了高斯
现采用了自适应阈值的 Harris 角点检测方法可以比 原始的 Harris 得到更多的正确角点，同时抑制了伪 角点的数目。接着，本文又采用了预筛选的概念，
经验值 0.04。
④ 提取角点
对每个像素点利用一个以它为中心的 3*3 窗口
进行判断，如果在中心像素点的角点响应函数值是
这个窗口中的极大值，并且该极大值大于某个设定
好的阈值时，我们就提取该中心像素点为角点。
1.3 Harris 角点检测算法的局限 Harris 角点检测算法是一种经典的角点检测
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
doi:10.3969/j.issn.1001-893x.2018.09.015引用格式:李浩,秦姣华,向旭宇,等.结合自适应阈值与Forstner的Harris角点匹配优化算法[J].电讯技术,2018,58(9):1079-1085.[LI HAO, QIN Jiaohua,XIANG Xuyu,et al.A Harris corner matching optimization algorithm combing adaptive threshold and Forstner[J].Telecommuni⁃cation Engineering,2018,58(9):1079-1085.]结合自适应阈值与Forstner的Harris角点匹配优化算法*李 浩,秦姣华**,向旭宇,王 静,马文涛(中南林业科技大学计算机与信息工程学院,长沙410004)摘 要:针对传统Harris角点检测效率低㊁非极大值引起的伪角点多等问题,提出了一种自适应阈值和归一化互相关(NCC)与随机抽样一致算法(RANSAC)相结合的Harris图像匹配算法㊂首先,采用自适应方式抑制非极大值的方法对角点进行预筛选;其次,采用Forstner算子对角点进行二次筛选;接着采用归一化互相关匹配算法对检测的Harris角点进行粗匹配;最后采用随机抽样一致算法对图像进行精确匹配㊂实验结果证明改进的方法不仅缩短了角点检测和图像匹配时间,而且能有效提高图像的匹配精度㊂关键词:图像匹配;Harris角点检测;自适应阈值;预选角点开放科学(资源服务)标识码(OSID):微信扫描二维码听独家语音介绍与作者在线交流中图分类号:TN919.81 文献标志码:A 文章编号:1001-893X(2018)09-1079-07A Harris Corner Matching Optimization AlgorithmCombing Adaptive Threshold and ForstnerLI HAO,QIN Jiaohua,XIANG Xuyu,WANG Jing,MA Wentao(College of Computer Science and Information Technology,Central South Universityof Forestry and Technology,Changsha410004,China)Abstract:Aiming at the inefficiency of traditional Harris corner detection and the problem of false corners caused by non-maximum values,a Harris image matching method combing adaptive threshold and Normal⁃ized Cross Correlation(NCC)and Random Sample Consensus(RANSAC)algorithm is proposed.Firstly,the method of non-maximum suppressing in adaptive mode is used to pre-filter the corner points.Secondly,the Forstner algorithm is used to further refine the corner points so as to improve the corner accuracy.Then,the NCC is used to coarse match the detected Harris corners.Finally,the RANSAC is used to precisely match the image.The experimental results show that the improved method not only shortens the corner detection and im⁃age matching time,but also can improve the matching accuracy of the image effectively.Key words:image matching;Harris corner detection;adaptive threshold;pre-filter corner points1 引 言图像配准就是将不同时间㊁不同传感器(成像设备)或不同条件下(天候㊁照度㊁摄像位置和角度等)获取的两幅或多幅图像进行匹配㊁叠加的过程,㊃9701㊃第58卷第9期2018年9月电讯技术Telecommunication Engineering Vol.58,No.9 September,2018* **收稿日期:2017-12-16;修回日期:2018-03-16 Received date:2017-12-16;Revised date:2018-03-16基金项目:国家自然科学基金资助项目(61772561);湖南省重点研发计划资助项目(2018NK2012);中南林业科技大学研究生科技创新基金资助项目(20183027)通信作者:qinjiaohua@ Corresponding author:qinjiaohua@它已经被广泛地应用于遥感数据分析㊁计算机视觉㊁图像处理等领域[1]㊂图像配准可以分为两类:基于块匹配的方法和基于特征匹配的方法㊂文献[2]提出基于块匹配的匹配方法,利用整幅图像信息[3],获得了较高的匹配精度,但基于块匹配存在计算量较大㊁耗时等问题㊂文献[4-5]提出基于局部特征的配准方法,与文献[6]提出基于全局特征的配准方法相比,具有匹配时间短㊁对图像灰度的变化具有鲁棒性等优点㊂常用的图像特征提取算法有很多,其中Harris[7]特征提取方法由于其计算简单㊁易于实现和抗干扰力强等特点得到了广泛的应用㊂目前,有很多学者对Harris特征点的匹配方法进行了大量研究㊂文献[8]提出了基于透视不变二值特征描述子的图像匹配算法,采用Harris角点响应值去除非极大值点和边缘响应点㊂文献[9]建立了一个基于立体图像匹配的模型,并结合Harris算法,实现对立体图像的匹配㊂文献[10]提出了对一般几何变换具有鲁棒性的区域复制检测方法,用特征向量表示每个Harris点周围的小圆周图像区域,使用BBF算法匹配小圆圈图像区域,选出重复区域㊂文献[11]提出了基于Harris角点检测的滤波方法,解决复杂背景下文本图像不能清晰直观地读取的问题㊂文献[12]对灰度变换下图像Harris角点特征点匹配算法性能进行了分析,提取Harris角点对SAD㊁SSD㊁NCC3种匹配算法的灰度变换下的性能进行比较㊂文献[13]建立了基于三维城市模型,通过提取虚拟图像与摄像机获取的真实图像的Harris特征点进行图像匹配㊂以上基于Harris算法的应用只是考虑该算法有较强的鲁棒性和稳定性,并没有考虑算法的适应性以及特征点的提取效率㊂文献[14]提出了基于改进Harris角点检测的手指静脉图像算法,该算法优化了梯度算子,具有很强的抗噪声能力,能够更有效地提取角点,但是该算法缺少对特征点的处理,存在较多的伪角点,不利于图像的匹配㊂文献[15]提出了基于迭代阈值的自适应Harris角点检测算法,该算法通过迭代实现自适应阈值选择,但是该算法缺少对候选点的预处理,容易产生较多伪角点,匹配精度低㊂文献[16]提出了一种新的自适应改进算法,引入自适应阈值增加算法的适应性,但是缺少对特征点的预处理,匹配角点存在太多伪角点㊂文献[17]提出了基于改进的Harris角点响应的聚焦叠加技术,改善了Harris角点响应,但是仍然存在人工选取阈值造成阈值大小难以估计的问题㊂针对以上问题,本文提出基于改进的Harris特征点的匹配算法,首先采用基于自适应阈值的方法对角点预筛选,然后采用Forsnter[18]算子确定最佳的特征点,最后结合匹配算法完成图像配准㊂2 Harris角点检测原理Harris角点检测算法是在Moravec算法基础上发展起来的,是由Harris和Stephens提出的㊂Harris 通过运用微分运算和自相关矩阵改进了Moravec角点检测算法㊂对于一幅图像I(x,y),以某像素点(x,y)为中心的小窗口在x方向上移动u㊁y方向上移动v,Harris给出的灰度强度变化如公式(1)所示: E(x,y)=∑w(x,y)[f(x+u,y+v)-f(x,y)]2㊂(1)式中:f(x,y)表示在(x,y)点的灰度值,f表示灰度函数;w(x,y)为高斯滤波器,w(x,y)=exp x2+y22δæèçöø÷2㊂(2)按照二阶泰勒级数展开灰度变化如公式(3):E(x,y)=[]u v Muéëêêùûúúv㊂(3)二维矩阵M表示如公式(4):M=w(x,y)⊗I2x I x I yI x I y I2éëêêùûúúy,(4)I x=f⊗[-1,0,1],(5)I y=f⊗[-1,0,1]㊂(6)式中:I x表示x方向的梯度,I y表示y方向的梯度,⊗表示卷积㊂M特征值的大小与特征点的性质相关㊂当两个特征值λ1㊁λ2均相对较大时,此点即为需要提取的角点㊂角点的响应函数如公式(7):CRF=det(M)-Φ×(trace(M))2㊂(7)式中:det(M)=λ1λ2;trace(M)为矩阵M的迹,即trace(M)=λ1+λ2;Φ是经验参数,本文取0.06㊂当CRF取局部极大值且CRF大于设定的阈值时就是角点㊂Harris算法虽然具有较强的鲁棒性和稳定性,但需要手动设置阈值,因此本文提出基于自适应阈值的Harris特征点选择算法,并对候选特征点进行优化㊂3 基于自适应阈值Harris特征点选择算法针对Harris算子存在的运算速度慢㊁人工选取㊃0801㊃电讯技术 2018年阈值造成阈值大小难以估计的缺点,本文提出了一种改进的Harris 角点选择算法㊂首先,采用8邻域相似像素分析法确定候选集C 1,然后计算每个候选角点的响应函数CRF,根据最大角点响应函数对候选点进行筛选,确定提取的预筛选特征点总数c 1,最后结合Frostner 算法确定最佳候选点总数c 2㊂3.1 基于自适应阈值的候选点的筛选本文采用8邻域相似像素分析法确定候选点㊂对于目标像素点(x ,y ),计算与8邻域范围内像素点灰度差的绝对值Δ,通过与设定的阈值t 相比较来确定是否相似,统计目标像素点与周围8个点的相似个数N (x ,y ),如公式(8)所示:N (x ,y )=∑i ,jχ(x +i ,y +j ),-1≤i ≤1,-1≤j ≤1,且i ≠0,j ≠0{㊂(8)式中:χ(x +i ,y +j )=1,Δ(x +i ,y +j )≤t0,{其他㊂由公式(8)知,当2≤N (x ,y )≤6时,将该点视为候选点,用C 1表示候选点集合㊂对图像提取角点时,固定阈值可能会得到好的实验结果,但是应用到其他图像时,缺乏适应性,带来阈值不确定等问题,因此本文采用自适应阈值来解决这个问题㊂自适应阈值不但可以增加算法的适应性,而且可以优化阈值固定的问题㊂首先,求取每个候选点的角点响应函数值CRF,然后找出最大的CRF 值,最后定义阈值T 为最大CRF 值的ρ倍,如公式(9)所示:T =ρ×CRF max ㊂(9)基于自适应阈值的候选点具体算法如下:输入:图像I (x ,y ),图像尺寸p ×q ,ρ,t ㊂输出:特征点集C 2={(x i ,y i )}c 1i =1,x <p ,y <q ㊂Step 1 初始化C 1←∅,C 2←∅,c 1=0Step 2 根据公式(5)㊁(6)计算I x ㊁I y Step 3 for x =1, ,p -8do Step 4 for y =1, ,q -8do Step 5 根据公式(8)计算N (x ,y )Step 6 if 2≤N (x ,y )≤6then C 1=C 1∪(x ,y )Step 7 end ifStep 8 end forStep 9 end forStep 10 for x =1, ,p -8do Step 11 for y =1, ,q -8do Step 12 if (x ,y )∈C 1Step 13 根据公式(2)㊁(4)㊁(7)计算CRF,根据公式(9)计算TStep 14 if CRF (x ,y )>T then C 2=C 2∪(x ,y ),c 1=c 1+1Step 15 end if Step 16 end ifStep 17 end for Step 18 end forStep 19 输出特征点集:C 2={(x i ,y i )}c 1i =1我们在实验中选取不同的场景的多幅图像进行实验,并调整设定的ρ值进行实验比较,发现ρ取经验值[0.005,0.015]时,基本上所有角点都可以被检验出来,而且产生的伪角点较少㊂本文取ρ为0.01㊂3.2 基于Forstner 算法的特征点筛选Forstner 算子是从影像中提取点特征的一种较为有效的算子㊂本文将Harris 算法与Forstner 结合在一起,通过将Harris 特征点作为候选点中心,进一步对角点筛选,减少伪角点㊂首先以预筛选特征集C 2任意一点(x i ,y i )为中心建立3×3窗口,对该窗口内的每个点计算协方差矩阵cov ,如公式(10):cov =∑I′2x∑I′x I′y ∑I′x I′y ∑I′2éëêêùûúúy ㊂(10)式中:I′x ㊁I′y 是Robert 梯度算子,I′x =f (x +1,y +1)-f (x ,y ),I′y =f (x +1,y )-f (x ,y +1),f 是灰度函数,f (x +1,y +1)表示该点的灰度值㊂接着计算特征点的权值ω和圆度R :ω=det(cov )trace(cov ),(11)R =4det(cov )(trace(cov ))2㊂(12)式中:det (cov )是协方差矩阵cov 的行列式,trace(cov )是协方差矩阵cov 的迹㊂然后ω㊁R 与给定阈值T ω㊁T R 比较,确定备选点特征集C 3㊂最后在一定窗口内,依据权值ω确定最佳候选点个数c 2㊂改进Harris 与Forstner 结合算法流程如下:输入:特征点集合C 2,图像I (x ,y ),图像尺寸p ×q ,T ω,T R ㊂输出:筛选后的特征点集G ={(x i ,y i )}c 2i =1㊂Step 1 初始化C 3←∅,G ←∅,c 2=0Step 2 计算I′x ㊁I′y ,结合公式(10)计算协方差矩阵covStep 3 for x =1:p -1do㊃1801㊃第58卷李浩,秦姣华,向旭宇,等:结合自适应阈值与Forstner 的Harris 角点匹配优化算法第9期Step 4 for y =1:q -1doStep 5 结合式(11)㊁(12)计算特征点的权值权值ω和圆度RStep 6 if T ω<ω&&T R <R then C 3=C 3∪(x ,y )Step 7 end if Step 8 end for Step 9 end forStep 10 for i =1:p -1do Step 11 for j =1:q -1do Step 12 for x =1:5Step 13 for y =1:5Step 14 if (x ,y )∈C 3且ω(x ,y )=max {ω(x ,y )}then G =G ∪(x ,y ),c 2=c 2+1Step 15 end ifStep 16 end for Step 17 end for Step 18 end for Step 19 end forStep 20 输特征点集:G ={(x i ,y i )}c 2i =1改进的Harris 算法通过结合Forstner 算法选取最佳特征点,不仅减少了伪角点,而且有利于图像配准㊂4 基于NCC 与RANSAC 的图像配准算法由于NCC 算法存在匹配结果不够准确的问题,因此本文结合NCC 与RANSAC 算法对特征点匹配,提高匹配准确性,完成图像配准㊂4.1 基于NCC 算法的特征点粗匹配NCC 算法有较高的适应性,且不受灰度值线性变换的影响,本文先用NCC 算法对特征点进行粗匹配㊂首先,本文采用改进Harris 与Forstner 结合算法提取两幅待匹配图像I 1和I 2的特征点集G 与G′,以图像I 1特征集合G 任意一点(x i ,y i )为基础点,选取相关窗口W 1,对待匹配图像I 2中的角点进行互相关计算,如公式(13),直到I 1中所有角点在图像I 2中都有对应的匹配点㊂ncc =∑i[f 1(x i ,y i )-e 1][f 2(x i ,y i )-e 2]∑i[f 1(x i ,y i )-e 2]2∑i[f 2(x i ,y i )-e 1]2㊂(13)式中:W 1㊁W 2为相同大小窗口,I 1㊁I 2为两幅图像,f 1(x i ,y i )㊁f 2(x i ,y i )是G 任意一点(x i ,y i )㊁G′任意一点(x i ,y i )的灰度值,e 1㊁e 2是两幅图像窗口内像素灰度的均值㊂接着对I 2采用同样操作,即在I 2中取G '任意一点(x i ,y i )为基础点,选取相关窗口大小W 2,对图像I 1寻找匹配点,最后通过将自相关值与默认阈值比较,确定最终匹配点特征点总数α,匹配点坐标集F ㊂默认阈值本文取0.9㊂由于NCC 算法是基于特征点邻域像素的灰度值的相似特性来对图像进行匹配处理,通过对图像灰度值进行逻辑运算,并以此反映两幅待匹配图像的相似程度㊂经过NCC 算法得到的特征点对有可能产生误匹配点对,匹配结果不够准确,因此本文采用RANSAC 算法对特征点进一步提纯,提高匹配率㊂4.2 基于RANSAC 算法的特征点精确匹配RANSAC 算法是一种鲁棒的变换估计算法,本文结合RANSAC 算法对特征点精确匹配,从而得到稳健的估计矩阵H ㊂待配准的两幅图像之间的关系可以用公式(14)表示:x 2y 2éëêêêêùûúúúú1=h 0h 1h 2h 3h 4h 5h 6h 7éëêêêêùûúúúú1x 1y 1éëêêêêùûúúúú1,(14)H =h 0h 1h 2h 3h 4h 5h 6h 7éëêêêêùûúúúú1㊂(15)式中:(x 2,y 2)㊁(x 1,y 1)分别为参考图像和待变换图像对应特征点的齐次坐标,(h 0,h 1, ,h 7)为投影变换参数㊂公式(15)中有8个参数至少需要4对特征点对建立方程组解求变换矩阵H ㊂RANSAC 算法基本步骤:首先随机从数据集F 中抽出4个样本数据(此4个样本之间不能共线),求出矩阵H ,构建模型θ,接着根据矩阵H 计算剩下α-4特征点的对应坐标㊂其次计算数据集中所有数据与模型θ的投影误差记为集合error ,如公式(16):error = (x -x′)2+(y -y′)2㊂(16)式中:(x ,y )是模型θ的点,(x′,y′)是(x ,y )经过矩阵H 计算的点㊂若误差小于设定阈值t′,加入内点集F final ,并在内点区域重新计算矩阵H ,然后判断当前内点集β元素个数是否大于最优内点集个数β_best,如果是,则更新β_best =β,同时更新迭代次数z ,最后判断迭代次数z 是否大于最大迭代次数Z ,是则退出;否则迭代次数加1,并重复上述步骤,根据最后内点集F final 计算最终的变换矩阵H ㊂㊃2801㊃ 电讯技术 2018年4.3 基于NCC与RANSAC的图像配准算法基于NCC与RANSAC的图像配准算法描述如下:首先采用NCC算法匹配,得到特征点集F,然后以F作为RANSAC算法匹配的数据集进行图像匹配㊂通过结合RANSAC算法,有效去除误匹配点,提高了匹配效率㊂具体算法流程如下:输入:特征集G㊁G′,c2㊁c′2是两幅带匹配图像最佳特征点数,阈值t′,Z㊂输出:匹配特征点集合F final㊂Step1 初始化z=1,H=0,F1←∅,F2←∅,F final←∅,β=0,β_best=0Step2 for x=1, ,c2doStep3 for y=1, ,c′2doStep4 根据公式(13)计算自相关值,记为[ncc x]Step5 end forStep6 if nccx>0.9 then F1=F1∪(x,y) Step7 end ifStep8 end forStep9 以I2中的点为基础点重复Step2~8,匹配点集合F2Step10 F=F1∩F2,α=F㊂Step11 while z<Z doStep12 for i=1:αdoStep13 根据公式(16)计算erroriStep14 if(xi,y i)∈F&&error i<t′then F final=F final∪(x i,y i)根据公式(14)㊁(15)计算矩阵H,β=β+1Step15 end ifStep16 end forStep17 ifβ>β_best thenβ_best=β重新计算矩阵HStep18 end ifStep19 z++Step20 end whileStep21 特征点数β,计算最终的矩阵H Step22 输出匹配特征点集合F final㊂5 实验结果与分析实验所使用设备为Dell的14R-5421笔记本电脑,操作系统Windows10系统,CPU为Intel(R) Core(TM)i5-3337U@1.80GHz,8GB内存,Matlab R2014a㊂本次实验的图像的来源是Vision Research Lab用于图像配准的图像库㊂图1中(a)㊁(b)㊁(c)㊁(d)为实景的左视角和右视角图㊂图1 测试图片Fig.1Test picture本文首先提取Harris角点,然后进行图像配准㊂分别采用本文算法㊁Harris算法[2]㊁Cui算法[9]对图1中的两组图片进行特征点检测,3种方法的时间统计和特征点分布见表1和图2㊂从表1和图2(b)㊁(c)㊁(d)中可以看出本文提出的算法与另外两种算法相比,虽然特征点少了,但是特征点分布均匀节省了后续匹配时间的消耗㊂本文算法的特征点提取时间与Harris算法㊁Cui算法相比更具有优势,从两组图片检测时间显示本文算法与Harris算法至少减少了50%,与Cui算法相比较也有所提高㊂表1 3种算法的特征点检测时间Tab.1Feature point detection time of three algorithms算法特征点数Fig.1(a)Fig.1(b)Fig.1(c)Fig.1(d)检测时间/sFig.1(a)Fig.1(b)Fig.1(c)Fig.1(d) Harris算法1719108169112286.545.993.574.70 Cui算法3358224442511514.203.252.583.10本文算法1475936243793 3.302.83 1.60 2.60图2 特征点分布Fig.2Distribution of feature points表2是用本文算法㊁Harris算法㊁Cui算法对图1进行NCC匹配和RANSAC匹配的结果,可以看出,㊃3801㊃第58卷李浩,秦姣华,向旭宇,等:结合自适应阈值与Forstner的Harris角点匹配优化算法第9期虽然Harris 算法和Cui 算法在粗匹配的结果明显比本文算法多,但从RANSAC 提纯后的结果分析,这个两个算法存在太多错误的匹配对,而本文算法提取的特征点更精确㊂从以上分析可以得出,本文算法不但在匹配时间比Harris 算法㊁Cui 算法缩短很多,而且匹配精度与另外两个算法相比也得到了有效提高㊂图3是本文算法对其中一组图像的匹配结果㊂表2 3种算法的匹配正确率和时间Tab.2The matching accuracy and time of three algorithms 算法图像特征点NCC匹配NCC-RANSAC 匹配匹配正确率/%总时间/s本文算法Fig.1(a)1475Fig.1(b)93631521467.906.49Harris 算法Fig.1(a)1719Fig.1(b)108153822141.112.91Cui 算法Fig.1(a)3358Fig.1(b)2244118444537.587.89本文算法Fig.1(c)243Fig.1(d)7931398964.024.41Harris 算法Fig.1(c)691Fig.1(d)122827910738.358.48Cui 算法Fig.1(c)425Fig.1(d)11511435538.466.17图3 图像匹配结果及配准结果Fig.3Result of feature matching and registration6摇结束语本文介绍和分析了Harris 角点检测的原理以及存在的缺点,提出了一种基于自适应阈值Harris 特征点选择的算法㊂首先从自适应阈值和特征点预筛选两方面优化Harris 算法,接着为了进一步减少伪角点,为图像匹配做准备,并用Forstner 算子确定最佳特征点;最后考虑到NCC 匹配算法的缺点,结合NCC 与RANSAC 完成图像配准㊂实验结果表明,本文提出的优化算法在完成图像配准的同时,不但缩短了配准时间,而且对匹配率也有显著提高㊂本文将NCC 与RANSAC 算法结合,虽然对匹配效率有显著提高,但是仍然存在错误匹配点对,下一步将在匹配算法上加以优化改进㊂参考文献:[1] XIA X,DANG G,YAO Y,et al.Image registration modeland algorithm for multi-focus images[J].Pattern Recog⁃nition Letters,2017,86(1):26-30.[2] LI J,LI X L,YANG B,et al.Segmentation-based imagecopy-move forgery detection scheme[J].IEEE Transac⁃tions on Information Forensics and Security,2015,10(3):507-518.[3] PAN Z Q,ZHANG Y,KWONG S.Efficient motion anddisparity estimation optimization for low complexity multi⁃view video coding[J].IEEE Transactions on Broadcast⁃ing,2015,61(2):166-167.[4] ZHOU Z L,WANG Y L,WU Q M J,et al.Effective andefficient global context verification for image copy detec⁃tion[J].IEEE Transactions on Information Forensics and Security,2017,12(1):48-63.[5] ZHOU Z L,WU Q M J,HUANG F,et al.Fast and accu⁃rate near -duplicate image elimination for visual sensor networks[J].International Journal of Distributed Sensor Networks,2017,13(2):1329-1550.[6] ZHOU Z L,YANG C N,CHEN B J,et al.Effective andefficient image copy detection with resistance to arbitrary rotation[J].IEICE Transactions on Information and Sys⁃tems,2016,E99-D(6):1531-1540.[7] HARRIS C,STEPHENS M J.A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Con⁃ference.Alvey,UK:IEEE,1988:147-151.[8] 耿利川,苏松志,李绍滋.基于透视不变二值特征描述子的图像匹配算法[J].通信学报,2015,36(4):105-114.GENG Lichuan,SU Songzhi,LI Shaozi.Perspective invari⁃ant binary feature descriptor based image matching algo⁃rithm[J].Journal on Communications,2015,36(4):105-114.(in Chinese)[9] CHANGAN K S,CHILVERI P G.Stereo image featurematching using Harris corner detection algorithm [C]//Proceedings of 2016International Conference on Automat⁃ic Control and Dynamic Optimization Techniques.Pune,India:IEEE,2016:691-694.[10] CHEN L,LU W,NI J,et al.Region duplication detectionbased on Harris corner points and step sector statistics [J].Journal of Visual Communication &Image Repre⁃sentation,2013,24(3):244-254.[11] ZENG F,ZHANG G,JIANG J.Text image with complex㊃4801㊃ 电讯技术 2018年background filtering method based on Harris corner-point detection[J].Journal of Software,2013,8(8):1825-1834.[12] 卢达龙,翁秀玲,吴炜,等.灰度变换下图像Harris角点特征点匹配算法性能分析[J].软件,2016,37(11):19-22.LU Dalong,WENG Xiuling,WU Wei,et al.Performanceevaluation of image feature point matching based on Har⁃ris corner[J].Computer Engineering&Software,2016,37(11):19-22.(in Chinese)[13] DAWOOD M,CAPPELLE C,NAJJAR M E E,et al.Har⁃ris,SIFT and SURF features comparison for vehicle lo⁃calization based on virtual3D model and camera[C]//Proceedings of2013International Conference on ImageProcessing Theory,TOOLS and Applications.Istanbul,Turkey:IEEE,2013:307-312.[14] CUI J,XIE J,LIU T,et al.Corners detection on fingervein images using the improved Harris algorithm[J].In⁃ternational Journal for Light and Electron Optics,2014,125(17):4668-4671.[15] WANG Z,LI R,SHAO Z,et al.Adaptive Harris cornerdetection algorithm based on iterative threshold[J/OL].Modern Physics Letters B,2017,31(15):1750181.[2017-10-25].https:///10.1142/S0217984917501810.[16] SUN L,WANG S,XING J,et al.Self-adaption Harris cor⁃ner detection algorithm based on image contrast area[C]//Proceedings of201527th Chinese Control and De⁃cision Conference.Qingdao:IEEE,2015:2287-2290.[17] SIGDEL M S,SIGDEL M,DINC S,et al.FocusALL:fo⁃cal stacking of microscopic images using modified Harriscorner response measure[J].IEEE/ACM Transactionson Computational Biology&Bioinformatics,2016,13(2):326-340.[18] FÖRSTNER W,GÜLCH E.A fast operator for detectionand precise location of distinct points,corners and circu⁃lar features[C]//Proceedings of1987ISPRS Intercom⁃mission Workshop.Interlaken,Switzerland:ISPRS,1987:281-305.作者简介:李 浩(1992 ),男,河南商丘人,硕士研究生,主要研究方向为图像处理㊁模式识别;秦姣华(1973 ),女,湖南沅江人,博士,教授㊁硕士生导师,主要研究方向为网络信息安全㊁图像处理㊁模式识别; Email:qinjiaohua@向旭宇(1972 ),男,湖南南县人,博士,教授,主要研究方向为模式识别㊁人工智能;王 静(1992 ),女,山西阳泉人,硕士研究生,主要研究方向为图像处理㊁模式识别;马文涛(1994 ),男,安徽临泉人,硕士研究生,主要研究方向为图像处理㊁模式识别㊂㊃5801㊃第58卷李浩,秦姣华,向旭宇,等:结合自适应阈值与Forstner的Harris角点匹配优化算法第9期。