基于双目立体视觉的汽车安全车距测量方法
基于双目立体视觉的前方车距测量
大
庆
石
油
学
院
学
报
第3 O卷
Vo . 3 1 O
第1 期
No 1 . . 06
J OURNAL OF DAQI ET NG P ROI EUM N TI I S TUTE
雷达测距、 激光测距相比, 目立体视觉测距方法具有简单可靠 、 双 检测信息量大和测量精度高等优点.
1 数 学模 型
空 间任 意一点 P 在 2个摄像 机 O 和 O 上 的图像点 为 P 1 2 和 P , 图 1 。见 .假设 2个摄像 机 已经标 定 ,
则 它们 的投 影矩 阵 M M 已知 , : 和 即
素 , 一1 2 i , , ,—l 2 3 4 七 , ,一1 2 3 J , , , .
2 前 方 车辆 探 测
前方 车辆探 测 是车距 测 量 的前 提 .假设 道路 是直 线 , 路 面上除行 驶 的车 辆外 无其 他 障碍 物. 且
2 1 感 兴趣 区 ( O ) . A I 的确 定
,
P
, , \ 、 、
、
l一 ]M
1
j
j - - 1 4 4 f z i 。确 J
r l
一
。 ]
2
} 2
]
l= IIM 2 J
l
l ; ; ; ;1 l 2 i j 3 4 j l
,() 2
图 1 双摄像机 观察 空间点
式 中 : z 分 别为 点 P在 2个摄 像机 坐标 系 中的 z坐标 ; “ , , ) ( 。 , ) P z , (。 1 与 “ , 1 为 和 P 。 z在各 自图像 中的齐次 坐标 ;X Y , , ) ( 1 为点 P在世 界坐 标 系下 的齐次 坐标 ; 为 投影 矩 阵 M 的第 i 行第 J列 的元
一种基于双目视觉的安全车距测量方法
【 A b s t r a c t 】I n o r d e r t o s t r e n g t h e n t h e c o n s t r u c t i o n o f i n t e l l i g e n t t r a n s p o r t a t i o n s y s t e m, v e h i c l e v i d e o i s p u t f o r w a r d t o a u x i l i a r y d r i v i n g s y s t e m a p p l i c a t i o n .
《2024年基于双目立体视觉的测距算法研究》范文
《基于双目立体视觉的测距算法研究》篇一一、引言随着计算机视觉技术的快速发展,双目立体视觉在机器人导航、自动驾驶、三维重建等领域得到了广泛应用。
其中,测距技术作为双目立体视觉的核心技术之一,其准确性和实时性直接影响到整个系统的性能。
本文旨在研究基于双目立体视觉的测距算法,以提高测距的准确性和稳定性。
二、双目立体视觉基本原理双目立体视觉通过模拟人眼立体视觉的原理,利用两个相机从不同角度获取同一场景的图像,然后通过图像处理技术恢复出场景的三维信息。
其基本原理包括摄像机标定、图像获取、特征提取、立体匹配和三维重建等步骤。
三、测距算法研究现状目前,基于双目立体视觉的测距算法主要包括基于特征匹配的测距算法和基于深度学习的测距算法。
其中,基于特征匹配的测距算法通过提取图像中的特征点,然后利用立体匹配技术计算特征点在两个相机中的视差,从而得到物体的距离信息。
而基于深度学习的测距算法则通过训练深度学习模型,从图像中直接学习出距离信息。
四、本文提出的测距算法本文提出了一种基于特征匹配和深度学习的混合测距算法。
该算法首先通过摄像机标定获取相机的内外参数,然后利用特征提取算法提取图像中的特征点。
接着,采用一种改进的立体匹配算法对特征点进行匹配,得到视差图。
最后,结合深度学习模型对视差图进行优化,得到更加准确的距离信息。
五、算法实现与实验结果在算法实现方面,我们采用了OpenCV等开源库进行图像处理和摄像机标定。
在特征提取和立体匹配方面,我们使用了一种改进的SIFT算法和基于区域的立体匹配算法。
在深度学习模型方面,我们采用了卷积神经网络(CNN)对视差图进行优化。
在实验方面,我们使用了多种场景下的实际图像进行测试。
实验结果表明,本文提出的混合测距算法在各种场景下均能取得较好的测距效果,且准确性和稳定性均优于传统的基于特征匹配的测距算法和基于深度学习的测距算法。
六、结论与展望本文提出了一种基于双目立体视觉的混合测距算法,通过结合特征匹配和深度学习的优势,提高了测距的准确性和稳定性。
《2024年基于双目立体视觉的测距算法研究》范文
《基于双目立体视觉的测距算法研究》篇一一、引言在自动化技术、智能驾驶和机器人技术等应用领域中,精确的测距算法是关键技术之一。
双目立体视觉作为一种有效的视觉测距技术,在三维空间信息的获取中得到了广泛的应用。
本文旨在研究基于双目立体视觉的测距算法,为相关领域提供理论依据和技术支持。
二、双目立体视觉原理双目立体视觉原理基于人类双眼的视觉感知机制。
通过两个相机从不同角度获取同一场景的图像,利用图像处理技术对两幅图像进行匹配、计算视差,从而得到场景的三维信息。
双目立体视觉的测距原理主要依赖于视差计算和三角测量法。
三、双目立体视觉测距算法研究1. 算法流程基于双目立体视觉的测距算法主要包括图像获取、相机标定、图像预处理、特征提取、特征匹配和视差计算等步骤。
首先,通过两个相机获取同一场景的左右图像;然后,进行相机标定和图像预处理,包括去除噪声、灰度化等;接着,提取左右图像中的特征点;通过特征匹配算法,找到对应点对;最后,利用三角测量法计算视差,得到目标物体的深度信息。
2. 关键技术(1)相机标定:通过标定板获取相机的内外参数,为后续的图像处理提供基础。
(2)特征提取与匹配:提取左右图像中的特征点,并采用合适的匹配算法找到对应点对。
特征提取与匹配是双目立体视觉测距算法的关键步骤,直接影响测距精度。
(3)视差计算与三角测量法:根据对应点对计算视差,然后利用三角测量法得到目标物体的深度信息。
视差计算需要精确的匹配和算法优化,以提高测距精度。
四、算法优化与实验分析为了提高双目立体视觉测距算法的精度和鲁棒性,本文从以下几个方面进行了优化:1. 优化特征提取与匹配算法:采用更加稳定的特征提取与匹配算法,提高对应点对的准确性。
2. 引入机器学习与深度学习技术:利用机器学习和深度学习技术对双目立体视觉测距算法进行优化,提高算法的鲁棒性和适应性。
3. 实验分析:通过实验验证了本文提出的双目立体视觉测距算法的有效性和准确性。
实验结果表明,本文算法在各种场景下均能实现较高的测距精度。
基于双目视觉的车辆检测跟踪与测距
第13卷㊀第4期Vol.13No.4㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用IntelligentComputerandApplications㊀㊀2023年4月㊀Apr.2023㊀㊀㊀㊀㊀㊀文章编号:2095-2163(2023)04-0147-05中图分类号:TP389.1文献标志码:A基于双目视觉的车辆检测跟踪与测距郭鹏宇(上海工程技术大学机械与汽车工程学院,上海201620)摘㊀要:由于道路上存在各种不安全因素,车辆检测跟踪并测距是自动驾驶技术的重要组成部分㊂本文将YOLOv4-tiny作为检测器使之加快模型检测速度且更适合在车辆嵌入式设备中使用㊂考虑到目标检测失败的情况,本文在历史缓冲区中存储以前的跟踪细节(唯一ID)和每个对象的相应标签,提出了一个基于中值的标签估计方案(MLP),使用存储在前一帧的历史标签的中值来预测当前帧中对象的检测标签,使得跟踪错误最小化,并用双目摄像头获取图像检测车辆距离㊂测试新网络结构后,检测精度(MeanAveragePrecision,mAP)为80.14%,检测速度较YOLOv4相比提高了184%,检测到的距离误差平均在0.5%左右㊂关键词:YOLOv4-tiny;目标跟踪;中值算法;双目测距Vehicledetection,trackingandrangingbasedonbinocularvisionGUOPengyu(SchoolofMechanicalandAutomotiveEngineering,ShanghaiUniversityofEngineeringScience,Shanghai201620,China)ʌAbstractɔDuetovariousunsafefactorsontheroad,vehicledetection,trackingandrangingaretheimportantpartofautomaticdrivingtechnology.Inthispaper,YOLOv4-tinyisusedasadetectortospeedupmodeldetectionandismoresuitableforvehicleembeddeddevices.Consideringthefailureofobjectdetection,thispaperstorestheprevioustrackingdetails(uniqueID)andthecorrespondinglabelofeachobjectinthehistorybuffer,andproposesamedium-basedlabelestimationscheme(MLP),whichusesthemedianvalueofthehistorylabelstoredinthepreviousframetopredictthedetectionlabeloftheobjectinthecurrentframe,sothattrackingerrorsareminimized.Theimagesobtainedbybinocularcameraareusedtodetectvehicledistance.Aftertestingthenewnetworkstructure,thedetectionaccuracy(MeanAveragePrecision,mAP)is80.14%,thedetectionspeedis184%higherthanthatofYOLOv4,andthedetecteddistanceerrorisabout0.5%onaverage.ʌKeywordsɔYOLOv4-tiny;targettracking;medianalgorithm;binoculardistancemeasurement作者简介:郭鹏宇(1995-),女,硕士研究生,主要研究方向:智能网联汽车㊂收稿日期:2022-05-240㊀引㊀言在自动驾驶辅助系统中,基于传感器,采用车辆检测㊁跟踪㊁测距等一系列计算机视觉算法进行环境感知,辅助系统就能得到车辆周围信息,以保证驾驶员安全驾驶㊂基于视觉的车辆检测及测距系统主要应用在道路交通场景下,用于辅助检测前方目标以及进行距离预警,其性能好坏主要依赖于采用的车辆检测算法㊂目前,在使用相机进行目标检测时,多采用传统的机器视觉检测方法㊂对于前方车辆目标,该方法首先根据车辆的局部特征,如阴影㊁边缘纹理㊁颜色分布等特征生成感兴趣区域;然后利用对称特征等整体特征对感兴趣区域进行验证㊂在从产生感兴趣区域到验证感兴趣区域的过程中,为了达到实时检测的要求,一般需要对图像进行灰度化,并对灰度化后的图像进行阴影分割和边缘分析㊂因此,对于相机获得的图像,传统的机器视觉的车辆检测方法通常找到感兴趣区域的车辆的特点和梯度直方图特征(HOG[1]),SIFT[2]特征或Haar-like[3]特征通常用于获得前面的假设检验区域车辆,即ROI区域;此后用这些特征训练SVM[4]或Adaboost[5]车辆检测分类器,计算车辆图像的特征值,并根据车辆特征值的大小与前方车辆进行判断,得到前车的假设测试区域验证,完成对前车的检测㊂而上述传统的机器视觉检测方法本质上是通过人工选择特征进行识别和分类㊂在复杂场景中,人工特征的数量会呈几何级数增长,这对前面车辆的识别率也有很大的影响㊂这种方法更适合在某种特定场景下的车辆识别,因为其数据规模并不大,泛化能力则较差,很难实现快速和准确的复杂应用场景的检测㊂近年来,随着卷积神经网络(CNN)的应用,出现了许多算法㊂一阶段方法包括SSD[6]㊁YOLO系列[7-8]㊁RetinaNet[9]㊂两阶段方法包括FastR-CNN[10]和FasterR-CNN[11]㊂最近提出的最先进的YOLO-v4[12]具有很高的检测精度和检测速度㊂目前,对于多目标车辆轨迹跟踪技术主要可分为两大类㊂一类是传统方法,如利用背景差分法㊁帧差法㊁光流法等方法提取运动目标,传统方法部署方便,资源消耗低,但受先验知识限制,跟踪稳定性差,准确性不高㊂另一类是基于卷积神经网络的㊁称为深度学习的方法,深度学习方法可以学习更多的目标特征,能在连续的视频帧中检测出目标对象㊂深度学习方法精度高,但其计算量较大,实时性不高,因此,基于视频跟踪的车辆检测算法仍需改进㊂研究可知,基于视觉相机的测距方法主要有单目测距和双目测距两种㊂这2种方法的共同特点是通过相机采集图像数据,随后从图像数据中得到距离信息㊂单目检测方法的优点是成本低,缺点是对检测精度的依赖过大㊂此外,从实用的角度来看,在汽车上安装单目相机时,由于汽车的颠簸,汽车的俯仰角经常发生变化,导致精度显著下降㊂双目测距的方法是通过计算2幅图像的视差直接测量距离㊂1㊀车辆检测与跟踪本文使用的目标检测算法是YOLOv4-tiny,其中YOLO表示YouOnlyLookOnce,由Bochkovskiy等学者开发㊂YOLOv4-tiny是YOLOv4的压缩版本,虽在平均精度方面受到了影响,但却可以在低计算能力下高效运行㊂与未压缩版本的4个YOLO头相比,YOLOv4-tiny只使用了2个YOLO头,并使用了29个预训练卷积层作为基础㊂YOLO各变量参数设置见表1,卷积层各变量参数设置见表2㊂㊀㊀上一代YOLO的非maxpool抑制(NMS)等遗留特性和一些新特性㊁包括加权剩余连接(WRC)㊁Mosaic数据增强在内有效提高了算法在模糊图像中识别类的能力,降低了识别类所需的处理能力㊂YOLOv4-tiny提供了较高的帧率,同时具有中间地带平均精度与常用模型并列㊂在本文中,使用YOLOv4-tiny算法作为车辆的检测器,并且使用DeepSORT[13]算法作为初始车辆跟踪器㊂表1㊀YOLO各变量参数设置Tab.1㊀YOLOparametersettingsYOLO变量参数Mask0,1,2anchors10,14,㊀23,27㊀37,58㊀81,82㊀135,169㊀344,319classes4num6jitter0.3scale_x_y1.05cls_normalizer1.0iou_lossciouignore_thresh0.7truth_thresh1random0Resize1.5nms_kindgreedynmsbeta_nms0.6表2㊀卷积层各变量参数设置Tab.2㊀Theconvolutionlayerparametersettings卷积层变量参数batch_normalize1filters64size3stride2pad1activationleaky㊀㊀图1显示了2个ID及其前3个标签㊂对于ID#137的车辆,本文方法预测的标签用加黑来标记㊂[1255,739,1421,856][960,719,1006,758]车辆I D 137[1255,739,1421,859][955,721,1006,758][1255,739,1421,856][952,722,1006,758]目标检测标签1图1㊀应用MLP后的历史缓冲区示例图Fig.1㊀AhistorybufferexampleafterapplyingMLP841智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第13卷㊀㊀㊀本文使用历史缓冲区来调整和改进每个检测标签的视觉质量和在帧中的显示㊂如果有任何车辆检测标签缺失,那么本文的MLP为该车辆生产一个估计的检测标签㊂延时使用一系列的检测标签前存储在历史缓冲区来预测未检测到车辆的检测标签ID在给定的框架(见图1)㊂条件估计为特定车辆检测标签,标签ID应该至少在2个连续帧出现㊂为了预测缺失的检测标签,本文对当前帧t应用以下公式:Ñ=l(t-1)(i)-l(t-2)(i)(1)l(t)(i)=l(t-1)(i)+Ñ(2)㊀㊀这里,lxmin,ymin,xmax,ymax()表示每个车辆ID基于调整边界框标签的中值,Ñ表示边界框位置的变化从时间戳(t-2)到(t-1);i表示每辆车唯一的ID㊂2㊀双目测距双目视差示意如图2所示㊂由图2可知,2个摄像头的中心距是B,两个摄像头观察同一点P,P1的坐标为(X1,Y1),P2的坐标为(X2,Y2),由于2台相机始终是平行的,高度相同,所以在左右2张图像中P点的Y坐标是相同的,在X方向上存在视差㊂因此,可以通过标定相机内外参数来确定图像坐标与世界坐标之间的关系㊂双目视差原理如图3所示㊂PZ 2X 2P 2Z 1P 1O 2Y 2Y 1BC 2X 1O 1C 1x 1y 1y 2x 2图2㊀双目视差示意图Fig.2㊀SchematicdiagramofbinocularparallaxdfB aP RC RA RbP LX LX RPC LA L图3㊀双目视差原理图Fig.3㊀Principleofbinocularparallax㊀㊀图3中,CL和CR是2个摄像头的光学中心,摄像头之间的距离是b,相机的焦距为f,P点在左右图像的投影点为PlXl,Yl(),PrXr,Yr(),AL,PL=XL,AR,PR=XR,PR,B=a,从三角形相似关系可知:d-fd=aa+xRd-fd=b-xL+xR+ab+xR+a(3)㊀㊀由式(3)可知:a=bxRxL-xR-xR(4)㊀㊀由此,空间中P点到相机的距离为:d=fa+xRxR=bfxL-xR(5)㊀㊀P在相机坐标系中的三维坐标可以由几何关系得到:X=bxLxL-xRY=byxL-xRZ=bfᶄxL-xMìîíïïïïïïïï(6)㊀㊀对于车辆的测距,本文取检测到的边界框内每辆车的中心来表示被检测物体到双目相机中心的距离㊂3㊀实验结果与分析将YOLOv4-tiny与其他常用的目标检测算法进行比较,将其mAP与FPS进行比较,得到表3中的结果㊂本文提出的车辆检测与跟踪方法使用了TensorFlow库和基于YOLOv4-tiny模型的DeepSORT算法㊂经综合比较,使用YOLOv4-tiny的精度和检测速度是可以接受的,精度比YOLOv3-tiny高,速度比YOLOv4的方法更快㊂YOLOv4-tiny模型检测车辆效果如图4所示㊂表3㊀各模型帧率和mAP对比Tab.3㊀FramerateandmAPcomparison模型mAP/%帧率(FPS)YOLOv485.0814.12YOLOv4-tiny80.1440.11YOLOv383.3216.99YOLOv3-tiny69.0352.77941第4期郭鹏宇:基于双目视觉的车辆检测跟踪与测距图4㊀YOLOv4-tiny模型检测车辆效果Fig.4㊀CarsvideodetectionusingYOLOv4-tinymodel㊀㊀使用本文方法前后汽车的标签变化曲线如图5所示㊂对于ID#39的车辆,图5(a)是使用方法前,图5(b)是使用本文方法后,相同的汽车标签变得更加平滑㊂X (b o u n d i n g b o x 的中心)100200300400500600700800730720710700690680670Y (b o u n d i n g b o x 的中心)(a)使用本文方法前100200300400500600700800730720710700690680670X (b o u n d i n g b o x 的中心)Y (b o u n d i n g b o x 的中心)(b)使用本文方法后图5㊀使用本文方法前后汽车的标签变化Fig.5㊀Thelabelchangesbeforeandafterusingthemethodinthispaper㊀㊀在目标跟踪时,从历史缓冲区中预测缺失标签的方法往往会产生不好的结果,因为对象检测器的可视化结果经常显示不稳定和闪烁的边框标签㊂在应用本文的基于中值的算法后,可以得到高度稳定的标签㊂因此,本文方法提高了目标检测器的视觉性能,并为目标检测器和跟踪器提供了对缺失标签的更好估计㊂利用双目相机取检测到的边界框内每辆车的中心来表示被检测物体到双目相机中心的距离㊂仿真测试结果见表4㊂从距离测试的结果来看,测试精度相对较高,基本保持在0.5% 0.6%之间㊂表4㊀测量结果分析Tab.4㊀Themeasuredresultsanalysis实验组数测量距离/cm实际距离/cm误差/%11567.001559.110.503521655.001646.140.535331738.001729.160.508641893.001883.170.519351983.001971.200.595162236.002223.220.571672489.002475.260.55204㊀结束语本文介绍了一种用于自动驾驶的实时检测跟踪与测距系统㊂通过本文提出的实时同步方法,该系统方便了车辆实时同步检测;利用双目摄像头,YOLOv4-tiny和DeepSORT算法对车辆进行检测和跟踪,并提出中值标签预测方法优化跟踪效果,同时实现了对前方车辆的精确测距㊂整个系统在检测和测距方面取得了较高的精度和实时性㊂对于自动驾驶的应用,该系统可以结合许多智能技术,如目标预警㊁自动避障等㊂与此同时,该系统还有很大的改进空间㊂在检测方面,通过优化算法提高检测性能,通过训练更多类型的物体,如行人㊁非机动车等,为自动驾驶提供更多的道路信息㊂在这个系统中,测距是指从双目相机的中心到物体的距离㊂在实际情况下,车辆的具体位置到物体的距离可以根据相机的安装位置和车辆的实际长度来计算㊂通过优化双目测距算法,可以提高测距精度㊂参考文献[1]TAIGMANY,YANGMing,RANZATOMA,etal.DeepFace:Closingthegaptohuman-levelperformanceinfaceverification[C]//2014IEEEConferenceonComputerVisionandPatternRecognition.Columbus,OH,USA:IEEE,2014:1701-1708.[2]MAXiaoxu,GRIMSONWEL.Grimson.Edge-basedrichrepresentationforvehicleclassification[C]//TenthIEEEInternationalConferenceonComputerVision.Beijing:IEEE,2005:1185-1192.[3]XUQing,GAOFeng,XUGuoyan.Analgorithmforfront-vehicledetectionbasedonHaar-likefeature[J].AutomotiveEngineering,2013,35(4):381-384.(下转第157页)051智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第13卷㊀参考文献[1]SHIJianping,TAOXin,XULi,etal.Breakamesroomillusion:depthfromgeneralsingleimages[J].ACMTransactionsonGraphics(TOG),2015,34(6):1-11.[2]YANGDong,QINShiyin,Restorationofdegradedimagewithpartialblurredregionsbasedonblurdetectionandclassification[C]//IEEEInternationalConferenceonMechatronicsandAutomation.Beijing,China:IEEE,2015:2414–2419.[3]ABBATEA,ARENAR,ABOUZAKIN,etal.Heartfailurewithpreservedejectionfraction:refocusingondiastole[J].InternationalJournalofCardiology,2015,179:430-440.[4]LYUW,LUWei,MAMing.No-referencequalitymetricforcontrast-distortedimagebasedongradientdomainandHSVspace[J].JournalofVisualCommunicationandImageRepresentation,2020,69:102797.[5]YIXin,ERAMIANM.LBP-basedsegmentationofdefocusblur[J].IEEETransactionsonImageProcessing,2016,25(4):1626-1638.[6]GOLESTANEHSA,KARAMLJ.Spatially-varyingblurdetectionbasedonmultiscalefusedandsortedtransformcoefficientsofgradientmagnitudes[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR).Honolulu,Hawaii:IEEE,2017:596-605.[7]SUBolan,LUShijian,TANCL.Blurredimageregiondetectionandclassification[C]//Proceedingsofthe19thACMinternationalconferenceonMultimedia.ScottsdaleArizona,USA:ACM,2011:1397-1400.[8]SHIJianping,XULi,JIAJiaya.Discriminativeblurdetectionfeatures[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.Columbus,USA:IEEE,2014:2965-2972.[9]TANGChang,WUJin,HOUYonghong,etal.Aspectralandspatialapproachofcoarse-to-fineblurredimageregiondetection[J].IEEESignalProcessingLetters,2016,23(11):1652-1656.[10]王雪玮.基于特征学习的模糊图像质量评价与检测分割研究[D].合肥:中国科学技术大学,2020.[11]CHENQifeng,LIDingzeyu,TANGCK,etal.KNNMatting[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2013,35(9):2175-2188.[12]OJALAT,PIETIKAINENM,MAENPAAT.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2002,24(7):971-987.[13]ACHANTAR,SHAJIA,SMITHK,etal.SLICsuperpixelscomparedtostate-of-the-artsuperpixelmethods[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(11):2274-2282.[14]WANGJingdong,JIANGHuaizu,YUANZejian,etal.Salientobjectdetection:Adiscriminativeregionalfeatureintegrationapproach[J].InternationalJournalofComputerVision,2017,123:251-268.[15]ZHAOMinghua,LIDan,SHIZhenghao,etal.BlurfeatureextractionplusautomaticKNNmatting:Anoveltwostageblurregiondetectionmethodforlocalmotionblurredimages[J].IEEEAccess,2019,7:181142-181151.[16]OTSUN.Athresholdselectionmethodfromgray-levelhistograms[J].IEEETransactionsonSystems,Man,andCybernetics,1979,9(1):62-66.[17]GASTALESL,OLIVEIRAMM.Domaintransformforedge-awareimageandvideoprocessing[J].Eurographics,2010,29(2):753-762.(上接第150页)[4]KAZEMIFM,SAMADIS,POORREZAHR,etal.VehiclerecognitionusingcurvelettransformandSVM[C]//Proc.ofthe4thInternationalConferenceonInformationTechnology.LasVegas,NV,USA:IEEE,2007:516-521.[5]FREUNDY,SCHAPIRERE.Adecision-theoreticgeneralizationofon-linelearningandanapplicationtoboosting[J].JournalofComputerandSystemSciences,1997,55:119-139.[6]LIUWei,ERHAND,SZEGEDYC,etal.SSD:Singleshotmultiboxdetector[C]//EuropeonConferenceonComputerVision(ECCV).Switzerland:Springer,2016:21-37.[7]REDMONJ,DIVVALAS,GIRSHICKR,etal.Youonlylookonce:Unified,real-timeobjectdetection[C]//IEEEConferenceonComputerVisionandPatternRecognition.LasVegas,NV,USA:IEEE,2016:779-788.[8]REDMONJ,FARHADIA.YOLOv3:Anincrementalimprovement[J].arXivpreprintarXiv:1804.02767,2018.[9]LINTY,GOYALP,GIRSHICKR,etal.Focallossfordenseobjectdetection[C]//IEEEInternationalConferenceonComputerVision(ICCV).Venice,Italy:IEEE,2017:2980-2988.[10]GIRSHICKR.FastR-CNN[C]//IEEEInternationalConferenceonComputerVision(ICCV).Santiago,Chile:IEEE,2015:1440-1448.[11]RENShaoqing,HEKaiming,GIRSHICKR,etal.FasterR-CNN:Towardsrealtimeobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2016,39(6):1137-1149.[12]BOCHKOVSKIYA,WANGCY,LIAOHYM.YOLOv4:Optimalspeedandaccuracyofobjectdetection[J].arXivpreprintarXiv:2004.10934,2020.[13]AZHARMIH,ZAMANFHK,TAHIRNM,etal.PeopletrackingsystemusingDeepSORT[C]//10thIEEEInternationalConferenceonControlSystem,ComputingandEngineering(ICCSCE).IEEE,2020:137-141.751第4期李浩伟,等:基于LBP特征与图像显著性的散焦模糊区域检测。
《基于双目立体视觉的测距算法研究》范文
《基于双目立体视觉的测距算法研究》篇一一、引言在现今的自动驾驶、机器人技术、以及3D计算机视觉领域,双目立体视觉测距算法以其准确度高、鲁棒性强的特点得到了广泛的应用。
本文旨在研究基于双目立体视觉的测距算法,深入探讨其原理、应用及其优缺点,并通过实验分析验证其有效性。
二、双目立体视觉原理双目立体视觉是通过模拟人类双眼的视觉过程,利用两个相机从不同角度获取同一场景的图像,再通过图像处理技术恢复出场景的三维信息。
其基本原理包括图像获取、图像校正、特征提取、立体匹配和三维重建等步骤。
三、测距算法研究基于双目立体视觉的测距算法主要分为以下几个步骤:1. 图像获取与预处理:首先,通过两个相机获取同一场景的左右图像,然后进行预处理,包括去噪、灰度化等操作,以便后续处理。
2. 特征提取与匹配:在预处理后的图像中提取特征点,如SIFT、SURF等算法。
然后,通过立体匹配算法找到对应点,如基于区域的匹配算法、基于特征的匹配算法等。
3. 计算视差:通过立体匹配得到的对应点计算视差,即同一物体在不同相机图像中的位置差异。
视差反映了物体在空间中的深度信息。
4. 深度信息恢复与测距:根据视差和双目相机的基线距离计算深度信息,从而得到物体的三维坐标。
再结合相关算法计算得到物体与相机的距离。
四、算法优化与改进为了提高测距精度和鲁棒性,可以采取以下措施对算法进行优化和改进:1. 优化特征提取与匹配算法:采用更先进的特征提取与匹配算法,如深度学习算法等,提高匹配精度和速度。
2. 引入约束条件:利用先验知识或已知信息引入约束条件,如顺序一致性约束、极线约束等,以减少错误匹配的概率。
3. 深度学习算法的融合:将深度学习算法与双目立体视觉测距算法相结合,通过大量数据训练得到更准确的模型。
4. 多重校正技术:在图像获取阶段引入多重校正技术,以消除相机之间的几何畸变和光畸变等影响测距精度的因素。
五、实验分析本文通过实验验证了基于双目立体视觉的测距算法的有效性。
基于双目立体视觉安全车辆间距测量技术研究
在 左 右 摄 像 头 所 获 得 的立 体 图 像 对 应 的不 同 坐标 , 算 出 目标 车 辆 到 摄 像 头 的距 离 。试 验 结 果 表 计
明, 该测距方 案测量精度高 、 测量范 围广 , 能满足智 能交通 中车辆安 全距 离测量 的实际需要 , 是一 种有效 的前方车距测量方案。本文 的研究方法 , 同样适用 于对车辆前方其他 目标物的距离测量 。
本 方法 的有 效性 。
=
图 1 双 目成 像 示 意 图
则根 据照 相机 成像 的线性 理论 得
,
w
w
w
乙
() 1
z n
科 = 1 )
J 2 】 l
() 2
式 中 : ’z ’ zn , 分别 为 点 P 在 2个 摄像 机 坐标 系
1 双 目立 体 视 觉 原 理
立 体视 觉 是 计算 机 视 觉 的一 个重 要 分支 , 它 利 用成像 设 备从不 同 的位置 获取 被测 物体 的 2幅 或 多幅 图像 , 根据 三角 测量原 理 , 通过 计算 图像对
中的 轴 ( 光轴 ) 标 ; ¨, j , ) ( ∞, 5 坐 ( y” 1和 y∞, 1 分 别为 图 1中 尸- 尸 在各 自图像坐 标 系下 的 ) 和 z
关键词 双 目视 觉 ; 辆 间 距 ; 体 图像 对 车 立
文献标识码 : A 中 图法 分 类 号 : P 9 T 31
O 引 言
随着 高速公 路 的飞 速发展 和汽车保 有量 的迅
速增 加 , 年来 , 国公 路交 通事 故 频 繁发 生 , 近 我 给
应 点问 的位置偏 差 , 获取 目标 的三维 信息 , 而测 进
基于双目立体视觉车辆距离测量算法的研究的开题报告
基于双目立体视觉车辆距离测量算法的研究的开题报告一、研究背景随着汽车的快速发展,尤其是自动驾驶技术的逐渐成熟,车辆的智能化程度不断提高。
其中,车辆的距离测量技术是车辆智能化控制的关键技术之一。
现有的车辆距离测量技术主要包括雷达、激光测距仪等,这些技术虽然精度高,但价格昂贵,对于普通消费者来说难以承受。
而基于双目立体视觉的车辆距离测量技术则具有成本低、精度高等优点,在车辆智能化控制中具有广阔的应用前景。
二、研究内容本研究旨在基于双目立体视觉技术,开发一种车辆距离测量算法,具体研究内容包括:1. 研究车辆距离测量的基本原理和方法,重点介绍双目视觉系统的构成和工作原理。
2. 系统研究双目图像配准算法和深度信息计算方法,得到车辆距离的精确测量结果。
3. 对基于双目视觉的车辆距离测量算法进行实现和测试,评估算法的准确性、可靠性和实用性。
三、研究意义1. 提高车辆距离测量的精度和准确性,为车辆智能化控制提供更加精准的数据支撑。
2. 降低车辆距离测量成本,扩大车辆智能化控制应用范围。
3. 探索基于双目视觉技术的应用前景,为双目视觉技术在车辆智能化领域的推广和应用提供技术支撑。
四、研究方法和技术路线本研究将采用文献综述和实验研究相结合的方法,具体技术路线如下:1. 文献综述阶段,对车辆距离测量技术、双目视觉系统原理以及相关算法进行梳理和分析。
2. 基于OpenCV和Python两种编程语言,搭建双目视觉系统,并得到距离测量的初始结果。
3. 对双目图像进行像素级匹配、去噪、滤波等算法处理,提取深度信息。
4. 对算法进行实验验证,并进行数据分析和处理,评估算法的准确性和可靠性。
五、研究进度安排1. 研究方案设计:1个月2. 文献综述:2个月3. 双目视觉系统搭建和算法实现:3个月4. 实验验证和数据分析:2个月5. 论文写作和答辩准备:2个月六、预期研究成果1. 开发一种基于双目立体视觉的车辆距离测量算法,可用于车辆智能化控制中。
基于车牌定位与双目立体视觉的车距测量
空 间物 体表 面 某点 的三 维几 何 位置 与其 在 图像 中对应 点 之间 的相互关 系是 由摄像 机成像 的几何 参数 决定 的 , 通过实 验 与计算 确定摄像 机 的属性 参数 和位置参 数 、的过程 被称 为摄 像 机标 定 。
来更是倍 受重 视 。现 今车辆 的安 全性能 主要体 现在安 全 系统 、 危险预 警系统 、 防撞系 统等方 面 。这些 车载设 备在计 算 机的 控
其 中 , = “ , ) 图 像 点 的 齐 次 坐 标 , = , Z,) ( , 1 为 廊 ( Y, 1 为三 维空 间点 的齐次 次坐标 , A为 比例 系 数 。 这 样 就 得 到 一 个
术 , 于 双 目立体 视觉 原理 , 基 利用 两架 摄 像机 测量 出 了前方 车
即是车辆 测距技 术 。 汽 车 间 距 测 量 理 论 和 方 法 的 研 究 . 国 内 外 智 能 交 通 领 域 是 研 究 的前 沿 和热 点 之 一 。汽 车 测 距 主 要 有 以 下 4种 方 式 : 声 超
其 中 , 是有 效 焦距 ,x 是 摄像 机 的 图像 坐 标 中像 素的 大 厂 kl
A=
}一
0 0 0
‰0
。 1 o 0
制下 , 通过声 音 、 图像 等方式 向驾驶 员提 供辅助 驾驶信 息 , 可 并
自动或半 自动 的进行 车辆控 制 , 从而有 效地 防止事 故发 生 。为 保障行 车安 全 . 展 汽车 防撞 技术 十 分关键 , 一技 术 的重点 发 这
辆 与本 车的距离 。
图像 点 和空 间点之 间 的一个 映射 关 系。令 日 ( t , H被 R,)则
称 为透视 投影矩 阵 。 12 双 目 立 体 视 觉 .
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
近年来 车 辆安 全辅 助驾 驶 系统越 来越 受 到人 们 的重视 ,汽 车安 全 车距 测 量 系统 通 过 计 算 当前 车 与 前 方 目标车 之 间 的距 离 ,当汽 车 车 距 较 近 时 向司 机 预先 发 出报 警 信号 ,从 而 完 成 危 险警 告 和 防碰 撞 的 功 能 .
l
l
/n 12 m 13
】
J
m 22 r//23
l
l
m 32 r/ ̄33
[ ]=(三 三兰三兰三兰](享} 2,
2 摄 像 机 标定
D
图 1 双 目立体 视 党基 本 原 理
Fig.1 Principle of binocular stereo-vision
空 间任 意点 P在 2个摄像 机 C 和 C 上 的摄 影 点 分别 为 PJ和 尸 .假 定 和 C 摄 像 机 已经 标定 , 它们 的投 影矩 阵分别 为满 秩矩 阵 和 Mr,于是有 :
的公垂 线 的 中点.如 图 2所 示 ,2条 异 面 直线 和
L ,M。和 为在 这 2条 异 面直 线 上 滑 动 的点.当
lI M M2 fl值 最 小 时 ,M M2即为 2条 异 面直 线 的公
垂 线 ,I (M + )即为公 垂线 中点 的坐标
.
需 要进行 静态试 验 ,所 以选取 了一般道路 的场景 ;另 外 研究 的是 高 速 公 路 上本 车道 前 方 车 辆 的距 离 检 测 ,对在本 车道左 边或右 边 的车道暂不考 虑 ,所 以试 验 时车辆 一般在 图像 中间位 置.试验 所 得数 据 如表 1所 示 .
法 中 ,用 ,. 表示旋 转 矩 阵 R 的弟 夕uI口J里 ’f 叫上
特哪
3 公 垂 线 中点 法 重 建 三维 点
本 文在 测距 时 做 了 大量 实 验 ,由 于所 要测
’
辚J尽 可 能 平 行 ,这 , 样 2 个 {效1冢 LHu I
智 能 系 统 学 报
第 6卷
究 方 向 之 一 . 目前 国内外都 开展 了基于视 觉 探测 的汽 车 主动
防护 系统 的相 关研 究 工 作 .丰 田汽车 发 布 了雷 克 萨 斯 “LS460”配备 的安 全 技 术 ,采 用 立 体 摄 像 头 及 毫 米 波 雷达 检 测 障碍 物 ,实 现 车 辆 和 行 人 的检 测 ¨ ; 富士 重工 配 备 的驾 驶 支援 系统 “EyeSight”的 “力 狮 (Legacy)”,采用 立体摄 像 头在 极近 的距 离检 测行 驶 环境 ;加 拿 大 Point Grey Research公 司 研 制 的 Bumblebee BB2双 台 CCD立 体 视 觉 系统 ,近 距 离测 量 时 相对 误差 为 1.65% ,距 离 增 大 时 ,误 差 急 剧 加 大 .吉 林 大学 开 发 了 JUTIV 系 列 智 能 车 ,它 基 于 单 目视 觉建 立 了安 全 车距 预警 模 型 ;重 庆 大学 黄 席樾 教 授领 导 的 团队开 展 了基于 单 目视觉 的车 道保 持 、距 离测 量等 研 究 工 作 】;南 京 理 工 大 学 陆建 峰
第 6卷第 1期 2011年 2月
智 能 系 统 学 报
CAM Transactions on Intelligent Systems
doi:10.3969/j.issn.1673-4785.201 1.O1.01 1
VoI.6 No.1 Feb.2011
基 于 双 目立 体 视 觉 的 汽 车 安 全 车 距 测 量 方 法
智 能 系 统 学 报
第 6卷
等开 展 了基 于单 目视 觉 的车辆 检 测 、车距 识 别 等相 关 研究 工作 .
从 目前 国 内外 研 究 现状 来 看 ,大 部分 国外 厂商 推 出的立 体视 觉产 品 尚未 投 入 真 正 的工 程应 用 ,对 我 国普通 车辆 来说 ,配 备 国外 已推 出 的立 体 视觉 系 统 必须付 出高 昂的 代 价 ;另外 国外 推 出 的产 品大 都 只能实现 近距离 障 碍物 检 测 和距 离 测 量 ,不适 用 于 高速 公路 上 的车距 测量 与 保 持.国 内大 部 分 的研究 工作都 是基 于单 目立 体 视 觉 的车 距 测量 系统 ,而基 于双 目立体 视觉 的 车距 保持 系统 研究 较 少 ,目前 国 内还未 见有 厂商推 出此类 产 品 ,因此 本课 题 的研 究 是 非 常有价值 的 .
笫1期
张风静,等:基于双目立体视觉的 兰窒全兰里 兰 一— — —
取 夕卜 对 所使 用 的双 目立体 视觉 系统 进 近行 仃 标 怀 定 疋得 付 出 山的 叫
系统 主要 参数 如下 (单 位为像 素 ):
盖 鬈 磊薹 赫篙
萎
系 坐标 为 ( ,Y,0 ,1),摄像 机 固定 ,半 向杯 疋 似仕 佻
(一0.256 76,n 077 64,0.003 12,O.010 49,0);
:
R : (一0.053 56,一 0.165 03,一 20·O02 66);
蝣
为 投影
r一1l27.168 92,一8.877 55,一213·545 07)·
誉 凳篡
嚣 皇 雾
。,; 图像 中心 点坐标 和 畸 变 系数 ;尺、z力 转 旭 ‘ 耳芗 姒
Abstract:As one of the research topics of intelligent transportation systems(ITS),systems for early—warning a—
gainst collision have drawn m uch attention in recent years. Based on the principle of binocular stereovision,a spae— ing measurement program for security vehicles on the expressway was proposed. According to the coordinates corre— sponding to two binocular im ages of the target vehicle obtained by the left and right cameras,the distance between the target vehicle and the camera could be ealculated by employing the common perpendicular midpoint method. The results show that this m easurement program carl m easure a wide range of distance and can also be applied to re— m ote distances. The hi gh precision can m eet the needs of intelligent transportation vehicles in a security vehicles spacing survey,which is an effective way for measuring the flont car distance. K eywords:intelligent transportation;vehicle distance;binocular stereovision;common perp endicular m idpoint
基 于上述分 析 ,开 展 了基 于 立体 视 觉 的 汽车 安 全 车距 测 量技术 研究 ,研究 目的有 2个 :让 普通 车辆 也装 上立体 视觉 系统 ;增 加 系统 的探测距 离 ,提 高远 距离 的车距 测量精 度.对 于前 一个 目的 ,本 文 的实 验 系统选 用 了市 面上 非 常普 及 的几 十元 的普 通 摄 像 头 ,摄像 头焦距 厂=3.85 m,分 辨率 为640×480;针对 后 一个 目的 ,从 视觉 车距算 法角 度开展 了深入 研究 , 以期 达 到设计 目标.
Research of vehicle security spacing m easurem ents based on binocular stere0visi0n
ZHANG Fengjing,ZHOU Jianjiang,XIA Weijie
(College ofInformation Science& Technology,Nanjing University ofAeronautics and Astronautics,Nanjing 210016,China)
张凤 静 ,周 建 江 ,夏伟 杰
(南 京航 空 航 天 大 学 信 息科 学 与 技 术 学 院 ,江 苏 南京 210016)
摘 要 :汽车安全 车距 测量 作为智能交通 系统 的一 个重要分 支是 近年 来 的研究 热点.本文 阐述了双 目立体视觉 的原 理 ,提 出 一 种 应 用 于 高速 公 路 上 的 安 全 车 距 测 量 方 法 .该 方法 根 据 目标 车 辆 在 左 右 摄 像 头 所 获 的 图像 中 对 应 的不 同 坐标 ,利用公垂线 中点法计算 出 目标车辆到摄像头 的距 离.实 验结 果表 明 :该测距 方法测 量范 围广 ,对 远距离测 量也 遁 用 ;测 量 精 度 能 满 足 智 能 交 通 中车 辆 安 全 距 离 测 量 的 实 际 需 要 ,是 一 种 有 效 的前 方 车 距 测 量 方 法 . 关 键 词 :智 能 交 通 ;安 全 车 距 ;双 目立 体 视 觉 ;公 垂 线 中点 法 中 图 分 类 号 :TP391 文 献 标 识 码 :A 文 章 编 号 :1673--4785(2011)01-0079-06