基于鱼眼镜头的车载全景环视系统研究
基于全景环视的自动泊车系统中车位检测和追踪方法
03
特征匹配
通过比对当前帧与前一帧 或参考帧的图像特征，如 边缘、角点等，实现车辆 的追踪。
光流法
通过估计图像中像素点或 特征点的运动矢量，推算 出车辆的运动轨迹。
背景减除
通过将当前帧与背景模型 进行比较，检测出车辆的 运动轨迹。
基于雷达追踪的车辆追踪方法
脉冲雷达
通过发送脉冲信号并接收反射 信号，计算车辆与目标物体之 间的距离和方位角，实现车辆
目标检测和追踪
在全景环视系统中，目标检测和追踪是非常重要的任务。这些任务可以通过机器学习算法来实现，例 如卷积神经网络（CNN）和均值漂移（Mean Shift）等。
基于全景环视的车
03
位检测方法
基于图像处理的车位检测方法
总结词
通过图像处理技术对车辆周围的图像进 行分析，提取车位的特征，识别出空闲 的车位。
的追踪。
FMCW雷达
通过发送频率变化的连续波，并接 收反射信号，计算车辆与目标物体 之间的距离和速度，实现车辆的追 踪。
毫米波雷达
通过发送毫米波信号并接收反射信 号，实现高精度、高分辨率的车辆 追踪。
基于GPS和IMU的车辆追踪方法
GPS追踪
通过接收GPS信号，确定车辆的位置和速度，实 现全局追踪。
详细描述
基于深度学习的车位检测方法通过大量的带 标签的车位和非车位图像进行训练和学习， 让模型学习到从图像中识别车位的能力。这 种方法需要大量的训练数据和计算资源，但 具有较高的检测准确率和适应性。
基于激光雷达的车位检测方法
要点一
总结词
要点二
详细描述
利用激光雷达对车辆周围的环境进行扫描，通过反射 回来的信号提取出车位的特征，识别出空闲的车位。
全景环视泊车辅助系统在商用车上的研究
全景环视泊车辅助系统在商用车上的研究商用车作为目前全社会使用最普及、方便和有效的交通运输载体,给人们带来了便利的同时也带来了许多烦恼,其中商用车泊车困难的问题日趋严重。
为了在狭小空间能顺利完成泊车,特别是让不熟练的驾驶员能够安全进行泊车操作,越来越多的电子泊车辅助产品被消费者所重视。
AVM能够有效的提高泊车效率和安全性,目前市场上的AVM产品大多数都安装在了小轿车、少量SUV等乘用车上,而在商用车上安装基本为零。
因此本文提供一种运用于商用车上的AVM及摄像头安装方法。
本文从商用车泊车需求和动力学角度分析了AVM的性能需求,针对两节车厢和多于两节车厢的商用车,设计了商用车AVM的总体方案。
同时对于鱼眼摄像头在车厢中具体的安装布置做了详细的实验分析,包括鱼眼摄像头在车厢长、宽中的位置,主光轴安装过程中上下、左右偏移的幅度。
商用车周围建立感兴趣区域,得到了鱼眼摄像头主光轴上下偏移的角度与安装高度之间的优化关系。
另外,还优化了商用车AVM的算法,针对商用车有两节或者多于两节车厢时左右侧面图像拼接线的确定。
具体为两节车厢的商用车本文提出了通过将商用车方向盘打到极限来分别确定左右侧的拼接线。
针对多于两节车厢的商用车,本文提出采用凸边形判断法得到各个像素点的车厢归属信息,并且在每节车厢安装一个角度传感器来确定各节车厢之间存在的夹角大小,从而建立数学模型来计算全景实际显示的像素点与映射表中首次拼接形成全景图像素点之间的映射关系,从而真正实现商用车泊车转向时的全景显示。
还设计了一种针对商用车AVM多车厢多摄像头的映射表,从而满足AVM实时性的要求。
最后,分析了商用车的特殊轮廓结构和装载形式容易引起各个摄像头的曝光差异,针对商用车AVM提出了一种全局亮度调节方法,并通过Matlab拼接实验证明了本方法对于全局亮度调节有着较好的效果。
本文通过结合AVM的特点和该系统在商用车上安装的现实需求建立了AVM 在商用车上安装优化方案,为该系统今后在商用车上的安装提供了一定的指导。
基于鱼眼镜头的全方位视觉系统的设计及实现
Ｖｂ ．９ １ Ｎｏ２ ３ ．
河
北
工
业
大
学
学
报
２１ ０ ０年 ４月
Ａｐ ｌ ２ ０ ｉ ｒ ０１
Ｊ ０ＵＲＮＡＬ ０Ｆ髓 ＢＥＩ ＵＮＩ ＶＥＲＳ ＴＹ ０Ｆ ＴＥ Ｉ ＣＨＮ０Ｌ ＯＧＹ
文章编号： １０—３ ３（０ ０ ２０ ０ —３ ０ ７２ ７ ２ １）０ —０ １０
ＹＵ ＡＮ ｕ ｎ — ｎ ，ＤＩ Ｃ ｅｇｊｎ Ｇ ａｇｍｉｇ ＮＧ ｈｎ － ，ＹＵ ｕ －ｏ ｕ Ｘ ｅｂ
（ ｃｏ ｌ ｆ ｃａ ｉ ｌ ｎ ｉｅｒ ｇ Ｓ ｈ ｏ Ｍｅｈｎｃ ｇｎ ｅｉ ，Ｈｅｅ ｉｅｓ ｙｏ Ｔ ｃｎ ｌｇ，Ｔａｊ ０ １ ０ ｈｎ ｏ ａＥ ｎ ｂ ｉ ｖｒｉ ｆ ｅｈ ｏｏ ｙ ｉ ｉ ３ ０ ３ ，Ｃ ｉａ） Ｕｎ ｔ ｎｎ
ｂ ｓ ｄ ｏ ｅｆｓ —ｙ ｎ ｇ ｉｔ ｒｉｎ ｃ ｒｅ ｔｏ ｙ ｔ ｍ ｏ ｓ — ｙ ｇ ｆ ｈ ｉｔ ｒ ｏ ｏ ｅ ｔ ｎ ｒ ｃｉ ｅｈ ｓ ａ ｅ ｎ ｔ ｈ ｅ ｅｌ ｓｉ ｈ ｉ ｅ ｍａ ｅｄ ｓｏ ｔ ｏ ｒ ｃｉ ｎ ｓ ｓｅ ｆ ｒｆ ｈ ｅ ｅ ｉ ｏ ｉ ｍａ ｅｏ ｔ ｅ ｄ ｓｏ ｉ ｎ ｃ ｒ ｃ ｉ ．Ｐ ａ ｔｃ ａ ｔ ｏ ｐ ｏ ｅ ａ ：ｔ ｅａ ｏ ｅｍｅｈ ｄ ｃ ｎｅ ｅ ｔ ｅｙ ｏ ｅ ｃ ｍｅｔ ｅｅ ｉｔｎ ｅｏ ｔ ｅｏ ｇ ｎ ｌ ｓ — ｙ ｇ ｅ ｍｅｒｃｄｓｏ ｔｏ ， ｒ ｖ ｄｔ ｔ ｈ ｂ ｖ ｔ ｏ ａ ｆ ｃｉ ｌ ｖ ｒ ｏ ｘ ｓ ｃ ｆ ｒ ｉａ ｈ ｅ ｅｉ ｈ ｖ ｈ ｅ ｈ ｉ ｉ ｆ ｍａ ｅｇ ｏ ｔｉ ｉｔ ｒ ｎ ｉ
ｓｓ ｍ ａｅ ｎｔｅｃｂ ｒｊｃｉ ｄｌｏｃｒ ｃ ｔｅ ｉｏｔ ｎｏ ｅ ｓ－ｙ ｇ ，ａｄｕｅ ｈ ｂ ｒｊｃ ｏ ｙｔ ｉｂ ｓｄｏ ｅｐｏｅｔ ｎｍｏ ｅ ｔ ｏｒ ｔｈ ｓ ｒｏ ｆｈ ｈｅ ｅｍａ ｅ ｎ ｓ ｔｅｃ ｅｐｏｅｔ ｎ ｅ ｓ ｈ ｕ ｏ ｅ ｄｔ ｉ ｔ ｆ ｉ ｉ ｕ ｉ
基于鱼眼镜头的车载全景环视系统研究
基于鱼眼镜头的车载全景环视系统研究摘要：全景系统是通过车辆前后左右四个全景摄像头图像拼接产生周边完整图像的车载设备，四个摄像头的安装位置、安装角度对于系统的图像拼接有着重要影响。
尤其是在鱼眼镜头的支持下，车载全景环视系统能够为驾驶员带来更全面的视觉体验，从而带来诸多便利。
现主要探讨摄像头在车辆上可以安装的位置和各种不同情况下的安装条件、安装角度对系统图像的影响以及常规情况下应取的角度的确定。
关键词：全景系统；图像拼接；全景摄像头；安装角度；安装位置1鱼眼镜头及车载全景环视系统概述1.1鱼眼镜头概述鱼眼镜头相比传统镜头具有更大的视场角。
但由于其特殊的光学结构，鱼眼镜头引入了以径向畸变为主的图像畸变，目前各类畸变校正算法的实现，均依赖于鱼眼镜头图像轮廓的确定。
提取鱼眼镜头的图像轮廓，主要是指获得圆形区域的圆心坐标及半径。
随着图像处理技术的发展，在有限的条件下获得更多图像信息的需求越来越迫切。
考虑到安装相机的成本和图像处理算法上的复杂性，在一定范围内，安装摄像机的数量越多，获取的信息越多越好。
普通相机的视角一般在30°～40°，而鱼眼镜头可以获得180°左右的图像信息。
1.2车载全景环视系统概述首先，目前大多数人使用的为360°全景行车系统，但360°全景行车记录仪虽然能够提供全面的图像记录功能可以对障碍物进行识别和检测。
该系统能够通过起图像记录等功能，为用户呈现图像等，以便避免障碍物。
其次，目前的360全景行车记录仪都只配置了前、后、左、右四个方向的相机。
其三，目前汽车对障碍物的检测主要还是需要依靠超声波雷达完成，受到超声波雷达的功能限制，汽车无法使用超声波雷达对障碍物进行准备位置定位和大小识别，也无法实现障碍物的可视化，导致用户不能直观地了解障碍物的大小、位置和类型。
比如专利CN205632288U《一种全景倒车影像系统》，其特征在于：包括图像采集模块、系统控制模块、图像显示模块、图像处理电路模块和图像拼接融合电路模块；所述图像采集模块的输出端分别与系统控制模块和图像显示模块的输入端连接；所述系统控制模块的一输出端与图像处理电路模块的输入端连接；所述图像处理电路模块的输出端经图像拼接融合电路模块与系统控制模块连接；所述系统控制模块的另一输出端与图像显示模块连接。
基于鱼眼镜头的全视觉图像研究的开题报告
基于鱼眼镜头的全视觉图像研究的开题报告一、研究背景鱼眼镜头是一种广角镜头，可提供更广阔的视野，广泛应用于无人机、安防监控、智能家居等领域。
传统的鱼眼镜头应用只能提供单一视角的图像，而在实际应用场景中，需要获取全视野的图像来实现更全面的信息获取和分析，对于机器人自主导航、智能安防监控等领域应用具有重要意义。
因此，基于鱼眼镜头的全视觉图像研究已成为当前计算机视觉领域的热点问题。
二、研究目的本文旨在研究基于鱼眼镜头的全视觉图像获取技术，探索全视野的图像信息处理方法，为机器自主导航、智能安防监控等领域应用提供技术支持。
三、研究内容（1）鱼眼镜头原理及特点研究：介绍鱼眼镜头的基本原理和特点，以及在实际应用中的优势和局限性。
（2）全视野图像获取技术研究：研究全视野图像获取方法，包括基于鱼眼镜头的直接成像、多摄像机阵列成像等技术，分析各种方法的优缺点。
（3）全视野图像信息处理方法研究：研究全视野图像信息处理方法，包括图像配准、去畸变、图像融合等技术，分析各种方法的优缺点。
（4）实验验证：结合实际应用场景，采集基于鱼眼镜头的全视野图像数据，验证研究所提出的全视野图像获取和处理方法的有效性和可靠性。
四、研究意义本研究研究基于鱼眼镜头的全视觉图像获取技术与图像处理方法，不仅能够提供更全面的图像信息，以支持机器人自主导航、智能安防监控等领域的实际应用，而且还能为鱼眼镜头技术的研究和发展提供技术支持和理论基础。
五、研究方法本研究采用文献研究、实验研究、仿真模拟等方法，通过收集国内外相关领域的理论研究、技术方法和应用案例，结合实际应用场景，设计并开展相应的实验研究，从而验证所提出的全视野图像获取和处理方法的有效性和可靠性。
六、预期成果本研究预期得到以下成果：（1）深入研究鱼眼镜头的原理和特点，分析其在实际应用中的优势和局限性。
（2）探索了基于鱼眼镜头的全视野图像获取和处理方法，并分析各种方法的优缺点。
（3）开展实验研究，验证所提出的全视野图像获取和处理方法的有效性和可靠性。
基于鱼眼镜头的全景图像展开研究的开题报告
基于鱼眼镜头的全景图像展开研究的开题报告一、研究背景鱼眼镜头是一种广角镜头，由于它的镜片曲率很高，可以拍摄到180度以上的视野，因此极具应用前景，尤其是在全景图像展开方面。
随着虚拟现实、增强现实、智能交通等领域的发展，全景图像展开技术越来越受到重视。
全景图像展开技术可以将鱼眼镜头所拍摄的全景图像展开成平面图像，使得用户可以在一张平面图像上查看全景图像信息。
二、研究目的本研究旨在探讨基于鱼眼镜头的全景图像展开技术，通过研究全景图像展开算法，实现将鱼眼相机拍摄的全景图像展开成平面图像，并构建相关的应用系统。
三、研究内容（一）全景图像展开算法的研究1. 基于极点投影法的全景图像展开算法2. 基于等距投影法的全景图像展开算法3. 基于圆柱准投影法的全景图像展开算法4. 基于球面准投影法的全景图像展开算法（二）全景图像展开系统的构建1. 硬件设备的搭建：包括鱼眼相机、计算机、显示器等。
2. 软件开发：采用Python语言开发全景图像展开系统，实现图像拍摄、图像展开、图像导出等功能。
（三）系统应用研究1. 基于全景图像展开技术的虚拟现实应用研究2. 基于全景图像展开技术的智能交通应用研究3. 基于全景图像展开技术的文化遗产保护应用研究四、研究意义（一）推广鱼眼镜头全景图像展开技术，扩大其应用范围。
（二）促进虚拟现实、增强现实、智能交通等领域的发展，提升相关应用的用户体验和便利性。
（三）对文化遗产的保护和传承有一定的帮助。
五、研究方法（一）文献资料法：通过查看相关文献资料，了解全景图像展开算法发展的历史和现状，并归纳总结。
（二）实验法：本研究采用实验法进行全景图像展开算法的验证和应用系统的开发。
（三）问卷调查法：对本研究中开发的全景图像展开应用系统进行用户体验调查和反馈收集。
六、研究进度安排本研究计划分为三个阶段，具体安排如下：第一阶段：文献资料搜集，全景图像展开算法的研究，时间：3个月。
第二阶段：全景图像展开系统的构建，时间：6个月。
汽车360度全景影像系统及其应用前景研究
汽车360度全景影像系统及其应用前景研究汽车360度全景影像系统是一种新兴技术，它通过对汽车周边环境进行全方位拍摄和影像处理，提供了车辆周围的全景视图。
该系统可以为驾驶员提供更加全面、直观的视觉体验，从而提高驾驶员的驾驶安全性能。
与此同时，汽车360度全景影像系统还能够实现多种智能辅助驾驶功能，极大地增强了驾驶员的驾驶体验，更好地满足现代汽车消费者对智能汽车技术的需求。
汽车360度全景影像系统的核心技术包括：摄像机的选择和布局、图像图像处理算法、图像压缩和传输技术。
在摄像机方面，该系统主要使用鱼眼镜头等广角镜头，以实现对车辆周围环境的全景拍摄。
处理算法主要分为两种：直接拼接法和球面投影法。
在直接拼接法中，系统通过多个摄像机同时拍摄，并将影像进行拼接，以形成一个全景影像；在球面投影法中，系统通过对全景图像进行三维重建，然后将全景图像投射到一个球面上，从而实现全景图像的显示。
图像压缩和传输技术，则主要针对全景图像的数据量比较大的问题，采用了各种压缩和传输算法来减小数据传输量。
汽车360度全景影像系统的应用前景非常广泛，它可以应用于各种类型的车辆，例如商务车、私家车、公共交通工具等。
该系统不仅能够提升驾驶员的驾驶安全性能，还可以为车辆的维护保养提供便利。
例如，在车辆维护保养时，技术人员可以利用全景影像系统观察车身各个方向是否存在损坏或者磨损，以便及时进行维护和修理。
此外，汽车360度全景影像系统还有很多其他的应用场景。
例如，它可以与智能停车系统相结合，为车辆在狭窄的停车场内寻找适合的停车空间提供帮助；它还可以与智能导航系统相结合，为驾驶员提供更加精确、直观的位置信息。
总的来说，汽车360度全景影像系统的应用前景非常广阔，随着技术的不断发展和升级，它将会在未来的汽车产业中起到越来越重要的作用。
基于场景的360°全景系统设计及应用
基于用户使用场景的逻辑设计，让 360 全景更加智能，体验更加便捷舒适，同时不 失趣味性。
360 全景逻辑设计需要的整车 CAN 信号 和作用统计如表 1：
4.1 启动场景 车辆启动，用户出库或者出车位的场景 时，驾驶员挂 D 档后，弹出 360 全景影像， 无需用户手动激活，方便用户出库 , 如图 4。 4.2 转弯场景 （1）在车辆转弯行驶时，驾驶员放向盘 角度大于 60°，弹出 360 全景影像，结合转 弯场景，方便用户使用，减少因为盲区造成 的隐患。 （2）利用鱼眼摄像头的优势，在方向盘 转动的时候，设置图像跟随方向盘转角而变 动，实现图像随动，保证驾驶员驾驶无盲区。 （3）增加车轮辅助线，用户可以知道车 辆行驶过程中轮胎可能会压到的东西，用户 可以及时进行避让。 4.3 趣味场景 增加车模颜色设置，全景的画面更具趣 味性。增加触摸切换，用户点击车辆四周即 可实现图像切换 ( 图 5)。 4.4 智能场景 在行车或者泊车情况下，雷达探测到障 碍物报警时，用户希望观察周围的障碍物， 针对这种情况通过车身雷达与摄像头的融合 实 现， 如 果 雷 达 探 测 到 障 碍 物， 自 动 弹 出 360，让驾驶更安全可靠。雷达报警消失后， 360 全景 3s 后退出。
图 6 寻车场景框架图
用户通过手机APP 1、查找车辆位置 2、车辆周围照片
可导航到车同时可以查看 用户下车时的车辆前后方照片
场景一/车外远距离 将离开室内…
场景二/找车 步行寻车
显示屏
LVDS
LVDS （80MB/s）
车机
4G/5G
AVM
360模块
摄像头
LVDS
手机APP
场景三/上车 准备开车…
机显示屏进行输出显示，具体见图 3。
基于鱼眼镜头的全方位视觉系统建模
Ｙ Ａ ｕｎ — ｎ ， Ｉ ｈ ｎ －ｎｌ Ｙ ｕ － ｏ Ｕ ＮＧ ａ ｇ ｍｉｇ Ｄ Ｎ Ｃ ｅ ｇ ｊｉ ＵＸ ｅ ｂ Ｇ ，
（ ｃｏｌ ｆ ｅｈ ｎｃｌ ｎｉｅｒ ｇ Ｈ ｂ ｉ ｎｖｒ ｔｏ ｅｈ ｏ ｇ ，ｉ ｊ ０ ０ Ｃ ｉａ Ｓ ｈｏ ｏ Ｍ ｃ ａｉａＥ ｇｎｅｉ ， ｅ ｅＵ ｉ ｓｙ ｆ ｃ ｎｌ ｙ Ｔａ ｉ ３０ ， ｈｎ ） ｎ ｅ ｉ Ｔ ｏ ｎｎ １ ３
Ｏ Ｚ为 鱼 眼 镜 头 坐 标 系 ，ｘ ＸＹ ｏｙ为 图像 平 面 坐 标
镜头可以实现 近距离或超 近距离大视场立体视觉感 知 ，但同时也引人 了非常严重的图像变形 ． 图像变形
的主要 原 因是 鱼 眼镜 头 的 真正 成像 面不 是平 面 ， 而是
ｔ ｅｐ ｏｅ ｔ ｎ ｒ ｌ ， ｎ ｌ ｄｎ ｑ ａ — ｐ ｃ ｅ ｉｉｎ ｍｏ ｅ， ｅ ｎ ｄ ｓ ｌ ｎ ｌ ｏ ｒ ｃ ｉｎ ｍｏ ｅ ｎ ｒ ｏ ｏ ａ ｈ ｒｊ ｃ ｉ ｕ ｅ ｉ ｃｕ ｉ ｇ ｅ ｕ ｌ ｓ ａ ｅ ｒ ｖ ｓ ｄ ｌ ｄ ｆ ｅ ｏ ｉ ａ ｇｅ ｃ ｒ ｔ ｄ ｌ ｄ ｏ ｈ ｇ ｎ ｌ ’ ｏ ｏ ｉ ｄ ｅ ｏ ａ ｔ
１ 鱼眼镜 头的成像模型
鱼 眼镜 头 成 像不 同于普 通 镜 头 ， 有 相 当长 的 景 具 深 ， 利 于表 现 照 片 的长 景 深 效 果 ， 用 鱼 眼镜 头 所 有 但 摄 图像 变 形 严重 ． 了表 示 真实 场 景 中物 体在 镜 头 成 为
目标 检 测 的 传感 器相 比 ， 全方 位 摄像 机 可 以在 图像 中 获 取水平 方 向 ３０ 的环境 信 息 ． 用全 方 位 视觉 的这 ６。 利 个 特点 ， 动 机器 人 在 任意 位 姿 的情 况 下可 以全 方位 移 的实 时检 测机 动 目标 运 动 的信 息 ． 眼镜 头 是 一 种超 鱼
基于360°全景摄像头图像识别的行车辅助系统
78
电子技术与软件工程 Electronic Technology & Software Engineering
Surf 改进了特征的提取和描述方式，用一种更为高效的方式完 成特征的提取和描述，具体实现流程如下：
（1）构建 Hessian（黑塞矩阵），生成所有的兴趣点，用于特 征的提取；
（2）构建尺度空间； （3）特征点定位； （4）特征点主方向分配； （5）生成特征点描述子； （6）特征点匹配。 黑塞矩阵（Hessian Matrix）是一个多元函数的二阶偏导数构 成的方阵，描述了函数的局部曲率。由德国数学家 Ludwin Otto Hessian 于 19 世纪提出。 对一个图像 f（x，y），其 Hessian 矩阵如下：
方会出现不同程度的畸变，离中心点越远畸变越明显。 常见的鱼眼图像矫正方法有两种，一是基于经纬度矫正法，另
一种是棋盘矫正法。本设计尝试两种矫正方式后，发现棋盘法矫正 效果较佳，故选择棋盘法进行鱼眼矫正。
3.3 全景图像拼接
本设计的图像拼接基于特征点提取和匹配。本设计采用 SURF 特征点提取算法。SURF，加速稳健特征，是一种稳健的局部特征 点检测和描述算法。与 Sift 算法一样，Surf 算法的基本路程可以分 为三大部分：局部特征点的提取、特征点的描述、特征点的匹配。
电子技术与软件工程 Electronic Technology & Software Engineering
基于 360°全景摄像头图像识别的行车辅助系统
基于车载多视角的鱼眼图像拼接算法
２ ０１ ７ ． ５ 数 据 通 信
Ｔｅ ｃ ｈ ｎ ｏ ｌ ｏ ｑ ｖ Ｄｉ ｓ ｃ ｕ ｓ ｓ ｉ ｏ ｎ
基于车载多视角的鱼眼图像拼接算法
周
芳
杨
鸣
王益平
（ 宁波大学信息科学与工程学院 浙江宁波３ １ ５ ２ １ １ ）
摘
要 ：车载全景 系统通过在车身四周安装四个鱼眼摄像头进行影像采集并将采集的图像进行校正与
氍 一
得 到的 最小绝 对 差 即为全 局最优 解 。
２ － ２ 逆投 影变换
龋型
在 车载 系统 中 ， 车 身 四周 的摄 像 头 的 光 轴 与 地 面不是 垂直 的 ． 因 此 校 正 后 的 鱼 眼 图 像 受 倾 斜 角 的影响会 存在 透视 现象 ， 不 利 于 后 续 的 全 景 图 拼接 ， 如 图３ 所示。 针 对 该 问 题 还 需 将 已 校 正 的 图
拼接 最终形成完整的全景图，传统拼接算法针对相 同视 角的图像进行拼接 融合难以满足车载 系统的多视 角 系统以及 实时性的要 求。 本文针对以上 问题提 出一种基于车载多视 角的图像拼接算法， 首先基于最小二乘法 的椭球 面模 型进 行 鱼 眼 图像 校 正并将 已校 正 的 图像 进行 逆投 影 变换 ，再将 变换 后 的 图像 特征 进 行 手动 匹配 确定 匹配参数 ， 最后利用加权平均法结合对角线思想进行拼接融合。实验结果表 明， 该算法消除 了 拼接缝和
算法［ ５ １ 等。 其 中ｓ Ｉ 丌算 法是使用最广泛的一种提取特 通过参数方程校正鱼眼图像 ，再对 已校正的图像进 征点的方法 ， 但该算法的时间复杂度较高 ， 对于车载 行空间投影变换转换为俯视 图并提取清晰的中间图 系统中需同时处理多幅图像时难 以达到实时 Ｉ 生的要 像 ；全景图拼接部分首先通过标定特征点获取单应
最牛汽车环视系统设计,实现360度无死角的安全驾驶
最牛汽车环视系统设计，实现360度无死角的安全驾驶
一. 项目概述
随着当前国民经济的迅速进展和人民生活水平的提高，越来越多的家庭拥有汽车作为代步工具，如何平安便捷地泊好车成为了众多驾驶者共同面向的难题。
传统的泊车系统主要通过三种手段使司机能够看到汽车后方状况，这些手段分离是倒后镜、倒车雷达和倒车摄像头。
然而，这三种手段都存在车侧面这个盲区。
对于一些较复杂路段，司机只能看到前后方向，而车体两侧则简单被路边异物刮伤。
因此，对汽车360°环视系统举行讨论和开发具有很高的前景性和应用性。
本项目采纳 Spartan 6 举行算法的开发及系统控制。
二.系统功能描述
2.1 系统功能按照本项目的设计目标，本设计需要完成的功能有：
采集车的前方后方共四个摄像机的图像信息
将四个摄像机得到的视频信息通过视频处理技术,拼接成一幅360度环视图像
360度环视图像需要有连贯性, 不能感觉到有显然拼接迹象
2.2 时光性能
按照本项目的设计目标，汽车环视系统应当能够对延续视频帧图像举行实时处理，以保证汽车驾驶的平安性。
三. 计划设计
3.1 系统工作原理
3.1.1 理论分析
为了达到360°全景的目标，每个摄像头必需具有90°以上的视角，因此设计中我们采纳了视角达170度的广角鱼眼镜头。
用法中由于镜头视角足够大，不同摄像头的影像就会存在部分重叠现
第1页共4页。
一种基于折反射相机的客车全景环视系统
一种基于折反射相机的客车全景环视系统
迟瑞娟;赵木祯;王建强;张德兆
【期刊名称】《哈尔滨工程大学学报》
【年(卷),期】2013(034)002
【摘要】针对大客车体积大、盲区多,全景环视技术在客车上的应用较少且不成熟这一现状,开展大客车的全景环视技术研究,在嵌入式平台上实现了全景环视系统.同时,为解决大客车全景环视系统对标定设备和标定场地要求复杂、标定时间长的问题,提出了一种在折反射鱼眼相机模型基础上,加入标定棋盘平面与地面的映射,采用抬高的棋盘进行计算标定的方法.实验证明,该系统全景环视效果良好、标定过程简单快速、适合推广应用.
【总页数】7页(P190-196)
【作者】迟瑞娟;赵木祯;王建强;张德兆
【作者单位】清华大学,汽车节能与安全国家重点实验室,北京100084;中国汽车工程研究院汽车噪声振动和安全技术国家重点实验室,重庆400039
【正文语种】中文
【中图分类】U461.91
【相关文献】
1.基于平面对称光学系统像差理论的折反射全景成像系统优化设计 [J], 胡肖彦;吕丽军
2.一种DSP折反射全景图像实时展开方法 [J], 程钢;熊志辉;陈立栋;王斌;张茂军
3.一种双CPU协同的大型客车全景环视系统 [J], 林忠正; 魏云龙; 潘林; 陈凤美
4.一种基于2组摄像头的车载全景环视系统设计 [J], 胡泽; 谢心蕊
5.基于折反射全景相机的视觉里程计研究 [J], 张裕;徐熙平;张宁;吕耀文;卢毅因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于鱼眼镜头的车载全景环视系统研究
发表时间：2019-09-03T16:54:23.430Z 来源：《科学与技术》2019年第07期作者：段军[导读] 现主要探讨摄像头在车辆上可以安装的位置和各种不同情况下的安装条件、安装角度对系统图像的影响以及常规情况下应取的角度的确定。
捷西迪（广州）光学科技有限公司广东广州 510670
摘要：全景系统是通过车辆前后左右四个全景摄像头图像拼接产生周边完整图像的车载设备，四个摄像头的安装位置、安装角度对于系统的图像拼接有着重要影响。
尤其是在鱼眼镜头的支持下，车载全景环视系统能够为驾驶员带来更全面的视觉体验，从而带来诸多便利。
现主要探讨摄像头在车辆上可以安装的位置和各种不同情况下的安装条件、安装角度对系统图像的影响以及常规情况下应取的角度的确定。
关键词：全景系统；图像拼接；全景摄像头；安装角度；安装位置
1鱼眼镜头及车载全景环视系统概述
1.1鱼眼镜头概述
鱼眼镜头相比传统镜头具有更大的视场角。
但由于其特殊的光学结构，鱼眼镜头引入了以径向畸变为主的图像畸变，目前各类畸变校正算法的实现，均依赖于鱼眼镜头图像轮廓的确定。
提取鱼眼镜头的图像轮廓，主要是指获得圆形区域的圆心坐标及半径。
随着图像处理技术的发展，在有限的条件下获得更多图像信息的需求越来越迫切。
考虑到安装相机的成本和图像处理算法上的复杂性，在一定范围内，安装摄像机的数量越多，获取的信息越多越好。
普通相机的视角一般在30°～40°，而鱼眼镜头可以获得180°左右的图像信息。
1.2车载全景环视系统概述
首先，目前大多数人使用的为360°全景行车系统，但360°全景行车记录仪虽然能够提供全面的图像记录功能可以对障碍物进行识别和检测。
该系统能够通过起图像记录等功能，为用户呈现图像等，以便避免障碍物。
其次，目前的360全景行车记录仪都只配置了前、后、左、右四个方向的相机。
其三，目前汽车对障碍物的检测主要还是需要依靠超声波雷达完成，受到超声波雷达的功能限制，汽车无法使用超声波雷达对障碍物进行准备位置定位和大小识别，也无法实现障碍物的可视化，导致用户不能直观地了解障碍物的大小、位置和类型。
比如专利CN205632288U《一种全景倒车影像系统》，其特征在于：包括图像采集模块、系统控制模块、图像显示模块、图像处理电路模块和图像拼接融合电路模块；所述图像采集模块的输出端分别与系统控制模块和图像显示模块的输入端连接；所述系统控制模块的一输出端与图像处理电路模块的输入端连接；所述图像处理电路模块的输出端经图像拼接融合电路模块与系统控制模块连接；所述系统控制模块的另一输出端与图像显示模块连接。
2影响全景图像拼接的结构因素
一般家轿、SUV安装全景系统的车型，其长度在4.5～5m的范围内，加上车辆需要显示的单边范围为2～3m，需要车载摄像头的最大拍摄范围达到7～11m。
而车上适合安装摄像头的位置不多，高度一般也不超过1.2m。
需要摄像头有比较广阔的取景角度（视场角），只有大广角的鱼眼摄像头能达到，所以全景用的摄像头就只能是鱼眼摄像头。
平面拼接的摄像头水平视场角须大于170°，垂直视场角须大于110°；立体拼接要求更高，水平视场角须大于185°，垂直视场角须大于124°，这样拼接出来的图像才比较清晰。
全景系统的图像质量取决于摄像头的摄取范围能否达到系统要求，而影响摄像头摄取范围的因素有摄像头的固定位置、高度和摄像头的摆放角度，固定位置和高度决定了图像的取图范围大小，而角度决定了图像能否覆盖需要取的位置，下面分别介绍对这些结构要素的要求。
3摄像头的安装位置和高度要求
3.1前视摄像头的安装位置选择
车前部能安装摄像头的位置主要有上格栅、下格栅、前保险杠。
出于车的结构完整、强度保持的需要，无论车厂还是4S店，都不允许通过打孔、开缝、切角等破坏车前部结构件的方式进行前视摄像头的安装[1]。
所以，在保险杠上安装就不可能了。
那就只有在上、下格栅（俗称“中网”和“风网”）上安装才比较合理。
前视安装需要符合哪些条件，才能摄取到符合系统要求的图像呢？先说说高度。
全景摄像头的分辨率约为30万像素，解像能力是640×480以上，从清晰度角度来说，2m以下都能摄取到足够清晰的图像；如果用百万像素级（1280×720）的高清摄像头，三四米的高度取的图仍能令人满意。
车的宽度一般在1.8m左右，加上全景需能反映车身外2～3m距离内的图像，这样前摄就必须能取到周围6～8m范围内比较清晰的图像。
3.2后视摄像头的安装位置选择
后视摄像头的安装条件与前视相似，同样是越高越好，最好安装在中线上。
在4S店加装全景系统，后视摄像头的安装要尽量用好已有的结构，后视的位置常选择取代两种车上现成的结构：倒车摄像头和牌照灯。
两个位置的高度是一样的，一般都在1m以上的高位。
倒车摄像头的位置是首选，这个位置比较靠中线，因为尾箱开箱提手位置的存在，倒车摄像头也不是处于正中，会偏一点[2]。
对于自动锁尾箱的车，开锁位置不在正中，处在正中的就是倒车摄像头了。
倒车摄像头的固定结构与全景后视摄像头相似，很容易就可以改为后摄，无需做太大改动。
4基于鱼眼镜头的车载全景环视系统设计
在车辆车头保险杠的中部设置前摄像头，在车的左后视镜的最左端设置左摄像头，在车的右后视镜的最右端设置右摄像头，在车的车尾中部设置有后摄像头，在车内部中部设置有车载计算机，车内的仪表板上方和风挡玻璃上设置有显示屏[3]。
车身四周的摄像头用于采集车身四周图像，所有摄像头均与车载计算机相连接，车载计算机获取图像后进行图像处理，完成车身四周图像的全景图像合成。
车载计算机通过人工智能和图像检测技术对由摄像头合成的全景图进行分析，找到可能危害行车安全的障碍物。
车载计算机连接显示屏用于显示合成的全景图像和被计算机检测的障碍物位置，显示屏自带触控功能可完成人机之间的控制交互，方便驾驶员的操控[4]。
由于需要实时完成对最少4个摄像头的图像拼接，还需要通过人工智能的方式自动识别车身周围的障碍物，所以对车载计算机的要求比较高。
并且由于安装在车上，设备需要小型化。
普通的嵌入式设备无法满足需求，本文采用嵌入式人工智能计算平台，例如Nvidia公司的JetsonTX2。
JetsonTX2配置是满足了本文要求书中所提到的最低要求，达到这些要求才能完成本文的功能效果。
配置的显示器可以为7寸或9寸的LED显示器，通过支架固定在车内。
显示器与车载计算机连接，将车载计算机拼接的全景图和通过人工智能算法计算出来的障碍物位置显示出来。
显示器自带的音响也可以通过语音方式提醒驾驶员车身周围和路面情况，提高行车安全。
结束语：
总之，在鱼眼镜头的支持下，车载全景环视系统的运用，能够为行车人带来更强的技术支持。
行车人员在操作过程中，通过该系统的合理运用，可以有效地避免相关障碍，从而保证行车安全。
参考文献：
[1]陈秀娟.3D全景环视系统:360°扫盲区[J].汽车观察,2018(07):95.
[2]朱网兰.长城哈弗车全景环视影像系统简析[J].汽车维护与修理,2018(09):70-73.
[3]宋阳,周亚丽,张奇志.鱼眼镜头径向畸变的校正方法[J].仪器仪表学报,2017,38(04):1014-1023.
[4]黄岩岩,李庆,张斌珍.鱼眼镜头的标定和畸变校正研究[J].计算机工程与设计,2014,35(09):3132-3135+3212.
[5]白永,关利海.全景环视辅助泊车系统的研究[J].汽车零部件,2014(08):25-27.。