视觉传感器在智能网联汽车中的应用

智能网联汽车技术
V2X ICV
Landar
5G
——冷却系统 ——视觉传感器在智
HD Map 能网联汽车中的应用
学习目标
1 熟悉视觉传感器的种类
2 了解单目视觉传感器的原理和特点
3 了解双目视觉传感器的原理和特点
4 了解红外夜视视觉传感器的原理和特点
5
了解智能网联汽车领域中的图像处理方法及 应用
6 熟悉视觉传感器在智能网联汽车中的应用
双目视觉传感器的原理和特点
• 请说说双目视觉系统在应用上有哪些不足？ • 争对双目视觉系统的不足，通常采用哪些技术来补
充？
红外夜视视觉传感器的原理和特点
• 请说说电磁波的特征有哪些？
• 基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探 测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可 供人眼观察的视频图像。
• 随着人工神经网络的发展和图像识别等相关数据集容量的不断增加、GPU等并行数据处理芯片的广泛应 用，使得多层神经网络训练并提取特征成为可能，神经网络逐层提取图像矩阵中的数学特征、层间递进 地组合为全局特征、最终实现面向计算的特征提取。
• 多层神经网络前端网络层本质上是计算边缘梯度和其他简单的操作，类似人工特征的设计；后端网络层 将局部模式组合成更全局的模式。
视觉传感器的基本认识
• 图像传感器又称成像装置或摄像装置，请说说原理是什么？
• 图像传感器是摄像头的重要组成部分，可以检测可 见光、紫外线、X射线、近红外光等，实现视觉功 能的信息采集、转换和扩展，提供视觉、真实、多 级、多内容的视觉图像信息。
视觉传感器的基本认识
• CCD图像传感器可分为两类：一类用于获取线阵图 像，称为线阵CCD；另一类用于获取表面图像，称 为面阵CCD。
20米以外，很难缩小视差的范围。采用高像素摄像 头和较好的算法可以提高测距性能，双目摄像头间 距越小，测距镜头之间的距离越近，探测距离越大 ，镜头间距越大，探测距离越远。
单目视觉传感器的原理和特点
• 智能网联汽车传感系统是一个多传感器的复杂系统。使用单目摄像头是一种很好的方法，但是单目摄像 头依赖大量训练样本、特征提取过程难以观测和调整等。由于传感器的物理特性，摄像头测距精度远低 于激光雷达和多普勒雷达。因此在实际应用中，需要结合激光雷达和多普勒雷达等其他传感器进行探测 ，这些传感器在各自的约束条件下能够发挥各自最优的性能，各类传感器的融合将大大提高目标检测的 精度。
单目视觉传感器的原理和特点
• 请说说单目传感器的工作原理是什么？
• 目前的ADAS可识别40米～120米的范围，未来将 达到200米或更多。单目摄像头的视角越宽，可以 检测到的精确距离长度越短，视角越窄，检测到的 距离越长。
单目视觉传感器的原理和特点
• （2）双目摄像头
• 请说说双目摄像头的工作原理是什么？ • 双目望远镜在20米范围内具有明显的测距优势，在
• 因此多个单目视觉传感器的组合方案在智能网联汽 车领域也得到了广泛的应用。
多个视觉传感器的组合应用
• 三目摄像头的划分为25°视场、50°视场、150° 视场，25°视场用于检测前车道线、交通灯，50° 视场负责一般的道路状况监测，150°视场用于检 测平行车道、行人和非机动车行驶的状况。
• 仅仅通过环视或二维视觉很难满足L3或L3以上的需 求，对多维立体视觉的需求会越来越突出。
• 参考右图请说说如何使用RGB编码格式实现图像 采集和编码的过程？
• 智能网联汽车中涉及的图像处理算法就是 在结构化的图像信息提取其中包含的环境 特征。机器视觉算法的基本步骤包含图像 数据的解码、图像特征的提取、识别图像 中的目标。图像处理算法包括传统的机器 视觉，以及基于人工神经网络的深度学习 等技术。
01
• 视觉传感器种类与原理
视觉传感器的基本认识
• 1.车载摄像头的功能
• 请说说智能网联汽车上的摄像头各有什么功能？ • 单目传感器的工作原理是先识别后测距，首先通过
图像匹配对图像进行识别，然后根据图像的大小和 高度进一步估计障碍物和车辆移动时间。 • 双目视觉传感器的工作原理是先对物体与本车辆距 离进行测量，然后再对物体进行识别。 • 由于夜间可见光成像的信噪比较低，从而导致视觉 传感器夜间成像的难度增大，而远红外系统在这个 时候就能发挥自身独特的优势。
单目视觉传感器的原理和特点
• 单一的摄像头由于镜头角度、探测范围和精度有所 不同，在实际应用中也经
• 常采用组合的单目摄像头来实现不同的环境检测： • ①长焦摄像头和短焦摄像头组合的方式，提供远距
离精确探测和近距离大探测范围的综合检测； • ②四个鱼眼摄像头分别布置在车辆的前后左右，通
过图像拼接提供环视功能。
红外夜视视觉传感器的原理和特点
• 红外夜视可以分为主动和被动两种 类型。请说说这两种红外夜视类型 有什么不同？
• 红外夜视系统是视觉传感器一个独特的分支，图 像处理算法在处理远红外夜视图像过程中依然能 够发挥作用，因此红外夜视系统能够像可见光摄 像头一样，获取环境中的目标大小和距离等信息 ，对光照不足条件下对基于可见光的视觉传感器 的应用是一种有效补充。
• 立体视觉一般有哪三类实现方式？请详细说明？
• 4.视觉里程计算法
• 视觉里程计算法的一个非常重要的特点是它只关心局部运动，而且大部分时间是指两个时刻之间的运动 。当以一定的时间间隔采样时，可以估计运动物体在每个时间间隔内的运动。由于该估计值受噪声的影 响，故将前一时刻的估计误差加入后一时刻的运动，会产生误差累计。
多个视觉传感器的组合应用
• 在汽车智能驾驶中，通过不同焦距和不同仰角的多 个单目摄像头，可以获得不同位置的交通标志、信 号灯和各种道路标志的检测和识别能力。
• 例如，在长焦摄像头的成像中，100米处的交通灯 足够大，100米处的交通标志上的数字也清晰可见 。而在短焦距摄像头的成像中，100米处的交通标 志上的数字是完全不清楚的，但是却能够获得近距 离更广范围的环境信息。
特征分类
匹配
完全识别
交通识别信 息
车牌
道路边 界
车道线
交通信 号
交通标 志
车辆/行 人
自由行 驶空间
• 视觉传感器将通过数字化的图像对环境信息编码， 编码的目的是使信息可以被计算机处理。典型的图 像编码格式有灰度、RGB、CMYK等，根据颜色编 码、图像属性、分辨率、压缩方式等特征，一些标 准的图像格式如BMP、JPG（JPEG）、PNG、 TIF、GIF、PCX、TGA、EXIF、FXP等被定义， 用于标准化和结构化图像的存储，以及在网络、各 类操作系统和算法中的传播与使用图像。
• 请说说图像特征的提取的原理是什么？
• 人工特征有直观、可分析等优势，在图 像识别领域得到了广泛的应用。典型的 人工图像特征有：SIFT特征、HOG特 征、Haar-like特征等。
• 请说说SIFT特征、HOG特征、Haar-like特征各有 ຫໍສະໝຸດ Baidu些特征？
• 在实际应用中，还需要考虑相关算法的计算效率和 特征描述的普适性等，所以一些评价特征的性能指 标被提出来，如：特征对旋转、尺度缩放、亮度变 化的不变性，特征对视角变化、仿射变换、噪声的 稳定性；另外在实际应用中，根据特征点提取方法 和特征点描述方法的不同，又有满足各类不同功能 、性能要求的特征提取方法被细分，如SIFT、 SURF、FAST、HOG、ORB、LBP等。
• 基于视觉的车道检测的方法有哪些？
• 请说说基于霍夫变换的车道线检测的原理是什么？ • 请问什么是基于仿射变换的车道线检测？ • 什么是基于边缘点拟合的车道线检测？
• 请说说车道线跟踪的原理是什么？
• 2.语义分割
• 语义分割是指图像处理算法试图从语义 上理解图像中每个像素的角色，该物体 是汽车还是其他分类的物体，除了识别 人、路、车、树等，我们还必须确定每 个物体的边缘，需要使用语义分割模型 来对物体做出像素级的分割，并通过语 义形式提供物体的特征和位置等信息。
• 在汽车智能驾驶中，通过不同焦距和不同仰角的摄 像头，可以获得不同位置的交通标志、信号灯和各 种道路标志的检测和识别能力。
• 智能网联汽车领域图像处理方 法
计算机视觉技术原理
• 智能网联汽车中使用的图像处理方法算法主要来源 于计算机视觉中的图像处理技术。
计算机视觉 识别流程
图像输入
预处理
特征提取
• 5.目标跟踪
• 目标跟踪是指系统跟踪特定场景中感兴趣的一个或 多个特定对象的过程，目标跟踪在无人驾驶领域很 重要，一方面可以提高后续检测的准确性，另一方 面能够对目标的运动状态进行跟踪。
• 根据观测模型，目标跟踪算法可分为两类：生成算 法和判别算法。生成算法利用生成模型来描述目标 表面特征，并使重构误差最小化来搜索目标；判别 算法又称检测跟踪算法，通过区分待识别目标和道 路、天空等背景，将待识别目标提取并进行跟踪。
• 3.立体视觉与场景流
• 立体视觉是双眼观察景物能分辨物体远近形态的感 觉。
• 立体视觉的目的在于重构场景的三维几何信息。 • 用作立体视觉研究的图像在时间、视点、方向上有
很大的变动范围，直接受所应用领域的影响。立体 视觉的研究主要集中在三个应用领域中，即自动测 绘中的航空图片的解释，自主车的导引及避障，人 类立体视觉的功能模拟。 • 在立体视觉的应用领域中，一般都需要一个稠密的 深度图。 • 场景流是空间中场景运动形成的三维运动场。
• 请说说各有什么特点？ • 请说说涂在CCD表面的硅半导体光敏元件的主要作
用是什么？
线阵CCD
线阵CCD
面阵CCD
面阵CCD
视觉传感器的基本认识
• 汽车ADAS摄像头作用有哪些？
操控 方式
横向
纵向
预警功能
车道偏离警 告
前车碰撞警 告
行人碰撞警 告
--
控制功能 车道保持功
能
紧急刹车功 能
自适应巡航
视觉传感器的基本认识
• 请说说根据汽车摄像头模块的不同分为哪几种摄像 头？
• 根据汽车摄像头模块的不同，目前使用的摄像头分 为单目摄像头、双目摄像头和红外摄像头。
• 为了完成ADAS任务，视觉规划通常需要测量车辆 与前方障碍物之间的距离并识别障碍物，除了单目 与双目，还有多个摄像头平台。
• 考虑到周围环境和远距离目标检测，还有一些情况 下使用远摄和广角摄像头来匹配ADAS主摄像头， ADAS功能叠加在观察平台上。
驾驶汽车拥有三个前视摄像头，三个后视摄像头 ，两个侧视摄像头，12个超声波雷达和一个安装 在车身上的前毫米波雷达。
视觉传感器在智能网联汽车中的实际应用
• 智能驾驶汽车的视觉传感器可实现车道偏离警告、前方碰撞预警、行人碰撞预 警、交通标志识别、盲点监控、驾驶人注意力监控、全景停车、停车辅助和车 道保持辅助等功能。
• 语义分割是无人车驾驶的核心算法技术，车载摄像头，或者激光雷达探查到图像后输入到神经 网络中，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。
• 语义分割的原理
• 原始图像经过深度学习网络进行逐层特征提取、像 素级分割、特征识别、语义标注等过程，实现对图 像中各类目标的识别、分类、语义信息标注，为智 能网联汽车更丰富功能的实现，提供更多、更全面 的环境信息。
• 请说说卷积神经网络提取图像特征实现视觉识别的基本原理是什么？
层次化的特征学习（即网络参数确定）
根
据
图
原
像
始
中
图
的
像
特
征
，
识
别
目
标
• 1.车道检测
• 车道由圆弧、直线、与曲线构成，缓和曲线由不同 曲率（例如螺旋曲线）的圆弧连接过渡段或直线连 接过渡段，车道与路面车辆的几何模型元素包括车 道曲率、弧长、偏航角等。
• 视觉传感器在智能网联汽车中的实际应用
视觉传感器在智能网联汽车中的实际应用
• 随着电子化、信息化与人工智能技术的发展，小型化和嵌入式的视觉传感器得 到了广泛应用，人们可以从车载摄像头中获得更智能的结果，即通过摄像头的 视场，感知驾驶环境。
• 以特斯拉为例 • 特斯拉Autopilot 2.0 L2级（如图2-15所示）智能
双目视觉传感器的原理和特点
• 请说说双目仿生学原理。
双目视觉传感器的原理和特点
• 双目摄像头的优点有哪些？ • 双目摄像头可以在不识别目标的情况下获得深度距
离数据。 • 从理论上讲，立体摄像头的误差可以小于1%，特
别是在单目摄像头配备毫米波雷达等传感器后，可 以达到类似的精度，可以满足L1、L2和部分L3场景 的功能要求。