02-1第二章-视觉传感器在智能网联汽车中的应用

红外夜视视觉传感器的原理和特点
• 红外夜视可以分为主动和被动两种类 型。请说说这两种红外夜视类型有什 么不同？
• 红外夜视系统是视觉传感器一个独特的分支，图像 处理算法在处理远红外夜视图像过程中依然能够发 挥作用，因此红外夜视系统能够像可见光摄像头一 样，获取环境中的目标大小和距离等信息，对光照 不足条件下对基于可见光的视觉传感器的应用是一 种有效补充。
单目视觉传感器的原理和特点
• 单一的摄像头由于镜头角度、探测范围和精度有所不 同，在实际应用中也经
• 常采用组合的单目摄像头来实现不同的环境检测： • ①长焦摄像头和短焦摄像头组合的方式，提供远距离
精确探测和近距离大探测范围的综合检测； • ②四个鱼眼摄像头分别布置在车辆的前后左右，通过
图像拼接提供环视功能。
6 熟悉视觉传感器在智能网联汽车中的应用
01 •视觉传感器种类与原理
视觉传感器的基本认识
• 1.车载摄像头的功能
• 请说说智能网联汽车上的摄像头各有什么功能？ • 单目传感器的工作原理是先识别后测距，首先通过图
像匹配对图像进行识别，然后根据图像的大小和高度 进一步估计障碍物和车辆移动时间。 • 双目视觉传感器的工作原理是先对物体与本车辆距离 进行测量，然后再对物体进行识别。 • 由于夜间可见光成像的信噪比较低，从而导致视觉传 感器夜间成像的难度增大，而远红外系统在这个时候 就能发挥自身独特的优势。
视觉传感器的基本认识
• 图像传感器又称成像装置或摄像装置，请说说原理是什么？
• 图像传感器是摄像头的重要组成部分，可以检测可见 光、紫外线、X射线、近红外光等，实现视觉功能的 信息采集、转换和扩展，提供视觉、真实、多级、多 内容的视觉图像信息。
视觉传感器的基本认识
• CCD图像传感器可分为两类：一类用于获取线阵图像， 称为线阵CCD；另一类用于获取表面图像，称为面阵 CCD。
• 请说说根据汽车摄像头模块的不同分为哪几种摄像头？ • 根据汽车摄像头模块的不同，目前使用的摄像头分为
单目摄像头、双目摄像头和红外摄像头。 • 为了完成ADAS任务，视觉规划通常需要测量车辆与
前方障碍物之间的距离并识别障碍物，除了单目与双 目，还有多个摄像头平台。 • 考虑到周围环境和远距离目标检测，还有一些情况下 使用远摄和广角摄像头来匹配ADAS主摄像头， ADAS功能叠加在观察平台上。
米以外，很难缩小视差的范围。采用高像素摄像头和 较好的算法可以提高测距性能，双目摄像头间距越小， 测距镜头之间的距离越近，探测距离越大，镜头间距 越大，探测距离越远。
单目视觉传感器的原理和特点
• 智能网联汽车传感系统是一个多传感器的复杂系统。使用单目摄像头是一种很好的方法，但是单目摄像头依 赖大量训练样本、特征提取过程难以观测和调整等。由于传感器的物理特性，摄像头测距精度远低于激光雷 达和多普勒雷达。因此在实际应用中，需要结合激光雷达和多普勒雷达等其他传感器进行探测，这些传感器 在各自的约束条件下能够发挥各自最优的性能，各类传感器的融合将大大提高目标检测的精度。
双目视觉传感器的原理和特点
• 请说说双目视觉系统在应用上有哪些不足？ • 争对双目视觉系统的不足，通常采用哪些技术来补充？
双目视觉传感器的原理和特点
• 案例：卡尔飞思智能小车双目摄像头路由寻径识别应用
红外夜视视觉传感器的原理和特点来自• 请说说电磁波的特征有哪些？
• 基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器 上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观 察的视频图像。
单目视觉传感器的原理和特点
• 请说说单目传感器的工作原理是什么？
• 目前的ADAS可识别40米～120米的范围，未来将达 到200米或更多。单目摄像头的视角越宽，可以检测 到的精确距离长度越短，视角越窄，检测到的距离越 长。
单目视觉传感器的原理和特点
• （2）双目摄像头
• 请说说双目摄像头的工作原理是什么？ • 双目望远镜在20米范围内具有明显的测距优势，在20
双目视觉传感器的原理和特点
• 请说说双目仿生学原理。
双目视觉传感器的原理和特点
• 双目摄像头的优点有哪些？ • 双目摄像头可以在不识别目标的情况下获得深度距离
数据。 • 从理论上讲，立体摄像头的误差可以小于1%，特别
是在单目摄像头配备毫米波雷达等传感器后，可以达 到类似的精度，可以满足L1、L2和部分L3场景的功能 要求。
XXXXXXXXXXXXXXXXXXXXXXXX学校/学院
智能网联汽车技术概述
◣ 第二章 视觉传感器在智能网联汽车中的应用
授课教师：
学习目标
1 熟悉视觉传感器的种类
2 了解单目视觉传感器的原理和特点
3 了解双目视觉传感器的原理和特点
4 了解红外夜视视觉传感器的原理和特点
5
了解智能网联汽车领域中的图像处理方法及 应用
• 因此多个单目视觉传感器的组合方案在智能网联汽车 领域也得到了广泛的应用。
多个视觉传感器的组合应用
• 三目摄像头的划分为25°视场、50°视场、150°视场， 25°视场用于检测前车道线、交通灯，50°视场负责一 般的道路状况监测，150°视场用于检测平行车道、行 人和非机动车行驶的状况。
• 仅仅通过环视或二维视觉很难满足L3或L3以上的需求， 对多维立体视觉的需求会越来越突出。
多个视觉传感器的组合应用
• 在汽车智能驾驶中，通过不同焦距和不同仰角的多个 单目摄像头，可以获得不同位置的交通标志、信号灯 和各种道路标志的检测和识别能力。
• 例如，在长焦摄像头的成像中，100米处的交通灯足 够大，100米处的交通标志上的数字也清晰可见。而 在短焦距摄像头的成像中，100米处的交通标志上的 数字是完全不清楚的，但是却能够获得近距离更广范 围的环境信息。
• 请说说各有什么特点？
• 请说说涂在CCD表面的硅半导体光敏元件的主要作用 是什么？
线阵CCD
线阵CCD
面阵CCD
面阵CCD
视觉传感器的基本认识
• 汽车ADAS摄像头作用有哪些？
操控 方式
横向
纵向
预警功能
控制功能
车道偏离警告 车道保持功能
前车碰撞警告 行人碰撞警告
紧急刹车功能
--
自适应巡航
视觉传感器的基本认识