《智能网联汽车环境感知技术》教学课件—第2章视觉传感器

合集下载

智能网联汽车概论(含实验指导)第二章智能网联汽车环境感知系统

03
环境感知系统在智能网联汽车中的实际应用
道路识别就是把真实的道路通过环境感知传感器转换成汽车能认识的道路，供智能网联（自动驾驶）汽车行驶；或通过视觉传感器识别出车道线，提供车辆在当前车道中的位置，帮助智能网联汽车提高行驶的安全性。
根据车辆的颜色、轮廓、对称性等特征将车辆与周围的背景区别开来。
主动环境感知传感器可以主动向外部环境发射信号进行环境感知，如超声波传感器、毫米波雷达和激光雷达等。智能传感器的性能特点，见表2-1。
参数指标
优势
劣势
远距离探测能力
夜间工作能力
全天候工作能力
受气候影响烟雾环境工
作能力雨雪环境工
作能力温度稳定性车速测量能
力
表 2-1 智能传感器的性能特点
（1）传感器是测量装置，能完成检测任务；（2）输入量是某一被测量。可能是物理量，也可能是化学量、生物量等；（3）输出量是某种物理量；（4）输入输出有对应关系。且应有一定的精确度。
传感器一般是利用某些物质的物理、化学和生物的特性或原理按照一定的制造工艺研制出来的。由于传感器的作用、原理、制造的工艺等不同. 所以它们有较大的差别。传感器一般由敏感元件、转换元件、转换电路3部分组成。
显示系统报警系统传感器网络车载网络
（1）信息采集单元对环境的感知和判断是智能网联汽车工作的前提与基础，感知系统获取周围环境和车辆信息的实时性及稳定性，直接关系到后续检测或识别准确性和执行有效性。
（2）信息处理单元信息处理单元主要是对信息采集单元输送来的信号，通过一定的算法对道路、车辆、行人、交通标志、交通信号等进行识别。
感知传感器，它们的选择需要综合考虑其性能特点和性价比，它们之间的比较

汽车智能传感器装调与测试课件PPT任务2视觉传感器标定

知识学习
检查车辆状态：空气悬架系统设为“标准 ”档。方向盘回零、车轮摆正、空载、胎压正常，各摄像头无遮挡。
准备标定板:根据手册选取相应型号的标定板。如图所示为7x5格黑白格标定板，采用6x4个内部顶点对视觉传感器进行标定。
7x5棋盘格标定板
视觉传感器静态标定
任务实施
视觉传感器静态标定
放置标定板：通过手册确定标定板放置方式与位置点的数量。
分辨率：
数字工业相机直接与光电传感器的有效像元数对应。图像传感器是由许多像素点按照矩形点阵进行排列，横向像素点数 H × 竖向像素点数（ V ），其乘积接近于相机的像素值。常用工业相机像素值为130万、 200万、 500万等。
分辨率越高，相机成像越清晰。
知识学习
视觉传感器系统设置
任务实施
典型动态标定场地
知识学习
视觉传感器静态标定
视觉传感器动态标定
任务实施
动态标定使用专门移动标定工具，形式为按照厂家规范进行5到30分钟的道路行驶，动态标定场地要元素丰富，应包含如树木、路灯、交通灯与交通标志、清晰的道路线等道路交通元素。
视觉传感器标定状态显示位置
知识学习
视觉传感器静态标定
操作准备
传感器需要标定的原因
任务实施
知识学习
传感器的生产制造过程存在工艺误。
利用计算机视觉技术进行系统参数估计。传感器单元与其安装部件（如车内后视镜模块）在维修过程中被移动。传感器因为交通事故造成损坏。
车辆尺寸改变、悬架调整与底盘高度变化。传感器元器件随着使用出现磨损与安装位置变化。传感器工作环境温度变化、颠簸震动、湿度过大、进水对传感器造成影响。自动辅助驾驶系统需要通过传感器融合进行工作，因此必须将多个传感器测量结果变换到统一的时空坐标系。

智能网联汽车技术基础最新版课件-项目二智能网联汽车环境感知技术

智能网联汽车技术基础
项目二智能网联汽车环境感知技术
任务一环境感知系统整体认知
任务二激光雷达原理及应用认知
任务三任务四任务五任务六
毫米波雷达原理及应用认知超声波雷达原理及应用认知视觉传感器原理及应用认知多传感器融合技术认知
1
环境感知系统整体认知
学习目标
智能网联汽车环境感知技术
1. 掌握智能网联汽车环境感知的定义和组成 2. 熟悉环境感知的对象和方法 3. 了解常见环境感知传感器的类型、特点及在智能网联汽车上的应用
1、环境感知系统整体认知
信息采集单元
视觉传感器激光雷达毫米波雷达超声波雷达车载自主网络导航定位装置
信息处理单元
道路识别车辆识别行人识别交通标志识别交通信号灯识别
图2-1-3 环境感知系统组成
智能网联汽车环境感知技术
信息传输单元显示系统报警系统传感器网络
车载自主网络
1、环境感知系统整体认知
2、激光雷达原理及应用认知
智能网联汽车环境感知技术
图2-2-4单线激光雷达
但是，单线雷达只能平面式扫描，不能测量物体高度，有一定局限性。目前，主要应用于服务机器人身上，如扫地机器人。在智能车上，单线激光雷达主要用于规避障碍物、地形测绘等领域。
2、激光雷达原理及应用认知
图2-2-5多线激光雷达
智能网联汽车环境感知技术
多线激光雷达扫描一次可产生多条扫描线，主要应用于障碍物的雷达成像，相比单线激光雷达在维度提升和场景还原上有了质的改变，可以识别物体的高度信息，目前市场上多线产品包括4线、8线、16 线、32线、64线等。如图2-2-5所示，为多线激光雷达扫描的不同类型障碍物的点云图，包括汽车、人、墙、树木、公交车和小货车等。

智能汽车环境感知技术PPT课件

环境感知的传感系统主要由机器视觉识别系统雷达系统超声波传感器和红外线传感器所组成机器视觉识别系统是指智能汽车利用ccd等成像元件从不同角度全方位拍摄车外环境根据搜集到的信息得到反映真实道路的图像数据然后综合运用各种道路检测算法提取出车道线道路边界以及车辆的方位信息判断汽车是否有驶出车行道的危险当情况十分危险时会通过报警系统给驾驶员发出提示和警报于此同时图像测控系统还可以根据视觉导航的输出对车辆的执行机构发出指令从而自主决定车辆当前的前进方向和控制车辆自身的运动状态
第1页/共21页
开发ITS的目的就是通过当前飞速发展的信息技术，有效利用现存的道路设施使得车辆、道路和驾驶者和谐的统一起来。
智能汽车是智能运输系统（ITS）的关键部分。智能车辆的研究方向包括驾驶员行为分析、环境感知、极端情况下的自主驾驶、规范环境下的自主导航、车辆运行控制系统、主动安全系统、交通监控、车辆导航及协作、车辆交互通信、军事应用、系统机构、先进的安全车辆。
第8页/共21页
三、具体汽车环境感知技术实例
• 1、几种情况下的道路标识线识别
• 道路标识线快速准确的识别是环境感知的一项内容也是车辆横向偏航警告技术的前提条件。以客车为例，道路环境的多变且异常复杂充满了各种不确定因素，导致CCD视觉识别系统采集道路图像环境信息中很大程度上掺杂着如阴影遮挡、可见度低、风雪之类等恶劣天气大量的随机干扰因素，这些干扰因素增加了道路标识线检测的难度。
第16页/共21页
图7、汽车夜视系统
第17页/共21页
图8、汽车夜视系统第18页/共21页
四、结语
• 环境感知作为车辆主动安全领域关键技术，在过去二十年间得到了极大关注和快速发展。城市环境中道路结构多变、车辆类型众多、环境背景复杂，同时近年来环境污染导致雾霾天气频发，这都给智能车辆环境感知技术带来挑战。但是随着技术的进步和成本的不断降低，环境感知技术将发展的越来越快，越来越全面的融入到我们的生活中。

智能网联汽车环境感知系统

2.2.1 环境感知传感器的类型与配置
2020/6/19
2.2.1 环境感知传感器的类型与配置
2020/6/19
2.2.1 环境感知传感器的类型与配置
通用公司用于研究L4级自动驾驶技术的Bolts 5个16线束激光雷达 21个毫米波雷达 16个摄像头
2020/6/19
2.2.1 环境感知传感器的类型与配置
第4页
2.1.1 环境感知的定义
2020/6/19
2.1.1 环境感知的定义
➢环境感知的对象主要有道路、车辆、行人、各种障碍物、交通标志、交通信号灯等
2020/6/19
2.1.2 环境感知的组成
2020/6/19
2.1.2 环境感知的组成
2020/6/19
2. 2 环境感知传感器
2.2.1 环境感知传感器的类型与配置 1.环境感知传感器的类型
2020/6/19
2.2.4 激光雷达——主要指标
（5）数据采样率：是指每秒输出的数据点数，等于帧率乘以单幅图像的点云数目
（6）角度分辨率：是指扫描的角度分辨率，等于视场角除以该方向所采集的点云数目
（7）视场角：又分为垂直视场角和水平视场角，是激光雷达的成像范围
（8）波长：波长会影响雷达的环境适应性和对人眼的安全性
32线混合固态Ultra Puck Auto；16线机械式VLP-16
2020/6/19
2.2.4 激光雷达——类型
单线束激光雷达 2D数据只能测量距离
2020/6/19
2.2.4 激光雷达——类型
多线束激光雷达：4线束、8线束、16线束、32线束、64线束、128等，其细分可分为2.5D激光雷达及3D激光雷达
2.2.2 超声波传感器——特点

02-2第二章-视觉传感器在智能网联汽车中的应用

视觉传感器在智能网联汽车中的实际应用
• （4）盲点监测
• 盲点监测系统又称并线辅助系统，主要功能是扫除后视镜盲区并通过侧方摄像头或雷达将车左右后视镜盲区内的影像显示在车内。由于车辆后视镜中有一个视觉盲区，因此在换道前无法看到盲区中的车辆。如果盲区内有超车车辆，则会发生车道碰撞，在大雨、雾天、夜间光线暗淡的情况下，更难看到后面的车辆，换道更危险。
• （1）车道偏离警告 • 车道偏离警告系统是一种辅助驾驶员通过警
告来减少因为车道偏离引起的交通事故的系统，主要包括毫米波雷达、激光雷达和CCD 或CMOS摄像头等部件。 • 请说说车道偏离警告系统的原理是什么？
视觉传感器在智能网联汽车中的实际应用
• 车道偏离预警系统组成主要有： • ① 图像处理模块 • ② 防抱死制动系统控制模块 • ③ 动力转向控制模块 • ④ 仪表盘 • ⑤ 方向盘模块 • ⑥ 车身控制模块/网关模块 • ⑦ 动力传动系统控制模块
6 熟悉视觉传感器在智能网联汽车中的应用
02
• 视觉传感器在智能网联汽车中的实际应用
视觉传感器在智能网联汽车中的实际应用
• 随着电子化、信息化与人工智能技术的发展，小型化和嵌入式的视觉传感器得到了广泛应用，人们可以从车载摄像头中获得更智能的结果，即通过摄像头的视场，感知驾驶环境。
• 以特斯拉为例 • 特斯拉Autopilot 2.0 L2级（如图2-15所示）智能
驾驶汽车拥有三个前视摄像头，三个后视摄像头，两个侧视摄像头，12个超声波雷达和一个安装在车身上的前毫米波雷达。
视觉传感器在智能网联汽车中的实际应用
• 智能驾驶汽车的视觉传感器可实现车道偏离警告、前方碰撞预警、行人碰撞预警、交通标志识别、盲点监控、驾驶人注意力监控、全景停车、停车辅助和车道保持辅助等功能。

第2章智能网联汽车环境感知系统关键技术

三、固态车载激光雷达技术
一、环境感知传感器概述
（二）环境感知方法
智能网联汽车环境感知方法主要有基于单一传感器的环境感知方法、基于自组织网络的环境感知方法和基于传感器信息融合的环境感知方法。（1）基于单一传感器的环境感知方法有激光雷达、视觉传感器、毫米波雷达、超声波传感器等。（2）基于自组织网络的环境感知方法有V2X通信技术。（3）基于传感器信息融合的环境感知方法有激光雷达+视觉传感器，激光雷达+毫米波雷达等。
一、环境感知传感器概述
（三）环境感知系统组成
（3）信息传输单元：信息处理单元对环境的感知信号进行分析后，将信息送入传输单元，传输单元根据具体情况执行不同的操作，如分析后的信息确定前方有障碍物，并且本车与障碍物之间的距离小于安全车距，将这些信息送入控制执行模块，控制执行模块结合本车速度、加速度、转向角等自动调整智能网联汽车的车速和方向，实现自动避障，在紧急情况下也可以自动制动。信息传输单元把信息传输到传感器网络上，实行车辆内部资源共享，也可以把处理信息通过自组织网络传输给车辆周围的其他车辆，实现车辆与车辆之间的信息共享。
2.障碍物检测
障碍物种类很多，如汽车、行人、自行车、动物等，有了障碍物信息，无人驾驶汽车即可完成车道内的跟车行驶。
3.交通标志和地面标志识别
交通标志和地面标志可作为道路特征，与高精度地图进行匹配后辅助定位；也可以基于这些感知结果进行地图的更新。
二、宽视场探测技术
（五）宽视场探测技术中视觉传感器的功能 4.交通信号灯识别
二、宽视场探测技术
（三）宽视场探测技术的特点
宽视场探测技术具有以下特点。（3）视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识（例如GPS导航依赖地图信息），有较强的环境适应能力。（4）视觉传感器应用广泛，在智能网联汽车中可以前视、后视、侧视、内视、环视等。

《智能网联汽车技术概论》课件 - 第二章-视觉传感器在智能网联汽车中的应用

• 在立体视觉的应用领域中，一般都需要一个稠密的深度图。
• 场景流是空间中场景运动形成的三维运动场。
No.10008
• 立体视觉一般有哪三类实现方式？请详细说明？
No.10008
• 4.视觉里程计算法
• 视觉里程计算法的一个非常重要的特点是它只关心局部运动，而且大部分时间是指两个时刻之间的运动。当以一定的时间间隔采样时，可以估计运动物体在每个时间间隔内的运动。由于该估计值受噪声的影响，故将前一时刻的估计误差加入后一时刻的运动，会产生误差累计。
视觉传感器的基本认识
• 1.车载摄像头的功能
• 请说说智能网联汽车上的摄像头各有什么功能？
• 单目传感器的工作原理是先识别后测距，首先通过图像匹配对图像进行识别，然后根据图像的大小和高度进一步估计障碍物和车辆移动时间。
• 双目视觉传感器的工作原理是先对物体与本车辆距离进行测量，然后再对物体进行识别。
No.10008
双目视觉传感器的原理和特点
• 请说说双目视觉系统在应用上有哪些不足？
• 争对双目视觉系统的不足，通常采用哪些技术来补充？
No.10008
红外夜视视觉传感器的原理和特点
• 请说说电磁波的特征有哪些？
• 基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像。
• 智能网联汽车中使用的图像处理方法算法主要来源于计算机视觉中的图像处理技术。
计算机视觉识别流程
图像输入
预处理
特征提取
特征分类
匹配
完全识别

02-3第二章-视觉传感器在智能网联汽车中的应用

XXXXXXXXXXXXXXXXXXXXXXXX学校/学院
智能网联汽车技术概述
◣ 第二章视觉传感器在智能网联汽车中的应用
授课教师：
学习目标
1 熟悉视觉传感器的种类
2 了解单目视觉传感器的原理和特点
3 了解双目视觉传感器的原理和特点
4 了解红外夜视视觉传感器的原理和特点
5
了解智能网联汽车领域中的图像处理方法及应用
6 熟悉视觉传感器在智能网联汽车中的应用
பைடு நூலகம்
02
• 视觉传感器在智能网联汽车中的实际应用
视觉传感器在智能网联汽车中的实际应用
• （8）全景停车
• 汽车环绕全景图像停车辅助系统包括多个安装在汽车周围的摄像头、图像采集组件、视频合成/处理组件、数字图像处理组件和车辆显示器。这些装置可以同时采集车辆周围的图像，对图像处理单元进行变形恢复 →视图转换→图像拼接→图像增强，最终形成车辆 360°全景仰视图。
感谢聆听
视觉传感器在智能网联汽车中的实际应用
• 在新的照明系统中，软件用于处理传感器信号、检测和识别车辆周围的物体、建立三维环境和跟踪物体的运动，例如，采用四线激光雷达、超声波传感器、红外视觉感知等技术，将灯具的照明功能转化为外部照明通信接口。在自动驾驶模式下行驶中检测到潜在危险时，利用前大灯的投射技术可以改变光束的形状，并对其他车辆或行人发出警告。
• 请说说红外夜视系统的原理是什么？
视觉传感器在智能网联汽车中的实际应用
• 请说说什么是被动红外夜视技术？什么是主动红外夜视技术？
主动红外夜视技术
被动红外夜视技术
• 案例：大众汽车红外夜视系统视频演示
视觉传感器在智能网联汽车中的实际应用
• （10）智能照明系统

智能网联汽车技术及仿真应用实例视觉传感器

2021/4/9
项目2 视觉传感器——相机内部参数
➢ 畸变系数分为径向畸变系数和切向畸变系数。 ➢ 径向畸变发生在相机坐标系转像物理坐标系的过程中；径向
畸变主要包括枕形畸变和桶形畸变两种，
2021/4/9
项目2 视觉传感器——相机内部参数
➢ 切向畸变产生的原因是透镜不完全平行于图像
2021/4/9
项目2 视觉传感器
2021/4/9
智能网联汽车环境感知技术
2021/4/9
2021/4/9
智能网联汽车环境感知技术
2021/4/9
项目2 视觉传感器——定义
➢ 视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头（机）出现，并搭载先进的人工智能算法，便于目标检测和图像处理。
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——仿真实例
2021/4/9
项目2 视觉传感器——相机内部参数
➢ 相机的镜头是由多个镜片构成的复杂光学系统，光学系统的功能等价于一个薄透镜，实际上薄透镜是不存在的。光学中心是这一等价透镜的中心。不同结构的镜头其光学中心位置也不一样，大部分在镜头内的某一位置，但也有在镜头前方或镜头后方的。
➢ 图像尺寸是指构成图像的长度和宽度，可以用像素为单位，也可以用cm为单位。

智能网联汽车技术概论最新版啊课件第2-3章

此高反射率的表面会带来问题。大多数材料从微观水平上看表面粗糙，并且向所有方向散射光；这类散射光的一小部分返回到传感器，并且足以产生距离数据。然而，如果表面反射率非常高，光就会向远离传感器的方向散射，那么这一区域的点云就会不完整。
环境空气中的环境也可以对激光雷达读数造成影响。空气中的悬浮物会对光速产生影响。因而大雾和雨天均会减弱影响激光雷的精度，并且研究表明，雨滴的半径及其在空中的分布密度直接决定了激光在传播过程中与之相撞的概率。相撞概率越高，激光的传播速度受到的影响越大。为了解决这些问题，较大功率的激光器投入使用，但它对于无人汽车这种较小的、移动的以及对功率敏感型的应用来说并不是一个好的解决方案。
本书主要介绍毫米波雷达在自适应巡航、自动紧急制动、前向防撞预警以及变道辅助三个ADAS功能中的应用。
(1)基于毫米波雷达的自适应巡航 (2)基于毫米波雷达的自动紧急制动 (3)前方防撞预警功能 (4)变道辅助
展望未来—智能毫米波雷达开发
毫米波雷达作为汽车ADAS的最核心传感器之一，目前最大的“缺陷”就是因分辨率不高，无法辨识行人和对周围障碍物进行精准的建模，而高分辨率智能雷达传感器对于实现高级自动驾驶至关重要。所以有些毫米波雷达企业正着力于开发雷达的成像技术。
LiDAR技术面临的挑战
(2)计算挑战激光雷达系统面临的另一个挑战是计算量问题。受复杂的光学器件旋
转速度的限制，普通LiDAR旋转时的刷新速率相对较慢。通常情况下LiDAR 系统最快的旋转速率大约是10Hz，这限制了数据流的刷新速率。当传感器旋转时，假设以60km/h行驶的汽车在1/10秒内行进1.67米，因此传感器对于在汽车驶过期间在这1.67米内发生的变化是无法检测到的。更重要的是，激光雷达在理想条件下的覆盖范围为100-120米，这对于以60km/h行驶的汽车来说仅需6-7秒的行驶时间。因此为了解决无人汽车的行驶过程造成的LiDAR监测不准确的问题，一个比较通用的方式是提升LiDAR的采样刷新速率。但这也会导致严重的计算挑战。即使是最低的16线LiDAR每秒钟要处理的点也要达到30万个。如此大量的数据处理使得无人车定位算法和障碍物检查算法的实时性受到极大的影响。

智能网联汽车概论第2章智能网联汽车环境感知系统

第2章智能网联汽车环境感知系统
•2 . 1 环境感知的定义与组成 •2 . 2 环境感知传感器 •2 . 3 道路识别 •2 . 4 车辆识别 •2 . 5 行人识别 •2 . 6 交通标志识别 •2 . 7 交通信号灯识别
2021/5/13
2021/5/13
2.2.1 环境感知传感器的类型与配置
2021/5/13
2.2.1 环境感知传感器的类型与配置
2021/5/13
2.2.1 环境感知传感器的类型与配置
• 通用公司用于研究L4级自动驾驶技术的Bolts 5个16线束激光雷达 21个毫米波雷达 16个摄像头
2021/5/13
2.2.1 环境感知传感器的类型与配置
2021/5/13
2021/5/13
2.1 环境感知系统的定义与组成—— 定义
• 环境感知就是利用车载超声波传感器、毫米波雷达、激光雷达、视觉传感器，以及V2X通信技术等获取道路、车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供决策依据，是ADAS实现的第一步
2021/5/13
2.2.1 环境感知传感器的类型与配置
• 图像级融合——是以视觉传感器为主体，将毫米波雷达输出的整体信息进行图像特征转化，然后与视觉系统的图像输出进行融合
• 目标级融合——是对视觉传感器和毫米波雷达输出进行综合可信度加权，配合精度标定信息进行自适应的搜索匹配后融合输出
• 信号级融合——是对视觉传感器和毫米波雷达传出的数据源进行融合。信号级别的融合数据损失最小，可靠性最高 2021/5/13 ，但需要大量的运算
2021/5/13