智能网联汽车概论实训课程课件第5-8章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
环境感知就是利用车载激光雷达、毫米波雷达、超声波雷达、视觉传感器以及V2X通信技术等获取道
路、车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供决策依据，是
ADAS实现的第一步。
侧视系统 盲区检测系统 盲区警告系统 并线辅助系统
前视系统 车道偏离预警系统 车道保持辅助系统 前向碰撞预警系统 自适应巡航控制系统 自动制动辅助系统 自动调节灯光系统 夜视辅助系统 交通标志识别系统
超声波雷达传感器
超声波雷达安装于汽车前后保险杠上，用于测量汽车前后障碍物；安装于汽车侧面，用于 测量侧方障碍物距离。
超声波传感器有效探测距离
超声波雷达的特点
超声波传感器有效探测 距离一般在5～10m之间
超声波对色彩、光照度 不敏感，可适用于识别 透明、半透明及漫反射
差的物体
超声波对外界光线和电 磁场不敏感，可用于黑 暗、有灰尘或烟雾、电 磁干扰强、有毒等恶劣
视觉传感器道路识别流程
ADAS
车道偏离预警系统 盲区监测系统
自动泊车辅助系统 全景泊车系统
驾驶员疲劳预警系统 行人碰撞预警系统 车道保持辅助系统 交通标志识别系统 前向碰撞预警系统
视觉传感器的应用
使用摄像头
功能应用
前视
检测车辆即将偏离车道线时预警
侧视
将后视盲区的影像显示在后视镜或驾驶舱内
后视 前视、侧视、后视
内置 前视
将车尾影像显示在驾驶舱内 将摄像头采集的影像组成周边全景图 检测驾驶员是否疲劳、闭眼等发出警报 检测车辆与前方行人可能发生碰撞预警
前视
检测到即将偏离车道线时，发出警报并纠正
前视、后视 前视
识别前方和道路两侧的交通标志 检测到与前车距离小于安全距离并预警
随堂练习
环境感知传感器性能对比
传感器类型 超声波传感器
交通标志识别 交通信号识别
信息 传输 单元
显示系统 报警系统 传感器网络 车载网络
传感器
环视摄像头（高清） 前视摄像头（单目） 超声波传感器 侧向毫米波雷（24GHz ） 前向毫米波雷（77GHz ） 激光雷达
环境感知传感器配置
数量/个
最小感知范围
4
8m
1
50°/150m
12
5m
4
110°/60m
输入标题
单击此处添加文字 单击此处添加文字
摄像头一般分为单目、双目、三目和环视等。
单目摄像头 三目摄像头
环视摄像头
双目摄像头
双目摄像头
车道线识 别
可通行空 间检测
视觉传感器 的功能
障碍物检 测
交通信号 灯识别
交通标志 识别
视觉传感器环境感知流程，一般包括图像采集、图像预处理、图像特征 提取、图像模式识别、结果传输等，根据具体识别对象和采用的识别方法不 同，环境感知流程也会有所不同。
1
15°/170m
1
110°/100m
备注
1.前向和侧向毫米波 雷达不能互换 2.毫米波雷达和激光 雷达互为冗余 3.传感器供应商不同 ，数据存在出入，仅 供参考。
智环境感知传感器对比
传感器类型
近距离探测 探测角度 夜间环境 全天候 路标识别
主要应用
成本
超声波传感器
弱 120 强 弱
×
泊车辅助
低
毫米波雷达
高
适中
多传感融合体系
分布式 集中式 融合式
多传感融合体系
传感 器 1 输入
传感 器 n 输入 传感 器 n 输入
传感 器 1 传感 器 1 输出
传感 器 2 传感 器 2 输出
传感 器 n
传输器 n 输出 融合 输出 结果
分布式
传感器 1 输入
传感器 2 输入
传感器 1
传感器 2
信息融合中心
输出最终决策 集中式
变道辅助系统
后方碰撞预警系统
行人监测系统
驻车开门辅助系统
<60
24
侧方 前方、后方
后方 后方 前方 侧方
100左右
77 前方 前方 前方 侧方 侧方 后方 后方 前方
远距离雷达
>200
77 前方 前方 前方
超声波雷达工作在20KHz以上，多用于精准测距，基本原理是通过测 量超声波脉冲和接收脉冲的时间差，结合客气超声波传输速度计算的相 对距离。
随堂练习
1、
年，6英寸左右的触屏开始出现。
2、（多选）语音识别的优点有
。
A.解放双手
B.易学习性
C.便捷性
D.低复杂度
3、在人类感知信息的途径中，通过
、
、
和
信息的比例分别是83%、1%、3.5%、1.5%和1%。
输入标题
单击此处添加文单 击此处添加文字
获取外界
毫米波雷达
激光雷达 视觉传感器
近距离探测
弱
探测角度
夜间环境
全天候
弱
路标识别
×
成本
10～70
15～360
强
弱
×
×
√
人机交互技术发展四阶段
早期的手工作业及 命令语言
图形用户界 面
网络用户界 面
智能人机交 互
中控的发展输入标题
单击此处添加文字 单击此处添加文字
输入仪标表盘题发展
单击此处添加文字 单击此处添加文字
抬头显示（HUD) 发展
语音交互的定义 语音交互（VUI）指的是人类与设备通过自然语音进行信息的传递。 一次完整的语音交互需要经历ASR→NLP→Skill→TTS的流程
人机交互的关键技术
1
人机交互已成为智能汽车的发展的关键技术
2
用户为中心的设计理念和设计流程
3wenku.baidu.com
智能化趋势对人机交互提出了更高的要求:
B.毫米波雷达
C.超声波雷达
D.Mobileye
3、毫米波雷达的特点有
。
输入标题
单击此处添加文单 击此处添加文字
视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器 等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。把光、摄像机、图 像处理器、标准的控制与通信接口等集成一体的视觉传感器常称为一个智能图像采集与 处理单元。
毫米波雷达传感器
毫米波雷达的特点
2
1 探测距离远 毫米波雷达探测距离远，最远可达250m左右。
响应速度快 毫米波的传播速度与光速一样，并且其调制简单，配合高 速信号处理系统，可以快速地测量出目标的角度、距离、速度等信息。
适应能力强 毫米波具有很强的穿透能力，在雨、雪、大雾等恶劣天气
3
依然可以正常工作，而且不受颜色与温度的影响
输入标题
单击此处添加文字
激光雷达传单感击器此处添加文字
输入标题
单击此处添加文字
全固态单击激此光处雷添加达文传字 感器
输入标题
单击此处添加文字
单击多此线处添束加激文字光雷达传感器
分辨率高 激光雷达可以获得极高的角度、距离和速度分
辨率
激
光
雷
探测范围广 探测距离可达300m左右
达
的
特
信息量丰富 可直接获取探测目标的距离、角度、反射强
传感器 n 输入
传感器 n
传感器 1 输入
多传感融合体系
传感器 2 输入
传感器 n 输入
传感器 1
传感器 2
传感器 n
初级信息融合中心 1
初级信息融合中心 m
终极信息融合中心
输出最终决策
混合式
随堂练习
1、环境感知是
、
、
、
、以及V2X通信技术等获取道路、
车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供 决策依据，是
后视系统 倒车辅助系统 自动泊车辅助系统 防追尾碰撞系统
车内视觉系统 驾驶员疲劳检测系统 汽车平视显示系统 车载信息显示系统
角视系统 盲区检测系统 盲区警告系统 并线辅助系统
信息采集单元
惯性 元件 超声波传感器
激光 雷达 毫米波雷达 视觉传感器 定位 导航 车载网络
环境感知系统组成
信息处理单元 道路识别 车辆识别 行人识别
点
度、速度等信息，生成目标多维度图像
全天候工作 激光主动探测，不依赖于外界光照条件或目 标本身的辐射特性
智能网联汽车激光雷达系统由收发天线、收发前端、信号处理模 块、汽车控制装置和报警模块组成。
收发 天线
收发 前端
信号处理 模块
报警 模块
汽车控制 装置
激光雷达的测距原理
毫米波雷达是高阶自动驾驶的标配。全球 毫米波雷达市场集中度较高，2018年CR5高达 68%，基本上被博世、大陆等外资寡头垄断。 毫米波雷达指工作在30～300GHz频域的雷达， 具有体积小、质量轻和空间分辨率高等优点， 具有全天候、全天时等优秀特性，能够同时 识别多个小目标，可以穿透雾、烟、灰尘等 环节，精准测量目标的相对距离和相对速度， 被广泛应用于自动驾驶汽车车间距离探测， 但易受干扰。
毫米波雷达的缺点是覆盖区域呈扇形，有盲点区域；无法识别道路标线、
4
交通标志和交通信号灯。
毫米波雷达分类
毫米波雷达的测量原理
毫米波雷达的目标识别流程
毫米波雷达的应用
毫米波雷达类型
近距离雷达
中距离雷达
探测距离/m
工作频段/GHz
自适应巡航系统
自动紧急制动系统
前向碰撞预警系统
自动泊车辅助系统
功能
盲区监测系统
强
10～70
强
强
×
自适应巡航控制系 统、自动紧急制动 系统、前向碰撞预 警系统、盲区检测 系统
适中
激光雷达
强 15～360 强 强 ×
较强 30 弱 弱 √
视觉传感器
实时建立车 辆周边环境 的三维模型
车道偏离预警系、车道保持辅助系统 、盲区检测系统、前向碰撞预警系统 、交通标志识别系统、交通信号灯识 别系统、全景泊车系统
环境中
超声波传感器结构简单， 体积小，成本低，信息 处理简单可靠，易于小 型化与集成化，并且可
以进行实时控制
测量范围
抗干扰性能
超声波雷达的 特性参数
测量精度
工作频率
波束角
随堂练习
1、（多选）激光雷达的特点有
。
A.分辨率高
B.探测范围广
C.信息量丰富
D.全天候工作
2、（多选）雷达传感器分为
。
A.激光雷达
视觉传感器的组成
视觉传感器的特点
视觉图像的信息量极为丰富，尤其是 彩色图像
在视野范围内可同时实现道路检测、 车辆检测、行人检测、交通标志检测、 交通信号灯检测等，信息获取面积大
视觉信息获取的是实时的场景图像
输入标题
单击此处添加文字 单击此处添加文字
视觉传感器应用广泛，在智能网联汽 车中可以前视、后视、侧视、内视、 环视
ADAS实现的第一步。
2、（多选）多传感器融合体系结构是
。
A.分布式
B.集中式
C.整体式
D.混合式。
3、环境感知系统是由
、
、
组成。
单击此处添加文单 击此处添加文字
激光雷达传感器
毫米波雷达传感器
超声波雷达传感器
激光雷达是工作在光频波段的雷达，它利用光频波段的电磁波先向目标发射探测信号，然后将其接 收到的同波信号与发射信号相比较，从而获得目标的位置（距离、方位和高度）、运动状态（速度、 姿态）等信息，实现对目标的探测、跟踪和识别。
路、车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供决策依据，是
ADAS实现的第一步。
侧视系统 盲区检测系统 盲区警告系统 并线辅助系统
前视系统 车道偏离预警系统 车道保持辅助系统 前向碰撞预警系统 自适应巡航控制系统 自动制动辅助系统 自动调节灯光系统 夜视辅助系统 交通标志识别系统
超声波雷达传感器
超声波雷达安装于汽车前后保险杠上，用于测量汽车前后障碍物；安装于汽车侧面，用于 测量侧方障碍物距离。
超声波传感器有效探测距离
超声波雷达的特点
超声波传感器有效探测 距离一般在5～10m之间
超声波对色彩、光照度 不敏感，可适用于识别 透明、半透明及漫反射
差的物体
超声波对外界光线和电 磁场不敏感，可用于黑 暗、有灰尘或烟雾、电 磁干扰强、有毒等恶劣
视觉传感器道路识别流程
ADAS
车道偏离预警系统 盲区监测系统
自动泊车辅助系统 全景泊车系统
驾驶员疲劳预警系统 行人碰撞预警系统 车道保持辅助系统 交通标志识别系统 前向碰撞预警系统
视觉传感器的应用
使用摄像头
功能应用
前视
检测车辆即将偏离车道线时预警
侧视
将后视盲区的影像显示在后视镜或驾驶舱内
后视 前视、侧视、后视
内置 前视
将车尾影像显示在驾驶舱内 将摄像头采集的影像组成周边全景图 检测驾驶员是否疲劳、闭眼等发出警报 检测车辆与前方行人可能发生碰撞预警
前视
检测到即将偏离车道线时，发出警报并纠正
前视、后视 前视
识别前方和道路两侧的交通标志 检测到与前车距离小于安全距离并预警
随堂练习
环境感知传感器性能对比
传感器类型 超声波传感器
交通标志识别 交通信号识别
信息 传输 单元
显示系统 报警系统 传感器网络 车载网络
传感器
环视摄像头（高清） 前视摄像头（单目） 超声波传感器 侧向毫米波雷（24GHz ） 前向毫米波雷（77GHz ） 激光雷达
环境感知传感器配置
数量/个
最小感知范围
4
8m
1
50°/150m
12
5m
4
110°/60m
输入标题
单击此处添加文字 单击此处添加文字
摄像头一般分为单目、双目、三目和环视等。
单目摄像头 三目摄像头
环视摄像头
双目摄像头
双目摄像头
车道线识 别
可通行空 间检测
视觉传感器 的功能
障碍物检 测
交通信号 灯识别
交通标志 识别
视觉传感器环境感知流程，一般包括图像采集、图像预处理、图像特征 提取、图像模式识别、结果传输等，根据具体识别对象和采用的识别方法不 同，环境感知流程也会有所不同。
1
15°/170m
1
110°/100m
备注
1.前向和侧向毫米波 雷达不能互换 2.毫米波雷达和激光 雷达互为冗余 3.传感器供应商不同 ，数据存在出入，仅 供参考。
智环境感知传感器对比
传感器类型
近距离探测 探测角度 夜间环境 全天候 路标识别
主要应用
成本
超声波传感器
弱 120 强 弱
×
泊车辅助
低
毫米波雷达
高
适中
多传感融合体系
分布式 集中式 融合式
多传感融合体系
传感 器 1 输入
传感 器 n 输入 传感 器 n 输入
传感 器 1 传感 器 1 输出
传感 器 2 传感 器 2 输出
传感 器 n
传输器 n 输出 融合 输出 结果
分布式
传感器 1 输入
传感器 2 输入
传感器 1
传感器 2
信息融合中心
输出最终决策 集中式
变道辅助系统
后方碰撞预警系统
行人监测系统
驻车开门辅助系统
<60
24
侧方 前方、后方
后方 后方 前方 侧方
100左右
77 前方 前方 前方 侧方 侧方 后方 后方 前方
远距离雷达
>200
77 前方 前方 前方
超声波雷达工作在20KHz以上，多用于精准测距，基本原理是通过测 量超声波脉冲和接收脉冲的时间差，结合客气超声波传输速度计算的相 对距离。
随堂练习
1、
年，6英寸左右的触屏开始出现。
2、（多选）语音识别的优点有
。
A.解放双手
B.易学习性
C.便捷性
D.低复杂度
3、在人类感知信息的途径中，通过
、
、
和
信息的比例分别是83%、1%、3.5%、1.5%和1%。
输入标题
单击此处添加文单 击此处添加文字
获取外界
毫米波雷达
激光雷达 视觉传感器
近距离探测
弱
探测角度
夜间环境
全天候
弱
路标识别
×
成本
10～70
15～360
强
弱
×
×
√
人机交互技术发展四阶段
早期的手工作业及 命令语言
图形用户界 面
网络用户界 面
智能人机交 互
中控的发展输入标题
单击此处添加文字 单击此处添加文字
输入仪标表盘题发展
单击此处添加文字 单击此处添加文字
抬头显示（HUD) 发展
语音交互的定义 语音交互（VUI）指的是人类与设备通过自然语音进行信息的传递。 一次完整的语音交互需要经历ASR→NLP→Skill→TTS的流程
人机交互的关键技术
1
人机交互已成为智能汽车的发展的关键技术
2
用户为中心的设计理念和设计流程
3wenku.baidu.com
智能化趋势对人机交互提出了更高的要求:
B.毫米波雷达
C.超声波雷达
D.Mobileye
3、毫米波雷达的特点有
。
输入标题
单击此处添加文单 击此处添加文字
视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器 等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。把光、摄像机、图 像处理器、标准的控制与通信接口等集成一体的视觉传感器常称为一个智能图像采集与 处理单元。
毫米波雷达传感器
毫米波雷达的特点
2
1 探测距离远 毫米波雷达探测距离远，最远可达250m左右。
响应速度快 毫米波的传播速度与光速一样，并且其调制简单，配合高 速信号处理系统，可以快速地测量出目标的角度、距离、速度等信息。
适应能力强 毫米波具有很强的穿透能力，在雨、雪、大雾等恶劣天气
3
依然可以正常工作，而且不受颜色与温度的影响
输入标题
单击此处添加文字
激光雷达传单感击器此处添加文字
输入标题
单击此处添加文字
全固态单击激此光处雷添加达文传字 感器
输入标题
单击此处添加文字
单击多此线处添束加激文字光雷达传感器
分辨率高 激光雷达可以获得极高的角度、距离和速度分
辨率
激
光
雷
探测范围广 探测距离可达300m左右
达
的
特
信息量丰富 可直接获取探测目标的距离、角度、反射强
传感器 n 输入
传感器 n
传感器 1 输入
多传感融合体系
传感器 2 输入
传感器 n 输入
传感器 1
传感器 2
传感器 n
初级信息融合中心 1
初级信息融合中心 m
终极信息融合中心
输出最终决策
混合式
随堂练习
1、环境感知是
、
、
、
、以及V2X通信技术等获取道路、
车辆位置和障碍物的信息，并将这些信息传输给车载控制中心，为智能网联汽车提供 决策依据，是
后视系统 倒车辅助系统 自动泊车辅助系统 防追尾碰撞系统
车内视觉系统 驾驶员疲劳检测系统 汽车平视显示系统 车载信息显示系统
角视系统 盲区检测系统 盲区警告系统 并线辅助系统
信息采集单元
惯性 元件 超声波传感器
激光 雷达 毫米波雷达 视觉传感器 定位 导航 车载网络
环境感知系统组成
信息处理单元 道路识别 车辆识别 行人识别
点
度、速度等信息，生成目标多维度图像
全天候工作 激光主动探测，不依赖于外界光照条件或目 标本身的辐射特性
智能网联汽车激光雷达系统由收发天线、收发前端、信号处理模 块、汽车控制装置和报警模块组成。
收发 天线
收发 前端
信号处理 模块
报警 模块
汽车控制 装置
激光雷达的测距原理
毫米波雷达是高阶自动驾驶的标配。全球 毫米波雷达市场集中度较高，2018年CR5高达 68%，基本上被博世、大陆等外资寡头垄断。 毫米波雷达指工作在30～300GHz频域的雷达， 具有体积小、质量轻和空间分辨率高等优点， 具有全天候、全天时等优秀特性，能够同时 识别多个小目标，可以穿透雾、烟、灰尘等 环节，精准测量目标的相对距离和相对速度， 被广泛应用于自动驾驶汽车车间距离探测， 但易受干扰。
毫米波雷达的缺点是覆盖区域呈扇形，有盲点区域；无法识别道路标线、
4
交通标志和交通信号灯。
毫米波雷达分类
毫米波雷达的测量原理
毫米波雷达的目标识别流程
毫米波雷达的应用
毫米波雷达类型
近距离雷达
中距离雷达
探测距离/m
工作频段/GHz
自适应巡航系统
自动紧急制动系统
前向碰撞预警系统
自动泊车辅助系统
功能
盲区监测系统
强
10～70
强
强
×
自适应巡航控制系 统、自动紧急制动 系统、前向碰撞预 警系统、盲区检测 系统
适中
激光雷达
强 15～360 强 强 ×
较强 30 弱 弱 √
视觉传感器
实时建立车 辆周边环境 的三维模型
车道偏离预警系、车道保持辅助系统 、盲区检测系统、前向碰撞预警系统 、交通标志识别系统、交通信号灯识 别系统、全景泊车系统
环境中
超声波传感器结构简单， 体积小，成本低，信息 处理简单可靠，易于小 型化与集成化，并且可
以进行实时控制
测量范围
抗干扰性能
超声波雷达的 特性参数
测量精度
工作频率
波束角
随堂练习
1、（多选）激光雷达的特点有
。
A.分辨率高
B.探测范围广
C.信息量丰富
D.全天候工作
2、（多选）雷达传感器分为
。
A.激光雷达
视觉传感器的组成
视觉传感器的特点
视觉图像的信息量极为丰富，尤其是 彩色图像
在视野范围内可同时实现道路检测、 车辆检测、行人检测、交通标志检测、 交通信号灯检测等，信息获取面积大
视觉信息获取的是实时的场景图像
输入标题
单击此处添加文字 单击此处添加文字
视觉传感器应用广泛，在智能网联汽 车中可以前视、后视、侧视、内视、 环视
ADAS实现的第一步。
2、（多选）多传感器融合体系结构是
。
A.分布式
B.集中式
C.整体式
D.混合式。
3、环境感知系统是由
、
、
组成。
单击此处添加文单 击此处添加文字
激光雷达传感器
毫米波雷达传感器
超声波雷达传感器
激光雷达是工作在光频波段的雷达，它利用光频波段的电磁波先向目标发射探测信号，然后将其接 收到的同波信号与发射信号相比较，从而获得目标的位置（距离、方位和高度）、运动状态（速度、 姿态）等信息，实现对目标的探测、跟踪和识别。