【CN109919134A】一种基于视觉的运营车辆人员异常行为检测方法【专利】

(19)中华人民共和国国家知识产权局

(12)发明专利申请

(10)申请公布号 (43)申请公布日 (21)申请号 201910229246.9

(22)申请日 2019.03.25

(71)申请人 王奕然

地址 116024 辽宁省大连市高新园区红凌

路大华锦绣华城一期20-1-602

申请人 吴嘉锟

(72)发明人 王奕然　吴嘉锟　

(74)专利代理机构 大连理工大学专利中心

21200

代理人 温福雪

(51)Int.Cl.

G06K 9/00(2006.01)

(54)发明名称一种基于视觉的运营车辆人员异常行为检测方法(57)摘要本发明提供一种基于视觉的运营车辆人员异常行为检测方法，属于视觉识别领域。该方法首先全方位采集车内驾驶人员及其周围人员的图像信息；然后，提取2D图像，利用openpose数据库中深度学习算法对所有图像内人员的骨骼节点进行标注；接着，结合车辆行驶状态，界定干扰人员与被干扰人员，计算被干扰人员各关键肢体部位的危险距离阈值。随后，基于双目测距原计算干扰人员的腕部节点与被干扰人员关键肢体部位的空间距离；最后，通过判断空间距离处在危险距离阈值内的时间，检测干扰人员的异常行为。本发明适用于运营车辆人员异常行为检测，为车内人员异常行为的警示与及时报警提供关键评判依据，对保障车内人员生命财产安全具有

重要意义。权利要求书3页 说明书8页 附图3页CN 109919134 A 2019.06.21

C N 109919134

A

1.一种基于视觉的运营车辆人员异常行为检测方法，其特征在于，步骤如下：

第一步，摄像头安装与标定

首先，在载人运营车辆(21)的后视镜处安置两个摄像头i，并对其进行编号：i＝1,2；调整两个摄像头的拍摄角度，使其能直接采集到包括驾驶部位(20)及其周围区域的图像信息；各摄像头扫描率需大于5帧/秒；

然后，将两个摄像头组成双目视觉摄像头I；利用opencv数据库，对两个摄像头进行单独标定，同时利用opencv数据库对双目视觉摄像头I进行双目标定；

第二步，运营车辆(21)内人员姿态的实时提取

首先，根据运营车辆(21)内座位的分布情况，对采集图像中车内人员进行编号；设车内有m个人员，标注驾驶座位上的人员编号为1，其余人员为编号依次为2～m；不同摄像头采集到相同人员编号需一致；设定编号为j的人员为人员j；

然后，利用openpose数据库中深度学习算法标记采集图像内所有人员的骨骼节点；通过在第i摄像头中采集得到的人员j的骨骼节点k，i＝1,2；j＝1,2,…,m；k＝0,2,…,17；组

成了人员j骨骼节点集合其中，为第i摄像头中获取人员j的骨骼节点k在

图像坐标系的坐标

最后，根据计算得到第i 摄像头采集得到的车内人员j 骨骼节点集

合

利用opencv数据库中的双目视觉下空间坐标计算方法，获得人

员j的骨骼节点k在第i摄像头中车内空间坐标系的坐标第三步，危险距离阈值的计算

首先，设定车内实施干扰人员编号为p，被干扰人员编号为q；基于ECU协议，通过运营车辆(21)OBD接口提取车辆的行驶速度V；运营车辆(21)行驶情况下，即|V|>0时，界定驾驶人员为被干扰人员q，即q＝1；其余人员为实施干扰人员p即p≠1；在车辆未行驶情况下，即V＝0时，界定驾驶人员为被干扰人员q＝1，其余人员为实施干扰人员p≠1，或驾驶人员为实施干扰人员p＝1，其余人员为被干扰人员q≠1；

然后，计算被干扰人员q各关键肢体部位的危险距离阈值；关键肢体部位包括头部、身体与手臂；关键肢体部位中各个节点包括鼻部骨骼节点(0)、颈部骨骼节点(1)、右肩部骨骼节点(2)、右肘部骨骼节点(3)、右腕部骨骼节点(4)、左肩部骨骼节点(5)、左肘部骨骼节点

(6)、左腕部骨骼节点(7)、右跨部骨骼节点(8)、右膝部骨骼节点(9)、右踝部骨骼节点(10)、左跨部骨骼节点(11)、左膝部骨骼节点(12)、左踝部骨骼节点(13)、右眼部节点(14)、左眼部节点(15)、右太阳穴骨骼节点(16)和左太阳穴骨骼节点(17)；

设定被干扰人员q手臂为以腕部骨骼节点、肘部骨骼节点、肩部骨骼节点k、k -1连线为轴，k＝3,4,6,7；直径c q 的圆柱体；身体为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，肩宽b q 为直径的圆柱体；头部为以鼻部骨骼节点(0)、颈部骨骼节点(1)为轴，太阳穴间距离a q 为直径的圆柱体；

手臂直径c q 根据实际情况自行设定；

权　利　要　求　书1/3页2CN 109919134 A