基于深度学习的人体行为检测系统设计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
模式识别 [D]. 华南理工大学 ,2011. [5] 闫俊泽 . 基于三轴加速度传感器的老年人
跌倒监测系统的开发 [D]. 哈尔滨工业大 学 , 2012. [6] 卫 震 . 基 于 Android 平 台 的 跌 倒 检 测 算 法 研 究 及 实 现 [D]. 杭 州 电 子 科 技 大 学 ,2017. [7] 屠碧琪 . 基于多传感融合的老人跌倒检测 算法研究 [D]. 浙江理工大学 ,2017. [8] 董 文 永 , 丁 红 , 董 学 士 . 一 种 小 波 自 适 应 阈 值 全 频 降 噪 方 法 [J]. 电 子 学 报 ,2015,43(12):2374-2380. [9]Dong W, Ding H. Full Frequency Denoising Method Based on Wavelet Decomposition and Noise-type Detection[J]. Neurocomputing,2016: S0925231216307688.
图 1 中，横轴 0 ～ 70 代表摔倒时的加速 度变化，横轴 80 ～ 120 代表跑步时的加速度 变化，横轴 130 ～ 170 代表走路时的加速度变 化。
数据分析显示，不同行为状态的加速度 数据具有不同的波形图。可以以此对人体行为 状态进行识别。
2 主要算法
2.1 自适应阈值的小波域降噪算法
图 2：本工作采用的 DBN 深度信念网络结构图 变换重构生成经小波去除相关后的生成的估计 的噪声信号。通过求出估计噪声的自相关系数， 识别出采集数据所包含的噪声类型主要为白噪 声。自相关系数计算公式如下：
80 • 电子技术与软件工程 Electronic Technology & Software Engineering
及 时 发 出 报 警 信 号， 使 一 些 特 殊
群体能及时获得救助等特点。
图 1：摔倒、跑步、走路加速度变化图
【关键词】深度信念网络 小波降噪 人体行为 检测
人体行为是人类生活的重要组成部分。 摔倒已成为我国人员伤亡的第四大因素，意外 摔倒则对人类的健康产生重要威胁。据不完全 统计，约有一部分人从意外摔倒中受到的伤害 导致其残疾，甚至死亡，其中老年人占 60%。 因此，研究人类行为检测算法，对缩短摔倒救 助时间、提高安全保障，促进社会稳定具有重 要意义。目前，研究开发人体摔倒检测系统方 面的技术有多种，最常见的是图像分析和加速 度分析。前者是基于视频图像分析的摔倒自动 检测系统，这种技术准确性高，人体动作清晰 可见，但需要多部摄像机同时工作，容易暴露 用户隐私。后者主要基于微机电系统 (MicroElectromechanical System，MEMS) 传 感 器。 目前国内一些基于 MEMS 技术的行为检测， 大 多 计 算 量 较 大、 价 格 昂 贵， 难 以 推 广。 本 工作提出的基于深度学习的人体行为检测系 统，基于树莓派开发版，搭载加速度传感器 ADXL345，用小波降噪技术对加速度信号进 行自适应的小波阈值降噪，再使用 PCA 主成 份分析技术对降噪后的数据进行降维，使用 DBN 深度神经网络对降维后的数据进行训练， 最后将训练模型用于检测即时的人体行为状 态。本系统具有对人体行为检测精确度高，对 摔倒等行为及时发出报警信号，使特殊群体及 时获得救助等特点。
3 系统实现
本系统由树莓派、ADXL345 加速度传感
器、TDA2030 功放模块等硬件，以及 Android Things 物联网操作系统、检测算法、服务器云 平台等软硬件共同构成。在树莓派硬件上，使 用 ADXL345 三轴加速度传感器采集用户的运 动状态数据。将采集的数据经过小波降噪、降 维后输入到 DBN 网络进行训练。再对检测数 据进行识别，如出现摔倒行为即发出警报，同 时把信息同步到云服务器，由 Web 应用短信 通知用户亲属。系统总体设计框架如图 4 所示。
本工作采用的 DBN 深度神经网络结构图 如图 2 所示。
在 人 体 行 为 识 别 任 务 中， 每 组 输 入 3*100*1 列（三轴加速度传感器 ADXL345 以 50Hz 的频率采集 2 秒的数据），采用主成份 分析对数据进行降维至 100 列，输出为 5 个类 别：行走、静止、快跑、慢跑以及摔倒等。本 工作采用 9000 组人体行为数据进行训练，测 试集为 100 组（2 秒，即每一个人体行为的识 别时长约 2 秒）行为数据。DBN 主要参数设 置如下：学习速率为 0.9，动量因子为 0.1，最 大训练次数 20，每批次的训练样本数为 100 组。 测试过程中，如果检测出摔倒行为，系统进行 报警。具体行为识别过程如图 3 所示。
（1） 其中，{ρk，k=1,2,…,m} 是序列自相关系 数，
本工作采用自适应阈值的小波全频域降 噪算法对三轴加速度传感器数据进行降噪。首 先基于小波去相关识别采集信号的噪声类型， 然后根据识别的噪声进行自适应阈值的小波全 频域降噪。具体过程如下：使用 MATLAB 小 波工具箱，采用对上述采集信号做小波变换， 设定阈值，清除所有大于阈值的小波系数，保 留所有小于阈值的小波系数；最后采用小波逆
作者简介 丁红，现为广西财经学院信息与统计学院，博 士，副教授。 饶万贤，广西科技师范学院数学与计算机科学 学院学生。
作者单位 1. 广西财经学院信息与统计学院 广西壮族 自治区南宁市 530003 2. 武 汉 大 学 计 算 机 学 院 湖 北 省 武 汉 市 430072 3. 广西科技师范学院数学与计算机科学学院 广西壮族自治区来宾市 546199
• Electronic Technology 电子技术
基于深度学习的人体行为检测系统设计
文/丁红1,2 饶万贤3
摘
人体行为是人类生活的重要
组 成 部 分。 本 文 提 出 并 设 计 基 于 要 DBN 深 度 信 念 网 络 的 人 体 行 为 检
测 系 统。 使 用 携 带 嵌 入 式 设 备 实
ADXL 加 速 度 传 感 器 与 树 莓 派 的 连 接 方 式 为：ADXL 的 5V 连 接 树 莓 派 的 5V， GND 连接树莓派的 GND，SCL 连接树莓派的 SCL.1，SDA 连接树莓派的另一个 SDA.1 引脚。 由于树莓派的音频输出口为 3.5mm 接口，需 使用功放模块来增大它的音频输出，通过扬声 器来播放报警声音。
1 人体行为采集数据及分析
本工作采用基于树莓派的三轴加速度传 感器采集人体行为的加速度信号。每个采集器 里包含两个平行放置的三轴加速度传感器，目 的是防止其中一个传感器数据丢失。在采集过 程中，加速度传感器分别放置在采集者的腰带、 裤子口袋、上衣口袋位置。加速度传感器产生 的数据是以时间为自变量的数据，包括 X 轴 的数据（实线波形），Y 轴的数据（虚线波形）， 和 Z 轴的数据（点状波形）。不同行为状态的 原始数据样本如图 1 所示。
参考文献 [1] 屠碧琪 . 基于多传感融合的老人跌倒检测
算法的研究 [D]. 浙江理工大学 ,2017. [2] 刘树栋 . 基于多传感器融合的摔倒监测研
究与设计 [D]. 重庆理工大学 ,2016. [3] 孟宪刚 .“福气”老人应急救助辅助系统
的研究与实现 [D]. 北京理工大学 ,2015. [4] 薛洋 . 基于单个加速度传感器的人体运动
●资助信息：本工作由广西教改项目 2018JGB。
Electronic Technology & Software Engineering 电子技术与软件工程 • 79
Байду номын сангаас
• 电子技术 Electronic Technology
图 4：人体行为检测系统总体设计框架图
图 3：人体行为检测流程图
DBN 深度信念网络由若干层受限玻尔兹 曼机（RBM）构成。即将若干个 RBM“串联” 起来则构成了一个 DBN，上一个 RBM 的输出 即为下一个 RBM 的输入。训练过程中，需要 充分训练上一层的 RBM 后才能训练当前层的 RBM，直至最后一层。本工作采用的 DBN 网络， 由 1 个 输 入 层，3 个 隐 含 层（ 即 3 个 RBM） 及 1 个输出层组成，每个隐含层包含 100 个神 经元。
4 实验结果及结论
为了测试系统的性能，我们重点对摔倒 行为的检测。将设备放在胸口、腰间、胯部进 行了仰摔、侧摔、跑步、行走测试 100 组，检 测出摔倒行为的有效率为 99%。同时我们将设 备做自由落体运动和做平抛运动，系统并未检 测出摔倒行为。即系统能有效识别假摔。
本工作研究设计了基于深度学习的人体 行为检测系统，通过基于树莓派的三轴加速度 传感器采集人体行为数据，再利用深度神经网 络对于数据进行训练，进而有效识别即时的人 体行为状态。本系统设计成本低廉，且有助于 社会的特殊群体如老年人、病人的看护等工作， 对构建合协社会具有积极意义。
+ρm2) 和
。当 N 充分大后， (ρ12+ρ22+… (ρ1'2+ρ2'2+…+ρm'2) 都近似服从 x2(m)
分布。给定显著水平 α，查自由度为 F(m,m)
分布表，得到临界值 Fα，当实际计算结果 >Fα
时，则否定原假设。具体过程详见文献 [9]。
2.2 基于DBN深度信念网络的人体行为预测算 法
时 获 取 三 轴 加 速 度 传 感 器 数 据，
用小波降噪技术对人体行为信号
进行降噪，再使用 PCA 主成份分
析对数据进行降维，最后使用 DBN
深 度 信 念 网 络 对 数 据 进 行 训 练，
并将训练模型用于检测即时的人
体 行 为 状 态。 本 系 统 具 有 对 人 体
行 为 检 测 精 度 高， 对 摔 倒 等 行 为
跌倒监测系统的开发 [D]. 哈尔滨工业大 学 , 2012. [6] 卫 震 . 基 于 Android 平 台 的 跌 倒 检 测 算 法 研 究 及 实 现 [D]. 杭 州 电 子 科 技 大 学 ,2017. [7] 屠碧琪 . 基于多传感融合的老人跌倒检测 算法研究 [D]. 浙江理工大学 ,2017. [8] 董 文 永 , 丁 红 , 董 学 士 . 一 种 小 波 自 适 应 阈 值 全 频 降 噪 方 法 [J]. 电 子 学 报 ,2015,43(12):2374-2380. [9]Dong W, Ding H. Full Frequency Denoising Method Based on Wavelet Decomposition and Noise-type Detection[J]. Neurocomputing,2016: S0925231216307688.
图 1 中，横轴 0 ～ 70 代表摔倒时的加速 度变化，横轴 80 ～ 120 代表跑步时的加速度 变化，横轴 130 ～ 170 代表走路时的加速度变 化。
数据分析显示，不同行为状态的加速度 数据具有不同的波形图。可以以此对人体行为 状态进行识别。
2 主要算法
2.1 自适应阈值的小波域降噪算法
图 2：本工作采用的 DBN 深度信念网络结构图 变换重构生成经小波去除相关后的生成的估计 的噪声信号。通过求出估计噪声的自相关系数， 识别出采集数据所包含的噪声类型主要为白噪 声。自相关系数计算公式如下：
80 • 电子技术与软件工程 Electronic Technology & Software Engineering
及 时 发 出 报 警 信 号， 使 一 些 特 殊
群体能及时获得救助等特点。
图 1：摔倒、跑步、走路加速度变化图
【关键词】深度信念网络 小波降噪 人体行为 检测
人体行为是人类生活的重要组成部分。 摔倒已成为我国人员伤亡的第四大因素，意外 摔倒则对人类的健康产生重要威胁。据不完全 统计，约有一部分人从意外摔倒中受到的伤害 导致其残疾，甚至死亡，其中老年人占 60%。 因此，研究人类行为检测算法，对缩短摔倒救 助时间、提高安全保障，促进社会稳定具有重 要意义。目前，研究开发人体摔倒检测系统方 面的技术有多种，最常见的是图像分析和加速 度分析。前者是基于视频图像分析的摔倒自动 检测系统，这种技术准确性高，人体动作清晰 可见，但需要多部摄像机同时工作，容易暴露 用户隐私。后者主要基于微机电系统 (MicroElectromechanical System，MEMS) 传 感 器。 目前国内一些基于 MEMS 技术的行为检测， 大 多 计 算 量 较 大、 价 格 昂 贵， 难 以 推 广。 本 工作提出的基于深度学习的人体行为检测系 统，基于树莓派开发版，搭载加速度传感器 ADXL345，用小波降噪技术对加速度信号进 行自适应的小波阈值降噪，再使用 PCA 主成 份分析技术对降噪后的数据进行降维，使用 DBN 深度神经网络对降维后的数据进行训练， 最后将训练模型用于检测即时的人体行为状 态。本系统具有对人体行为检测精确度高，对 摔倒等行为及时发出报警信号，使特殊群体及 时获得救助等特点。
3 系统实现
本系统由树莓派、ADXL345 加速度传感
器、TDA2030 功放模块等硬件，以及 Android Things 物联网操作系统、检测算法、服务器云 平台等软硬件共同构成。在树莓派硬件上，使 用 ADXL345 三轴加速度传感器采集用户的运 动状态数据。将采集的数据经过小波降噪、降 维后输入到 DBN 网络进行训练。再对检测数 据进行识别，如出现摔倒行为即发出警报，同 时把信息同步到云服务器，由 Web 应用短信 通知用户亲属。系统总体设计框架如图 4 所示。
本工作采用的 DBN 深度神经网络结构图 如图 2 所示。
在 人 体 行 为 识 别 任 务 中， 每 组 输 入 3*100*1 列（三轴加速度传感器 ADXL345 以 50Hz 的频率采集 2 秒的数据），采用主成份 分析对数据进行降维至 100 列，输出为 5 个类 别：行走、静止、快跑、慢跑以及摔倒等。本 工作采用 9000 组人体行为数据进行训练，测 试集为 100 组（2 秒，即每一个人体行为的识 别时长约 2 秒）行为数据。DBN 主要参数设 置如下：学习速率为 0.9，动量因子为 0.1，最 大训练次数 20，每批次的训练样本数为 100 组。 测试过程中，如果检测出摔倒行为，系统进行 报警。具体行为识别过程如图 3 所示。
（1） 其中，{ρk，k=1,2,…,m} 是序列自相关系 数，
本工作采用自适应阈值的小波全频域降 噪算法对三轴加速度传感器数据进行降噪。首 先基于小波去相关识别采集信号的噪声类型， 然后根据识别的噪声进行自适应阈值的小波全 频域降噪。具体过程如下：使用 MATLAB 小 波工具箱，采用对上述采集信号做小波变换， 设定阈值，清除所有大于阈值的小波系数，保 留所有小于阈值的小波系数；最后采用小波逆
作者简介 丁红，现为广西财经学院信息与统计学院，博 士，副教授。 饶万贤，广西科技师范学院数学与计算机科学 学院学生。
作者单位 1. 广西财经学院信息与统计学院 广西壮族 自治区南宁市 530003 2. 武 汉 大 学 计 算 机 学 院 湖 北 省 武 汉 市 430072 3. 广西科技师范学院数学与计算机科学学院 广西壮族自治区来宾市 546199
• Electronic Technology 电子技术
基于深度学习的人体行为检测系统设计
文/丁红1,2 饶万贤3
摘
人体行为是人类生活的重要
组 成 部 分。 本 文 提 出 并 设 计 基 于 要 DBN 深 度 信 念 网 络 的 人 体 行 为 检
测 系 统。 使 用 携 带 嵌 入 式 设 备 实
ADXL 加 速 度 传 感 器 与 树 莓 派 的 连 接 方 式 为：ADXL 的 5V 连 接 树 莓 派 的 5V， GND 连接树莓派的 GND，SCL 连接树莓派的 SCL.1，SDA 连接树莓派的另一个 SDA.1 引脚。 由于树莓派的音频输出口为 3.5mm 接口，需 使用功放模块来增大它的音频输出，通过扬声 器来播放报警声音。
1 人体行为采集数据及分析
本工作采用基于树莓派的三轴加速度传 感器采集人体行为的加速度信号。每个采集器 里包含两个平行放置的三轴加速度传感器，目 的是防止其中一个传感器数据丢失。在采集过 程中，加速度传感器分别放置在采集者的腰带、 裤子口袋、上衣口袋位置。加速度传感器产生 的数据是以时间为自变量的数据，包括 X 轴 的数据（实线波形），Y 轴的数据（虚线波形）， 和 Z 轴的数据（点状波形）。不同行为状态的 原始数据样本如图 1 所示。
参考文献 [1] 屠碧琪 . 基于多传感融合的老人跌倒检测
算法的研究 [D]. 浙江理工大学 ,2017. [2] 刘树栋 . 基于多传感器融合的摔倒监测研
究与设计 [D]. 重庆理工大学 ,2016. [3] 孟宪刚 .“福气”老人应急救助辅助系统
的研究与实现 [D]. 北京理工大学 ,2015. [4] 薛洋 . 基于单个加速度传感器的人体运动
●资助信息：本工作由广西教改项目 2018JGB。
Electronic Technology & Software Engineering 电子技术与软件工程 • 79
Байду номын сангаас
• 电子技术 Electronic Technology
图 4：人体行为检测系统总体设计框架图
图 3：人体行为检测流程图
DBN 深度信念网络由若干层受限玻尔兹 曼机（RBM）构成。即将若干个 RBM“串联” 起来则构成了一个 DBN，上一个 RBM 的输出 即为下一个 RBM 的输入。训练过程中，需要 充分训练上一层的 RBM 后才能训练当前层的 RBM，直至最后一层。本工作采用的 DBN 网络， 由 1 个 输 入 层，3 个 隐 含 层（ 即 3 个 RBM） 及 1 个输出层组成，每个隐含层包含 100 个神 经元。
4 实验结果及结论
为了测试系统的性能，我们重点对摔倒 行为的检测。将设备放在胸口、腰间、胯部进 行了仰摔、侧摔、跑步、行走测试 100 组，检 测出摔倒行为的有效率为 99%。同时我们将设 备做自由落体运动和做平抛运动，系统并未检 测出摔倒行为。即系统能有效识别假摔。
本工作研究设计了基于深度学习的人体 行为检测系统，通过基于树莓派的三轴加速度 传感器采集人体行为数据，再利用深度神经网 络对于数据进行训练，进而有效识别即时的人 体行为状态。本系统设计成本低廉，且有助于 社会的特殊群体如老年人、病人的看护等工作， 对构建合协社会具有积极意义。
+ρm2) 和
。当 N 充分大后， (ρ12+ρ22+… (ρ1'2+ρ2'2+…+ρm'2) 都近似服从 x2(m)
分布。给定显著水平 α，查自由度为 F(m,m)
分布表，得到临界值 Fα，当实际计算结果 >Fα
时，则否定原假设。具体过程详见文献 [9]。
2.2 基于DBN深度信念网络的人体行为预测算 法
时 获 取 三 轴 加 速 度 传 感 器 数 据，
用小波降噪技术对人体行为信号
进行降噪，再使用 PCA 主成份分
析对数据进行降维，最后使用 DBN
深 度 信 念 网 络 对 数 据 进 行 训 练，
并将训练模型用于检测即时的人
体 行 为 状 态。 本 系 统 具 有 对 人 体
行 为 检 测 精 度 高， 对 摔 倒 等 行 为