基于改进卷积神经网络的人体姿态估计

先进算法与人工智能测控技术2018年第37卷第6期• 9 *基于改进卷积神经网络的人体姿态估计赵勇$，2,巨永锋1(1.长安大学电子与控制工程学院，陕西西安710064 ; 2.西安邮电大学自动化学院，陕西西安710121)摘要：卷积神经网络是人体姿态估计中应用最成功的深度学习模型，但仍存在着一些诸如关节搜索空间过于巨大以及不同卷积核得到的抽象特征被平等对待等缺陷。

为此，提出了一种基于改进卷积神经网 络的人体姿态估计算法，利用先验分布减小关节搜索空间，改进卷积神经网络结构建立新的关节外观模 型。

改进的网络利用单个卷积核对应的全局和局部抽象特征计算关节的初始定位概率，通过对所有卷 积核对应的关节初始定位概率进行线性组合来计算关节的最终定位概率，利用线性组合中不同的权值 来体现不同抽象特征在定位关节时所起的不同作用。

仿真实验表明，与现有基于卷积神经网络的人体 姿态估计算法相比，所提出的算法具有更低的计算复杂度和更高的估计准确度。

关键词：人体姿态估计；深度学习；卷积神经网络;先验分布;全局特征中图分类号:TP 391.4 文献标识码：A 文章编号！1000 -8829(2018)06 -0009 -06doi ：10.19708/j . ckjs . 2018.06.002Human Pose Estimation Algorithm Based on Improved ConvolutionalNeural NetworkZHAO Y ong1’2, JU Y o n g -fe n g 1(1. School of Electronic and Control Engineering, Chang, an University, Xi, an 710064, China;2. School of Automation, Xi, an University of Posts & Telecommunications, Xi, an 710121, China)Abstract ： T he convolutional neural networl ^ is the most successful deep learning model for human pose estima ­tion , but tliere are still some deficiencies such as the joint search space is too large and the abstract features obtained by different convolution kernels are treated equally . For overcoming these two deficiencies , a pose estimation algorithm based on an improved convolutional neural network is proposed , in which the prior distrilDution is used to reduce the joint search space and improve the structure of traditional ral networl ^ to establisli a new joint appearance model . T he joint initial location probability sing the global and local abstract features corresj^onding to the convolution kernel , and the bility is obtained through l inear combination of tlie initial location probabilities , in which the diferent weights indicate the different e ffects of different abstract features . T he simulation results showthat the proposed algo ­rithm has lower computational complexity and higher estimation accuracy than the human pose estimation algo ­rithms based on the traditional convolutional neural network .Key words : human pose estimation ; deep learning ; convolutional neural network ; prior distribution ; global features 究方向。

人体姿态估计是人体动作行为识别的基础，是一个确定四肢、躯干和头部等人体部位在图像中具 体定位的过程1]。

经过十几年的研究，已经提出了多 种人体姿态估计算法[1_10]，取得了良好的估计效果。

人体姿态估计算法主要可分为基于整体的人体姿 态估计和基于部件的人体姿态估计算法两大类[2]。

基于整体的人体姿态估计算法一般通过待处理图像到 部位或关节定位的非线性映射来实现，由于深度学习 具有很强的非线性变换能力，已成为当前实现人体姿在视频监控、人机交互和行为分析等计算机视觉 研究领域中，人体动作行为识别是一个非常热门的研收稿日期:2017-10-03基金项目：陕西省教育厅科学研究计划项目（16JK1699)作者简介:赵勇（1979!)，男，陕西周至人，博士研究生，高级工 程师，主要研究方向为计算机视觉在交通中的应用；巨永锋 (1962!)，男，陕西周至人，博士，教授，博士生导师，主要研究 方向为交通控制与管理、计算机视觉在交通中的应用。

• 10 *《测控技术》2018年第37卷第6期态的非线性映射的主要研究方向[3_5]。

基于部件的人 体姿态估计算法根据部位或关节间的外观和位置的关 联建立人体模型，并通过优化由人体模型构造的能量 函数来实现。

人体部位或关节模型的建立是算法的关 键，传统的部位或关节模型采用的都是手工设计的图 像特征[2]，难以准确地表征真实的外观，而深度学习 可以从大数据中自动学习具有更强表达和区分能力的 特征，能更准确地表征真实人体部位或关节的外观，目 前应用最成功的是卷积神经网络[6_10]。

人体姿态估计过程中部位或关节的定位是在整幅 图像中搜索的，而一幅图像的像素点往往有几万个甚 至更多，巨大的搜索空间对人体姿态估计的收敛速度 影响很大。

此外，文献[6]〜文献[9]利用卷积神经网 络建立的关节外观模型仅考虑了图像的局部特征，这 与人类在识别物体时同时依赖局部和全局特征的特性 并不相符。

DeepID 网络[11]在进行人脸识别虽然同时 考虑了图像的局部和全局特征，但将利用不同卷积核 得到的抽象特征平等地对待，而不同特征所起的作用 往往并不相同。

为解决上述两种不足，提出一种基于 改进卷积神经网络的人体姿态估计算法。

根据关节分 布在人体躯干周围相对固定范围内的特性，提出一种 基于先验分布的关节搜索空间减小方法;改进卷积神 经网络结构，通过将每一种卷积核对应的图像全局和 局部特征时的关节初始定位概率按照不同权值进行线 性组合计算得到关节的最终定位概率。

1基于先验分布的关节搜索空间减小方法人体由四肢、躯干和头部等部位通过关节连接在 一起，不管姿态如何变换，关节都会分布在躯干周围一 个相对固定的范围内。

基于这一点，利用训练图像集 学习出关节相对于人体上半身的先验分布，在对待处 理图像进行人体姿态估计时，首先利用人体上半身检 测器[12]检测上半身，然后根据关节的先验分布确定关 节的分布区域，从而将关节的搜索空间从整幅图像减 小为一个较小的图像区域，达到减小关节搜索空间的 睡。

关节先验分布的学习可分为3个步骤来完成，图1以左肩关节为例给出了学习的过程。

① 对图1 ( a #所示已标注出所有关节的训练图 像，标注出以左肩关节为中心的正方形框，然后利用人 体上半身检测器[12]检测出人体上半身正方形框，如图 1(b )所示;② 将标注出的人体上半身和以左肩关节为中心的正方形框都投影到统一的坐标系，如图1 (5所示；③ 所有投影到同一坐标系下的以左肩关节为中心的正方形框的覆盖区域如图1⑷所示，包围覆盖区 域的最小矩形即为关节相对于人体上半身正方形框的先验分布。

2基于改进卷积神经网络的关节外观 模型深度学习是当前机器学习领域中最热门的研究方 向，起源于人工神经网络，通过对低层特征进行组合形 成抽象的高层特征，从而发现数据的分布式特征表 示[13]。

卷积神经网络是-一特殊的?米层如馈神经网 络模型，是人体姿态估计算法中建立外观模型时应用 最为成功的深度学习模型[6)9]，基本结构包括卷积层 和池化层，卷积层为特征提取层，利用卷积核提取抽象 特征，通过局部感知和权值共享来减少参数数量;池化 层是特征统计层，通过下采样来进一步减小神经元个 数。

为更好地利用图像的全局和局部特征，对传统卷 积神经网络结构进行了改进，改进后的网络结构如图 2所示，由3个卷积层、4个池化层、1个引入层和3个 全连接层组成。

与文献[6]〜文献[9]仅将与卷积层 3类似的表征图像局部特征的卷积层作为全连接层的 输入不同，将卷积层3和表征图像全局特征的池化层4共同作为全连接层的输入;与文献[11 ]将与卷积层 3和池化层4类似的表征图像局部和全局特征的卷积 层和池化层看作一个整体作为全连接层的输入不同， 本文将全连接层1分为32个部分，分别连接32个卷积核对应的卷积层3和池化层4的特征图，在全连接 层2计算出利用每一种卷积核对应特征时的关节初始 定位概率，全连接层3只有一个神经元，将全连接层2计算出的对应不同卷积核的关节初始定位概率按照基于改进卷积神经网络的人体姿态估计• 11 *不同权值进行线性组合得到关节最终定位概率，权值 即为神经元权值。

由于每一个卷积核对应一种特征提 取的方式，卷积后得到一种抽象的图像特征，所设计的 卷积神经网络不仅在进行关节定位的同时考虑到了图 像全局和局部特征，而且不同特征起着不同的作用。

网络各层的具体参数如表1所示。

表1改进卷积神经网络结构参数网络层输入尺寸输出尺寸核尺寸卷积层164 x64 x360 x60 x32 5 x5 x3池化层160 x60 x3230 x30 x322x2x1卷积层230 x30 x3226 x26 x32 5 x5 x32池化层226 x26 x3213 x13 x322x2x1卷积层313 x13 x329 x9 x32 5 x5 x32池化层39 x9 x32 5 x5 x322x2x1池化层4 5 x5 x321x1x325x5x1引入层1x1x26241x1x2624全连接层11x1x26241x1x640全连接层21x1x6401x1x32全连接层31x1x321x1x1网络的输入为64 x64大小的彩色图像块，将从所 有训练图像剪切出的关节和非关节图像块作为训练样 本，图3给出了一些左肩图像块的正负样本示例。