选择性搜索和多深度学习模型融合的目标跟踪
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收 稿 日期 ： ２０１５—０６－１６ 通信作 者 ： 钟 必能（１９８１一），男 ，副教授 ，博士 ，主要从 事计算机视觉 、模式识别 、目标跟踪方 面的研究．Ｅ－ｍａｉｌ：ｂｎｚｈｏｎｇ
＠ ｈｑｕ．ｅｄｕ．ａｎ， 基 金项 目： 国家 自然科学基金 资助项 目（６１２０２２９９）；国家 自然科学基金面上资助项 目（６１５７２２０５）；福建省 自然科 学
ｄｏｉ：１０．１１８３０／ＩＳＳＮ．１０００—５０１３．２０１６．０２．０２０７
选 择 性 搜 索 和 多深 度 学 习模 型 融 合 的 目标 跟踪
钟 必 能 ，潘 胜 男
（１＿华侨大学 计算机科学与技术学院 ，福建 厦 门 ３６１０２１； ２．华侨大学 计算 机视觉与模式识别重点实验室 ，福建 厦 门 ３６１０２１）
第 ３７卷 第 ２期 ２０１６年 ３月
华 侨 大 学 学 报 （自 然 科 学 版 ） Ｊｏｕｒｎａｌ ｏｆ Ｈ ｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ （Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ）
Ｖｏ１．３７ Ｎｏ．２ Ｍ ａｒ． ２０１６
文 章 编 号 ：１０００—５０１３（２０１６）０２—０２０７—０６
针 对输 入 图片 大小设 计 的 ＣＮＮ 模 型结 构 ，如 图 ２所 示 ．图 ２中 ：输 入 图 片的 大小 为 ３２ ｐｘＸ ３２ ｐｘ； Ｃｏｖｉ对应的是第 ｉ个卷积层 ；Ｐｏｏｌ／对应的是第 ｉ个下采样层；Ｋｅｒｎｅｌ—ｓｉｚｅ是卷积模板的大小 ；Ｓｔｒｉｄｅ是 每一 次 卷积 滑 动 的步伐 ；Ｒｅｌｕ是非 线性 变 换 函数 ；Ｎｏｒｍ 是 归一 化 ．
１ 目标 跟 踪 算 法
１．１ 算 法框 架 提出一种基于选择性搜索和多深度模型融合的 目标跟踪算法．文 中所用 的多线索模型 （ＣＮＮ模型
和 ＣＤＢＮ模 型 ）的融 合 办法 和具 体跟 踪 算法 细节 ，如 图 １所示 ． １．２ 目标表 观 的建 模 １．２．１ ＣＮＮ 建模 卷 积 神 经 网 络 （ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＣＮＮ）是 深 度 学 习 的一 个 重 要 模 型．它是 一个 多 层 的神经 网络 ，每层 由多 个二 维平 面组 成 ，而 每个 平面 由多 个独 立神 经元 组成 ＿６ｊ．卷 积神 经 网络 中的每一 个 特征 提取 层 （Ｃ一层 ）都 紧跟 着一 个 求 局 部平 均 与 二 次 提取 的下 采 样层 （Ｓ一层 ），这 种 特 有的两次特征提取结构 ，使 网络在识别时对输入样本有较高的畸变容忍能力．
～
３．寻找最 可 信粒 子 ：ｍａｘｌ＝ｍａｘ（ｃｏｎｆ１）； ４．ｉｆ ｍａｘｌ＜Ｔｈｒｅｓｈｏｌｄ某 个 阈值
①启 动 ＣＤＢＮ模 型 ：记作 ｔｒａｉｎ ＣＤＢＮ（ｉＥ负样 本 ）； ＿
②测试 所 有粒 子 ：记作 ｃｏｎ｛２＝ｔｅｓｔ＿ＣＮＢＮ（所 有 粒子 ）； ③找 出最佳位置 ：记作 ｍａｘ２＝ｍａｘ（ｃｏｎ｛２）； Ｉｆ ｍａｘ２＜ Ｔｈｒｅｓｈｏｌｄ某个 阈值
＿
２．在第 一 张给 出 的待跟 踪物 体 的位 置处 ，得 出 Ｓ＋张正 例样 本 和 Ｓ一张 负例 样本 ； ３． ｔｒａｉｎ ＣＮＮ（正负 样本 ）；
＿
ｆｏｒ １：视 频 帧 的最后 一 帧 １．用 ｓｅｌｅｃｔｉｖｅ ｓｅａｒｃｈ与粒子 滤 波相 结合 ，在 ｔ时 刻初 始化 粒子 ； ２．测 试粒 子 ：ｅｏｎ｛１＝ｔｅｓｔＣＮＮ（所 有 粒子 ）；
① ｔｒａｉｎ＿ＣＮＮ 正 负样本 ）＇ｔｒａｉｎ—ＣＤＢＮ（正负样 本 ）； ② ｃｏｎｆｌ—ｔｅｓｔ—ＣＮＮ（所有 粒 子 ）ｍａｘ１＝ｍａｘ（ｃｏｎ｛１）； ③ ｃｏｎ｛２＝ｔｅｓｔ—ＣＤＢＮ 所 有粒 子 ）ｍａｘ２＝ｍａｘ（ｃｏｎｆ２）； ④ ｍａｘ＝ｍａｘ（ｍａｘｌ，ｍａｘ２）； ｉｆ ｍａｘ＞某 个 阈值
况 பைடு நூலகம் 发 生 ．
关键词 ： 目标 跟踪 ；深 度学习 ；多模 型融合 ；选 择性搜索 ；评 价指标
中 图 分 类 号 ： ＴＰ ３０１
文 献 标 志码 ： Ａ
目标 跟踪 是 机器 视觉 中一 个重 要 的研 究 分支 ，然 而 由于应用 场 合 中的一 些不 确定 因素 ，要 想获得 一 种 稳 健 、鲁 棒 又快 速 的跟 踪方 法仍 具有 挑 战性 ．为 了解 决 这个 问题 ，近 年来 越 来 越 多 的学 者 采 用 多层 的 深 度学 习模型 进行 目标 的特征 提取 ．Ｆａｎ等 ［１］针对 跟 踪 问题 ，提 出了基 于卷 积神 经 网络 （ＣＮＮ）的行 人跟 踪法．Ｃａｒｎｅｉｒｏ等［２］使用深度神经网络训练 目标的表观模型 ，将该模型用于超声图像 中左心房 内膜的轮 廓跟踪．Ｗａｎｇ等Ｉ３］提出了基于降噪 自编码器 （ａｕｔｏ—ｅｎｃｏｄｅｒ）的跟踪方法．虽然深度学习模 型具有更强 的物体 特 征表 达 能力 ，但是 以上提 到 的跟踪 算 法都 是 基 于 单线 索 ＿１ ］的．单 一 线 索 用 于跟 踪 方 法对 环 境 变 化 敏感 ，鲁棒 性 不高 ．为 了提 高跟 踪算 法 的性 能 ，本文 提 出 了基 于 深度 学 习的多 线索 （ＣＮＮ 和 ＣＤＢＮ） 目标 跟踪 算法 ；在 获取 候 选粒 子方 面 ，将 选 择 性 搜 索 （ｓｅｌｅｔｉｖｅ ｓｅａｒｃｈ）方 法 ］和 粒 子 滤波 ［５］相 结合 用 到 了跟 踪 问题 中．
摘要 ： 提 出一种基于深度学 习的多模 型 （卷 积神经网络和卷 积深信度 网络 ）融合 目标跟踪 算法．该 算法在 提
取候 选粒子方面 ，使用选择性搜索 和粒子滤波 的方法．ＣＶＰＲ２０１３跟踪评 价指标 （５０个视 频序列 、３Ｏ个跟踪算
法）验证 了 ：该算法在 跟踪 中能有效地缓解 目标物体 由于遮挡 、光照变化和尺度变化 等因素造 成的跟踪丢失情
基金资助项 目（２ｏ１５ＪＯ１２５７）；福建省高 校杰 出青年科研人 才培育计 划项 目（ＪＡ１３００７）
第 ２期
钟必 能 ，等 ：选择性搜索 和多深度学习模型融合 的 目标 跟踪
２０９
初 始化 ： １．离 线训 练 ：ｔｒａｉｎ＿ＣＮＮ（２０２ ９３２张 图 片），ｔｒａｉｎ ＣＤＢＮ（６０ ０００张 图片 ）；
＠ ｈｑｕ．ｅｄｕ．ａｎ， 基 金项 目： 国家 自然科学基金 资助项 目（６１２０２２９９）；国家 自然科学基金面上资助项 目（６１５７２２０５）；福建省 自然科 学
ｄｏｉ：１０．１１８３０／ＩＳＳＮ．１０００—５０１３．２０１６．０２．０２０７
选 择 性 搜 索 和 多深 度 学 习模 型 融 合 的 目标 跟踪
钟 必 能 ，潘 胜 男
（１＿华侨大学 计算机科学与技术学院 ，福建 厦 门 ３６１０２１； ２．华侨大学 计算 机视觉与模式识别重点实验室 ，福建 厦 门 ３６１０２１）
第 ３７卷 第 ２期 ２０１６年 ３月
华 侨 大 学 学 报 （自 然 科 学 版 ） Ｊｏｕｒｎａｌ ｏｆ Ｈ ｕａｑｉａｏ Ｕｎｉｖｅｒｓｉｔｙ （Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ）
Ｖｏ１．３７ Ｎｏ．２ Ｍ ａｒ． ２０１６
文 章 编 号 ：１０００—５０１３（２０１６）０２—０２０７—０６
针 对输 入 图片 大小设 计 的 ＣＮＮ 模 型结 构 ，如 图 ２所 示 ．图 ２中 ：输 入 图 片的 大小 为 ３２ ｐｘＸ ３２ ｐｘ； Ｃｏｖｉ对应的是第 ｉ个卷积层 ；Ｐｏｏｌ／对应的是第 ｉ个下采样层；Ｋｅｒｎｅｌ—ｓｉｚｅ是卷积模板的大小 ；Ｓｔｒｉｄｅ是 每一 次 卷积 滑 动 的步伐 ；Ｒｅｌｕ是非 线性 变 换 函数 ；Ｎｏｒｍ 是 归一 化 ．
１ 目标 跟 踪 算 法
１．１ 算 法框 架 提出一种基于选择性搜索和多深度模型融合的 目标跟踪算法．文 中所用 的多线索模型 （ＣＮＮ模型
和 ＣＤＢＮ模 型 ）的融 合 办法 和具 体跟 踪 算法 细节 ，如 图 １所示 ． １．２ 目标表 观 的建 模 １．２．１ ＣＮＮ 建模 卷 积 神 经 网 络 （ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，ＣＮＮ）是 深 度 学 习 的一 个 重 要 模 型．它是 一个 多 层 的神经 网络 ，每层 由多 个二 维平 面组 成 ，而 每个 平面 由多 个独 立神 经元 组成 ＿６ｊ．卷 积神 经 网络 中的每一 个 特征 提取 层 （Ｃ一层 ）都 紧跟 着一 个 求 局 部平 均 与 二 次 提取 的下 采 样层 （Ｓ一层 ），这 种 特 有的两次特征提取结构 ，使 网络在识别时对输入样本有较高的畸变容忍能力．
～
３．寻找最 可 信粒 子 ：ｍａｘｌ＝ｍａｘ（ｃｏｎｆ１）； ４．ｉｆ ｍａｘｌ＜Ｔｈｒｅｓｈｏｌｄ某 个 阈值
①启 动 ＣＤＢＮ模 型 ：记作 ｔｒａｉｎ ＣＤＢＮ（ｉＥ负样 本 ）； ＿
②测试 所 有粒 子 ：记作 ｃｏｎ｛２＝ｔｅｓｔ＿ＣＮＢＮ（所 有 粒子 ）； ③找 出最佳位置 ：记作 ｍａｘ２＝ｍａｘ（ｃｏｎ｛２）； Ｉｆ ｍａｘ２＜ Ｔｈｒｅｓｈｏｌｄ某个 阈值
＿
２．在第 一 张给 出 的待跟 踪物 体 的位 置处 ，得 出 Ｓ＋张正 例样 本 和 Ｓ一张 负例 样本 ； ３． ｔｒａｉｎ ＣＮＮ（正负 样本 ）；
＿
ｆｏｒ １：视 频 帧 的最后 一 帧 １．用 ｓｅｌｅｃｔｉｖｅ ｓｅａｒｃｈ与粒子 滤 波相 结合 ，在 ｔ时 刻初 始化 粒子 ； ２．测 试粒 子 ：ｅｏｎ｛１＝ｔｅｓｔＣＮＮ（所 有 粒子 ）；
① ｔｒａｉｎ＿ＣＮＮ 正 负样本 ）＇ｔｒａｉｎ—ＣＤＢＮ（正负样 本 ）； ② ｃｏｎｆｌ—ｔｅｓｔ—ＣＮＮ（所有 粒 子 ）ｍａｘ１＝ｍａｘ（ｃｏｎ｛１）； ③ ｃｏｎ｛２＝ｔｅｓｔ—ＣＤＢＮ 所 有粒 子 ）ｍａｘ２＝ｍａｘ（ｃｏｎｆ２）； ④ ｍａｘ＝ｍａｘ（ｍａｘｌ，ｍａｘ２）； ｉｆ ｍａｘ＞某 个 阈值
况 பைடு நூலகம் 发 生 ．
关键词 ： 目标 跟踪 ；深 度学习 ；多模 型融合 ；选 择性搜索 ；评 价指标
中 图 分 类 号 ： ＴＰ ３０１
文 献 标 志码 ： Ａ
目标 跟踪 是 机器 视觉 中一 个重 要 的研 究 分支 ，然 而 由于应用 场 合 中的一 些不 确定 因素 ，要 想获得 一 种 稳 健 、鲁 棒 又快 速 的跟 踪方 法仍 具有 挑 战性 ．为 了解 决 这个 问题 ，近 年来 越 来 越 多 的学 者 采 用 多层 的 深 度学 习模型 进行 目标 的特征 提取 ．Ｆａｎ等 ［１］针对 跟 踪 问题 ，提 出了基 于卷 积神 经 网络 （ＣＮＮ）的行 人跟 踪法．Ｃａｒｎｅｉｒｏ等［２］使用深度神经网络训练 目标的表观模型 ，将该模型用于超声图像 中左心房 内膜的轮 廓跟踪．Ｗａｎｇ等Ｉ３］提出了基于降噪 自编码器 （ａｕｔｏ—ｅｎｃｏｄｅｒ）的跟踪方法．虽然深度学习模 型具有更强 的物体 特 征表 达 能力 ，但是 以上提 到 的跟踪 算 法都 是 基 于 单线 索 ＿１ ］的．单 一 线 索 用 于跟 踪 方 法对 环 境 变 化 敏感 ，鲁棒 性 不高 ．为 了提 高跟 踪算 法 的性 能 ，本文 提 出 了基 于 深度 学 习的多 线索 （ＣＮＮ 和 ＣＤＢＮ） 目标 跟踪 算法 ；在 获取 候 选粒 子方 面 ，将 选 择 性 搜 索 （ｓｅｌｅｔｉｖｅ ｓｅａｒｃｈ）方 法 ］和 粒 子 滤波 ［５］相 结合 用 到 了跟 踪 问题 中．
摘要 ： 提 出一种基于深度学 习的多模 型 （卷 积神经网络和卷 积深信度 网络 ）融合 目标跟踪 算法．该 算法在 提
取候 选粒子方面 ，使用选择性搜索 和粒子滤波 的方法．ＣＶＰＲ２０１３跟踪评 价指标 （５０个视 频序列 、３Ｏ个跟踪算
法）验证 了 ：该算法在 跟踪 中能有效地缓解 目标物体 由于遮挡 、光照变化和尺度变化 等因素造 成的跟踪丢失情
基金资助项 目（２ｏ１５ＪＯ１２５７）；福建省高 校杰 出青年科研人 才培育计 划项 目（ＪＡ１３００７）
第 ２期
钟必 能 ，等 ：选择性搜索 和多深度学习模型融合 的 目标 跟踪
２０９
初 始化 ： １．离 线训 练 ：ｔｒａｉｎ＿ＣＮＮ（２０２ ９３２张 图 片），ｔｒａｉｎ ＣＤＢＮ（６０ ０００张 图片 ）；