基于深度学习的以图搜图架构及在公安图侦中的应用

２．１ 行 人 以 图搜 图
视 频
检
索 库
—
—
—
Ｉ
｛ 视频 ｆ
ｌ－－－－－－－－－－－－－－－－－－－－－－－－－－－－ －－－－－－－－－·－—－＿ Ｊ
±———————一
———来自———
—
目标关键帧提取
二
［丽—— 一
ｌ
构
建 ［ 特茧征入 库
Ｊ待检索 图像 ｆ
图像 与多 媒体技术 · Ｉｍａｇｅ＆Ｍｕｌｔｉｍｅｄｉａ Ｔｅｃｈｎｏｌｏｇｙ
基 于深度 学习的 以图搜 图架构及在公 安图侦中的应用
文／姜 少 波 甘 彤 商 国军 。
深 度 学习 的基本 思想 是通 过 有监 督或 无 视 频 检 索 库 中 的特 征 进 行 相 似 度 比 对 ，按 相 似
数 的特 征提 取方 法包 括 Ｋ均值 、密 度 聚类、 翻译为 自然语 言，实现 人机交互。
卷 系 统 的 设 计 ［Ｊ］．电 子技 术 与 软 件 ＿Ｔ－
谱聚类 、支持 向量机 。 ５ 结 束 语
特 征提 取 完 毕之 后，图像 识 别就 可 以将
程 ，２ ０１６（１ ９）：９ ０－９１．
模 式匹 配成 功之 后， 图像 识别 能 需要将 ［２】钟 阳 ，李 外 云 ，金 豫 ．基 于 图像 识 别 的
离等 ， 目标对 象轮 廓特征很多 ，可 以将这些 局 机器语言转换为人们可 以理解的 自然语言 ，这
智 能 文 字 阅 读 系统 … ．数 字 技 术 与 应
部特征 一一分解，利用局部特征之 间的几何结 样就可 以使用语 义分析技术，将识别 的结果提
作者单位
四 川隆 昌蓬 溪县 国土资 源局 四 川省 蓬溪县
６２９１Ｏ０
６２ · 电子 技 术与 软件 工程 Ｅｌｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ＆Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ
ｍａｇｅ＆ Ｍｕｌｔｉｍｅｄｉａ Ｔｅｃｈｎｏｌｏｇｙ· 图像与多媒体
汽 车 、 电动 车 、 中 巴车 、 大 巴 乍 、 卡 车 。 使 用 训练后 的模 型对视频关键帧 中的 目标进 行检测 分类 ．并提取相战的深度特征 构建视 频检索 库。 １．２．３特 ￣ＪＥＩ７Ｅ配
日标检 索 时，需 要将 待榆 图 片的深 度特 征与视频检索库 中的深度 特征进行匹配 ，从而 根据相似度 高低 展示检索结果。 由于深度特征 具有表达能 力强、维度低等特点 。因此特征匹 配 的 相 似 性 采 用 欧 几 里 得距 离 进 行 度 量 ，公 式 如 下 ：
１
Ｓ＝ 、，（Ｉｌ—ｙＩ）ｚ＋（ｘｚ— ｚ） ＋ ＋（ １ ） ＋１ （ｎ 为特 征 向 量 的 维 度 ）
随着 智 能视 频分析 技 术 的不 断发 展 ，图像检 索技 术在 公安 图 像侦 查领 域发 挥 着越 来越 重要 的 作 用 ，传 统基 于 内容 的 图像检 索 主要 提取 目标 的低 级特征 ，易受 环境 干扰 ，导 致 复杂监 控 场景 的 检 索 准 确 率 低 下 ， 实 战 效 果 不 理 想。基 于 深度 学 习的 以 图搜 图 关 注 高层特 征 的抽 象，能有 效克 服 遮挡 、光 照、 角度 变化 等 因素 的 影 响，应 用 于 图像 检 索具 有 一定 的优 势 本文 主要 介 绍 了基 于深 ｌ 度 学 习的 以图搜 图 架构 及在公 安 图侦 中的 应 用 。
２．２小汽车以图搜 图
图 ２：小 汽 车 以 图搜 图
２．３ 电 动 车 以 图搜 图
更 深 网络 结 构 的 以 图搜 图将 在 图 侦 巾得
贴 合 实 战 的 应 用 。 电 动 车 以 快 捷 、 轻 便 、 价 廉 的 优 势 成 为
百姓 的主要 交通 工具，随之而来的电动车盗窃 案件 呈现上升趋势 。电动 车的特 征通 常表现 为 是否仃灯 、车把 手颜色及破损状 态、是否有车 篮 、挡 泥 板 等 ， 基 于 电动 车 整 体 特 征 的 以图 搜 图能 够 克服 光 照 、遮 挡 等 因 素 的 影 响 ， 住 多 段 视频 中可有 效检索 感兴趣 日标．为案件侦破提 供 支 持 。
【５］严雷 ，杨晓刚 ，郭鸿飞等 ．结合 图像识 别
这些特 征与模式库 中保存 的信 息进行匹配，匹
不 动产 登记 智 能化 管理 是 当前 电子政 务
的 移 动 增 强 现 实 系统 设 计 与 应 用 【Ｊ】．中
配 也是模式搜索、对 比的过程 。图像 识别可 以 发展 的一个 重要方向，可 以极大 的提 高不动产
［３］尹宝才，王 丈通 ，王立春 ．深度 学 综述 ［Ｊ】．北京工业大学学报 ，２ ０１ ５
堆 于 乍 牌 、 ｉ型 信 息 的 辆 检 索 应 Ｈ 一 泛 ，但 限 于摄 像 机 拍 摄 角 度 ，乍 辆 车 身和 牌 照 有 可 能 无法 完 全 示 ， 或 者 由 于肇 事 车 辆 逃 逸
一
—
—
—
—
～一
—
—
监督 的方 式学习层次化的特征表达 ，对 目标进 度高低展现检索结果 。其架构如 图 ｌ所示 。
行从底层 到高层的描述 ，各层 的特征 不是利用
架构 中 的核心 模块 主 要包 括 目标 关键 帧
人工 工程 来设计的，而是使用一种通用 的学习 提取、目标分类与特征提取 、特征匹配等模块 。
网络进行 目标 的特征提取 和识别检测 ，目前 ， 和最大面积跟踪 法，并选取 目标在场景 中出现
基 于深度 学习技术在行人结构化 、车辆结构化、 面 积 最 大 时 的帧 作 为 关 键 帧 。
人脸识别等方面取得 了突破性 的进步 。
１．２．２目标分类 与特征 提取
【关键词 】深度 学 习 以图搜 图 图像 侦查 应
过 程 从 数 据 中 学 到 的 ， 含 有 隐 层 的多 层 感 知 器 １．２．１目标 关 键 帧 提 取
就是 一种 深度学习结构 。深度学 习模 型的训练
目标 通 常 以一 段 连 续 的 轨 迹 出 现 在 监 控
过 程 是在 大 量 样 本 数 据 的基 础 上 进 行 的 ， 采 用 视 频 画 面 中 ，为 了大 大 缩 减 后 续 处 理 的 视 频 帧
用 ，２ ０１６（０１）：８７－８７．
构 ，将 常见的知识特征提取 出来 。基 于代数特 供给人们 ，帮助人们进行决策 ，比如 下达 下一 ［３］官洪运 ，许 广洋 ，于融正 ．基 于云端 的视
征和统计 学习表征方法则是利用 目标对 象像素 步操作指令 等。语义分析过程 中，系 统需要审
用
１．２以图搜 图架构设计 基于 深度 学 习的 以图搜 图 架构 主要 包括
基 于 深 度 学 习 技 术 ，对 视 频 关 键 帧 进 行 目标 分 类 与特 征 提 取 ， 首 先 需 要对 深 度 模 型 进 行训练 。训练 模型所使用的数据集来源于实 际
视频检索库构建和 目标检 索两个组成部分 。视 监 控 视 频 数据 ， 涵 盖 了 白天 、夜 间 、 晴 、 阴 、
当 两 个 目 标 的 特 征 Ｉｆ１Ｊ量 相 同 时 ， Ｓ＝１００％，特 征向量 之 间相 差越 大，相 似度 Ｓ 越 小 。
２ 以图搜 图在 图侦 中的应用
图像侦查 关注的 目标 主要 为行人和 车辆 ， 因 此 ， 以 图搜 图 在 行 人 、 小 汽 车 、 电动 车 等 目 标检索 方面得 到了广泛的应用
以上 主要 介绍 了 图侦 中常 见 目标 的 以图 搜图，除此以外．其他 目标 如中巴车、大卡车、
参考文献
［１］胡 二 雷 ，冯 瑞 ．基 于 深 度 学 习 的 图 系统 ［Ｊ］．计 算 机 系统 应 用 ，２０１ ７（０
【２］易军 凯 ，何 满 然， 姜 大 光 ．图 像 解 的深度 学 习方法 ［Ｊ］．计 算机 工 计 ，２ ０１ ７（０３）．
频 图 像 识 别 系统 的 实 现 … ．微 型 机 与 应
的密度进行 统计，然后可 以充分 的利用 统计学 查识别 出来 的每一个字 符，针对字符进 行编译 ，
用 ，２ ０１６，３５（２２）：５１—５ ３．
的严密 规则实现特征分离和提取 ， 目前基于代 编译 可以按照系统规定 的运算实现逻 辑处理， ［４】刘 洋 ，黄 欣 ．基 于 图 像 识 别 的 网 上 阅
们称 为图像表征描述，特征提取方法经 过分 类 键功能 ，能够从右 向左进行数据 比较 ，同时利
可 以划 分 为 两 个 类 别 ， 分 别 是 基 于 知 识 表 征 的 用 了启发式 的比较规 则，也即是坏字符规则和 参考文 献
方 法 ， 另 一 种 是 基 于 代 数 特 征 或 统 计 学 习表 征 好后缀规 则，来决定 向右跳跃 的距 离。ＢＭ 算 ［１］罗维薇 ．基 于图像识别 的火 灾报 警系统设
反 向传播 技术进行权值 的迭代优化 。在 视频 图 数，提高整个视频检索库构 建速度 ，需要对 目
像检测 与识 别领域 ，卷积神经网络 （ｃＮＮ）是 标进行检测与跟踪 ，提 取 目标 关键帧 。关键帧
主流 的实现手段 ，通过设计 出多层 的人工神经 的提取采用速度快 、准 确性 高的背景建模检测
国图象图形 学报 ，２Ｏ１ ６，２１（０２）：１８４—１９１．
设置 一个模 式匹配操作阈值 ，比如可 以利用 相 似度作为度 量，然后设置一个 阈值，闽值设置 完毕之后就可 以进 行对 比，如果相似度 超过规 定阈值 ，则判 定模 式匹配成功 。 目前，模式匹
登记速度 ，方便 群众办事 。随着不动 产登记的 增 多，利用 扫描仪、摄像头拍摄 的照片 日益增 多 ，因此利 用先进的机器学 习技术构 建一个 图 像识别功 能，能够提取 图像 中潜藏 的 目标对象
土——— 一 —
—
—
—
目
ｉ标分类与特征提取 ｌ 标
二二二二［二二二二二二 检
特 征匹配 ｌ 索
图 １：基 于深度 学习的以图搜 图架构
往图侦 实战 中，通 常 需要 从视 频图 像 中 快 速 查找 、 定 位 出 具 有某 种 特 征 的 嫌 疑 人 ，常 见 的 特 征 主 要 有 人 脸 特 征 、 衣 着 特 征 、附 属 物 等。 以图搜 图将行 人的整 体特征抽象为深度特 征 ， 能 克 服 各种 环 境 因 素 的 影 ｌ响， 从 而 提 高行 人检索的准确性 。当把嫌疑 人图片导入以图搜 图系统中，系统 会自动提取 目标 人物的特征， 并将所有待检视频 中与该 目标最 为接近 的行人 都显示出来，从而实现跨 视频的检索。当 目标 的 上 半 身和 下 半 身 的 衣 着 具 有某 种 特 色 ， 如 上 半身浅色农着， 半 身深 色农着，系统 也可以 搜 索 出 相 似 的 目标 结 果 。
方法 。基于知识的表征方法可 以根据 目标对 象 法实现模式 匹配 速度快 ，并发性好 ，更加适 用
计 【Ｊ］．自动化与仪 器仪表 ，２０１ ６（０１）：１７ ７—
轮廓形状 以及距离度量特性获取特征数 据，这 于当前 的不动产登记系 统，具有重要的作用。
１ ７８．
个特征距 离度 量的种类包括 曲率角度 、欧氏距
１基于深度学 习的以图搜 图
频 检索库构建采用深度 学习方 法将监控视频进 雨 、雾等不 同场 景的多样化数据 ，从而提高模 行 预 处 理 ，提 取 其 中 的 目标 类 型 和 深 度 特 征 ； 型 的泛 化 能力 和 准确 度 。根 据 公 安 图侦 的 实 战
１．１深度学 习原理
目标检索模块通过提取 待检 目标的特征，并和 需求 ，主 要 训 练 了 ６个 类 别 的 目标 ： 行 人 、 小
＜＜上 接 ６１页
经过检 测之后，就可 以将这些特征提取 出来 。 配最常用 的算法为 ＢＭ 算法，这个算法是精确 特 征，利用模式匹配分析 图像 内容，进一步 改
特征提取 是图像识别学习建模的过程 ，又被 人 字符 串匹配算法 的改进 ，引入了模糊匹配 的关 进 不动 产登记 效率，具有重要 的作用和意 义。