基于全景视频的监控系统_谭秀峰
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图形图像
文 章 编 号 ：1007-1423（2016）03-0033-05
DOI：10.3969/j.issn.1007-1423.2016.03.008
基于全景视频的监控系统
谭秀峰
（四川大学计算机学院，成都 610065)
摘要： 近年来，受益与计算机技术的飞速发展，计算机视觉得到了极大的关注。 研究一种通过同步摄像头采集到的帧，对其 进行全景图像拼接，并且将拼接结果不失真输出到特定的球幕进行全景视频播放，得到一种身临现场的监控体验，可 达到和监控人员亲临现场相当的效果。 实验结果表明，该方法能够较好地应用于全景监控领域，具有较高的实用价 值。 关键词： 全景监控； 全景图； 全景视频； 全景播放
空间进行递归式二分来构造 k-d 树数据结构。
1.2 基于 RANSAC 算法的特征点匹配优化
RANSAC 算法是根据一组包含异常数据的样本数
据集，计算出数据的数学模型参数，得到有效样本数据
的算法。 假设 Sij={（pik，pjk）}（k=1，2，3，4，…，N）是 SURF 算法给出的两幅图像的匹配点对集。 i 代表图像 i，j 代
对于图像 I 中的给定点（x，y），在尺度 σ 下的 Hessian 矩阵为：
σ σ H（x，y，σ）= Lxx（x，y，σ） Lxy（x，y，σ） Lxy（x，y，σ） Lyy（x，y，σ） 其中 Lxx（x，y，σ）是高斯二阶导数与图像 I 在点（x， y）处的卷积，Lxy（x，y，σ）和 Lyy（x，y，σ）同理可得。 为了减 小计算量，SURF 算法使用了高斯二阶导近似模板对图 像卷积以及积分图像的使用。 此时，由于函数模板的近 似，需要修正特征值的求解公式： Det（H）=Dxx×Dyy-（0.9Dxy）2 权重系数 0.9 是为了平衡 Hessian 行列式，保持高 斯核与近似高斯核的一致性。 尺度空间中，对每一个像 素都有的 3×3×3 的邻域作非极大抑制， 得到可能的特 征点，然后根据设定的阈值筛选。 为 了 保 证 SURF 算 法 对 图 像 旋 转 具 有 不 变 性 ，引 入特征点主方向。 方法为确定一个以特征点为圆心，半 径为 6 个像素的圆形区域， 然后计算区域内每个像素 点 在 x 和 y 方 向 上 的 一 阶 导 数 并 将 区 域 等 分 成 12 个 扇形区域， 分别将求得的导数按区域进行累加得到 12 个二维向量，取模最长向量作为主方向。 然后以特征点
参考文献： [1]HU Wuchih，HUANG Dengyuan，CHEN Weihao. Adaptive Wide Field-of-View Surveillance Based on an IP Camera on a Rotational
Platform for Automatic Detection of Abandoned and Remove Objects[J]. ICIC Express Letters Part B:Applications，2010（1）:45-50. [2]苗立刚. 视频监控中的图像拼接与合成算法研究[J]. 仪器仪表学报，2009，30（4）：857-861. [3]刘奇，何明一. 基于 SURF 特征匹配的图像拼接算法[J]. 测控技术，2010，29（10）：27-31. [4]张锐娟，张建奇，杨翠. 基于 SURF 的图像配准方法研究[J]. 红外与激光工程，2009，38（1）：160-165. [5]郭俊美. 基于图像的柱面全景图生成技术研究[A]. 失效分析与预防，2012. [6]肖源源，王子牛. 基于 VC++的 OpenGL 纹理映射技术的研究与实现[J]. 贵州大学学报，2008（02）：158-160.
的球幕播放图。 其中椅子的位置为最佳视角，能观测到 未变形的全景图。
图 13 图 14
图 15
结合本文所述方法，在监控领域要求视角广，采集
。
图像易受环境影响的前提下生成全景图具有良好的拼
接效果， 全景视频的播放也能达到预期的身临现场的
体验。 为后续实时全景监控提供了一种思路。
4 结语
本文研究了一种基于全景视频的监控系统方法， 在实验结果中能取得较好的效果。 后续需要研究如何 在要求实时监控的背景下做自适应的图像拼接以及播 放。
LI Jia
（College of Computer Science, Sichuan University, Chengdu 610065） Abstract： In ultrasound elastography, there are some noises in the image, applies the SAD-based histogram speckle reduction algorithm to the ultrasound elastography for the purpose of reducing the noise and improving the quality of the image, it can improve the way of calculating the similarity, improve the image quality. Keywords： SAD-Based Histogram Speckle Reduction Algorithm; Ultrasound Elastography
180 个小正方形，这样渲染出来的全景精度足够 ，纹理
坐 标 以 图 像 的 左 下 角 为 （0，0）点 ，向 上 为 y 轴 正 方 向 ，
向左为 x 轴正方向， 这样很容易就能得到对应点的纹
理坐标，同时，由于全景图中经纬度坐标是等间距分布
的 ，这 里 假 设 图 像 最 左 下 角 为 （0°，0°），求 出 每 个 点 对 应
width
height
空间坐标系中， 假定坐标系原点是经纬球的球心，y 轴
穿过经纬球的两个极点， 经纬球经度为 0°的经线与 z
轴的负半轴相交，该经纬球半径为 1，经纬球上点 P 点
的三维空间坐标为：
x~ =sin（ y ×180）*sin（ x ×360-180）
height
width
趲趦 现代计算机 2016.01 下
表图像 j，k 代表图像 i 和图像 j 的 k 个匹配点对。 由图
像单应变换模型可知在 Sij 上有以下数学模型：
∧
∧
F（Sij，H）=p ik~H*p jk
∧
∧
p ik， p jk 表示匹配点的齐次坐标，H 是参数化单应
矩阵。 那么利用 RANSAC 算法对 Sij 进行优化选择的步
骤为： 首先确定两个经验值 N，δ 以及当前随机抽样次
图1
特征点的匹配，先设定一个阈值，用两个特征点对
应的特征向量作内积运算， 如果这两个向量的内积大
于这个阈值，那么就认为这两个特征点成功匹配，如果
内积小于阈值，认为这两个特征点匹配失败。 SURF 算
法 为 了 提 高 匹 配 速 度 引 入 了 k-d 树 ，k-d 树 是 一 种 在
多维空间中对向量进行快速检索的算法， 对多维向量
数 n，然后在匹配集中选择 4 个匹配点对，求解出 H，再
利用 H 对点集中的图像做变换， 并求得变换后的坐标
点（x' jk，y' jk）和图像 i 对应特征点 pik（xik，yik）的欧氏距离:
dis（ijk）= 姨（x' jk-x jk）2+（y' jk-y jk）2 （k=1，2，3，4，…，
现代计算机 2016.01 下 趰趦
图形图像
为中心，按照主方向选取 20×20 像素矩形邻域，并将矩 形邻域划分成 4×4 个更小的矩形。 分别求解其中每个 像素点的一阶导数， 将其响应值和绝对值分别累加得 到一个四维向量：∑dx，∑dy，∑|dx|，∑|dy|），所有 4×4 领 域的向量连接起来就得到 64 维的特征向量。 如图 1 所 示。
N）
取 dis（ijk）<δ 的匹配点对构造内点集合 Sn。对应的
∧
H max 为 RANSAC 算法给出的单应矩阵在 Sij 上的解。
图2
渲染全景图像的过程与上章节获取全景图的过程
正好相反，渲染全景图是将该全景图作为纹理，贴到球
来自百度文库
模型上。 在 OpenGL 中，贴纹理需要将纹理坐标与点的
空 间 三 维 坐 标 一 一 对 应[6]，这 里 将 全 景 图 分 割 成 360×
度为（width，height），如图 3 所示：
图6
图7
图3
需要渲染的是图中的小矩形部分， 将小矩形分割 成 360×180 个小矩形， 计算每个小矩形的纹理坐标以 及对应的三维空间坐标，这样，就获取了所有点的纹理 坐标和三维坐标了。
3 实验结果及分析
实验程序在 CPU 为 Intel Core i7-3770 @3.40Ghz， 8.00GB 内存，显卡为 NVIDIA GeForce GTX 650 环境下 进行，测试图像来源于华途相机（HT-PA 系列）在某停 车场采集到的 8 路视频源分别抽取的同步后的帧图。 相 关 算 法 使 用 Microsoft Visual Studio 2010 和 OpenCV 2.11 编程实现。 输入图像如下：
的经纬度坐标。
对于全景图中任意一点 P，P 点距全景图左边长度
为 x，距下边的长度为 y，那么（x，y）表示 P 点在全景图
中的位置。 全景图的宽度为 width，高度为 height，那么
P 点的纹理坐标为（ x ， y ），那么易得 P 点的 width height
经纬度坐标为（ x ×360， y ×180）。 又根据三维
2 基于多投影拼接的全景监控系统
传统摄像头的视角有限， 只能看到摄像头前方少 部分的场景。 对于全景监控系统，需要能捕捉涵盖整个 半球的视场图像。 这样的全景监控系统可连续观察其 周围 360°全景范围内所发生的所有事件， 因而可以获 得较高的视频监控可靠性。 但是拼接得到的全景图在 普通的显示屏上，显示出来的图形是扭曲的，又在全景 播放系统中需要完成图像校正和多通道之间的同步， 需要使用特殊的球幕[5]。 如图 2 所示。
图形图像
y軇=cos（ y ×180） height
z軇=sin（ y ×180）×cos（ x ×360）
height
width
球幕全景播放系统中， 需要的参数为完整全景图
的宽度 fullWidth， 因为使用的全景图是等距圆柱投影
产生的，完整全景图的高度是宽度的一半。 那么需要渲
染 部 分 的 起 始 点 坐 标 （x，y）， 需 要 渲 染 部 分 的 宽 度 和 高
0 引言
传统的视频监控系统使用的普通相机， 视野范围 狭窄，只能监控有限的场景。 在需要监控大场景的情况 下，往往安放多个摄像头对某个特定的区域进行监控。 然而这种解决方案往往分散了监控人员的注意力，以 致对偶发的事件不能及时发现和追踪。 全景视频监控 系统能比以往的单一视点的监控提供更全面的信息， 消除监控的盲区。
1 全景视频拼接中特征点的匹配优化
1.1 基于 SURF 算法的特征点提取和粗匹配 SURF 算法发源于 SIFT 算法， 由于采用了积分图
和近似高斯二阶导数卷积核，SURF 算法提高了运算效 率。 而 SURF 算法特征点提取匹配可以分为以下几步：
①构 造 尺 度 空 间 ；②特 征 点 提 取 ；③ 特 征 向 量 提 取 ；④ 特 征 点 匹 配 [3-4]。
全景监控系统的关键是生成全景图像， 以及全景 视频的播放。 在生成全景图像领域，目前全景图像可以 通过单一的鱼眼相机或者特定的全景摄像机获得，但 是比较昂贵。 另一种方法是通过对同步采集到的帧做 帧间拼接获得全景图像 ，该方法成本低 ，效 果 良 好 。 [1-2] 本 文 实 现 了 一 种 基 于 SURF 算 法 的 全 景 图 像 拼 接 算 法，并将其应用于基于多投影仪的全景视频监控系统。
作者简介：
谭 秀 峰 （1989-），男 ，四 川 达 州 人 ，在 读 硕 士 研 究 生 ，研 究 方 向 为 图 形 图 像 技 术
收 稿 日 期 ：2015-12-15
修 稿 日 期 ：2016-01-10
（下转第 40 页）
趷趦 现代计算机 2016.01 下
图形图像
Application of Elastography Using SAD-Based Histogram Speckle Reduction Algorithm
图8
图9
图 10
图 11
图4
图5
图 12
如上实验图所述， 图 4 到图 11 为拍摄到的图像序 列集，图 12 为最终的全景拼接图像。 将输入视频源的 每一帧都经过如此处理得到全景视频的一帧， 作为全
现代计算机 2016.01 下 趶趦
图形图像
景球幕的输入源。 结果如下。 图 13 图 14 图 15 是 分 别 从 球 幕 的 左 、右 、中 拍 摄
文 章 编 号 ：1007-1423（2016）03-0033-05
DOI：10.3969/j.issn.1007-1423.2016.03.008
基于全景视频的监控系统
谭秀峰
（四川大学计算机学院，成都 610065)
摘要： 近年来，受益与计算机技术的飞速发展，计算机视觉得到了极大的关注。 研究一种通过同步摄像头采集到的帧，对其 进行全景图像拼接，并且将拼接结果不失真输出到特定的球幕进行全景视频播放，得到一种身临现场的监控体验，可 达到和监控人员亲临现场相当的效果。 实验结果表明，该方法能够较好地应用于全景监控领域，具有较高的实用价 值。 关键词： 全景监控； 全景图； 全景视频； 全景播放
空间进行递归式二分来构造 k-d 树数据结构。
1.2 基于 RANSAC 算法的特征点匹配优化
RANSAC 算法是根据一组包含异常数据的样本数
据集，计算出数据的数学模型参数，得到有效样本数据
的算法。 假设 Sij={（pik，pjk）}（k=1，2，3，4，…，N）是 SURF 算法给出的两幅图像的匹配点对集。 i 代表图像 i，j 代
对于图像 I 中的给定点（x，y），在尺度 σ 下的 Hessian 矩阵为：
σ σ H（x，y，σ）= Lxx（x，y，σ） Lxy（x，y，σ） Lxy（x，y，σ） Lyy（x，y，σ） 其中 Lxx（x，y，σ）是高斯二阶导数与图像 I 在点（x， y）处的卷积，Lxy（x，y，σ）和 Lyy（x，y，σ）同理可得。 为了减 小计算量，SURF 算法使用了高斯二阶导近似模板对图 像卷积以及积分图像的使用。 此时，由于函数模板的近 似，需要修正特征值的求解公式： Det（H）=Dxx×Dyy-（0.9Dxy）2 权重系数 0.9 是为了平衡 Hessian 行列式，保持高 斯核与近似高斯核的一致性。 尺度空间中，对每一个像 素都有的 3×3×3 的邻域作非极大抑制， 得到可能的特 征点，然后根据设定的阈值筛选。 为 了 保 证 SURF 算 法 对 图 像 旋 转 具 有 不 变 性 ，引 入特征点主方向。 方法为确定一个以特征点为圆心，半 径为 6 个像素的圆形区域， 然后计算区域内每个像素 点 在 x 和 y 方 向 上 的 一 阶 导 数 并 将 区 域 等 分 成 12 个 扇形区域， 分别将求得的导数按区域进行累加得到 12 个二维向量，取模最长向量作为主方向。 然后以特征点
参考文献： [1]HU Wuchih，HUANG Dengyuan，CHEN Weihao. Adaptive Wide Field-of-View Surveillance Based on an IP Camera on a Rotational
Platform for Automatic Detection of Abandoned and Remove Objects[J]. ICIC Express Letters Part B:Applications，2010（1）:45-50. [2]苗立刚. 视频监控中的图像拼接与合成算法研究[J]. 仪器仪表学报，2009，30（4）：857-861. [3]刘奇，何明一. 基于 SURF 特征匹配的图像拼接算法[J]. 测控技术，2010，29（10）：27-31. [4]张锐娟，张建奇，杨翠. 基于 SURF 的图像配准方法研究[J]. 红外与激光工程，2009，38（1）：160-165. [5]郭俊美. 基于图像的柱面全景图生成技术研究[A]. 失效分析与预防，2012. [6]肖源源，王子牛. 基于 VC++的 OpenGL 纹理映射技术的研究与实现[J]. 贵州大学学报，2008（02）：158-160.
的球幕播放图。 其中椅子的位置为最佳视角，能观测到 未变形的全景图。
图 13 图 14
图 15
结合本文所述方法，在监控领域要求视角广，采集
。
图像易受环境影响的前提下生成全景图具有良好的拼
接效果， 全景视频的播放也能达到预期的身临现场的
体验。 为后续实时全景监控提供了一种思路。
4 结语
本文研究了一种基于全景视频的监控系统方法， 在实验结果中能取得较好的效果。 后续需要研究如何 在要求实时监控的背景下做自适应的图像拼接以及播 放。
LI Jia
（College of Computer Science, Sichuan University, Chengdu 610065） Abstract： In ultrasound elastography, there are some noises in the image, applies the SAD-based histogram speckle reduction algorithm to the ultrasound elastography for the purpose of reducing the noise and improving the quality of the image, it can improve the way of calculating the similarity, improve the image quality. Keywords： SAD-Based Histogram Speckle Reduction Algorithm; Ultrasound Elastography
180 个小正方形，这样渲染出来的全景精度足够 ，纹理
坐 标 以 图 像 的 左 下 角 为 （0，0）点 ，向 上 为 y 轴 正 方 向 ，
向左为 x 轴正方向， 这样很容易就能得到对应点的纹
理坐标，同时，由于全景图中经纬度坐标是等间距分布
的 ，这 里 假 设 图 像 最 左 下 角 为 （0°，0°），求 出 每 个 点 对 应
width
height
空间坐标系中， 假定坐标系原点是经纬球的球心，y 轴
穿过经纬球的两个极点， 经纬球经度为 0°的经线与 z
轴的负半轴相交，该经纬球半径为 1，经纬球上点 P 点
的三维空间坐标为：
x~ =sin（ y ×180）*sin（ x ×360-180）
height
width
趲趦 现代计算机 2016.01 下
表图像 j，k 代表图像 i 和图像 j 的 k 个匹配点对。 由图
像单应变换模型可知在 Sij 上有以下数学模型：
∧
∧
F（Sij，H）=p ik~H*p jk
∧
∧
p ik， p jk 表示匹配点的齐次坐标，H 是参数化单应
矩阵。 那么利用 RANSAC 算法对 Sij 进行优化选择的步
骤为： 首先确定两个经验值 N，δ 以及当前随机抽样次
图1
特征点的匹配，先设定一个阈值，用两个特征点对
应的特征向量作内积运算， 如果这两个向量的内积大
于这个阈值，那么就认为这两个特征点成功匹配，如果
内积小于阈值，认为这两个特征点匹配失败。 SURF 算
法 为 了 提 高 匹 配 速 度 引 入 了 k-d 树 ，k-d 树 是 一 种 在
多维空间中对向量进行快速检索的算法， 对多维向量
数 n，然后在匹配集中选择 4 个匹配点对，求解出 H，再
利用 H 对点集中的图像做变换， 并求得变换后的坐标
点（x' jk，y' jk）和图像 i 对应特征点 pik（xik，yik）的欧氏距离:
dis（ijk）= 姨（x' jk-x jk）2+（y' jk-y jk）2 （k=1，2，3，4，…，
现代计算机 2016.01 下 趰趦
图形图像
为中心，按照主方向选取 20×20 像素矩形邻域，并将矩 形邻域划分成 4×4 个更小的矩形。 分别求解其中每个 像素点的一阶导数， 将其响应值和绝对值分别累加得 到一个四维向量：∑dx，∑dy，∑|dx|，∑|dy|），所有 4×4 领 域的向量连接起来就得到 64 维的特征向量。 如图 1 所 示。
N）
取 dis（ijk）<δ 的匹配点对构造内点集合 Sn。对应的
∧
H max 为 RANSAC 算法给出的单应矩阵在 Sij 上的解。
图2
渲染全景图像的过程与上章节获取全景图的过程
正好相反，渲染全景图是将该全景图作为纹理，贴到球
来自百度文库
模型上。 在 OpenGL 中，贴纹理需要将纹理坐标与点的
空 间 三 维 坐 标 一 一 对 应[6]，这 里 将 全 景 图 分 割 成 360×
度为（width，height），如图 3 所示：
图6
图7
图3
需要渲染的是图中的小矩形部分， 将小矩形分割 成 360×180 个小矩形， 计算每个小矩形的纹理坐标以 及对应的三维空间坐标，这样，就获取了所有点的纹理 坐标和三维坐标了。
3 实验结果及分析
实验程序在 CPU 为 Intel Core i7-3770 @3.40Ghz， 8.00GB 内存，显卡为 NVIDIA GeForce GTX 650 环境下 进行，测试图像来源于华途相机（HT-PA 系列）在某停 车场采集到的 8 路视频源分别抽取的同步后的帧图。 相 关 算 法 使 用 Microsoft Visual Studio 2010 和 OpenCV 2.11 编程实现。 输入图像如下：
的经纬度坐标。
对于全景图中任意一点 P，P 点距全景图左边长度
为 x，距下边的长度为 y，那么（x，y）表示 P 点在全景图
中的位置。 全景图的宽度为 width，高度为 height，那么
P 点的纹理坐标为（ x ， y ），那么易得 P 点的 width height
经纬度坐标为（ x ×360， y ×180）。 又根据三维
2 基于多投影拼接的全景监控系统
传统摄像头的视角有限， 只能看到摄像头前方少 部分的场景。 对于全景监控系统，需要能捕捉涵盖整个 半球的视场图像。 这样的全景监控系统可连续观察其 周围 360°全景范围内所发生的所有事件， 因而可以获 得较高的视频监控可靠性。 但是拼接得到的全景图在 普通的显示屏上，显示出来的图形是扭曲的，又在全景 播放系统中需要完成图像校正和多通道之间的同步， 需要使用特殊的球幕[5]。 如图 2 所示。
图形图像
y軇=cos（ y ×180） height
z軇=sin（ y ×180）×cos（ x ×360）
height
width
球幕全景播放系统中， 需要的参数为完整全景图
的宽度 fullWidth， 因为使用的全景图是等距圆柱投影
产生的，完整全景图的高度是宽度的一半。 那么需要渲
染 部 分 的 起 始 点 坐 标 （x，y）， 需 要 渲 染 部 分 的 宽 度 和 高
0 引言
传统的视频监控系统使用的普通相机， 视野范围 狭窄，只能监控有限的场景。 在需要监控大场景的情况 下，往往安放多个摄像头对某个特定的区域进行监控。 然而这种解决方案往往分散了监控人员的注意力，以 致对偶发的事件不能及时发现和追踪。 全景视频监控 系统能比以往的单一视点的监控提供更全面的信息， 消除监控的盲区。
1 全景视频拼接中特征点的匹配优化
1.1 基于 SURF 算法的特征点提取和粗匹配 SURF 算法发源于 SIFT 算法， 由于采用了积分图
和近似高斯二阶导数卷积核，SURF 算法提高了运算效 率。 而 SURF 算法特征点提取匹配可以分为以下几步：
①构 造 尺 度 空 间 ；②特 征 点 提 取 ；③ 特 征 向 量 提 取 ；④ 特 征 点 匹 配 [3-4]。
全景监控系统的关键是生成全景图像， 以及全景 视频的播放。 在生成全景图像领域，目前全景图像可以 通过单一的鱼眼相机或者特定的全景摄像机获得，但 是比较昂贵。 另一种方法是通过对同步采集到的帧做 帧间拼接获得全景图像 ，该方法成本低 ，效 果 良 好 。 [1-2] 本 文 实 现 了 一 种 基 于 SURF 算 法 的 全 景 图 像 拼 接 算 法，并将其应用于基于多投影仪的全景视频监控系统。
作者简介：
谭 秀 峰 （1989-），男 ，四 川 达 州 人 ，在 读 硕 士 研 究 生 ，研 究 方 向 为 图 形 图 像 技 术
收 稿 日 期 ：2015-12-15
修 稿 日 期 ：2016-01-10
（下转第 40 页）
趷趦 现代计算机 2016.01 下
图形图像
Application of Elastography Using SAD-Based Histogram Speckle Reduction Algorithm
图8
图9
图 10
图 11
图4
图5
图 12
如上实验图所述， 图 4 到图 11 为拍摄到的图像序 列集，图 12 为最终的全景拼接图像。 将输入视频源的 每一帧都经过如此处理得到全景视频的一帧， 作为全
现代计算机 2016.01 下 趶趦
图形图像
景球幕的输入源。 结果如下。 图 13 图 14 图 15 是 分 别 从 球 幕 的 左 、右 、中 拍 摄