一种基于全景图像的运动目标检测方法
周俊师资队伍个人信息(样表)_周俊
师资队伍/个人信息（样表）姓名周俊性别男职称教授系别农业机械化系学位博士/博导电话E-mail zhoujun@单位地址南京市浦口区点将台路40号邮编210031 研究领域农业机器人，农业装备智能化技术，机器视觉，精准农业装备社会兼职江苏省自动化学会农业自动化分会委员承担项目1.国家重点研发计划项目“电动拖拉机智能化操控与作业关键技术研究及核心零部件研制(编号: 2016YFD0701003)”；2.江苏省农机三新工程项目“谷物联合收获机自动导航及测产系统开发与应用（编号：NJ2015-10）”；3.国家自然科学基金面上项目“粘弹性农业物料机器人抓取模型辨识及主动柔性控制（编号：31471419）”；4.国家自然科学基金面上项目“农业机器人动态作业场景概率图模型研究（编号：31071325）”；5.国家863计划项目“移动式果蔬采摘机器人关键技术研究（编号：2006AA10Z259）” （项目副组长）；6.国家863计划项目“水稻收获机械智能测产系统的研究开发（编号：2006AA10A305）” ；7.教育部博士点基金博导类项目“可变形易损伤农业物料机器人抓取研究（编号：20130097110043）”；1.农业部现代农业装备重点实验室开放课题“密植果园作业农业机械定位与导航方法研究（编号：201302003）” ；2.江苏省自然科学基金面上项目“基于立体视觉导航农业机器人大尺度地形推理研究（编号：BK2010458）” ；3.苏州市农业科技支撑项目“基于无线传感网络的智能温室信息监测系统集成示范（编号：SN201003）” 。
4.国家863计划项目子课题“农田作业机械智能导航控制技术与产品研发”（编号：2006AA10A304）；5.教育部科学技术研究重点项目“基于机器视觉的农业机械自动导。
全景视频中多运动对象检测与跟踪方法
全景视频中多运动对象检测与跟踪方法1 引言如今，全景视频的应用越来越广泛，例如在电影、摄影、虚拟现实等领域。
然而，由于全景视频中包含大量的运动对象，准确地检测和跟踪这些对象变得尤为重要。
因此，如何有效地实现全景视频中多运动对象的检测和跟踪成为了一个热门的探究课题。
2 全景视频中多运动对象检测2.1 基于挪动物体领域的方法在全景视频中，挪动物体的检测是一种常见的方式。
这种方法通常通过比较挪动物体与背景之间的差异来实现。
详尽步骤如下：起首，利用运动预估算法获得运动物体的候选区域。
然后，利用目标检测算法从候选区域中进一步筛选出真正的运动物体。
最后，利用跟踪算法来持续跟踪被检测到的运动物体。
2.2 基于深度进修的方法深度进修在目标检测领域取得了显著的冲破，然而在全景视频中检测多个运动对象依旧是一个具有挑战性的任务。
为了解决这个问题，探究人员提出了一些基于深度进修的方法。
这些方法利用卷积神经网络（Convolutional Neural Network，CNN）等深度进修模型，通过对全景视频进行端到端的进修，直接猜测出每个像素的物体类别和位置。
3 全景视频中多运动对象跟踪3.1 基于目标追踪的方法在全景视频中，跟踪多个运动对象是一项具有挑战性的任务。
传统的目标追踪算法通常使用基于特征点的方法来跟踪运动对象。
然而，这些方法在跟踪过程中容易受到遮挡和运动模糊等问题的干扰。
最近，探究人员提出了一些新的目标追踪算法，如分割与跟踪结合的方法、卷积神经网络与循环神经网络相结合的方法等，这些方法有效地解决了上述问题。
3.2 基于视觉里程计的方法视觉里程计是指通过分析连续的图像序列来预估相机的运动轨迹。
在全景视频中，基于视觉里程计的方法可用于跟踪多个运动对象。
这种方法利用全景图像序列之间的几何干系来推断相机的运动轨迹，并依据相机的运动来预估运动物体的运动轨迹。
然后，通过匹配物体的特征点来进一步精确地预估运动物体的位置。
4 试验结果与谈论在本节中，我们将对上述提到的进行试验评估，并对试验结果进行谈论。
基于全景视觉的目标识别与跟踪
关 键词 ： 全景视 觉
目标识别 跟 踪 ＫＡ ＮＳ ＡＣ Ｓ Ｉ Ｆ Ｔ 粒子 滤波
中图分 类号： Ｔ Ｐ ３ ９ １ ． ４ ｌ
文献标识 码： Ａ
文章编号 ： １ ０ ０ ７ ． ９ ４ １ ６ （ ２ ０ １ ３ ） ０ ５ ． ０ ０ ６ ２ — ０ ３
引言
目标识别与跟踪在视频监控 ， 人机交互 ， 智能机器 人领域有广 泛的应用。 实现 目标识别与跟踪 的算法很多 ， 主要 有基于颜色形状 等信 息 结合 Ｃ ａ ｍ Ｓｈｉ ｆ ｔ 的 目标识 别 跟踪算 法 ， 基 于 帧差法 和 Ｍｅ ａ ｎ Ｓ ｈｉ ｆ ｔ 的 目标 识别跟踪算法 ， 另 外 以上 的识别跟踪算 法与 Ｋａ ｌ ｍａ ｎ 算法 的结合也是这个领域常用的方法。 但是 以上的诸多算 法都存在不少的缺点 ： 诸如目标识别不准确 ， 容易受到外界干扰， 而 且应用Ｋ ａ ｌ ｍａ ｎ ￣波算法只能处理 线性 问题。 近年来 ， 尺度不变特征 Ｓ Ｉ Ｆ Ｔ 算法 中利用特征点邻域像素的梯度方 向分布特性为每个 转换 （ Ｓ Ｉ Ｆ Ｔ ） 作为一种对 尺度 、 旋转 、 模糊 以及光照等变化均 比较鲁 特征点指定主方 向， 也就是特征点邻域 内各点梯度方 向的直方 图中 棒的图像局部特征越来越受到人们的重视 ， 同时基于贝叶斯理论的 最大值所对应的方向 ， 后续的描述符构造均 以该方 向为参照。 各像 粒子滤波算法也受到了关注， 它是一种适用于非线性 ， 非高斯系统 素梯度的模和方向的计算公式为 ： 的基于模拟的统计滤波器 ， 可 以近似得到任意函数的数学期望 。 主 要利用一定数量的随机样本来表示系统随机变量 的后验概率分布， ｍ （ ｘ ， ） ＝ ｑ （ Ｌ （ ｘ ＋ １ ， ） 一 Ｌ （ ｘ 一 １ ， ） ） ＋ （ 三 （ ， Ｙ ＋ １ ） 一 Ｌ （ ｘ ， Ｙ 一 １ ） ） （ ３ ） 由于粒子滤波采用一组加权样本集合来表达系统的统计特征 ， 因此 日 （ ， ｙ ） ：ｔ ａ ｎ ～— Ｌ （ ｘ ， ｙ＋１ ） －Ｌ （ ｘ ， ｙ－１ ） （ ４ ３ 是解决非线性 问题的有效算法 。 在采用粒 子滤波实现 目标跟踪时 ， ‘’ Ｌ （ ｘ ＋ １ ， ｙ ） 一 Ｌ （ ｘ 一 １ ， ） 、 由于这些随机样本有效的表达 了跟踪的不确定性， 从而保证跟踪的 １ ． ４特 征 点 描 述 符 鲁棒性 。 本文是在全景视觉基础上 ， 研究一种基于Ｓ Ｉ Ｆ Ｔ 和粒子滤波 在构造特征描述符时 ， 首先将特征点周 围局部 区域顺时针旋转 相结 合的 目标识别与跟踪系统 ， 并且加 以实验验证 。 ０ 。 （ 调整至０ 。 ） ， 以确保其旋转不变性。 在旋转后的区域 内， 将特征点 为 中心的１ ６ Ｘ １ ６ 的矩形窗 口（ 图１ 只显示了８ ×８ 的窗 口） 均匀地分成 １ Ｓ Ｉ Ｆ Ｔ 算法简介 １ ６ 个４ ×４ 的子区域并在每个小块上计算８ 个方 向（ ０ 、 ４ ５ 、 ９ ０ 、 １ ３ ５ 、 １ ８ ０ 、 Ｓ Ｉ Ｆ Ｔ 算法基于 图像特征尺度选择的思想 ， 建立 图像 的多尺度 ２ ２ ５ 、 ２ ７ ０ 、 ３ １ ５ 、 ３ ６ ０ ） 的梯度 累加值 ， 绘制梯度 方向直方 图。 １ ６ 个 子块 空间 ， 在不同尺度下检测到 同一个特 征点 ， 确定特征点位置的同时 共得到１ ２ ８ 个数据 ， 这１ ． １ ２ ８ 的向量就被定义为一个特征点的描述 确定其所 在尺度 ， 以达 到尺度抗缩放的 目的， 剔 出一些对 比度较低 符 。 这种邻域方 向性信息联合 的思想增强了算法抗 噪声的能力 ， 同 的点以及边缘响应点 ， 并提取旋转不变特征描述符以达 到抗仿射变 时对 于 含有定 位误差 的特 征 匹配 也提供 了 较好 的容 错性 。 此时 换的 目的 。 该算法主要包含４ 个步骤 ： （ １ ） 慰 尺度空间， 寻找候选点 ， Ｓ Ｉ Ｆ Ｔ特征向量 已经去除了尺度变化 、 旋转等几何变形因素 的影响 ， （ ２ ） 精确确定关键点 ， 剔 除不稳定点 ； （ ３ ） 确定关键点的方向 ； （ ４ ） 提 取 再继续将特征 向量 的长度归一化 ， 去除光照变化的影响。 特征描述符 。 当两 幅图像 的Ｓ Ｉ Ｆ Ｔ 特征 向量生成后 ， 我们采用特征向量的欧 １ ． １尺度 空 间的构 建 式距离作为两幅 图像 中特征点的相似性判定度量。 取一幅图像 中的 构建尺度空间目的是模拟图像数据的多尺度特征 。 尺度 空间可 某个特征点， 并找出其与另一幅图像 中欧式距离最近 的前两个特征 以由图像与高斯核函数卷积构成 ， 而且高斯 函数是唯一表示尺度空 点 ， 在这 两个特征点 中， 如果最近 的距离 除以次近 的距离少于某个 间的核 函数 。 二维高斯函数定义为 ： 比例 阈值 ， 则接受这一对匹配点 。 降低这个 比例 阈值 ， Ｓ Ｉ Ｆ Ｔ匹配点 １ ， Ｇ（ ， Ｙ ， ） ＝—二 ｅ ＿ ｌ ｒ ‘ ） ／ ２ 盯 ｆ １ １ 数 目会减少 ， 但更加稳定 。 ２ ｚ ｔ ｃ ｒ ‘ 、 １ ． ５ 基 于ＲＡＮＳ ＡＣ的Ｓ Ｉ Ｆ Ｔ匹配 其 中， （ ｘ， ｙ ） 是 空间坐标 ， 是尺度坐标 。 由于传统 的Ｓ Ｉ Ｆ Ｔ算法会存在一些误 匹配 的现象 ， 本 文中 ， 将 高斯核函数具有线性、 对称性和可分离性等 良好性质 。 因此 ， 一 Ｓ Ｉ Ｆ Ｔ和Ｒ ＡＮＳ ＡＣ 结合起来 ， 尽量消除误匹配。 ＲＡ ＮＳ ＡＣ 是 随机抽 幅 图像 的 多 尺度 空 间定 义 为 Ｌ （ ｘ ， Ｙ ， ｃ ｒ ），由变 尺度 高 斯 核 函数 样一致性 的缩 写。 它是性一个观察数据集合 中， 估计参数模型 的迭 Ｇ （ ｘ ， Ｙ ， ｃ ｒ ） 与输入 图像 ｌ （ ｘ ， Ｙ ） 卷积得到 ， 即： 代方法 。 图３ 所示为基于ＲＡＮ Ｓ ＡＣ 的Ｓ Ｉ Ｆ Ｔ 特征 匹配效果 图。
基于计算机视觉的检测技术
基于计算机视觉的检测技术化工与环境学院董守龙学号：10805001摘要：计算机视觉检测技术是一个发展迅速、应用广泛的新的技术领域。
本文就基于计算机视觉的检测技术进行了概述，介绍了几种典型的应用，包括汽车牌照自动识别技术、特定目标识别技术、生物特征鉴别技术、机器人视觉系统等，并分别就其涉及的主要问题进行了分析。
关键词：图像技术；图像处理；计算机视觉；机器人视觉近年来，图像技术受到人们广泛的关注。
在人类接收的信息中有80%来自视觉即图像( Image)信息，这是人类最有效和最重要的信息获取、交流方式。
随着计算机的普及，人们越来越多地利用计算机帮助人类获取与处理视觉（图像）信息。
图像技术就是对视觉图像获取与加工处理技术的总称。
根据抽象程度和处理方法的不同，图像技术可分为三个层次：图像处理、图像分析和图像理解。
这三个层次的有机结合也称为图像工程。
图像处理是较低层的操作，主要在图像象素级上进行处理。
比较狭义的图像处理主要包括对图像分割以改善视觉效果，或对图像压缩编码以减少传输时间或存储容量。
图像分析则是进入中层的操作，分割和特征提取是把原来以象素描述的图像转变成简洁的非图形形式的符号描述。
即图像分析是一个图像进而数据出的处理，数据可以是对某一特征测量所得的结果，或是基于测量的符号表示。
图像理解也经常被称为计算机视觉，主要是高层操作。
图像理解进一步研究图像中的目标和它们之间的联系，其处理过程和方法与人类的思维推理有不少类似之处。
随着计算机的普及和大规模集成电路技术的发展，计算机视觉检测技术（AVI）实现成本已大大降低，并得到广泛应用。
计算机视觉的应用领域主要包括对照片、视频资料如航空照片、卫星照片、视频片段等的解释、精确制导、移动机器人视觉导航、医学辅助诊断、工业机器人的手眼系统、地图绘制、物体三维形状分析与识别及智能人机接口等。
下面将就一些主要的重点应用展开介绍。
1 汽车牌照自动识别技术近年来交通问题引发的关注越来越多，智能交通系统（Intelligent Transportation System，ITS）的研究也越发广泛而深入。
第五章光电信息处理技术成像目标探测与跟踪技术
VSAM
• 使用架设在高处多方位旋转云台上的单个摄像机，可以全方位地实施视 频监控。系统首先有规律地初始化一系列背景图像，然后利用基于特征区域的 方法将实际摄录的视频图与相应的背景图作匹配，再利用背景减除法检测运动 目标。
VSAM
• 由于传统的卡尔曼滤波方法只能处理单峰问题，该系统对传统的卡尔曼滤 波思想进行了扩展，并使用了带目标模板更新的相关匹配算法实现了多目标的 跟踪。
➢ Step5 使用卡尔曼滤波器预测车辆在下一帧中的可能 位置。
➢ Step6 在预测区域周围对各个车辆进行匹配跟踪。转 Step2，进行下一轮跟踪。
实验结果
（a）遮挡模型
（b）原始遮挡图像
（c）分割处理后 （d）遮挡模型与运动目标匹配
夜晚车辆检测结果
普通路面检测结果
（a）序列某一帧
（b）混合高斯模型检测结果
分片跟踪
遮挡下的跟踪
分片跟踪
目标表现模型的变化时的跟踪
目标尺度发生变化
应用举例：车辆检测与跟踪
智能交通系统： ( Intelligent Transport Systems, ITS)
车辆检测与跟踪概述
影响车辆检测和跟踪的主要因素： （1）车辆自身阴影； （2）车辆间相互遮挡或车辆被背景中物体遮挡； （3）同车型车辆之间具有较大的相似性； （4）光线突变； （5）夜晚和雨、雪等恶烈天气等。 主要针对（1）、（2）两种情况开展研究
将顶层金字塔求得的参数集隐射到金字塔的中间层，并对 该层进行全局运动估计，求得相应的运动参数；
将金字塔中间层的参数集映射到金字塔的底层, 对该层进行 全局运动估计，求得该层的运动参数集。
利用求得的最终参数集，对图像进行运动补偿，将运动补 偿后的图像与前一帧图像进行差值。
项目一知识准备2：认识智能网联汽车环境感知技术
激光雷达与视觉传感器的信息融合
三、多传感器信息融合
认识智能网联汽车环境感知技术
课程导入
环境感知传感器 多传感器信息融
合
环境感知技术
智能网联汽车传 感器发展趋势
多传感器信息融合的分类
1、前融合 前融合只有一个感知算法，在原始层把各种传感器的数据融合在一起，实现原始数据的器 多传感器信息融
合
环境感知技术
智能网联汽车传 感器发展趋势
4.1 道路识别技术
道路识别技术指提取车道的几何结构、确定车辆在车道中的位置及方向、确定车辆可行驶的区 域。
道路识别技术
四、环境感知技术
认识智能网联汽车环境感知技术
课程导入
环境感知传感器 多传感器信息融
合
环境感知技术
智能网联汽车传 感器发展趋势
超声波雷达探测周围障碍物
三、多传感器信息融合
认识智能网联汽车环境感知技术
课程导入
环境感知传感器 多传感器信息融
合
环境感知技术
智能网联汽车传 感器发展趋势
多传感器信息融合的分类
随自动驾驶程度的递进，对汽车的性能要求也越来越高，环境感知的能力也需要相应的提高。 单一的传感器难以满足自动驾驶复杂行驶路况信息的采集，因此多传感器信息的融合是实现自 动驾驶的必由之路。多传感器信息融合的方式分为前融合和后融合。
车载视觉传感器获取环境图像信息
二、环境感知传感器
认识智能网联汽车环境感知技术
课程导入
环境感知传感器 多传感器信息融
合
环境感知技术
智能网联汽车传 感器发展趋势
2.3 超声波雷达
超声波雷达（Ultrasonic Radar）是通过发射、接收40kHz、48kHz或58kHz频率的超声波， 根据时间差测算出障碍物距离的安全辅助装置，能以声音或者更为直观的显示器告知驾驶员周 围障碍物的情况，解除了驾驶员驻车、倒车和起动车辆时前后左右探视所引起的困扰，并帮助 驾驶员扫除了视野死角和视线模糊的缺陷。
基于AR技术的手机拍摄软件的开发
基于AR技术的手机拍摄软件的开发作者：朱晨璐隋超周翠翠刘高强王宇航来源：《现代信息科技》2018年第05期摘要：近年来，AR与图像处理发展迅速，并在生活娱乐、辅助教学等方面起着越来越重要的作用。
本文采用图像追踪技术获取动态目标，利用前景检测技术和图像融合技术更换视频人物所处环境，采用NDK开发Android应用，实现了基于AR技术的手机拍摄软件的开发项目。
关键词：前景检测；图像融合；Vibe算法；运动目标追踪；NDK开发中图分类号：TP311 文献标识码：A 文章编号：2096-4706（2018）05-0017-03Development of Mobile Phone Shooting Software Based on AR TechnologyZHU Chenlu，SUI Chao，ZHOU Cuicui，LIU Gaoqiang，WANG Yuhang（College of Computer Science and Technology，Jilin University，Changchun 130012，China）Abstract：AR and image processing have developed rapidly in recent years，and play an increasingly important role in life entertainment，assisted teaching and so on. In this paper，the image tracking technology is used to obtain the dynamic target foreground detection technology Using the foreground detection technology and the image fusion technology to change the environment of the video characters，the Android application is developed by NDK，and the development project of the mobile phone shooting software based on the AR technology is realized.Keywords：foreground detection；image fusion；Vibe algorithm；moving target tracking；NDK development0 引言近年来，拍照功能越来越受到人们的重视，然而人们对于拍照功能创新性的提升似乎还是不够满意，拍照技术在一些方面还是存在着较大的局限性。
智慧国土视频监控运动目标提取新方法研究
智慧国土视频监控运动目标提取新方法研究邵恒;王楠溢【摘要】近年来,由于国土资源违法违规现象频发,视频监控在国土行业得到了广泛应用:它是通过监控设备对耕地、矿区等重点区域进行实时监控从而自动识别、判断、预警的新执法监察手段.自动化和智能化的实现,迫切需要对运动目标进行有效提取、分析.针对在智慧国土视频监控中获得广泛应用的PTZ(Pan-Tilt-Zoom)相机,提出了一种快速有效的运动目标提取新方法.与传统建立全景背景模型的PTZ相机运动目标提取方法不同,该方法建立了匹配特征点的密度估计,减少了计算时间与内存需要,且对光线变化有很好鲁棒性,可以方便地应用到"智慧国土"项目——视频监管系统建设中去.【期刊名称】《现代测绘》【年(卷),期】2018(041)002【总页数】3页(P51-53)【关键词】智慧国土;PTZ相机;运动目标提取;视频监管【作者】邵恒;王楠溢【作者单位】江苏省测绘工程院,江苏南京 210013;江苏省测绘工程院,江苏南京210013【正文语种】中文【中图分类】P208.20 引言当前，我国正处于全面建成小康社会决胜阶段，国情省情继续发生深刻变化，经济发展进入新常态，国土开发利用与保护面临重大机遇和严峻挑战，必须顺应国际大势，立足基本国情，把握时代要求，科学研判发展形势。
如何全面、准确、及时地掌握国土资源的数量、质量、分布及其变化趋势，进行合理开发和利用，直接关系到国民经济的可持续发展。
智慧国土视频监控系统是综合运用计算机、图像处理、模式识别、网络监控、网络流媒体技术，通过视频监控设备对耕地、矿区等国土资源违法违规易发多发区域及地质灾害频发区域进行实时监控，并对视频监控结果进行自动识别、判断、处置的一种辅助管理工具[1]。
运动目标提取是智能视频监控的关键，识别出的运动目标既可以作为后续目标跟踪的初始位置[2]，也可以作为敏感监控区域。
最典型的运动相机中运动目标提取算法基于对背景模型进行拓展：它通过使用多种图像配准技术，将若干视频帧拼接建立起全景背景模型，将当前视频帧匹配到全景模型相应位置，从而将问题转化为固定相机运动目标提取问题[3-6]。
一种基于轨迹的足球检测和跟踪方案
一种基于轨迹的足球检测和跟踪方案余弦;曾贵华【摘要】在运动视频检测中,由于存在噪声和遮挡,仅依靠单帧信息来确认目标的位置是很困难的.提出了一种基于轨迹的运动足球检测和跟踪方案.先利用视觉特征来得到每帧图像的候选球,然后使用卡尔曼滤波器进行预测跟踪,生成初始轨迹.通过轨迹选择,确认真实球的轨迹,从而间接地得到球的位置.此外,结合卡尔曼滤波器预测和线性插值,补充视频中漏检的球的位置.实验结果表明,算法具有较高的准确性,精确率达到85%.【期刊名称】《计算机工程与应用》【年(卷),期】2010(046)026【总页数】4页(P148-151)【关键词】检测;跟踪;卡尔曼滤波;轨迹;线性插值【作者】余弦;曾贵华【作者单位】上海交通大学,电子工程系,上海,200240;上海交通大学,电子工程系,上海,200240【正文语种】中文【中图分类】TP391.411 引言基于计算机视觉的运动视频分析，特别是对于足球、橄榄球、网球等球类比赛的自动分析，一直都是备受关注的研究热点，其应用也十分广泛。
本文着重讨论的球类视频中球的自动检测和跟踪是运动分析的研究基础。
在此基础之上，进一步有效地进行上层语义分析，比如比赛集锦的选取，重要事件检测以及战略战术分析等等[1]。
近年来，很多研究者提出了一些关于球类自动检测和跟踪的较为有效的方法。
文献[2]通过改进的圆的霍夫变换来检测视频图像中运动的球；文献[3]先用粗-细的过程确定出球场中的目标球为跟踪对象，然后采用基于颜色和形状特征的Condensation算法对球进行跟踪；文献[4]先粗略地得到连续数帧的候选球并构建权重图，然后利用维特比算法提取出真实球的位置对应的路径，最后利用基于模板匹配的卡尔曼滤波器来跟踪目标球；文献[5]通过基于球对象，轨迹内和轨迹间的三层处理实现了对球的实时跟踪；文献[6]采用分层数据融合的方法得到网球比赛视频中真实球的运动轨迹，并检测出球运动时的转折点；文献[7]提出了一种基于检测的跟踪方法，对球的运动轨迹选择，推断和延伸，并以此进行基于语义的事件检测。