图像理解与机器视觉论文

图像理解与机器视觉报告

课程编号：0441012

课程名称：《图像理解与机器视觉》

课程学分： 3.0

学生姓名：***

学号：**********

学科专业：控制工程

导师：***

机器视觉动态目标跟踪

高黎

Abstract

This dissertation consists some parts. The major work dissertation include: 1. Introduce the research of active machine vision, the important of the project which introduced the attention select and object tracking. Through this part, we can understand the structure and the research of the project.

2．In order to understand active machine vision in more detail, we studyed the principle of active machine vision, analysis the mechanical and information transmission model of the system. Designed system structure, analysised its character .on the base of principles, we list some kinds of camera heads, given the design at last.

3. Images are input of binocular vision system when research object tracking and coordination, many image dispose algorithms are used. Stereo vision method is used in fixation, to get spacial positions .so this part analysised image dispose and stereo vision methods.

4. Research tracking and algorithm of coordination of multi-DOFsystem, simulations and experiments were made to verify the algorithms. Finally,the paper point out the problems and propose the fields of the future researches. The first, the real time tracking is influenced by delay of mechanical factors and speed of image dispose; the second, noise should consider in further research; the third, some problem as one eye of cameras be blinded should be considerd.

摘要

本文的主要工作有以下几个部分：

1．讨论了主动机器视觉系统的原理，分析系统的机理模型和信息处理模型，并设计系统的硬件结构。在系统原理的基础之上，给出了系统的功能模块。

2．图像是双目视觉系统的输入信息，研究动态目标跟踪和多自由度协调控制的时候，要用到很多图像处理算法和立体视觉方法，本文介绍了有关的图像处理方法和立体视觉方法。3．主动机器视觉系统的基本功能是完成注意力选择、定位、跟踪。跟踪是个重要的部分。目标的跟踪是主动机器视觉的任务之一，是为上层认知与识别层提供所需信息的途径。

4. 进行了主动机器视觉系统动态目标跟踪和多自由度协调控制实验和仿真研究。由于这个系

统涉及到图像处理、立体定位、标定等问题，甚至还有高层的图像描述问题，所以这里先主要研究系统结构中的参数（基线长度）B的选取；然后对图像处理算法和多自由度协调控制算法进行试验和仿真，分析了实验和仿真结果。

虽然对主动机器视觉动态目标跟踪的研究取得了一些成果，但是还有一些问题需要进一步的研究。首先，研究中没有对系统的实时性进行分析。由于机械滞后和图像处理耗费大量时间，系统的跟踪速度很慢，可以通过改进硬件和跟踪算法来提高跟踪速度。其次，研究中没有考虑环境的影响，如背景噪声，障碍物遮挡等。在以后的研究中应该考虑如何在噪声影响下进行跟踪。

关键词：多自由度协调主动机器视觉动态目标跟踪

引言

视觉是人类观察、认知世界的重要手段。人类获取的信息75%来源于视觉，这既说明视觉信息量巨大，也表明人类对视觉有较高的利用率。人类视觉过程可看成是一个复杂的从感知（感受到的三维世界之二维投影得到的图像）到知觉（由二维图像认知三维世界的内容和含义）过程。视觉的最终目的从狭义来看是要对场景做出对观察者有意义的解释和描述，从广义上来讲，还包括基于这些解释和描述并根据周围环境与观察者的意愿制定的行为规划。

计算机视觉是指用计算机实现人的视觉功能——对客观世界三维场景的感知，识别和理解。

主要有两类方法：仿生学方法，参照人类的视觉系统的工作原理，建立相应的处理模块完成

类似功能；另一类是工程方法，从分析人类视觉过程的功能着手，并不刻意模拟人类视觉系统的内部结构，仅考虑系统的输入和输出，并采用任何现有的可行的手段实现系统功能。现在研究者关注的问题是：怎样在理解人类视觉的基础上，开发拟人化的视觉系统并研

究机器如何凝视或者跟踪相对运动的目标。

一、跟踪方法的介绍：

主动视觉摄像头的基本功能是注意力选择、定位、跟踪，跟踪是个重要的部分。目标的跟踪是主动机器视觉的任务之一，是为上层认知与识别层提供所需信息的途径。对于人类来说，跟踪使目标始终处于视野之中；对于主动机器视觉系统来说，跟踪主要是由目标的图像信息来控制摄像头的运动，使目标位于摄像头所采集的图像中，这和人类的视觉是极为相似的，跟踪过程分为两种，平滑跟踪和跳跃跟踪。本章介绍了动态目标跟踪的基本方法，与跟踪有关的要素，以及对摄像头的多自由度控制算法，最后是有关分析。

1、传统方法:实现跟踪的方法很多，传统的视觉引导机器人的控制方法均采用纯视觉方法，即由图像信息抽取后驱动机器人运动。后来提出了一个视觉与控制集成的设想，跳过图像信息的提取过程，直接利用目标图像与实际图像之间的误差反馈引导机器人运动，其困难在于如何寻找到一种图像与机器人之间的数学描述。为此，采用了新的图像误差反馈控制方案，与前种方法相比期望值是期望图像，特征提取部分代之以图像采集。以上方案成为基于视差的图像自适应反馈控制方案。控制算法只与图像边界有关。它的特点是：直接以图像为控制目标，因此精度与待跟踪的物体有关；由于学习(离线时) 过程中标定误差和系统非线性因素存在于期望中，因此这个方案受标定及非线性影响小；利于并行实现。

2、动态目标跟踪的最优控制算法:可以利用最优控制来进行动态目标的跟踪。控制目标是运动物体，让运动目标的特征点在像平面上的投影点处于期望位置，通过伺服系统使摄像头实现对特征点的跟踪。采用最优了控制算法，通过最小化一个代价函数来求得控制规律，代价函数允许对特征点的位置误差、控制信号和控制信号的变化加权。实验表明，控制结果是收敛的，但振荡太大，无法实际应用。可以考虑对算法进行改进，考虑积分作用的影响，设计时变加权矩阵。

基于立体视觉的无标定视觉跟踪:近年来无标定方法引起了关注，其核心思想是在摄像机模型未知或不精确的情况下，利用视觉反馈误差规划目标的运动，从而完成视觉伺服、跟踪任务。以机械臂为例，问题的关键是如何将视觉空间的误差信息影射到机械臂所在的三维运动空间中去。利用图像jiacobi矩阵描述该影射关系，以完成伺服，但是jacobi 矩阵方法