机器视觉仿真实验平台的研究与设计

机器视觉仿真实验平台的研究与设计

摘要：随着计算机和成像技术的迅速发展，机器视觉相关的理论和技术在生产和教学中变得越来越重要。本文分析了智能、视觉和计算三者之间的关系，指出了进化和训练对于机器视觉系统的重要性，设计了一种用于机器视觉研究和教学的视觉虚拟平台，提出了基于视觉仿真的机器视觉研究和教学方法。

关键词：进化计算；机器视觉；视觉虚拟平台

当前机器视觉已经成为制造、交通、机器人、军事等领域中各种智能系统中重要部分。虽然大量相关的研究成果不断涌现，但是在复杂、高速、实时的环境下，要利用计算得到相关的视觉信息，却依然很困难，其主要原因在于机器视觉的自适应性问题没能得到很好的解决。目前机器视觉也成为许多高校中电子类专业本科高年级及研究生的一门重要的专业课程。在机器视觉的相关教学中我们发现，呈现在学生面前的是一系列的彼此难以融合的技术和方法，在视觉系统的设计与研究过程中，存在开发与实验的周期过长，由于实际的实验环境的限制，实验过程一般难于重现，相关的算法的性能难于对照和衡量等问题。本文对视觉、智能、和计算三者之间的关系进行了探讨，提出了通过进化计算实现机器视觉的途径，建立了基于进化计算的机器视觉模型；为了方便基于进化计算的机器视觉的研究和实验，本文设计了一种视觉虚拟平台，为进化程序的学习和评价、相关的实验和研究提供了高效的平台。

一、视觉、智能、和计算

早在20世纪50年代人们就注意到人类智能与机器之间可能存在着密切的联系。六十多年来，人工智能在人类思维的部分功能的模拟，比如推理、学习、规划等，取得了较好的效果，但是在模拟认知、心智、形象思维、灵感思维、对未知环境的适应、以及各项功能的有机融合时却远远没有达到预期效果。计算机对于图像的理解问题就是一个典型的难题。对于包括人类在内的纷繁复杂的生物界，进化论认为，生物之间存在着生存斗争，适应者生存下来，不适者则被淘汰，这就是自然的选择；生物正是通过遗传、变异和自然选择，从低级到高级，从简单到复杂，种类由少到多地进化着、发展着。人类的智能和视觉功能是自然界长期演化的产物。生物的进化不是孤立的进行的，实际上，进化可以发生在不同的生物学层次，可以体现在分子水平上dna和蛋白质序列的协同突变，也可以体现在宏观水平上物种形态性状、行为等的协同演化。从dna、基因组、蛋白质组、蛋白质结构等相互关系上我们可以看出，在生物演化的过程中，信息扮演了重要的角色。如果我们把生物对于信息的处理看成计算的一种，那么，视觉、智能、计算的关系可用图1表示。

二、视觉虚拟平台

1.基本思想。在视觉系统进化计算过程中，系统和外界信息交流是非常关键的，众多的视频材料不仅需要及时提供给学习算法使

用，而且常常需要重复使用，以比较各种不同方法的处理效果。我们将虚拟现实技术引入到视觉系统的设计中。借助于这种方式，观察者（人、智能体、或者调用的处理过程）可以“进入”到一个几乎是无限的数据空间之中，与其中的事物或对象进行交互。该数据空间所描述的可以是现实世界中存在的事物；也可以是现实世界中尚未存在，完全是假想的事物。为了验证相关的视觉算法、及缩短算法的开发周期，本文建立了视觉系统的仿真实验平台。在仿真实验平台可以进行目标识别等方面的实验、研究和开发，特别是对于采用进化计算方法进行的训练和测试，具有安全、经济、可重复及不受场地条件限制等优势。

2.系统结构。视觉虚拟平台主要功能是：根据已有的媒体材料、检测对象的特性，用视频的方式，再现实验环境或者虚拟出指定的实验环境，以便于视觉系统的研究、开发、训练、调试和性能测试。视觉虚拟平台主要目的是服务于视觉应用程序，为了更方便快捷地设计出高效、准确的、实用的视觉系统，所以其真实性就显得特别重要。为了实现以上功能，本文设计了如图2所示的系统机构，视觉虚拟平台包括：场景和目标描述模块、背景媒体库、运动仿真模块、3维目标建模模块、视频合成模块、虚拟相机和决策编程接口、视频显示等模块组成。系统工作的基本原理是，通过操作人员输入关于场景和目标描述信息，从媒体库中选择适当的背景视频，并对目标进行运动仿真和建模。然后将跟踪目标的图像合成到背景视频

中，该视频适当处理后，即可送到虚拟摄像机编程接口输出，或者显示。

3.场景和目标描述。为了使得合成的视频真实自然，不仅要求场景和目标图片真实，而且二者之间的融合也非常关键。由于在实际的视觉系统中，目标的信息大多来源于从背景图像中分割出来的目标区域，因此，在虚拟视觉平台的场景和目标描述中，目标的描述的作用更为重要，而场景的描述的作用仅仅是辅助的。本文采用人工指定和拼接的方法，得到背景视频；接着，采用运动仿真物理引擎计算目标的位置姿态。通过参数控制模块，能对获取的视频进行设置，比如视点、视角、采集模式（帧率、幅面）等方面的参数设置。视点和视角的控制采用坐标变换完成。将三维物体在计算机屏幕上显示出来是一个从三维空间到二维平面的投影过程，经历以下几个步骤：①调整视点的位置。②模型变换，即对模型进行旋转、平移和缩放。③投影变换，即把三维模型投影到二维屏幕上的过程。

④视窗变换，即规定了屏幕上显示场景的位置和尺寸。通过上面的几个步骤，一个三维空间里的物体就可以由相应的二维平面物体表示出来了，也就能在电脑屏幕上正确显示了，与背景视频叠加后就能传递给视觉系统处理了。

4.视频合成。视频合成实际上就是将背景视频中的每一帧图像，在指定区域叠加指定的目标的图像的过程。考虑到背景和目标交界区域常常是模糊的，即边界区域像素值是背景和目标的一种组合，

本文在vc环境中按下列方式完成图像的合成，设image_f（i，j）是目标图像中的像素，image_b（i，j）是背景图像中的像素，image_o （i，j）是合成图像中的像素，二维实数矩阵a_first（i，j）、a_scond （i，j）用于表示像素的比例，相关的算法描述如下：算法1：目标与背景图像的合成算法。第1步：对于每个像素（i，j）：如果在目标图像中，a_first（i，j）←1；否则，a_first（i，j）←0。第2步：对于每个像素（i，j）：设置矩形r={（x，y）|i-5<=x<=i+5；j-5<=y<=j+5}.对矩阵a_first中矩形r内值为1的像素计数得到k.赋值：a_scond（i，j）←（k/25）。第3步：对于每个像素（i，j）：a_first（i，j）←（1-a_scond（i，j））。第4步：对于每个像素（i，j）：image_o（i，j）←image_f（i，j）*a_scond（i，j）+image_b（i，j）*a_first（i，j）.将上述算法实现后，对于一组目标图像和背景图像进行合成的效果如下图所示，其中，图3是一帧背景图，图4是目标、背景合成的图片。

三、视觉虚拟平台的应用

视觉虚拟平台主要用于视觉算法的测试、训练以及视觉信息处理的研究和教学，特别是在基于进化计算的机器视觉设计中，为应用程序提供了一个经济、方便、可控的环境，便于程序的演化或参数的优化。本文将视觉虚拟平台应用于足球机器人的视觉模块的设计、测试和教学。使用过程主要包括下面几个步骤：①视频数据采集。将足球机器人的视觉模块在比赛过程中的采集到得数据存储、