《计算机视觉》课程综合作业

《计算机视觉》课程综合作业一、论述题1.计算机视觉的研究领域及其主要支持技术？简述当前的技术进展。

答：计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。

它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。

计算机视觉既是工程领域，也是科学领域中的一个富有挑战性重要研究领域。

计算机视觉是一门综合性的学科，它已经吸引了来自各个学科的研究者参加到对它的研究之中。

其中包括计算机科学和工程、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等。

有不少学科的研究目标与计算机视觉相近或与此有关。

主要支持技术包括图象处理、模式识别或图象识别、景物分析、图象理解等。

由于历史发展或领域本身的特点这些学科互有差别，但又有某种程度的相互重迭。

图象处理图象处理技术把输入图象转换成具有所希望特性的另一幅图象。

例如，可通过处理使输出图象有较高的信-噪比，或通过增强处理突出图象的细节，以便于操作员的检验。

在计算机视觉研究中经常利用图象处理技术进行预处理和特征抽取。

模式识别模式识别技术根据从图象抽取的统计特性或结构信息，把图象分成予定的类别。

例如，文字识别或指纹识别。

在计算机视觉中模式识别技术经常用于对图象中的某些部分，例如分割区域的识别和分类。

图象理解给定一幅图象，图象理解程序不仅描述图象本身，而且描述和解释图象所代表的景物，以便对图象代表的内容作出决定。

在人工智能视觉研究的初期经常使用景物分析这个术语，以强调二维图象与三维景物之间的区别。

图象理解除了需要复杂的图象处理以外还需要具有关于景物成象的物理规律的知识以及与景物内容有关的知识。

当前的技术进展：人工智能所研究的一个主要问题是：如何让系统具备“计划”和“决策能力”？从而使之完成特定的技术动作（例如：移动一个机器人通过某种特定环境）。

这一问题便与计算机视觉问题息息相关。

在这里，计算机视觉系统作为一个感知器，为决策提供信息。

另外一些研究方向包括模式识别和机器学习（这也隶属于人工智能领域，但与计算机视觉有着重要联系），也由此，计算机视觉时常被看作人工智能与计算机科学的一个分支。

计算机视觉关注的目标在于充分理解电磁波——主要是可见光与红外线部分——遇到物体表面被反射所形成的图像，而这一过程便是基于光学物理和固态物理，一些尖端的图像感知系统甚至会应用到量子力学理论，来解析影像所表示的真实世界。

同时，物理学中的很多测量难题也可以通过计算机视觉得到解决，例如流体运动。

也由此，计算机视觉同样可以被看作是物理学的拓展。

另一个具有重要意义的领域是神经生物学，尤其是其中生物视觉系统的部分。

在整个20世纪中，人类对各种动物的眼睛、神经元、以及与视觉刺激相关的脑部组织都进行了广泛研究，这些研究得出了一些有关“天然的”视觉系统如何运作的描述（尽管仍略嫌粗略），这也形成了计算机视觉中的一个子领域——人们试图建立人工系统，使之在不同的复杂程度上模拟生物的视觉运作。

同时计算机视觉领域中，一些基于机器学习的方法也有参考部分生物机制。

计算机视觉的另一个相关领域是信号处理。

很多有关单元变量信号的处理方法，尤其对是时变信号的处理，都可以很自然的被扩展为计算机视觉中对二元变量信号或者多元变量信号的处理方法。

但由于图像数据的特有属性，很多计算机视觉中发展起来的方法，在单元信号的处理方法中却找不到对应版本。

这类方法的一个主要特征，便是他们的非线性以及图像信息的多维性，以上二点作为计算机视觉的一部分，在信号处理学中形成了一个特殊的研究方向。

2.双目立体视觉技术原理及其研究现状？答：双目立体视觉是计算机视觉的一个重要分支，即由不同位置的两台或者一台摄像机（CCD）经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅国像中的视差，获得该点的三维坐标值。

基本原理如下：立体视觉系统由左右两部摄像机组成。

如图二所示，图中分别以下标l和r标注左、右摄像机的相应参数。

世界空间中一点A(X，Y，Z)在左右摄像机的成像面Cl和Cr上的像点分别为al(ul，vl)和ar(ur，vr)。

这两个像点是世界空间中同一个对象点A的像，称为“共轭点”。

知道了这两个共轭像点，分别作它们与各自相机的光心Ol和Or的连线，即投影线alOl和arOr，它们的交点即为世界空间中的对象点A(X，Y，Z)。

这就是立体视觉的基本原理。

双目体视目前主要应用于四个领域：机器人导航、微操作系统的参数检测、三维测量和虚拟现实。

目前研究现状如下：日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双目体视的原理，如每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比短阵，从而预测出目标下一步运动方向，实现了对动方式未知的目标的自适应跟踪。

该系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。

而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学等参数和目标的运动方式。

日本奈良科技大学信息科学学院提出了一种基于双目立体视觉的增强现实系统（AR）注册方法，通过动态修正特征点的位置提高注册精度。

该系统将单摄像机注册（MR）与立体视觉注册（SR）相结合，利用MR和三个标志点算出特征点在每个图像上的二维坐标和误差，利用SR和图像对计算出特征点的三维位置总误差，反复修正特征点在图像对上的二维坐标，直至三维总误差小于某个阈值。

该方法比仅使用MR或SR方法大大提高了AR系统注册深度和精度。

实验结果如图2，白板上三角开的三顶点被作为单摄像机标定的特征点，三个三角形上的模型为虚拟场景，乌龟是真实场景，可见基本上难以区分出虚拟场景（恐龙）和现实场景（乌龟）。

日本东京大学将实时双目立体视觉和机器人整体姿态信息集成，开发了仿真机器人动态行长导航系统。

该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像对中的地面与障碍物，再结合机器人身体姿态的信息，将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；基次根据实时建立的地图进行障碍物检测，从而确定机器人的行走方向。

日本冈山大学使用立体显微镜、两个CCD摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系统，用于对细胞进行操作，对钟子进行基因注射和微装配等。

麻省理工学院计算机系统提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割。

华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位玫导航。

系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。

系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。

相比传统的体视系统，能够更精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。

国内研究动态浙江大学机械系统完全利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少，处理速度快，尤其适于动态情况。

与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。

东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差绝对值极小化立体匹配新方法，可对三维不规则物体（偏转线圈）的三维空间坐标进行非接触精密测量。

哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。

将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。

通过合理的资源分配及协调机制，使机器人在视野范围、测跟精度及处理速度方面达到最佳匹配。

双目协调技术可使机器人同时捕捉多个有效目标，观测相遇目标时通过数据融合，也可提高测量精度。

在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。

火星863计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维坐标。

该系统已通过中国人民解放军总后勤部军需部鉴定。

可达到的技术指标为：数据采集时间小于5s/人；提供身高、胸围、腰围、臀围等围度的测量精度不低于1.0cm。

3.机器视觉的应用原理及场合，机器人视觉属于计算机视觉应用吗？答：机器视觉就是用机器代替人眼来做测量和判断。

机器视觉系统是指通过机器视觉产品（即图像摄取装置，分 CMOS 和CCD 两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

应用原理：机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。

应用场合：1.自动光学检查2.人脸侦测3.无人驾驶汽车机器人视觉属于计算机视觉应用。

4.立体视觉与立体电视有无区别，为什么？答：立体视觉是人眼在观察事物时所具有的立体感。

再进一步讲，人眼对获取的景象有相当的深度感知能力（Depth Perception），而这些感知能力又源自人眼可以提取出景象中的深度要素（Depth Cue）。

立体电视是一种能够模拟实际景物的真实空间关系的电视系统。

又称三维电视(Three-dimensional television,3D-TV)。

立体电视图像不仅能给观众一种深度感觉，而且能给观众一种景物伸展于荧光屏之外似乎伸手可触的感觉。

人眼的立体视觉特性是立体电视的基础。

人类在观看四周世界时，不仅能看到物体的宽度和高度，而且能知道它们的深度，能判定物体之间或观看者与物体之间的距离。

这种三维视觉特性产生的主要原因是：人们通常总是双目同时观看物体，而由于两只眼睛视轴的间距（约65 mm），左眼和右眼在看一定距离的物体时，所接收到的视觉图像是不同的，因而大脑通过眼球的运动、调整，综合了这两幅图像的信息，产生立体感。