1.图像处理与视频处理基础知识解析

（8） 图像理解
➢ 在图像分析的基础上，进一步研究图像中各目标 的性质和它们之间的相互联系，并得出对图像内 容的理解以及对原来客观场景的解释。
➢ 它以图像为对象，知识为核心，研究图像中有什 么目标、目标之间的相互关系、图像是什么场景 以及如何应用场景的一门科学。
➢ 图像理解输入的是数据，输入的是知识。
输入场景图
花
人
输出场景图
• 场景描述与理解已备受研究者关注，但仍有许多 亟待解决的问题：
• 如何利用场景信息指导目标的选择注意； • 如何构建场景的先验信息来指导场景中的目标识
别； • 如何将目标识别的结果构建场景描述，形成可进
一步进行场景中目标识别与场景理解的先验信息 等。
（9） 计算机视觉
• 气象、天气预报图的合成，云图分析； • 天文、太空星体的探测及分析； • 交通、空中管理、铁路选路 • 多光谱卫星图像分析。
(2) 军事、公安领域的应用 军事侦察、定位、引导、指挥等；边境口岸监控；
指纹识别；人脸识别；导弹末制导；案件侦破。
(3)医学方面的应用 • 医学显微图像处理； • 血球计数与染色体分类等； • 癌细胞识别； • 心血管数字剪影及其它剪影技术； • 内脏大小、形状及异常检测； • 心脏活动的动态分析； • 生物进化的图像分析。
图像处理与视频处理基础
龚声蓉 shrgong@suda.edu.cn
概要
1.相关概念 2.数字图像处理与应用 3.图像分析与理解 4.计算机视觉与机器视觉 5.数字视频处理
• 第一部分：相关概念
1.基本概念
（1） 图像：对客观对象的一种相似的、生动的描 述或写真。或者说图像是客观对象的一种表示。 图像分类：
• 高层视觉：由输入图像、初始的简图及 2.5D简图获得物体的3D表示，即获得物体 的几何结构和空间位置关系。
• 计算机视觉包含如下一些分支：画面重建， 事件监测，目标跟踪，目标识别，图像恢 复等。
（10）机器视觉
➢机器视觉是建立在计算机视觉理论基 础上，偏重于计算机视觉的工程化， 强调的是实际应用。
➢ 它将中低层的数据处理分析（目标识别）与高层 的知识表达推理（场景描述与理解）有效结合， 实现数据分析形成的知识推理，知识反馈用以指 导数据获取与分析。
• 目标识别是为了对场景进行更好的解释，侧重对 局部区域的理解。
• 场景描述与理解为目标识别提供先验信息，侧重 对场景的整体分析。
树 图像理解
建筑
（4）数字图像
经过采样和量化后形成的以数字形式 描述的图像。
（5）图像处理
对图像经过一系列的操作以达到预期目的的技术称为图 像处理。可分为模拟图像处理和数字图像处理。
➢ 模拟图像处理：利用光学、照相和电子方法对模拟图像的处 理成为模拟图像处理。许多军用、宇航的处理仍利用模拟处 理。如光学傅立叶变换。
➢可见光谱图像、多波段图像 ➢运动图像、静止图像 ➢模拟图像、数字图像 ➢彩色图像、灰度图像
（2）物理图像与数学图像
物理图像：是物质或能量的实际分布。如 光学图像，温度、压力、高度及密度的分 布图。 数学图像：由连续函数和离散函数组成的 图像。
（3）图形与图像
图形：侧重于根据给定的物体描述模 型、光照及想象中的摄像机的成像几 何，生成一幅图像的过程。
• 计算机视觉的研究目的有两个： • 一是用计算机部分实现人类视觉的功能； • 二是理解人类视觉机理。
• 此二方面使计算机视觉的研究既带有基 础性，又有很强的应用特征和工程性质。
• 计算机视觉中需要解决两大任务：
• 一是3D场景在2D图像中的表达。原始图像 作为一种2D表达，可以提供各种物体的轮 廓信息，但只利用轮廓等2D表达的场景和 物体不能保证得到唯一的解释，从而引起 错觉。
➢计算机视觉是研究如何使计算机 “看” 的科学，即用计算机实现人的视觉功能。 ➢研究目标是使计算机具有通过二维图像感 知三维环境信息的能力。因此，不仅需要能 感知三维环境中物体的几何信息（形状、位 置、姿态、运动等），而且能对他们进行描 述、存储、识别和理解。 ➢与人类视觉不同：它借助于几何、物理和 学习技术来构造模型，从而用统计的方法来 处理数据。
➢ 数字图像处理：利用计算机对数字图像进行系列操作，从而 获得某种预期的结果一种技术。是指将一幅图像变为另一幅 经过修改的图像，因此，是一个由图像到图像的过程。
g(x,y)=T[f(x,y)]
（6） 图像分析
➢主要是对图像中感兴趣的目标进行测量 和检测，从而建立对图像的描述。
➢是一个从图像到数值或符号的过程，即 将一幅图像转化为一种非图像的表示， 如一个测量的数据集等。
➢机器视觉与计算机视觉并没有很清晰 的界限，而是紧密联系在一起的，他 们有着相同的理论，只是在应用中根 据具体实际应用目标的不同而不同。
2.主要应用
(1) 遥感 • 地质、矿藏勘探； • 地形、地图、国土普查； • 森林资源探查、分类、防火； • 水利资源探查，洪水泛滥监测、预报； • 农业方面，如谷物估产、病虫害调查； • 然灾害、环境污染的监测；
（7）图像识别
图像识别是模式识别的具体应用。
可以看作是一个标记过程，即利用识别算法来 辨别景物中已分割好的各个物体，给这些物体赋 予特定的标记。如字符识别、人脸识别等。
图像识别方法：主要分为统计方法和结构方法。
统计方法的基础是决策函数，利用它对模式向量进 行分类识别；
结构方法的核心是将物体分解成了基元，不同的物 体结构有不同的基元串，通过对未知物体利用给定的 模式基元得到字符串，再根据字符串判断它的属类。
(a) 原始细胞图像
(b)增强后的细胞图像
(4)工业中的应用 • 零件、产品的无损检测，焊缝及内部缺陷
Fra Baidu bibliotek检测；
• 二是如何将2D图像转化为3D场景的描述。
• 视觉信息的3个阶段：低层视觉；中层视觉 和高层视觉。
• 低层视觉：主要任务在于图像传感与预处 理，即清楚地表示原始2D图像中的重要信 息，如角点、边界、线段等。
• 中层视觉：由输入图像和低层视觉输出初 始的简图得到2.5D简图。如表面法向方向、 大致深度及不连续的轮廓等。进一步可分 为运动、立体、阴影、轮廓和纹理处理等。