图像理解
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
自1965年Roberts识别多面体以来,图像理解已经应用在不少的领域：Nagao等人第一次建立了解释多波段航 片的系统,对航拍图像区域进行了若干特征体的划分；SCORPIUS组合利用并行处理和图像理解研究结果检测、鉴 别有意义的目标,监视军事目标状态变化,提供军事动向资料和情报;ACRONYM是一个由模型出发的解释系统,通过 模型化区域的三维信息结构完成模型的匹配理解过程;MOSAIC融合多视角目标获取的二维图像完成目标三维的完 整描述,对新的观察点情况进行理解分析。
对航空遥感和卫星遥感图片的分析和理解，可用于对地质、矿产、森林、水利、海洋、农业等资源的调查和 研究，进行自然灾害的预测和预报、环境的污染监测、气象分析，以及军事目标的识别。
首先应用于细胞的分类、染色体分类和放射图象的分析中。例1972年X射线断层扫描(CT)的实现；1977年白 血球自动分类仪的问世；1980年实现了CT的立体重现等。进入90年代其在生物医学领域的应用更加广泛，如从CT 图象中识别各种器官，从CT图象检测癌细胞。
通常解决信息传输安全的方法是对传输的信息进行加密，然而还是存在被解密的可能。现在一种安全传输图 象的方法是对传输图象进行伪装:在一幅普通的图象中隐藏一幅需要安全传输的图象。这幅普通图象成为一个伪装 载体，它的显示人眼无法察觉，这就减少了被解密的可能性。
太空技术的发展，需要对大量的星际照片进行分析和理解，用以不断开拓新的宇宙空间。
图像理解中包含了一泛的信息流,从视觉硬件采集设备获取到的二维阵列仅是信号描述,进行取样采集形成面 向计算机的数据信息,形成像素点集,完成了场景图像的获取再通过图像处理技术在原始像素的基础上提取出视觉 特征并存储入计算机,实现了“视觉信息的表示一与存储”接着根据已有的先验知识或导师指导,基于学习算法和 相应理论进行机器学习,进行图像理解中的日标识别、场景分类等了任务,形成知识并存入计算机,实现知识信息 的“表示与存储”,完成“认知一与学习”最后对已形成的知识进行“推理一与分析”完成最终的图像理解任务, 体现计算机的视觉智能性。
主要对产品检查和生产的自动控制，如CAD、CAM等。
军事、公安等国家安全部门军事目标的侦察、制导和警戒系统、防御系统及其反伪装。例如应用神经网络的 图象分析和理解方法对雷达图片进行实时分析，以搜寻军事目标。公安部门对现场照片、指纹、手迹、印章、人 像等的分析和识别。
具有图象理解的实时车辆跟踪系统不仅可应用到交通管理，还可以为安全部门使用；如在交通节点(如十字路 口)的车流量监测和高速公路上车辆的管理系统，可以实时提供车流量和车速。同样，也可以应用到火车和轮船的 管理中去。
简介
图像理解是研究用计算机系统解释图像,实现类似人类视觉系统理解外部世界的一门科学,所讨论的问题是为 了完成某一任务需要从图像中获取哪些信息,以及如何利用这些信息获得必要的解释,图像理解的研究涉及和包含 了研究获取图像的方法、装置和具体的应用实现。对图像理解的研究始于20世纪60年代初,研究初期以计算机视 觉巧为载体,计算机视觉机器视觉简单的说就是研究用计算机来模拟人类视觉或灵长类动物视觉的一门科学,由图 像数据来产生视野环境内有用符号描述的过程,主要研究内容包括图像的获取、图像处理、图像分析、图像识别, 图像包括静态图像和动态图像视频,包括二维图像和立体图像计算机视觉的输入是数据,输出也是数据,是结构化 或半结构化数据和符号。识别是传统计算机视觉的目的,即 输
02
2.图象信 息安全传输
03
3.宇宙探 测
04
4.遥感
06
6.工业生 产
05
5.生物医 学领域
1
7.军事
2
8.交通
3
9.字符识别
4
10.邮电
5
11.机器人视 觉
在电视**、电视会议等需要传输图象的应用中，需尽可能的压缩图象数据，在基于理解基础上的压缩可以大 大减少需传输的图象数据。如用分形图象压缩的方法只需要很少的几组数据和相关的迭代算法来恢复整个图象。 例如1992年微软公司推出的一张名为“Microsoft Encarta”的光盘，是一张多媒体百科全书，广泛收集了文章、 动画、声音、插图、照片、地图册和一本字典，内有几百幅彩色地图(可以被局部放大)，几千张优质彩色照片。 这么多内容，全部用分形图象压缩法压缩为不足600MB的数据。
数据层：获取图像数据，这里的图像可以是二值图、灰度图、彩色的和深度图等，本文主要针对摄像头采集 到的彩色照片/灰度图。主要涉及到图像的压缩和传输。数字图像的基本操作如：平滑、滤波等一些去噪操作亦可 归入该层。该层的主要操作对象是象素。
描述层：提取特征，度量特征之间的相似性（即距离）；采用的技术有子空间方法(Subspace)如： ISA,ICA,PCA，。该层的主要任务就是将象素表示符号化（形式化）。
2.1医学图像的种类
医学研究和临床诊断所需要的影像资料多种多样，既有静态的组织结构成像，也包括动态图像和功能成像。 按照成像的手段不同可以将图像分为，光学图像、深度信息图像、温度场图像以及影像图像。利用不同的成像技 术获得的医学影像能够揭示病人的不同特征，从医学应用的角度可以分为结构影像技术和功能影像技术两大类。 前者主要用于获取人体组织器官的解剖结构图像，为医生诊断病变提供最直观的病理信息，X-CT，MRI就属于此 类影像技术。另一种功能影像，是通过特殊图像信息来反映生理过程的变化，如组织的新陈代谢，细胞活动等， PET，红外成像，微波成像都属于这种，有些病变尤其是早期，在器官的外形结构上仍变现为正常时，采用基于 SPECT的功能成像能够及时地诊断病变。
图像理解
计算机科学领域术语
01 简介
目录
02 的层次结构
03 的分析过程
04 应用
05 数字图像处理技术
图像理解（image understanding,IU）就是对图像的语义理解。它是以图像为对象，知识为核心，研究图 像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。
图像理解与人工智能密切相关,人工智能简单的说就是研究用计算机模拟人脑、模拟人类智能的一门科学,传 统的人工智能以人类的知识为对象,研究知识的表示、存储、推理,以及获得新的知识。
的层次结构
从计算机信息处理的角度来看，认为一个完整的图像理解系统可以分为以下的四个层次：数据层、描述层、 认知层和应用层（注：此分层方法类似于Selfridge（谢夫里奇）于1959年提出的小妖模型（Pandemonium Model）。二者的不同在于Selfridge的小妖模型是从认知的角度提出的一个模式识别的计算机模型，而本文是从 信息处理的角度提出的一个图像理解系统分层框架；其次二者每层的任务也是不一样的）。各层的功能如下：
用于历史文字和图片档案的修复和管理以及文字的自动识别。如清华大学研制的光学字符识别(OCR)系统能 自动识别由扫描仪录入的文档。特别是，手写体识别技术更具有广泛的用途，联机识别还可以代替键盘输入提高 输入速度。例如一种在线手写体识别的数学编辑器，极大地方便了数学中一些特定格式地输入。脱机手写体字符 识别系统可以用在判别签名的真伪等方面。
计算机的特点是能处理各种数据，图像经过采样、量化后变为数字存储在计算机中，使用计算机对数字图像 进行去噪、增强、复原、分割、特征提取等处理，就称为数字图像处理。数字图像处理既涉及到计算机软件，也 和硬件相关。计算机的发展、数学的发展以及各个行业的应用需求的增长与图像处理技术的发展密切相关。
随着科学技术的进步，多学科交叉和融合成为现代科学发展和进步的突出特色和重要途径。医学影像技术作 为医学研究和临床医学的重要手段，综合了计算机科学、生物医学、物理学等许多新技术的应用，成为近二十年 医学技术中发展最快的领域之一。通过计算机图形图像处理技术辅助医学诊断与治疗，极大程度的提高了诊疗的 质量与安全，已成为医学研究和临床医学的一个发展方向。目前，供医学研究和临床诊断所需要的医学图像多种 多样，如：B超图像、MRI图像、CT图像、PET图像、SPECT图像、数字X光机（DR）图像、X射线图像、各种电子 内窥镜图像、显微镜下病例切片和显微镜下细胞图像等。利用计算机技术处理这些图像，不仅可以提高医学临床 诊断水平，还能为医学培训、医学研究与教学、计算机辅助临床外科手术等提供必要支持。
谢谢观看
对信件、包裹等通过自动识别其邮编、地址等信息来进行自动分检和归类。
机器人视觉系统是一个复杂的系统，它不仅涉及到图象分析和理解技术，而且还涉及到传感器技术、电视技 术、数字图象处理技术等。
下面列举了几种通用的商业视觉系统:(1)VS-100机器人视觉系统是美国UNIMATION公司生产的PUMA机器人， 由MACHINEINTELLIGENCE CORPORATION生产的VS-100组成。(2)OMS视觉系统是由原联邦德国制造生产的商业通 用视觉系统。它能够完成物体的识别及特征量的量测等任务。(3)由日本川崎重工业公司制造PUMA-26机械手 CREATIVE SYSTEM公司制造的BLOB-1视觉系统组成的视觉演示系统.
由于图象分析和理解在许多领域的广泛应用和潜在领域应用的前景，吸引了许多科技人员投入到这方面的研 究，从而促进了图象分析和理解的发展。
数字图像处理技术
概述及发展
图像处理技术 在医学中的应 用
20世纪20年代，图像处理首次应用于改善伦敦和纽约之间海底电缆发送的图片质量。到20世纪50年代，数字 计算机发展到一定的水平后，数字图像处理才真正引起人们的兴趣。1964年美国喷气推进实验室用计算机对“徘 徊者七号”太空船发回的大批月球照片进行处理，收到明显的效果。20世纪60年代末，数字图像处理具备了比较 完整的体系，形成了一门新兴的学科。20世纪70年代，数字图像处理技术得到迅猛的发展。理论和方法进一步完 善，应用范围更加广泛。在这一时期，图像处理主要和模式识别及图像理解系统的研究相联系，如文字识别、医 学图像处理、遥感图像的处理等。20世纪70年代后期到现在，各个应用领域对数字图像处理提出越来越高的要 求．促进了这门学科向更高级的方向发展。特别是在景物理解和计算机视觉(即机器视觉)方面，图像处理已由二 维处理发展到三维理解或解释。近年来，随着计算机和其它各有关领域的迅速发展，例如在图像表现、科学计算 可视化、多媒体计算技术等方面的发展，数字图像处理已从一个专门的研究领域变成了科学研究和人机界面中的 一种普遍应用的工具。它也促进了图像处理技术的教学。数字图像处理常用方法包括：图像变换、图像编码压缩、 图像增强和复原、图像分割、图像描述、图像分类(识别)。
认知层：图像理解，即学习和推理（Learning and Inference）；该层是图像理解系统的“发动机”。该 层非常复杂，涉及面很广，正确的认知（理解）必需有强大的知识库作为支撑。该层操作的主要对象是符号。具 体的任务还包括数据库的建立。
应用层：根据任务需求（分类、识别、检测）（ps：如果是视频理解，还包括跟踪），设计相应的分类器、 学习算法等。
的分析过程
图像理解是一门交叉学科,作为图像理解的低层数据的是视觉信息,理论出发点是计算机视觉,作为图像理解 的高层数据是知识信息,理论依据出发点是人工智能。从研究的广泛性看,图像理解的处理信息分为视觉数据信息 和人类知识信息两部分,前者侧重原始获取的数据信息以何种结构存储在计算机中,后者侧重知识的表述如何指导 计算机的理解过程,两部分表示相辅相成。图像理解中对视觉信息和知识信息的研究过程就是进行信息表示、处理 和分析的过程,具体表现为“表示与存储今认知与学习今推理与理解”的图像理解分析过程。
对航空遥感和卫星遥感图片的分析和理解，可用于对地质、矿产、森林、水利、海洋、农业等资源的调查和 研究，进行自然灾害的预测和预报、环境的污染监测、气象分析，以及军事目标的识别。
首先应用于细胞的分类、染色体分类和放射图象的分析中。例1972年X射线断层扫描(CT)的实现；1977年白 血球自动分类仪的问世；1980年实现了CT的立体重现等。进入90年代其在生物医学领域的应用更加广泛，如从CT 图象中识别各种器官，从CT图象检测癌细胞。
通常解决信息传输安全的方法是对传输的信息进行加密，然而还是存在被解密的可能。现在一种安全传输图 象的方法是对传输图象进行伪装:在一幅普通的图象中隐藏一幅需要安全传输的图象。这幅普通图象成为一个伪装 载体，它的显示人眼无法察觉，这就减少了被解密的可能性。
太空技术的发展，需要对大量的星际照片进行分析和理解，用以不断开拓新的宇宙空间。
图像理解中包含了一泛的信息流,从视觉硬件采集设备获取到的二维阵列仅是信号描述,进行取样采集形成面 向计算机的数据信息,形成像素点集,完成了场景图像的获取再通过图像处理技术在原始像素的基础上提取出视觉 特征并存储入计算机,实现了“视觉信息的表示一与存储”接着根据已有的先验知识或导师指导,基于学习算法和 相应理论进行机器学习,进行图像理解中的日标识别、场景分类等了任务,形成知识并存入计算机,实现知识信息 的“表示与存储”,完成“认知一与学习”最后对已形成的知识进行“推理一与分析”完成最终的图像理解任务, 体现计算机的视觉智能性。
主要对产品检查和生产的自动控制，如CAD、CAM等。
军事、公安等国家安全部门军事目标的侦察、制导和警戒系统、防御系统及其反伪装。例如应用神经网络的 图象分析和理解方法对雷达图片进行实时分析，以搜寻军事目标。公安部门对现场照片、指纹、手迹、印章、人 像等的分析和识别。
具有图象理解的实时车辆跟踪系统不仅可应用到交通管理，还可以为安全部门使用；如在交通节点(如十字路 口)的车流量监测和高速公路上车辆的管理系统，可以实时提供车流量和车速。同样，也可以应用到火车和轮船的 管理中去。
简介
图像理解是研究用计算机系统解释图像,实现类似人类视觉系统理解外部世界的一门科学,所讨论的问题是为 了完成某一任务需要从图像中获取哪些信息,以及如何利用这些信息获得必要的解释,图像理解的研究涉及和包含 了研究获取图像的方法、装置和具体的应用实现。对图像理解的研究始于20世纪60年代初,研究初期以计算机视 觉巧为载体,计算机视觉机器视觉简单的说就是研究用计算机来模拟人类视觉或灵长类动物视觉的一门科学,由图 像数据来产生视野环境内有用符号描述的过程,主要研究内容包括图像的获取、图像处理、图像分析、图像识别, 图像包括静态图像和动态图像视频,包括二维图像和立体图像计算机视觉的输入是数据,输出也是数据,是结构化 或半结构化数据和符号。识别是传统计算机视觉的目的,即 输
02
2.图象信 息安全传输
03
3.宇宙探 测
04
4.遥感
06
6.工业生 产
05
5.生物医 学领域
1
7.军事
2
8.交通
3
9.字符识别
4
10.邮电
5
11.机器人视 觉
在电视**、电视会议等需要传输图象的应用中，需尽可能的压缩图象数据，在基于理解基础上的压缩可以大 大减少需传输的图象数据。如用分形图象压缩的方法只需要很少的几组数据和相关的迭代算法来恢复整个图象。 例如1992年微软公司推出的一张名为“Microsoft Encarta”的光盘，是一张多媒体百科全书，广泛收集了文章、 动画、声音、插图、照片、地图册和一本字典，内有几百幅彩色地图(可以被局部放大)，几千张优质彩色照片。 这么多内容，全部用分形图象压缩法压缩为不足600MB的数据。
数据层：获取图像数据，这里的图像可以是二值图、灰度图、彩色的和深度图等，本文主要针对摄像头采集 到的彩色照片/灰度图。主要涉及到图像的压缩和传输。数字图像的基本操作如：平滑、滤波等一些去噪操作亦可 归入该层。该层的主要操作对象是象素。
描述层：提取特征，度量特征之间的相似性（即距离）；采用的技术有子空间方法(Subspace)如： ISA,ICA,PCA，。该层的主要任务就是将象素表示符号化（形式化）。
2.1医学图像的种类
医学研究和临床诊断所需要的影像资料多种多样，既有静态的组织结构成像，也包括动态图像和功能成像。 按照成像的手段不同可以将图像分为，光学图像、深度信息图像、温度场图像以及影像图像。利用不同的成像技 术获得的医学影像能够揭示病人的不同特征，从医学应用的角度可以分为结构影像技术和功能影像技术两大类。 前者主要用于获取人体组织器官的解剖结构图像，为医生诊断病变提供最直观的病理信息，X-CT，MRI就属于此 类影像技术。另一种功能影像，是通过特殊图像信息来反映生理过程的变化，如组织的新陈代谢，细胞活动等， PET，红外成像，微波成像都属于这种，有些病变尤其是早期，在器官的外形结构上仍变现为正常时，采用基于 SPECT的功能成像能够及时地诊断病变。
图像理解
计算机科学领域术语
01 简介
目录
02 的层次结构
03 的分析过程
04 应用
05 数字图像处理技术
图像理解（image understanding,IU）就是对图像的语义理解。它是以图像为对象，知识为核心，研究图 像中有什么目标、目标之间的相互关系、图像是什么场景以及如何应用场景的一门学科。
图像理解与人工智能密切相关,人工智能简单的说就是研究用计算机模拟人脑、模拟人类智能的一门科学,传 统的人工智能以人类的知识为对象,研究知识的表示、存储、推理,以及获得新的知识。
的层次结构
从计算机信息处理的角度来看，认为一个完整的图像理解系统可以分为以下的四个层次：数据层、描述层、 认知层和应用层（注：此分层方法类似于Selfridge（谢夫里奇）于1959年提出的小妖模型（Pandemonium Model）。二者的不同在于Selfridge的小妖模型是从认知的角度提出的一个模式识别的计算机模型，而本文是从 信息处理的角度提出的一个图像理解系统分层框架；其次二者每层的任务也是不一样的）。各层的功能如下：
用于历史文字和图片档案的修复和管理以及文字的自动识别。如清华大学研制的光学字符识别(OCR)系统能 自动识别由扫描仪录入的文档。特别是，手写体识别技术更具有广泛的用途，联机识别还可以代替键盘输入提高 输入速度。例如一种在线手写体识别的数学编辑器，极大地方便了数学中一些特定格式地输入。脱机手写体字符 识别系统可以用在判别签名的真伪等方面。
计算机的特点是能处理各种数据，图像经过采样、量化后变为数字存储在计算机中，使用计算机对数字图像 进行去噪、增强、复原、分割、特征提取等处理，就称为数字图像处理。数字图像处理既涉及到计算机软件，也 和硬件相关。计算机的发展、数学的发展以及各个行业的应用需求的增长与图像处理技术的发展密切相关。
随着科学技术的进步，多学科交叉和融合成为现代科学发展和进步的突出特色和重要途径。医学影像技术作 为医学研究和临床医学的重要手段，综合了计算机科学、生物医学、物理学等许多新技术的应用，成为近二十年 医学技术中发展最快的领域之一。通过计算机图形图像处理技术辅助医学诊断与治疗，极大程度的提高了诊疗的 质量与安全，已成为医学研究和临床医学的一个发展方向。目前，供医学研究和临床诊断所需要的医学图像多种 多样，如：B超图像、MRI图像、CT图像、PET图像、SPECT图像、数字X光机（DR）图像、X射线图像、各种电子 内窥镜图像、显微镜下病例切片和显微镜下细胞图像等。利用计算机技术处理这些图像，不仅可以提高医学临床 诊断水平，还能为医学培训、医学研究与教学、计算机辅助临床外科手术等提供必要支持。
谢谢观看
对信件、包裹等通过自动识别其邮编、地址等信息来进行自动分检和归类。
机器人视觉系统是一个复杂的系统，它不仅涉及到图象分析和理解技术，而且还涉及到传感器技术、电视技 术、数字图象处理技术等。
下面列举了几种通用的商业视觉系统:(1)VS-100机器人视觉系统是美国UNIMATION公司生产的PUMA机器人， 由MACHINEINTELLIGENCE CORPORATION生产的VS-100组成。(2)OMS视觉系统是由原联邦德国制造生产的商业通 用视觉系统。它能够完成物体的识别及特征量的量测等任务。(3)由日本川崎重工业公司制造PUMA-26机械手 CREATIVE SYSTEM公司制造的BLOB-1视觉系统组成的视觉演示系统.
由于图象分析和理解在许多领域的广泛应用和潜在领域应用的前景，吸引了许多科技人员投入到这方面的研 究，从而促进了图象分析和理解的发展。
数字图像处理技术
概述及发展
图像处理技术 在医学中的应 用
20世纪20年代，图像处理首次应用于改善伦敦和纽约之间海底电缆发送的图片质量。到20世纪50年代，数字 计算机发展到一定的水平后，数字图像处理才真正引起人们的兴趣。1964年美国喷气推进实验室用计算机对“徘 徊者七号”太空船发回的大批月球照片进行处理，收到明显的效果。20世纪60年代末，数字图像处理具备了比较 完整的体系，形成了一门新兴的学科。20世纪70年代，数字图像处理技术得到迅猛的发展。理论和方法进一步完 善，应用范围更加广泛。在这一时期，图像处理主要和模式识别及图像理解系统的研究相联系，如文字识别、医 学图像处理、遥感图像的处理等。20世纪70年代后期到现在，各个应用领域对数字图像处理提出越来越高的要 求．促进了这门学科向更高级的方向发展。特别是在景物理解和计算机视觉(即机器视觉)方面，图像处理已由二 维处理发展到三维理解或解释。近年来，随着计算机和其它各有关领域的迅速发展，例如在图像表现、科学计算 可视化、多媒体计算技术等方面的发展，数字图像处理已从一个专门的研究领域变成了科学研究和人机界面中的 一种普遍应用的工具。它也促进了图像处理技术的教学。数字图像处理常用方法包括：图像变换、图像编码压缩、 图像增强和复原、图像分割、图像描述、图像分类(识别)。
认知层：图像理解，即学习和推理（Learning and Inference）；该层是图像理解系统的“发动机”。该 层非常复杂，涉及面很广，正确的认知（理解）必需有强大的知识库作为支撑。该层操作的主要对象是符号。具 体的任务还包括数据库的建立。
应用层：根据任务需求（分类、识别、检测）（ps：如果是视频理解，还包括跟踪），设计相应的分类器、 学习算法等。
的分析过程
图像理解是一门交叉学科,作为图像理解的低层数据的是视觉信息,理论出发点是计算机视觉,作为图像理解 的高层数据是知识信息,理论依据出发点是人工智能。从研究的广泛性看,图像理解的处理信息分为视觉数据信息 和人类知识信息两部分,前者侧重原始获取的数据信息以何种结构存储在计算机中,后者侧重知识的表述如何指导 计算机的理解过程,两部分表示相辅相成。图像理解中对视觉信息和知识信息的研究过程就是进行信息表示、处理 和分析的过程,具体表现为“表示与存储今认知与学习今推理与理解”的图像理解分析过程。