第3章 视觉信息处理

模式识别
根据从图像中抽取的统计特性或结构信息， 把图像分成预定的类别。例如，文字识别或指纹 识别。在计算机视觉中模式识别技术经常用于对 图像中的某些部分，例如分割区域的识别和分类。
2014-4-16
相关学科

物理学、光学
计算机视觉关注的目标在于充分理解电磁波， 主要是可见光与红外线部分，遇到物体表面被反 射所形成的图像，而这一过程便是基于光学物理 和固态物理，一些尖端的图像感知系统甚至会应 用到量子力学理论，来解析影像所表示的真实世 界。由此，计算机视觉同样可以被看作是物理学 的拓展。

2014-4-16
2014-4-16
你的眼睛是否欺骗了你?
静？
动？
2014-4-16
你的眼睛是否欺骗了你?
你动？
它动？
2014-4-16
你的眼睛是否欺骗了你?
头晕！！！
2014-4-16
你的眼睛是否欺骗了你?
到底 它是 什么 颜色 的？
2014-4-16
你的眼睛是否欺骗了你?
有 几 个 黑 点 ？
ቤተ መጻሕፍቲ ባይዱ
2014-4-16
主要参考资料



IEEE Transactions on Pattern Analysis and Machine Intelligence，IEEE 模式分析与机器智 能杂志 International Journal on Computer Vision，国际 计算机视觉杂志 Computer Vision and Image Understanding，计 算机视觉与图像理解 Pattern Recognition Letters，模式识别快报
2014-4-16
相关学科

图像处理与图像分析
研究对象主要是二维图像，实现图像的转化， 尤其针对像素级的操作，例如提高图像对比度， 边缘提取，去噪声和几何变换如图像旋转。这一 特征表明无论是图像处理还是图像分析其研究内 容都和图像的具体内容无关。
2014-4-16
加噪
对比度
2014-4-16
相关学科
RGB颜色空间 HIS颜色空间
YUV颜色空间
YIQ颜色空间 CMKY颜色空间
2014-4-16
颜色的基本概念


计算机颜色显示器显示颜色的原理与彩色电视机一样， 都是采用红（R）、绿（G）、蓝（B）相加混色的原 理，通过发射出3种不同强度的电子束，使屏幕内侧覆 盖的红、绿、蓝荧光材料发光而产生颜色的。这种颜 色的表示方法称为RGB颜色空间表示 。 在RGB颜色空间，任意色光F都可以用R、G、B三色不 同分量的相加混合而成 ，即
2014-4-16
颜色的基本概念
（2^8）^3=16,777,216色
颜色常用颜色空间来表示。颜色空间是用一种数学 方法形象化表示颜色，人们用它来指定和产生颜色。
2014-4-16
颜色的基本概念
在一个典型的多媒体计算机系统中，常常涉及到用几 种不同的颜色空间表示图形和图像的颜色，以对应于不同 的场合和应用，各种颜色空间可以方便地进行转换。
2014-4-16
颜色的基本概念
RGB颜色空间可与HSI空间相互转换，HSI颜色空间与 RGB颜色空间的转换关系如下：

F
2R G B GB
I
RG B 3


图像恢复
图像恢复的目标在于移除图像中的噪声，例如仪 器噪声，模糊等。 图像修复。
2014-4-16
主要参考资料
International Conference on Computer Vision，国际计算机视觉大会 International Conference on Computer Vision and Pattern Recognition，国际计算 机视觉与模式识别大会 International Conference on Image Processing，国际图像处理大会
2014-4-16

颜色的基本概念


国际照明委员会(CIE) 定义了颜色的特性：色调（hue）、 饱和度（saturation）和亮度（brightness）。 色调用于区别颜色的种类。色调是视觉系统对一个区域 所呈现颜色的感觉。如红、橙、黄、绿、青、蓝、靛、 紫等 。 饱和度是颜色的纯洁性，用来区别颜色的程度。当一种 颜色渗入其他光成分愈多时，颜色愈不饱和。 亮度是视觉系统对可见物体辐射或者发光多少的感知属 性。

2014-4-16
所见即所得？ 我思故我在？

我们的眼睛也不是万能的，它也有自己的 不足与缺陷。因为眼睛的可视光波长度范 围是380~760毫微米，也就是说只有在这个 波长范围内的光线才可以穿过眼角膜，在 视网膜上成像。如果超出了这个长度范围 外，我们就无法看到了。
2014-4-16
计算机视觉 computer vision
右脑人的概念---人的右脑是属于灵感 的、直觉的、音乐的、艺术的，可以令 人产生美感和喜悦。
2014-4-16
2014-4-16
2014-4-16
生活中的视觉
“从门缝里看人——把人看扁了”（有道理 吗？） 海市蜃楼（真实？虚幻？） 日有所思，夜有所梦（和心理有关） 魔术师（亦真亦假） 电视节目（隔行逐行）
2014-4-16
相关学科
信号分析与处理 数学：统计，最优理论，几何，粒度…… 心理学 美学 集成电路

……
2014-4-16
需要解决的几个经典问题


识别（识别，鉴别，监测）
判定一组图像数据中是否包含某个特定的物体，图像特征 或运动状态；

到目前为止，还没有某个单一的方法能够广泛的对各种情 况进行判定：在任意环境中识别任意物体。现有技术能够 也只能够很好地解决特定目标的识别，比如简单几何图形 识别，人脸识别，印刷或手写文件识别或者车辆识别。而 且这些识别需要在特定的环境中，具有指定的光照，背景 和目标姿态要求。
2014-4-16

顺时针的话，属于是用右脑较多的类型 逆时针属于是用左脑较多的类型 左脑人的概念---心理学家发现，人的 左右脑是有严格的分工的，左脑属于逻 辑的、理性的、功力的、分析的、算计 的大脑，要想成功就必须充分利用好左 脑。长期奔命于工作、事业、追求功名 利禄而忽视娱乐、生活的人被称为“左 脑人”
2014-4-16
视觉通路

到达视网膜的光线经杆体和 锥体细胞转换为神经信号， 并经视网膜中的神经节细胞 加工，传出视网膜．经神经 节细胞加工的神经信号，经 过视交叉部分地交换神经纤 维后，再形成视束，传到中 枢的许多部位，神经节细胞 轴突在外膝体换神经元后， 由外膝体神经元直接经放射 到视皮层，称为视觉的第一 视通路
2014-4-16
颜色的基本概念

猴和人的视网膜中，含有三种不同的锥 体细胞，每一种锥体细胞对不同的光谱， 其敏感性也是不同的．三种锥体细胞对 光谱的敏感峰值分别在430纳米，540纳 米和570纳米．这三个峰值段正对应着 光谱中的红、绿、蓝区域。 实验近一步表明，当三种颜色按一定比 例同时刺激人眼时，会产生各种颜色感 觉．其中有一种比例会使得颜色感觉完 全消失，只有亮度感觉．说明颜色只取 决于三个基本的输入量，这也是色觉三 基色原理的基础。

微波：雷达等
（任何范围时间气 候光照条件下收集 数据，使用天线和 计算机记录图像、 微波辐射）

无线电波：医学
和天文学（MRI）
2014-4-16
人的眼睛是一个前后 直径大约23毫米的近 似球状体。 视网膜由锥体细胞 (cone cell)和杆体细 胞(rod cell)两种感 光细胞组成。
2014-4-16
相关学科
神经生物学（生物视觉）
在整个20世纪中，人类对各种动物的眼睛、神经元、 以及与视觉刺激相关的脑部组织都进行了广泛研究，这些 研究得出了一些有关“天然的”视觉系统如何运作的描述， 这也形成了计算机视觉中的一个子领域——人们试图建立 人工系统，使之在不同的复杂程度上模拟生物的视觉运作。 同时计算机视觉领域中，一些基于机器学习的方法也有参 考部分生物机制。
2014-4-16
伽马射线：
核医学和天文观 察在核医学中，将放 射性同位素注射到病 人体内，当这种物质 衰变时放射出伽马射 线，利用检测器收集 到的放射物产生图像。 可以确定骨骼病理、 感染或肿瘤等。
2014-4-16


X射线：医学诊断等
紫外线：荧光显微镜
2014-4-16

红外线：遥感卫
星、预警探测等
2014-4-16

视网膜可分为以视轴为中心直径约6 毫米的中央区和周边区．中央区有 一直径约2毫米(折合6度视角)呈黄 色区域，称为黄斑．黄斑中央有一 小凹，叫做中央凹(fovea)，面积约 1平方毫米．人类视觉的中央凹没有 杆体细胞，只有锥体细胞，其密度 高达每平方毫米150,000．离开中央 凹，锥体细胞急剧减少，而杆体细 胞急剧增多，在离开中央凹20度的 地方，杆体细胞最多．中央凹的锥 体细胞密度很高，是产生最清晰视 觉的地方．杆体细胞主要是在黑暗 的条件下起作用，同时还负责察觉 物体的运动．因此，常将锥体细胞 称为明视觉细胞，将杆体细胞称为 暗视觉细胞．
F r[ R] g[G] b[ B]
2014-4-16
颜色的基本概念


HSI（Hue，Saturation and Intensity）模型中， H表示色 调，S表示饱和度， I表示亮度，它反映了人的视觉系统 观察颜色的方式。通常把色调和饱和度通称为色度，用 来表示颜色的类别与深浅程度。 由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏 感程度，为了便于颜色处理和识别，人的视觉系统经常 采用HSI颜色空间，它比RGB颜色空间更符合人的视觉 特性。
第3章 视觉信息处理
引入
你的眼睛是否欺骗了你？
何处多出1人？
2014-4-16
64=65？
2014-4-16
你的眼睛是否欺骗了你? 谁 动 了 你 的 方 块 ？
2014-4-16
眼见为实，耳听为虚

？
曾几何时，我们认为地球是方的，天空是圆的，地球就群 星环绕的宇宙的中心。可是随着对宇宙的了解不断加深， 我们知道了地球只是太阳系中的一颗行星而已，它也是圆 的。突然间人类豁然开朗，原来眼见也不一定为实。 由于种种客观原因，眼睛常常欺骗我们。但是它们是怎么 欺骗我们的呢？为什么它们竟能遮蔽人类那百转千回的大 脑的智慧曙光呢？还认为眼睛是你最忠诚的仆人吗？还认 为它们从来不会欺骗你吗？（1黑白视觉演示）
2014-4-16
主要参考资料
《计算机视觉》
(美国)夏皮罗 (美国)斯托克曼 赵清杰 等译
机械工业出版社
《计算机视觉:计算理论与算法基础》
马德颂
《机器视觉算法与应用》
(德)斯蒂格 (德)尤里奇 (德)威德曼著 杨少荣等译
2014-4-16
一. 视觉原理

了解人类视觉的 构成、信息处理 过程，对机器视 觉研究人员来讲 是非常具有启发 性和吸引力的。

计算机视觉是一门研究如何使机器“看” 的科学，更进一步的说，就是是指用摄影 机和电脑代替人眼对目标进行识别、跟踪 和测量等，并进一步做图形处理，用电脑 处理成为更适合人眼观察或传送给仪器检 测的图像。
2014-4-16
应用广泛



制造业、检验识别、文档分析、医疗诊断、军事 、智能电网等领域中各种智能系统中不可分割的 一部分。 美国把对计算机视觉的研究列为对经济和科学有 广泛影响的科学和工程中的重大基本问题，即所 谓的重大挑战（grand challenge）。 为计算机和机器人开发具有与人类水平相当的视 觉能力 。
2014-4-16
存在问题



人可通过视觉和听觉，语言与外界交换信息，而 目前的计算机却要求严格按照各种程序语言来编 写程序，只有这样计算机才能运行。 必须改变过去的那种让人来适应计算机，来死记 硬背计算机的使用规则的情况，而是反过来让计 算机来适应人的习惯和要求，以人所习惯的方式 与人进行信息交换。 让计算机具有视觉、听觉和说话等能力。这时计 算机必须具有逻辑推理和决策的能力。
2014-4-16
需要解决的几个经典问题
运动

自体运动：摄像机/成像设备的三维刚性运动; 图像跟踪：跟踪运动的物体。

2014-4-16
需要解决的几个经典问题


场景重建
给定一个场景的二或多幅图像或者一段录像，场 景重建寻求为该场景建立一个计算机模型/三维模 型。
2014-4-16
需要解决的几个经典问题