计算机视觉--3D Computer Vision ppt课件
合集下载
computer vision ppt
Saturation:
Challenging for robotics
11
12
SCT Representations
(Spherical Coordinate Transform)
Color Representations
RGB
Currently being explored for robotics Designed to transform RGB data to a color space more closely duplicates the response of the human eye Used in biomedical imaging
19
A bar of chart of data Size of each bar is the number of data points whose value falls into the range for the bar, called bin (buckets) Constructing histogram
3
We concentrate on two types of images frequently used in computer vision
Intensity
images
Photographlike images encoding light intensities
Range
images
Computer Vision
Computer Vision
Chapter 6.6 – 6.8
An image is a huge array of gray level (brightness) values of individual pixels Taken individually, these numbers are almost meaningless, because they contain very little information about the scene A robot needs information like "object ahead", "table to the left", or "person approaching" to perform its tasks The conversion of this huge amount of low level information into usable high level information is the subject of computer vision
Challenging for robotics
11
12
SCT Representations
(Spherical Coordinate Transform)
Color Representations
RGB
Currently being explored for robotics Designed to transform RGB data to a color space more closely duplicates the response of the human eye Used in biomedical imaging
19
A bar of chart of data Size of each bar is the number of data points whose value falls into the range for the bar, called bin (buckets) Constructing histogram
3
We concentrate on two types of images frequently used in computer vision
Intensity
images
Photographlike images encoding light intensities
Range
images
Computer Vision
Computer Vision
Chapter 6.6 – 6.8
An image is a huge array of gray level (brightness) values of individual pixels Taken individually, these numbers are almost meaningless, because they contain very little information about the scene A robot needs information like "object ahead", "table to the left", or "person approaching" to perform its tasks The conversion of this huge amount of low level information into usable high level information is the subject of computer vision
《计算机视觉》PPT课件
fucntion)
精选课件ppt
11
Overview (3)
计算机视觉的图像模型基础
✓ 摄像机模型及其校准
▪ 内参数、外参数
✓ 图像特征
▪ 边缘、角点、轮廓、纹理、形状…
✓ 图像序列特征 (运动)
▪ 对应点、光流
精选课件ppt
12
Overview (4)
计算机视觉的信号处理层次
低层视觉处理
✓ 单图像：滤波/边缘检测/纹理
计算机视觉的基本的分析工具和数学模型 Signal processing approach: FFT, filtering, wavelets, … Subspace approach: PCA, LDA, ICA, … Bayesian inference approach: EM, Condensation/SIS/…, MCMC, …. Machine learning approach: SVM/Kernel machine, Boosting/Adaboost, NN/Regression, … HMM, BN/DBN, … Gibbs, MRF, …
✓ 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion
中层视觉处理
✓ 聚类分割/拟合线条、曲线、轮廓 clustering for segmentation, fitting line…
✓ 基于概率方法的聚类分割/拟合
✓ 跟踪 tracking
精选课件ppt
6
Tools
Intel OpenCV, IPL
✓ Camera calibration (Zhang Zhengyou’s method) ✓ Face detection (a variation of Viola’s) ✓ Motion analysis and object tracking
精选课件ppt
11
Overview (3)
计算机视觉的图像模型基础
✓ 摄像机模型及其校准
▪ 内参数、外参数
✓ 图像特征
▪ 边缘、角点、轮廓、纹理、形状…
✓ 图像序列特征 (运动)
▪ 对应点、光流
精选课件ppt
12
Overview (4)
计算机视觉的信号处理层次
低层视觉处理
✓ 单图像：滤波/边缘检测/纹理
计算机视觉的基本的分析工具和数学模型 Signal processing approach: FFT, filtering, wavelets, … Subspace approach: PCA, LDA, ICA, … Bayesian inference approach: EM, Condensation/SIS/…, MCMC, …. Machine learning approach: SVM/Kernel machine, Boosting/Adaboost, NN/Regression, … HMM, BN/DBN, … Gibbs, MRF, …
✓ 多图像：几何/立体/从运动恢复仿射或透视结构 affine/perspective structure from motion
中层视觉处理
✓ 聚类分割/拟合线条、曲线、轮廓 clustering for segmentation, fitting line…
✓ 基于概率方法的聚类分割/拟合
✓ 跟踪 tracking
精选课件ppt
6
Tools
Intel OpenCV, IPL
✓ Camera calibration (Zhang Zhengyou’s method) ✓ Face detection (a variation of Viola’s) ✓ Motion analysis and object tracking
最新Computer Vision Multiview Stereo计算机视觉的多视点立体幻灯片课件
Stereo image rectification
computervisionmultiviewstereo计算机视觉的多视点立体论文总结英语资料ppt文档免费阅读免费分享如需请下载
3D Computer Vision
The main goal here is to reconstruct geometry of 3D worlds.
How can we estimate the camera parameters?
Nonlinear camera calibration
Perspective projection:
ui fx
vi
0
1 0
fy 0
uv00•rr12TT 1 r3T
ttt132•xzy1iii
Nonlinear camera calibration
Perspective projection:
- known 3D points on calibration targets
- find corresponding 2D points in image using feature detection algorithm
Camera parameters
Known 3D coords and 2D coords
• D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 47(1/2/3):742, April-June 2002.
计算机视觉技术 ppt课件
2020/11/24
13
计算机视觉的发展趋势
目前，过去由于CPU处理能力强大，可以进行较为 复杂的图像处理，并且一个Pc可支持多个相机进行多 方位的检测，因此PC Based方案受到了广大厂商的青 睐。目前国内多数厂商对计算机视觉的认识，已不仅 仅停留在PC Based方案层面。嵌入式方案越来越引起 厂商们的重视，其具有更大的灵活性，成本又低于PC Based方案，就抗干扰能力来说，嵌入式方案也更能适 应工业环境的电子干扰、温度变化、供电电压波动等 多种干扰，因此，目前计算机视觉正在向嵌入式的方 向发展。
2020/11/24
12
5. 交通: 汽车车牌识别、高速公路收费、违章闯红灯检 测、交通管制系统等。采用智能交通管理系统,通过在 交通要道放置摄像头,当有违章车辆(如闯红灯) 时,摄像 头将车辆的牌照拍摄下来,传输给中央管理系统,系统利 用图像处理技术,对拍摄的图片进行分析,提取出车牌号, 存储在数据库中,可以供管理人员进行检索。 6. 商标管理:可以建立商标图像库,利用图像检索技术, 对新申请的商标与图像库里的注册商标进行分析,检查 是否设计相似或雷同。
计算机视觉技术概述
2020/11/24
1
学习内容：
★计算机视觉技术的定义 ★计算机视觉技术的发展 ★计算机视觉技术的应用 ★计算机视觉技术的图像处理方法 ★计算机视觉技术的发展趋势
2020/11/24
2
精品资料
• 你怎么称呼老师？
• 如果老师最后没有总结一节课的重点的难点，你 是否会认为老师的教学方法需要改进？
• 你所经历的课堂，是讲座式还是讨论式？ • 教师的教鞭
• “不怕太阳晒，也不怕那风雨狂，只怕先生骂我 笨，没有学问无颜见爹娘 ……”
计算机视觉预备知识PPT课件
计算机视觉基本特点
• 分阶段信息处理，多层次信息表示 • 绝大部分问题为病态问题 • 原始信息被污染，信息处理量巨大 • 一种知识导引与管理系统 • 多学科交叉与结合
实用图像处理技术
灰度图像 彩色图像 二值化图像
图像的增强
1.直方图的均衡化
2.平滑滤波Βιβλιοθήκη 原图噪声污染后的图像
均值滤波后的图像
中值滤波后的图像
I
1RGB
3
Ri,Gi,Bi
RG BHSI
Hi,Si,Ii
H S I
Ri,Gi,Bi
H i H ,S i S ,Ii I
RG BHSI
颜色模型的转换 图5.30划分HSI空间的方法
计算机视觉预备知识
暂时到此
返回
返回
图像处理
• 由于实际景物转换为图像信号时，总会引入各种噪声 或畸变失真，一般需要先进行图像处理。
• 4.视觉的恒常性 1）．亮度恒常性
例如：一匹黑布和一匹白布
原因：先验知识 ；本体反射率。 2）．大小恒常性
例如：远处的牛比近处的狗要大
3）．形状恒常性 4）．颜色恒常性
5.错视现象 （a）高度错视； （b）长度错视; （c）平行线错视; （d）大小错视; （e）主从错视;
计算机视觉
计算机视觉是指用计算机实现人的视 觉功能——对客观世界的三维场景的感知、 识别和理解。
计算机视觉系统的组成及原理
图像 输入
数字化
图像 处理
图像 分析
图像 理解
结果 输出
人机交互处理
计算机数字图象处理系统
摄像头 A/D
监视器
D/A
帧存
微 机 接 口
LUT
《计算机视觉》PPT课件
实例：雷达测距系统
computer vision
3
7.1 立体视觉基础
被动测距方法
双目视觉系统：使用两个相隔一定距离的 摄像机同时获取场景图像来生成深度图。
单目运动视觉：一个摄像机在不同空间位 置上获取两幅或两幅以上图像，通过多幅 图像的灰度信息和成像几何来生成深度图
特征深度测量：使用灰度图象的明暗特征、 纹理特征、运动特征间接的估算深度信息。
14
7.2 立体成像
依据双目立体视觉几何关系的深度计算
结合以下公式：
x
x
l
zF
x B x r zF
可以得到： z B F x l x r
其中F是焦距，B是基线距离， xl 是xr 视差。
各种场景中的点的深度就可以通过计算视差来实 现。视差一般是整数。
对于一组给定的摄像机参数，提高场景点深度计
即使两个摄像机处于一般的位置和方向时， 对应场景点的两个图像点仍然位于图像平 面和外极平面的交线（外极线）上。
computer vision
20
7.3 立体成像
从原理上讲根据“立体图象对”抽取深度信息的 处理应包括以下四部分：
在图象中寻找在两幅图象中都便于区分的特征或 用于匹配的基元（primitive）。
立体匹配的匹配规则约束
立体匹配：立体成像的深度信息测量的一个重要 步骤就是寻找立体成像对中的共轭对，即求解对 应问题。
问题：实际中求解对应问题是非常困难的，一是 计算量大，二是匹配的准确度要求高。
解决：为了求解对应，建立了许多约束来减少对 应点误匹配，并最终得到正确的匹配特征点的对 应。
computer vision
computer vision
4
计算机视觉 ppt课件
绪论
(2.27，3.2)
(5 lectures) 视觉基本特性I 生物特性
Week 2
视觉基本特性II
（3.6，3.9） 物理特性
(5 lectures) 视觉基本特性III 几何特性
Week 3
图像处理基础I
（3.13，3.16） 空域处理
(5 lectures) 图像处理基础II 频域处理
Week 4
图像多义性： 三维场景被投影为二维图像，深度和不可 见部分的信息被丢失，因而会出现不同形状的三维物体投 影在图像平面上产生相同图像的问题．另外，在不同角度 获取同一物体的图像会有很大的差异．
环境因素影响：场景中的诸多因素，包括照明、物体形状、 表面颜色、摄像机以及空间关系变化都会对成像有影响.
计算机视觉的任务是用图像创建或恢复现实世界模 型，然后认知现实世界。
具体来说，让计算机具有对周围世界的空间物体进 行传感、抽象、判断的能力，从而达到识别、理解 的目的。
分为三个阶段
◦ 特征提取和区域分割
基于轮廓,纹理,颜色…
◦ 建模与模式表达
基于各种物体的抽象化模 型
◦ 描述和理解
主讲： 曹洋 forrest@ 办公室：科技楼西楼303
课程教材：
使用教材： Richard Szeliski ， Computer Vision: Algorithms and Applications，Springer，2010 参考教材：
David A. Forsyth, Jean Ponce著，计算机视觉（一种现 代方法），电子工业出版社 2004。
上世纪60年代，拓展到三维结构，对物体的形状， 物体的空间关系进行描述。通过对积木世界的研 究，引出了边缘、角点等特征提取，图像明暗、 纹理、运动以及成像几何等研究工作。
第6章 机器人视觉PPT课件
第一部分 响应机器
第六章 机器人视觉
概念一
•
“机器人视觉(computer vision)”这个学
科所研究的问题领域十分广阔，不仅包括通用技
术，而且也包括为数众多的专用技术——如字符
识别、相片解释、脸谱识别、指纹识别和机器人
控制等等。
• 机器人视觉的困难主要来源于难以控制的照明、 影像和复杂而难以描述的物体，如那些室外场景 中的物体、非刚性物体或啮合其他物体的物体。 其中有些困难在人造环境中（如建筑物的室内景 观）可得以减轻，而且在这种环境中研究计算机 视觉往往更成功。
有很多把场景特性与线条画的元素相结合的策略。这 样的结合称为“解释(interpreting)”线条画。
一种解释线条画的策略
在这种策略中，已知场景仅包含平面，从而使相交于一 点的平面不超过三个(这种平面组合体称为“三面体顶点多 面体(trihedral vertex polyhedral)”)。
典型例子：它是一个由边界墙、地板、 天花板和一地板上的正方体组成的室 内场景。在这样的场景中，由两个相 交平面组成的场景的边缘只有三种。 一种边缘的两个相交平面的其中一个 遮住了另一个(即在场景中只能看见 其中的一个平面)，这种边缘称为 “occlude”。箭头沿边缘的指向使 得遮住另一个平面的平面位于箭头的 右边。另两种边缘的两个相交平面在 场景中均可见。其中形成的凸边称为 “刀刃(blade)”，图中的标记为加 号(十)；形成的凹边称为“折痕 (fold)”，图中的标记为减号(—)。
1)一个区域由类似的成分组成。常用的同质特性 (homogeneity property)如下：
(a)在这个区域中，像素的亮度值之间的差别不超过某 个ε。
(b)k次多项式(k的值比较低且事先指定)的表面可与此 区域内像素的亮度值以小于ε的最大误差(即表面与区域亮 度值之间的误差)拟合。
第六章 机器人视觉
概念一
•
“机器人视觉(computer vision)”这个学
科所研究的问题领域十分广阔，不仅包括通用技
术，而且也包括为数众多的专用技术——如字符
识别、相片解释、脸谱识别、指纹识别和机器人
控制等等。
• 机器人视觉的困难主要来源于难以控制的照明、 影像和复杂而难以描述的物体，如那些室外场景 中的物体、非刚性物体或啮合其他物体的物体。 其中有些困难在人造环境中（如建筑物的室内景 观）可得以减轻，而且在这种环境中研究计算机 视觉往往更成功。
有很多把场景特性与线条画的元素相结合的策略。这 样的结合称为“解释(interpreting)”线条画。
一种解释线条画的策略
在这种策略中，已知场景仅包含平面，从而使相交于一 点的平面不超过三个(这种平面组合体称为“三面体顶点多 面体(trihedral vertex polyhedral)”)。
典型例子：它是一个由边界墙、地板、 天花板和一地板上的正方体组成的室 内场景。在这样的场景中，由两个相 交平面组成的场景的边缘只有三种。 一种边缘的两个相交平面的其中一个 遮住了另一个(即在场景中只能看见 其中的一个平面)，这种边缘称为 “occlude”。箭头沿边缘的指向使 得遮住另一个平面的平面位于箭头的 右边。另两种边缘的两个相交平面在 场景中均可见。其中形成的凸边称为 “刀刃(blade)”，图中的标记为加 号(十)；形成的凹边称为“折痕 (fold)”，图中的标记为减号(—)。
1)一个区域由类似的成分组成。常用的同质特性 (homogeneity property)如下：
(a)在这个区域中，像素的亮度值之间的差别不超过某 个ε。
(b)k次多项式(k的值比较低且事先指定)的表面可与此 区域内像素的亮度值以小于ε的最大误差(即表面与区域亮 度值之间的误差)拟合。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ppt课件
22
Vanishing points and lines
Parallel lines in the world intersect in the image at a “vanishing point”
ppt课件
23
Vanishing points and lines
Vanishing Line
Vanishing Pointo
oVanishing Point
ppt课件
24
Vanishing points and lines
Vanishing line
Vertical vanishing point
(at infinity)
Vanishing point
Slide from Efros, Photo from Criminisi
• Many methods have been developed using this approach. • Major advantage -- simple to use. • Low spatial resolution -- patterns become sparser with
distance. • Some close range (4cm) sensors exist with good depth
have an inadequate depth resolution (1cm at best) for most practical industrial vision purposes.
29
Structured Light Methods
• Project patterns of light (grids, stripes, elliptical patterns
How high is the camera?
What is the camera rotation? What is the focal length of the camera?
Which ball is closer?
ppt课件
15
Dimensionality Reduction Machine (3D to 2D)
3D world
2D image
Point of observation
ppt课件
16
Figures © Stephen E. Palmer, 2002
Projection can be tricky…
Slide source: Seitz
ppt课件
17
Projection can be tricky…
Laser ranging works on the principle that the surface of the object reflects laser light back towards a receiver which then measures the time (or phase difference) between transmission and reception in order to calculate the depth.
resolution (around 0.05mm) but have very narrow field of view and close range of operation.
30
Moire Fringe Methods
• A moire projection system
31
Moire Fringe Methods
etc.) onto an object.
• Surface shapes are then deduced from the distortions of the patterns that are produced on Object's Surface.
• Knowing relevant camera and projector geometry, depth can be inferred by triangulation.
ppt课件
Vanishing point
25
Vanishing points and lines
ppt课件
26
Photo from online Tate collection
Note on estimating vanishing points
ppt课件
27
Laser Ranging Systems
Projective Geometry
What is lost?
• Length • Angles
Parallel?
Perpendicular?
ppt课件
21
Projective Geometry
What is preserved?
• Straight lines are straight
28
Laser Ranging Systems
Most laser rangefinders: • Work at long distances (greater than
15m) • Consequently their depth resolution is
inadequate for detailed vision tasks. • Shorter range systems exist but still
Slide source: Seitz
ppt课件
18
Projective Geometry
What is lost?
• Length
Who is taller?
Which is closer?
ppt课件
19
Length is not preserved
ppt课件
A’ C’ B’
20 Figure by David Forsyth
3D Computer Vision
Dr. Shengyong Chen Email: sy@
Introduction
• The eyes • Methods of 3D Vision
14
Today’s class: Camera and World Geometry
How tall is this woman?