图像采集与处理-C1
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图像采集与处理
主讲：于元隆 副教授
Email: 780117@bit.edu.cn QQ群：74523960
课程介绍
本课程主要讲授图像处理和计算机视觉领域的基本理论 和技术，包括图像预处理、视觉特征提取、图像分割、 目标检测、物体识别、目标跟踪、3D视觉等；同时， 介绍目前国际上该领域前沿的研究方向和成果。
参考资料
重要的国际期刊：
IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) International Journal of Computer Vision IEEE Transactions on Image Processing IEEE Transactions on Circuits and Systems for Video Technology Vision Research IEEE Transactions on Medical Imaging IEEE Transactions on System, Man and Cybernetics, Part B IEEE Transactions on Autonomous Mental Development IEEE Transactions on System, Man and Cybernetics, Part A IEEE Transactions on Robotics Pattern Recognition
2. 人脸检测
图像处理和计算机视觉的应用
2. 人脸检测
图像处理和计算机视觉的应用
3. 视频字幕识别
图像处理和计算机视觉的应用
4. 姿态与动作识别
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (Google)
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (Google)
基本概念
什么是图像、数字图像？ 什么是数字图像处理？ 什么是计算机视觉？ 什么是机器视觉？ 图像处理、计算机视觉和机器视觉的关系
什么是图像？
定义：二维函数f(x,y)，其中，x，y是空间坐标， f(x,y) 是点(x,y)的幅值。 灰度图像是一个二维灰度（亮度）函数 f(x,y)。 彩色图像由三个（如RGB，HSV）二维灰度（亮度） 函数 f(x,y) 组成。
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (myGoogle)
图像处理和计算机视觉的应用
6. 机器人目标抓取
图像处理和计算机视觉的应用
7. 机器人自主行走
图像处理和计算机视觉的应用
8. 目标跟踪
图像处理和计算机视觉的应用
9. 自主目标检测
图像处理与计算机视觉概述
40%
按规定时间提交（特殊情况须事先说明），过时没有相应成绩。
重要时间节点
10月8日 10月15日 11月5日 11月19日 11月26日 12月10日 12月25日 12月27日 12月31日
提交作业 1 提交作业 2 提交作业 3 提交作业 4 项目课堂演示与宣讲 提交课程项目最终报告
提交课程项目题目 提交课程项目摘要 提交文献综述
计算机视觉是指用摄像机和计算机来复制人类感知和 理解视觉信息的能力。 主要目的：通过对于视觉信息的获取、处理、分析理 解，从而产生相应的行为决策。 视觉信息：由一幅静止图像、多幅静止图像、或者一 组视频提供的信息。
机器人视觉导航
什么是机器视觉？
机器视觉用来泛指实现基于图像的自动检测、控制和 分析的相关技术和方法。 主要目的：实现工业生产过程中基于图像的自动化和 智能化。
自选一个领域，阅读该领域国际上成熟的、 以及最新的研究文献，写一篇综述文章。 要求：主要参考英文文献。个人完成。
自选一个课题，设计并且编程实现。 内容：项目题目与摘要 (Topic & Abstract) 项目实施 (Design & Programming) 项目最终设计报告撰写 (Final Report) 项目演示与宣讲 (Presentation) 要求：个人或者2人团队完成。
什么是数字图像处理？
数字图像处理是将模拟的图像信号转换为数字的图像 信号并用计算机对其进行处理的过程。 主要目的： （1）改善图像质量，例如，去除噪声、图像增强。 （2）提取图像中的特征信息，例如，边界、纹理。 （3）进行图像编码和压缩，以便图像的存储和传输。
什么是计算机视觉？
采样间隔 (Sampling Interval)
图像采样与图像质量的关系百度文库
图像采样与图像质量的关系
图像量化
图像量化：给每一个像素的图像数值f(x,y) 用一个离 散的数字（灰度值）来表示。
图像量化
大部分数字图像处理设备都采用K个等间隔的量化方式。 对于灰度图像而言，每个像素的亮度用一个数值来表 示，该数值范围通常在0到255之间，0表示黑，255表 示白，其它值表示处于黑白之间的灰度。 彩色图像可以用红、绿、蓝(RGB)三元组二维矩阵来 表示。通常三元组的每个数值也是0到255之间，0表 示相应的基色在该像素中没有，而255表示相应的基色 在该像素中取得最大值。
联系方式
选课学生发送下列信息给老师： 780117@bit.edu.cn 姓名： 学号： 联系方式： Email, QQ，电话 导师： 研究方向：
QQ群：74523960
图像处理与计算机视觉概述
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉系统的体系结构
所需背景知识： （1）数学：高等数学、线性代数、概率统计与随机过程 （2）编程：Visual C++, Matlab
课程考核方式
项目 平时作业 (Assignments) 百分比 40%
内容
内容：4次；编程作业。 要求：个人完成。
文献综述 (Term paper)
课程项目 (Project)
20%
图像处理与计算机视觉的相关领域
图像处理与计算机视觉的系统组成
1. 图像采集系统： 模拟信号：模拟摄像机+图像采集卡
数字信号：数字摄像机（接口：USB，1394，网络）
图像处理与计算机视觉的系统组成
2. 信息处理与分析系统：
数字图像处理基础知识
图像采样与量化 数字图像的表示和存储 数字图像的质量 像素间的一些基本关系
水稻种子自动分析系统：计算粒重、粒形、杂质等
图像处理、计算机视觉和机器视觉的关系
本课程将主要讲授图像处理和计算机视觉领域的基础 理论和技术。
图像处理与计算机视觉概述
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉系统的体系结构
图像处理和计算机视觉的应用
1. 图像增强
图像处理和计算机视觉的应用
参考资料
重要的国际会议：
IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) International Conference on Computer Vision (ICCV) European Conference on Computer Vision (ECCV) IEEE International Conference on Robotics and Automation (ICRA) IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE International Conference on Pattern Recognition (ICPR)
什么是数字图像？
数字图像是由二维像素组成，每一个像素具有一个特 定的位置(x,y)和幅值f(x,y)。 数字图像在计算机中通常用矩阵来表达。
图像与视频
静态图像：用图像函数f(x,y)来表示，即一张静止的 图片。 动态图像（视频）：用图像函数f(x,y,t)来表示，即 沿着时间序列产生的一组图片。
图像的采样和量化
大多数传感器的输出是连续电压 为了产生一幅数字图像，需要把连续的感知数据转化 为数字形式 包括两种处理：取样和量化 取样：图像空间坐标(x,y)的数字化 量化：图像函数值f(x,y)的数字化
图像采样
图像采样：一个连续图像在每个采样点处被数字化。 每个采样点对应于数字化图像的一个像素。 确定水平和垂直方向上的像素个数N和M。
数字图像的存储格式
图像描述信息：如图像的高度和宽度等信息 图像数据：顺序存放的连续数据 BMP（Bitmap）格式 1. 位图文件头 2. 位图信息头 3. 调色板 4. 图像数据
BMP格式：位图文件头
BMP格式：位图信息头
像素/米 0表示都重要
BMP格式：图像数据
2色位图：图中只有2种颜色。所以一个像素只需要占 用1位(bit)存储空间。相应的，一个字节(byte)可以表 示8个像素。 16色位图：图中有16种颜色，所以一个像素需要占用4 位(bit)存储空间。一个字节(byte)表示2个像素。 256色位图：图中有256种颜色，所以1个字节(byte)表 示1个像素。 24位真彩色图：图中有2^24种颜色，所以3个字节 (byte)表示1个像素。 问题：RGB颜色结构中，每个颜色通常使用256个灰度 级来量化，那么如何表达2色、16色和25色？
数字图像处理基础知识
图像采样与量化 数字图像的质量 数字图像的表示和存储 像素间的一些基本关系
数字图像的表示
二维离散的亮度函数：f(x,y) (x,y)说明图像像素的空间坐标 函数值 f 代表了在点 (x,y) 处的像素灰度值。
二维矩阵： A[m,n] m,n 代表图像的宽和高 矩阵元素 a(i, j) 的值表示图像在第 i 行、第 j 列的像 素灰度值。 RGB彩色图像的矩阵表示： 三维矩阵A[m,n,3]
256×256×256种颜色
图像量化与图像质量的关系
伪轮廓 (False Contour)
伪轮廓 (False Contour)
数字图像处理基础知识
图像采样与量化 数字图像的质量 数字图像的表示和存储 像素间的一些基本关系
数字图像的质量：层次
灰度级：表示像素明暗程度的整数量。 例如：像素的量化范围为0～255，就称该图像为256个 灰度级的图像。 层次：表示图像实际拥有的灰度级的数量。 图像数据的实际层次越多，视觉效果就越好。
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉的体系结构和系统组成
图像处理与计算机视觉的体系结构
决策、产生相应的行为动作 理解（对感兴趣的数据进行识别与分析） 检测与分割（从图像中找出并分割出来一组感兴趣的数据） 特征提取（线、边界、兴趣点、纹理、形状等） 图像预处理（去噪、图像增强等） 图像获取（数字摄像机等）
数字图像的质量：层次
数字图像的质量：对比度
对比度：是指一幅图像中灰度反差的大小
对比度＝最大亮度 / 最小亮度
数字图像的质量：清晰度
与清晰度相关的因素：
亮度 对比度 尺寸大小 颜色饱和度
影响清晰度的因素：亮度
影响清晰度的因素：对比度
影响清晰度的因素：尺寸大小
影响清晰度的因素：颜色饱和度
截止时间：当日23:59
参考书目
《数字图像处理》，Rafael C. Gonzalez等著，阮秋琦等译，电 子工业出版社。 《图像处理、分析与机器视觉》，Milan Sonka等著，艾海舟等译， 清华大学出版社。
Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing (2nd Edition), Prentice Hall, 2003. Richard Szeliski, Computer Vision: Algorithms and Applications, free download. David A. Forsvth, Jean Ponce, Computer Vision: A Modern Approach (2nd Edition), Prentice Hall, 2011.
主讲：于元隆 副教授
Email: 780117@bit.edu.cn QQ群：74523960
课程介绍
本课程主要讲授图像处理和计算机视觉领域的基本理论 和技术，包括图像预处理、视觉特征提取、图像分割、 目标检测、物体识别、目标跟踪、3D视觉等；同时， 介绍目前国际上该领域前沿的研究方向和成果。
参考资料
重要的国际期刊：
IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI) International Journal of Computer Vision IEEE Transactions on Image Processing IEEE Transactions on Circuits and Systems for Video Technology Vision Research IEEE Transactions on Medical Imaging IEEE Transactions on System, Man and Cybernetics, Part B IEEE Transactions on Autonomous Mental Development IEEE Transactions on System, Man and Cybernetics, Part A IEEE Transactions on Robotics Pattern Recognition
2. 人脸检测
图像处理和计算机视觉的应用
2. 人脸检测
图像处理和计算机视觉的应用
3. 视频字幕识别
图像处理和计算机视觉的应用
4. 姿态与动作识别
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (Google)
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (Google)
基本概念
什么是图像、数字图像？ 什么是数字图像处理？ 什么是计算机视觉？ 什么是机器视觉？ 图像处理、计算机视觉和机器视觉的关系
什么是图像？
定义：二维函数f(x,y)，其中，x，y是空间坐标， f(x,y) 是点(x,y)的幅值。 灰度图像是一个二维灰度（亮度）函数 f(x,y)。 彩色图像由三个（如RGB，HSV）二维灰度（亮度） 函数 f(x,y) 组成。
图像处理和计算机视觉的应用
5. 基于图像的互联网搜索 (myGoogle)
图像处理和计算机视觉的应用
6. 机器人目标抓取
图像处理和计算机视觉的应用
7. 机器人自主行走
图像处理和计算机视觉的应用
8. 目标跟踪
图像处理和计算机视觉的应用
9. 自主目标检测
图像处理与计算机视觉概述
40%
按规定时间提交（特殊情况须事先说明），过时没有相应成绩。
重要时间节点
10月8日 10月15日 11月5日 11月19日 11月26日 12月10日 12月25日 12月27日 12月31日
提交作业 1 提交作业 2 提交作业 3 提交作业 4 项目课堂演示与宣讲 提交课程项目最终报告
提交课程项目题目 提交课程项目摘要 提交文献综述
计算机视觉是指用摄像机和计算机来复制人类感知和 理解视觉信息的能力。 主要目的：通过对于视觉信息的获取、处理、分析理 解，从而产生相应的行为决策。 视觉信息：由一幅静止图像、多幅静止图像、或者一 组视频提供的信息。
机器人视觉导航
什么是机器视觉？
机器视觉用来泛指实现基于图像的自动检测、控制和 分析的相关技术和方法。 主要目的：实现工业生产过程中基于图像的自动化和 智能化。
自选一个领域，阅读该领域国际上成熟的、 以及最新的研究文献，写一篇综述文章。 要求：主要参考英文文献。个人完成。
自选一个课题，设计并且编程实现。 内容：项目题目与摘要 (Topic & Abstract) 项目实施 (Design & Programming) 项目最终设计报告撰写 (Final Report) 项目演示与宣讲 (Presentation) 要求：个人或者2人团队完成。
什么是数字图像处理？
数字图像处理是将模拟的图像信号转换为数字的图像 信号并用计算机对其进行处理的过程。 主要目的： （1）改善图像质量，例如，去除噪声、图像增强。 （2）提取图像中的特征信息，例如，边界、纹理。 （3）进行图像编码和压缩，以便图像的存储和传输。
什么是计算机视觉？
采样间隔 (Sampling Interval)
图像采样与图像质量的关系百度文库
图像采样与图像质量的关系
图像量化
图像量化：给每一个像素的图像数值f(x,y) 用一个离 散的数字（灰度值）来表示。
图像量化
大部分数字图像处理设备都采用K个等间隔的量化方式。 对于灰度图像而言，每个像素的亮度用一个数值来表 示，该数值范围通常在0到255之间，0表示黑，255表 示白，其它值表示处于黑白之间的灰度。 彩色图像可以用红、绿、蓝(RGB)三元组二维矩阵来 表示。通常三元组的每个数值也是0到255之间，0表 示相应的基色在该像素中没有，而255表示相应的基色 在该像素中取得最大值。
联系方式
选课学生发送下列信息给老师： 780117@bit.edu.cn 姓名： 学号： 联系方式： Email, QQ，电话 导师： 研究方向：
QQ群：74523960
图像处理与计算机视觉概述
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉系统的体系结构
所需背景知识： （1）数学：高等数学、线性代数、概率统计与随机过程 （2）编程：Visual C++, Matlab
课程考核方式
项目 平时作业 (Assignments) 百分比 40%
内容
内容：4次；编程作业。 要求：个人完成。
文献综述 (Term paper)
课程项目 (Project)
20%
图像处理与计算机视觉的相关领域
图像处理与计算机视觉的系统组成
1. 图像采集系统： 模拟信号：模拟摄像机+图像采集卡
数字信号：数字摄像机（接口：USB，1394，网络）
图像处理与计算机视觉的系统组成
2. 信息处理与分析系统：
数字图像处理基础知识
图像采样与量化 数字图像的表示和存储 数字图像的质量 像素间的一些基本关系
水稻种子自动分析系统：计算粒重、粒形、杂质等
图像处理、计算机视觉和机器视觉的关系
本课程将主要讲授图像处理和计算机视觉领域的基础 理论和技术。
图像处理与计算机视觉概述
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉系统的体系结构
图像处理和计算机视觉的应用
1. 图像增强
图像处理和计算机视觉的应用
参考资料
重要的国际会议：
IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) International Conference on Computer Vision (ICCV) European Conference on Computer Vision (ECCV) IEEE International Conference on Robotics and Automation (ICRA) IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) IEEE International Conference on Pattern Recognition (ICPR)
什么是数字图像？
数字图像是由二维像素组成，每一个像素具有一个特 定的位置(x,y)和幅值f(x,y)。 数字图像在计算机中通常用矩阵来表达。
图像与视频
静态图像：用图像函数f(x,y)来表示，即一张静止的 图片。 动态图像（视频）：用图像函数f(x,y,t)来表示，即 沿着时间序列产生的一组图片。
图像的采样和量化
大多数传感器的输出是连续电压 为了产生一幅数字图像，需要把连续的感知数据转化 为数字形式 包括两种处理：取样和量化 取样：图像空间坐标(x,y)的数字化 量化：图像函数值f(x,y)的数字化
图像采样
图像采样：一个连续图像在每个采样点处被数字化。 每个采样点对应于数字化图像的一个像素。 确定水平和垂直方向上的像素个数N和M。
数字图像的存储格式
图像描述信息：如图像的高度和宽度等信息 图像数据：顺序存放的连续数据 BMP（Bitmap）格式 1. 位图文件头 2. 位图信息头 3. 调色板 4. 图像数据
BMP格式：位图文件头
BMP格式：位图信息头
像素/米 0表示都重要
BMP格式：图像数据
2色位图：图中只有2种颜色。所以一个像素只需要占 用1位(bit)存储空间。相应的，一个字节(byte)可以表 示8个像素。 16色位图：图中有16种颜色，所以一个像素需要占用4 位(bit)存储空间。一个字节(byte)表示2个像素。 256色位图：图中有256种颜色，所以1个字节(byte)表 示1个像素。 24位真彩色图：图中有2^24种颜色，所以3个字节 (byte)表示1个像素。 问题：RGB颜色结构中，每个颜色通常使用256个灰度 级来量化，那么如何表达2色、16色和25色？
数字图像处理基础知识
图像采样与量化 数字图像的质量 数字图像的表示和存储 像素间的一些基本关系
数字图像的表示
二维离散的亮度函数：f(x,y) (x,y)说明图像像素的空间坐标 函数值 f 代表了在点 (x,y) 处的像素灰度值。
二维矩阵： A[m,n] m,n 代表图像的宽和高 矩阵元素 a(i, j) 的值表示图像在第 i 行、第 j 列的像 素灰度值。 RGB彩色图像的矩阵表示： 三维矩阵A[m,n,3]
256×256×256种颜色
图像量化与图像质量的关系
伪轮廓 (False Contour)
伪轮廓 (False Contour)
数字图像处理基础知识
图像采样与量化 数字图像的质量 数字图像的表示和存储 像素间的一些基本关系
数字图像的质量：层次
灰度级：表示像素明暗程度的整数量。 例如：像素的量化范围为0～255，就称该图像为256个 灰度级的图像。 层次：表示图像实际拥有的灰度级的数量。 图像数据的实际层次越多，视觉效果就越好。
基本概念 图像处理和计算机视觉的应用 图像处理和计算机视觉的体系结构和系统组成
图像处理与计算机视觉的体系结构
决策、产生相应的行为动作 理解（对感兴趣的数据进行识别与分析） 检测与分割（从图像中找出并分割出来一组感兴趣的数据） 特征提取（线、边界、兴趣点、纹理、形状等） 图像预处理（去噪、图像增强等） 图像获取（数字摄像机等）
数字图像的质量：层次
数字图像的质量：对比度
对比度：是指一幅图像中灰度反差的大小
对比度＝最大亮度 / 最小亮度
数字图像的质量：清晰度
与清晰度相关的因素：
亮度 对比度 尺寸大小 颜色饱和度
影响清晰度的因素：亮度
影响清晰度的因素：对比度
影响清晰度的因素：尺寸大小
影响清晰度的因素：颜色饱和度
截止时间：当日23:59
参考书目
《数字图像处理》，Rafael C. Gonzalez等著，阮秋琦等译，电 子工业出版社。 《图像处理、分析与机器视觉》，Milan Sonka等著，艾海舟等译， 清华大学出版社。
Rafael C. Gonzalez, Richard E. Woods, Digital Image Processing (2nd Edition), Prentice Hall, 2003. Richard Szeliski, Computer Vision: Algorithms and Applications, free download. David A. Forsvth, Jean Ponce, Computer Vision: A Modern Approach (2nd Edition), Prentice Hall, 2011.