CMOS图像传感器

中国科学院沈阳自动化研究所 机器人学国家重点实验室
数据输出端口
• 并口方式 包括数据线和数据同步线(帧同步，行同步， 像素时钟) • 串口方式 包括数据读取线(时钟和数据)和数据写入线 (时钟和数据)
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
JPEG第二步：DCT
二维DCT变换的逆变换公式：
公式中：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第二步：DCT
DCT反变换后：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第三步：量化
量化是指在不引起明显视觉效果失真的前 提下，对图像数据实行部分抛弃(主要是AC 部分)，实现数据的大幅减少 所以，量化是图像质量下降的最重要原因
CMOS工艺
CMOS: Complementary Metal Oxide Semiconductor 互补金属氧化物半导体
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
内嵌微控制器
内嵌的MCU根据相应的寄存器值，自动完 成上述的模拟和数字转换功能，只需要外 部提供时钟和电源即可。
中国科学院沈阳自动化研究所 机器人学国家重点实验室
寄存器控制接口
• OV:SCCB(串行相机控制总线) • Micron:两线串行接口 • 包括时钟线和数据线，类似于I2C，有专门 的控制协议，完成对CMOS中寄存器的读操 作和写操作
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第七步：熵编码
Huffman编码步骤： 1.统计每个符号出现的频率 2.按从小到大的规律把上述频率进行排序 3.对出现频率最小的两个值分别制定为0和1 然后将这两个频率相加，再次排序 4.得到Huffman树，就可以得到Huffman表
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第一步：色彩空间转换
RGB和YUV色彩空间的转换：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第二步：DCT
• DCT把图像数据从空间域的波形数据转换 成频率域的一组系数，为频域对图像做处 理做好准备 • 变换的基本单位是8x8系数组成的方块 • DCT是无损变换，只要变化的计算精度足 够高，那么原始像素经过IDCT精确恢复
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
主要CMOS厂商
• • • • • Micron(Aptina Imaging) OmniVision Agilent Sony Photobit
• AWC：自动白平衡控制 • AGC：自动增益控制 • ADC：模拟到数字的转换
中国科学院沈阳自动化研究所 机器人学国家重点实验室
数字信号处理单元
• • • • • • • • 边缘增强 颜色空间转换(RGB->YUV) 减少颜色串扰 色调和饱和度控制 白/黑像素校正 抗噪声 镜头阴影校正 伽马校正
CMOS图像传感器的结构
2010.10.29
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG压缩
JPEG定义了两种算法： 1.基于DCT的有失真压缩算法 包括基本系统(Baseline)和扩展系统 2.基于DPCM的无失真压缩算法
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG压缩
中国科学院沈阳自动化研究所 机器人学国家重点实验室
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG压缩
JPEG全名是Joint Photographic Expert Group， 是由国际标准组织(ISO)和国际电话电报咨 询委员会所(CCITT)建立的一种数字影像压 缩标准。完成于1992年，适用于一般连续 色调、多级灰阶、彩色或黑白静止图像压 缩，且在医学上应用广泛。
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS结构
以OmniVision公司的OV7670为例：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
像素矩阵
• 像素：内嵌放大器 • Bayer Filter Pattern
中国科学院沈阳自动化研究所 机器人学国家重点实验室
ห้องสมุดไป่ตู้拟信号处理单元
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第一步：色彩空间转换
• 亮度Y和色彩UV 人眼对亮度改变的敏感性远比对色彩变化 大很多，因此Y分量要比UV分量重要得多 • YUV通常的格式： YUV4:4:4 4:2:2 4:2:0 4:1:1
中国科学院沈阳自动化研究所 机器人学国家重点实验室
中国科学院沈阳自动化研究所 机器人学国家重点实验室
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS和CCD
区别： 灵敏度差异 成本差异 分辨率差异 噪声差异 功耗差异
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS和CCD
CMOS：
低成本 低功耗 高整合度
CCD：
灵敏度 分辨率 噪声控制
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG压缩
1.色彩空间转换(RGB->YUV) 2.离散余弦变换(DCT) 3.量化 4.Z字型编码 5.差分脉冲编码(DPCM) 6.游程长度编码(RLE) 7.熵编码
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第一步：色彩空间转换
• RGB是最常见的色彩空间，R、G、B三原色合成 其他的颜色 • YUV是一种基本色彩空间，被PAL，NSTC和 SECAM用于复合色彩视频标准。 Y表示亮度(灰度值)，U、V表示色调，描述图像 色彩及饱和度的属性。 • YCbCr其实是YUV经过缩放和偏移的改动版，应 用于JPEG、MPEG。 Y表示亮度，Cr、Cb表示色彩，和UV表示不同。
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS介绍
CMOS图像传感器是利用CMOS工艺制 造的图像传感器，主要利用了半导体的光 电效应。和CCD的原理相同。
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS中的图像处理
• • • • • • • • • AWB：自动白平衡 AE：自动曝光 AF：自动对焦 AS：防颤抖 镜头阴影校正 图像噪点校正 颜色校正 孔径校正 伽马校正
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第二步：DCT
二维DCT变换的数学公式：
公式中：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第二步：DCT
8x8原始数据：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第二步：DCT
DCT变换后：
中国科学院沈阳自动化研究所 机器人学国家重点实验室
由于人眼对亮度的敏感度比对色差信号更 高，所以采用两种量化表。
标准亮度量化表 标准色差量化表
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第四步： Z字型编码
量化后的系数含有大量的零值系数，位增 加连续零值的个数，需按Z字型编码
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第五步：差分脉冲编码
CMOS图像传感器
• • • • • • • CMOS工艺 CMOS传感器介绍 CMOS和CCD CMOS的结构 JPEG压缩 主要CMOS厂商 CMOS中的图像处理
中国科学院沈阳自动化研究所 机器人学国家重点实验室
CMOS结构
1. 像素矩阵 2. 模拟信号处理单元 3. 数字信号处理单元 4. 内嵌微控制器 5. 寄存器控制接口 6. 数据输出端口 7. JPEG压缩(可选)
经过DCT变换之后，DC系数的特点： 1.数值比较大， 2.相邻的8x8系数值相差不大
所以采用差分脉冲编码调制(DPCM)对量化 DC系数进行编码
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第六步：游程长度编码
经过Z字型编码后，AC系数的特点 1.含有很多0值系数 2.很多0值都是连续的
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第三步：量化
JPEG标准采用线性均匀量化器： 对64个DCT变换系数，除以对应的量化步 长，然后四舍五入取整。公式如下：
其中，Y(u,v)表示DCT变换系数 S(u,v)表示量化步长
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第三步：量化
采用游程长度编码(RLE)对AC系数进行编码
方法：使用1个字节的高4位表示连续0的个数， 使用低4位表示下一个非0系数所需要的位数
中国科学院沈阳自动化研究所 机器人学国家重点实验室
JPEG第七步：熵编码
• 对DC和AC系数分别采用不同的编码后，进 一步采用Huffman编码减少熵，进一步压缩 • 优点：对出现频率比较高的符号分配短的 码字，对出现频率比较低的符号分配比较 长的码字。码表可以事先定义