一种应用于高动态范围CMOS图像传感器的曝光控制技术

spacing between the two adjacent imaging． This presented method makes the rolling shutter interlaced to achieve the
multiple imaging of the target object，so it has made a great improvement in term of system efficiency and output re-
LI Xiaochen1，2* ，YAO Suying1，2 ，HUANG Bizhen1，2 ，ZHENG Wei1，2
（ 1． ASIC Design Center，Tianjin University，Tianjin 300072，China； 2． Tianjin Brigates Microelectronics Co． LTd，Tianjin 300384，China）
但是，现有的 CMOS 图像传感器普遍采用光电 二极管线性有源像素，其动态响应范围较小，远小于 人眼 100 dB ～ 120 dB 的 动 态 范 围。图 1 是 当 今 CMOS 图像传感器系统中比较流行的 4 管有源像素 结构图［5］。应用这种结构，在拍摄一些动态范围很 大的场景时，场景的亮度差异远远超过感光元件的
一种应用于高动态范围 CMOS 图像传感器的曝光控制技术*
李晓晨1，2* ，姚素英1，2 ，黄碧珍1，2 ，郑 炜1，2
（ 1． 天津大学 ASIC 设计中心，天津 300072； 2． 天津慧微电子研发科技有限公司，天津 300204）
摘 要： 针对提高 CMOS 图像传感器的动态范围，提出了一种新的组合滚筒式曝光技术。由目前现有的技术可知，多次滚筒式曝光
目前一种可行的获取大动态范围图像的方法 是： 针对场景中的某一部分而不是所有部分正确曝 光，得到几幅曝光参数不同的图像重叠得到一幅图 像［8－9］。即使用 短 曝 光 获 取 较 亮 的 景 物，使 用 长 曝 光获取较暗的景物，多幅组合以弥补单纯的短曝光 造成的暗处细节缺失，和单纯的长曝光造成的亮处 细节缺失［10］。这种方 法 获 取 的 图 像 拥 有 可 以 媲 美 人眼的动态范围。本文在此基础上提出了一种基于
关键词： CMOS 图像传感器； 安防监控； 动态范围； 滚筒式曝光； 多次曝光
中图分类号： TN491
文献标识码： A
文章编号： 1004－1699（ 2013） 03－0328－05
近些年来，CMOS 图像传感器 （ CIS） 在移动通 信，电子竞技，安防监控和机器视觉等领域有着广泛 的应用和 良 好 的 发 展 前 景［1］。 特 别 是 在 安 防 监 控 领域［2］，相比于传统的电荷耦合器件（ CCD 图像传 感器） ［3］，CMOS 图像传感器有着更高灵敏度，从而 可以在暗 场 环 境 下 得 到 高 质 量 的 图 像［4］。 甚 至 可 以预 见 在 不 久 的 将 来，CCD 图 像 传 感 器 必 将 被 CMOS 图像传感器所取代。
图 1 四管有源像素结构
1 四管像素工作原理
采用滚筒式曝光技术的 CMOS 图像传感器，如 图 1 所示，像素结构为四管有源像素。PPD 表示埋 层结构的光电二极管，它是主要的感光器件，实现光 电转 换。四 个 MOS 管 分 别 为 传 输 管 M0 ，复 位 管 M1 ，源 跟 随 器 M2 以 及 位 线 读 出 控 制 开 关 管 M3 。 PPD 二极管可以把外部的光信号转换为电信号存 储在 A 点，所以 A 点又叫做存储节点。当 M0 的控 制信号 TX 为高电平时，存储在 A 点的信号将被传 输到浮动节点 B 上。当 M1 的控制信号 RST 为高电 平时，浮 动 节 点 B 被 复 位 到 电 源 电 压 VDD 或 者 VDD-Vt（ Vt 为 M1 管的阈值电压） 。M2 用作源跟随 器，在其栅极接收 B 处的电压，且选择管 M3 的栅极 接收 行 选 择 信 号 SEL，输 出 来 自 源 跟 随 器 M2 的 电压。
项目来源： 国家自然科学基金项目（ 61036004，61274021） 收稿日期： 2012－10－10 修改日期： 2013－03－02
宽容度，因此对于某一指定的曝光时间，很难得到包 含所有细节的图像。解决这一问题的方法无非是从 像素本身和传感器电路两方面考虑，像素本身主要 是 设 计 宽 动 态 范 围 的 像 素 结 构，例 如 对 数 像 素 等［6－7］。电路方面主要考虑采用多次曝光的形式扩 展其动态范围。
第 26 卷 第 3 期 2013 年 3 月
传感技术学报
CHINESE JOURNAL OF SENSORS AND ACTUATORS
Vol． 26 No． 3 Mar． 2013
A Novel High Dynamic Range Exposure Control for CMOS Image Sensor*
sponse speed．
Key words： CMOS image sensor； security surveillance； dynamic range； rolling shutter； multiple exposure
EEACC： 1265A； 7230G； 4150
doi： 10． 3969 / j． issn． 1004－1699． 2013． 03． 007
在图 2 所示时序中，因为一个帧间隔时间内只 输出一张曝光图像，图像的曝光时间参数是不变的， 这样单帧图像内只包含一次成像所得到的图像。其 帧、行同步示意图如图 3 所示。显然，整张图像每次 成像的时间间隔等于帧间隔时间。
图 3 滚筒式曝光帧、行同步示意图
2 技术背景及原理
现有的多次曝光方法，主要是利用不同的曝光 参数分次独立成像，然后再整合出一幅高动态范围 的图像作 为 最 后 的 输 出［11－12］。 其 基 本 原 理 是 在 需 要多次曝光时，当每一帧单张图像逐行曝光结束后， 需要改变曝光时间 texp，再进行下一次成像。如果需 要加快输出图像的速率，则必须提高图像传感器的 工作速率，但是只能通过提高图像传感器的工作频 率来压缩行处理时间，效率低。这是因为目标图像 的曝光时间 texp 是根据其场景情况所设定的，只要 曝光时间不大于帧处理时间，其就不会直接决定帧 频。那么在像素阵列固定的情形下，图像传感器的 帧频只取决于最短行处理时间。在一般情况下，图 像传感器的行处理总是在逐行进行，在执行某一行
Abstract： A new CMOS image sensor technology using combination rolling shutter to increase the dynamic range is
described． Known from former methods，multiple rolling shutters are alternated in a single frame time． According to
一般选择在单帧的时间周期内完成。根据不同的曝光参数，CMOS 图像传感器芯片输出不同的图像，然后再将其组合成一帧宽动态
范围的图像作为最后输出。本文提出的方法，通过充分利用滚筒式曝光时的空闲电路资源，有效地缩短了相邻图像间的时间间隔。
这种方法将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，从而有效提高了系统效率和输出响应速度。
the different exposure parameters，sensor outputs different images，which combined to a wide dynamic range picture
at last． By well using the free circuit resources when rolling shutter，this technology effectively shortens the time
传感技术学报
330
www． chinatransducers． com
第 26 卷
曝光读取时，其他行对应的像素单元处于空闲状态， 所以图像传感器电路总会存在大量的空闲电路未充 分利用。所以这种获取大动态范围图像的方式，会 使得整个处理周期过长，造成系统反应时间过慢，并 因此可能影响动态图像的实时性，而且在逐行曝光 读取时产 生 了 大 量 的 电 路 空 闲，造 成 系 统 资 源 的 浪费。
本文所提出的一种新颖的组合滚筒式曝光控制 方法就是要利用这个空闲时间，让图像传感器电路 系统资源得到尽可能利用。在一帧处理时间内，将 多次滚筒式曝光穿插进行，实现对目标图像的多次 成像。对于各次成像，间隔一个预设的行处理间隔 时间，各行像素单元逐行进行图像的曝光和曝光数 据的读取。
以二次曝光为例，其基本原理为假设图像传感 器每隔 1 / fps 秒输出两帧图像p1 ，另一帧图像 frm2 的曝光时间为 texp2 ，用以组合出一帧高动态范围的图像，组合的图 像的帧频为目标帧频 fps。相对于单次曝光，二次曝 光的方法将行处理时间设定为 2 倍的 Trow，这样每 行便会有一半的时间处于空闲，在 frm1 进行曝光和 读出操作时可以在行空闲状态穿插进行 frm2 的曝 光和读出操作。因此这种二次曝光方法最大限度地 利用了目标帧频指定的帧间隔时间作为曝光时间。 并且 frm1 与 frm2 曝光开始的间隔时间仅受限于第 一次曝光时间 texp1 的大小，而不需要等 frm1 全部行 曝光结束后再开始 frm2 的曝光，大大缩短了两帧的 曝光间隔。
图 2 四管像素滚筒式曝光时序
从时序原理可知，tx1、tx2、rst1、rst2、sel 的周期 均为一行像素的行处理间隔时间 Trow，每行像素的 曝光时间均为 texp。各行像素按顺序进行曝光并读 取处理，并以单行像素为曝光信号的读取对象，即在 前一行像素的曝光信号读出完成后再进行下一行的 读取，这种逐行曝光并读取方式即称为滚筒式曝光。 在需要多次成像同一张图像时，重复以上过程即可。