一种应用于高动态范围CMOS图像传感器的曝光控制技术
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第 26 卷 第 3 期 2013 年 3 月
传感技术学报
CHINESE JOURNAL OF SENSORS AND ACTUATORS
Vol． 26 No． 3 Mar． 2013
A Novel High Dynamic Range Exposure Control for CMOS Image Sensor*
图 2 四管像素滚筒式曝光时序
从时序原理可知，tx1、tx2、rst1、rst2、sel 的周期 均为一行像素的行处理间隔时间 Trow，每行像素的 曝光时间均为 texp。各行像素按顺序进行曝光并读 取处理，并以单行像素为曝光信号的读取对象，即在 前一行像素的曝光信号读出完成后再进行下一行的 读取，这种逐行曝光并读取方式即称为滚筒式曝光。 在需要多次成像同一张图像时，重复以上过程即可。
LI Xiaochen1，2* ，YAO Suying1，2 ，HUANG Bizhen1，2 ，ZHENG Wei1，2
（ 1． ASIC Design Center，Tianjin University，Tianjin 300072，China； 2． Tianjin Brigates Microelectronics Co． LTd，Tianjin 300384，China）
但是，现有的 CMOS 图像传感器普遍采用光电 二极管线性有源像素，其动态响应范围较小，远小于 人眼 100 dB ～ 120 dB 的 动 态 范 围。图 1 是 当 今 CMOS 图像传感器系统中比较流行的 4 管有源像素 结构图［5］。应用这种结构，在拍摄一些动态范围很 大的场景时，场景的亮度差异远远超过感光元件的
sponse speed．
Key words： CMOS image sensor； security surveillance； dynamic range； rolling shutter； multiple exposure
EEACC： 1265A； 7230G； 4150
doi： 10． 3969 / j． issn． 1004－1699． 2013． 03． 007
the different exposure parameters，sensor outputs different images，which combined to a wide dynamic range picture
Βιβλιοθήκη Baidu
at last． By well using the free circuit resources when rolling shutter，this technology effectively shortens the time
关键词： CMOS 图像传感器； 安防监控； 动态范围； 滚筒式曝光； 多次曝光
中图分类号： TN491
文献标识码： A
文章编号： 1004－1699（ 2013） 03－0328－05
近些年来，CMOS 图像传感器 （ CIS） 在移动通 信，电子竞技，安防监控和机器视觉等领域有着广泛 的应用和 良 好 的 发 展 前 景［1］。 特 别 是 在 安 防 监 控 领域［2］，相比于传统的电荷耦合器件（ CCD 图像传 感器） ［3］，CMOS 图像传感器有着更高灵敏度，从而 可以在暗 场 环 境 下 得 到 高 质 量 的 图 像［4］。 甚 至 可 以预 见 在 不 久 的 将 来，CCD 图 像 传 感 器 必 将 被 CMOS 图像传感器所取代。
传感技术学报
330
www． chinatransducers． com
第 26 卷
曝光读取时，其他行对应的像素单元处于空闲状态， 所以图像传感器电路总会存在大量的空闲电路未充 分利用。所以这种获取大动态范围图像的方式，会 使得整个处理周期过长，造成系统反应时间过慢，并 因此可能影响动态图像的实时性，而且在逐行曝光 读取时产 生 了 大 量 的 电 路 空 闲，造 成 系 统 资 源 的 浪费。
Abstract： A new CMOS image sensor technology using combination rolling shutter to increase the dynamic range is
described． Known from former methods，multiple rolling shutters are alternated in a single frame time． According to
本文所提出的一种新颖的组合滚筒式曝光控制 方法就是要利用这个空闲时间，让图像传感器电路 系统资源得到尽可能利用。在一帧处理时间内，将 多次滚筒式曝光穿插进行，实现对目标图像的多次 成像。对于各次成像，间隔一个预设的行处理间隔 时间，各行像素单元逐行进行图像的曝光和曝光数 据的读取。
以二次曝光为例，其基本原理为假设图像传感 器每隔 1 / fps 秒输出两帧图像，其中一帧图像 frm1 的曝光时间为 texp1 ，另一帧图像 frm2 的曝光时间为 texp2 ，用以组合出一帧高动态范围的图像，组合的图 像的帧频为目标帧频 fps。相对于单次曝光，二次曝 光的方法将行处理时间设定为 2 倍的 Trow，这样每 行便会有一半的时间处于空闲，在 frm1 进行曝光和 读出操作时可以在行空闲状态穿插进行 frm2 的曝 光和读出操作。因此这种二次曝光方法最大限度地 利用了目标帧频指定的帧间隔时间作为曝光时间。 并且 frm1 与 frm2 曝光开始的间隔时间仅受限于第 一次曝光时间 texp1 的大小，而不需要等 frm1 全部行 曝光结束后再开始 frm2 的曝光，大大缩短了两帧的 曝光间隔。
滚筒式曝光是 CMOS 图像传感器普遍采用的一 种曝光方式，以上面提到的四管像素结构为例，其简 化的操作时序如图 2 所示。假设帧频为 fps，则一次 帧间隔时间为 1 / fps，每一幅完整的图像包括 0、1、 2、3 四行像素。首先，row_idx2 指定曝光第 0 行（ 此 处的“0”从次序来说相当于第一行） ，按照图 1 中的 电路，先将传输管 M0 和复位管 M1 同时开启（ 图 2 时序中 ts2 和 rst2 输入高电平） ，使得存储结点 A 以 及浮动结点 B 的电压复位到 VDD，然后再同时关闭 传输管 M0 和复位管 M1 使 A 点开始积分电荷（ ts2 和 rst2 恢复低电平） ； 经过一段时间的电荷积累后 （ 相当于曝光时间 texp） ，同时开启复位管 M1 和选择 管 M3 ，（ rst1 和 sel 为高电平，此时的选择管 M3 选择 的是第 0 行输出） ，通过源跟随器 M2 ，选择管 M3 的 输出端先读出复位电压值 VDD，然后关闭复位管 M1 （ rst1 恢复低电平） ，保持选择管 M3 导通，再开启传
第3 期
李晓晨，姚素英等: 一种应用于高动态范围 CMOS 图像传感器的曝光控制技术
329
滚筒式曝光的直接高效地提高动态范围的技术，它 可以有效增大动态范围到 110 dB 以上却只消耗较 少的硬件资源，而且不增加任何额外的处理时间。
输管 M0（ ts1 为高电平） ，通过源跟随器 M2 ，选择管 M3 的输出端读出信号的绝对值并与先前的复位电 压值相减得到信号的真实值，如 row_idx1 显示，也就 是将第 0 行的曝光信号读出。类似地，以同样方式 曝光读取第 1 行像素，逐行进行直到全部处理完毕， 相邻行开始曝光读取的间隔时间为 Trow。
项目来源： 国家自然科学基金项目（ 61036004，61274021） 收稿日期： 2012－10－10 修改日期： 2013－03－02
宽容度，因此对于某一指定的曝光时间，很难得到包 含所有细节的图像。解决这一问题的方法无非是从 像素本身和传感器电路两方面考虑，像素本身主要 是 设 计 宽 动 态 范 围 的 像 素 结 构，例 如 对 数 像 素 等［6－7］。电路方面主要考虑采用多次曝光的形式扩 展其动态范围。
一种应用于高动态范围 CMOS 图像传感器的曝光控制技术*
李晓晨1，2* ，姚素英1，2 ，黄碧珍1，2 ，郑 炜1，2
（ 1． 天津大学 ASIC 设计中心，天津 300072； 2． 天津慧微电子研发科技有限公司，天津 300204）
摘 要： 针对提高 CMOS 图像传感器的动态范围，提出了一种新的组合滚筒式曝光技术。由目前现有的技术可知，多次滚筒式曝光
spacing between the two adjacent imaging． This presented method makes the rolling shutter interlaced to achieve the
multiple imaging of the target object，so it has made a great improvement in term of system efficiency and output re-
目前一种可行的获取大动态范围图像的方法 是： 针对场景中的某一部分而不是所有部分正确曝 光，得到几幅曝光参数不同的图像重叠得到一幅图 像［8－9］。即使用 短 曝 光 获 取 较 亮 的 景 物，使 用 长 曝 光获取较暗的景物，多幅组合以弥补单纯的短曝光 造成的暗处细节缺失，和单纯的长曝光造成的亮处 细节缺失［10］。这种方 法 获 取 的 图 像 拥 有 可 以 媲 美 人眼的动态范围。本文在此基础上提出了一种基于
在图 2 所示时序中，因为一个帧间隔时间内只 输出一张曝光图像，图像的曝光时间参数是不变的， 这样单帧图像内只包含一次成像所得到的图像。其 帧、行同步示意图如图 3 所示。显然，整张图像每次 成像的时间间隔等于帧间隔时间。
图 3 滚筒式曝光帧、行同步示意图
2 技术背景及原理
现有的多次曝光方法，主要是利用不同的曝光 参数分次独立成像，然后再整合出一幅高动态范围 的图像作 为 最 后 的 输 出［11－12］。 其 基 本 原 理 是 在 需 要多次曝光时，当每一帧单张图像逐行曝光结束后， 需要改变曝光时间 texp，再进行下一次成像。如果需 要加快输出图像的速率，则必须提高图像传感器的 工作速率，但是只能通过提高图像传感器的工作频 率来压缩行处理时间，效率低。这是因为目标图像 的曝光时间 texp 是根据其场景情况所设定的，只要 曝光时间不大于帧处理时间，其就不会直接决定帧 频。那么在像素阵列固定的情形下，图像传感器的 帧频只取决于最短行处理时间。在一般情况下，图 像传感器的行处理总是在逐行进行，在执行某一行
图 1 四管有源像素结构
1 四管像素工作原理
采用滚筒式曝光技术的 CMOS 图像传感器，如 图 1 所示，像素结构为四管有源像素。PPD 表示埋 层结构的光电二极管，它是主要的感光器件，实现光 电转 换。四 个 MOS 管 分 别 为 传 输 管 M0 ，复 位 管 M1 ，源 跟 随 器 M2 以 及 位 线 读 出 控 制 开 关 管 M3 。 PPD 二极管可以把外部的光信号转换为电信号存 储在 A 点，所以 A 点又叫做存储节点。当 M0 的控 制信号 TX 为高电平时，存储在 A 点的信号将被传 输到浮动节点 B 上。当 M1 的控制信号 RST 为高电 平时，浮 动 节 点 B 被 复 位 到 电 源 电 压 VDD 或 者 VDD-Vt（ Vt 为 M1 管的阈值电压） 。M2 用作源跟随 器，在其栅极接收 B 处的电压，且选择管 M3 的栅极 接收 行 选 择 信 号 SEL，输 出 来 自 源 跟 随 器 M2 的 电压。
一般选择在单帧的时间周期内完成。根据不同的曝光参数，CMOS 图像传感器芯片输出不同的图像，然后再将其组合成一帧宽动态
范围的图像作为最后输出。本文提出的方法，通过充分利用滚筒式曝光时的空闲电路资源，有效地缩短了相邻图像间的时间间隔。
这种方法将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，从而有效提高了系统效率和输出响应速度。
传感技术学报
CHINESE JOURNAL OF SENSORS AND ACTUATORS
Vol． 26 No． 3 Mar． 2013
A Novel High Dynamic Range Exposure Control for CMOS Image Sensor*
图 2 四管像素滚筒式曝光时序
从时序原理可知，tx1、tx2、rst1、rst2、sel 的周期 均为一行像素的行处理间隔时间 Trow，每行像素的 曝光时间均为 texp。各行像素按顺序进行曝光并读 取处理，并以单行像素为曝光信号的读取对象，即在 前一行像素的曝光信号读出完成后再进行下一行的 读取，这种逐行曝光并读取方式即称为滚筒式曝光。 在需要多次成像同一张图像时，重复以上过程即可。
LI Xiaochen1，2* ，YAO Suying1，2 ，HUANG Bizhen1，2 ，ZHENG Wei1，2
（ 1． ASIC Design Center，Tianjin University，Tianjin 300072，China； 2． Tianjin Brigates Microelectronics Co． LTd，Tianjin 300384，China）
但是，现有的 CMOS 图像传感器普遍采用光电 二极管线性有源像素，其动态响应范围较小，远小于 人眼 100 dB ～ 120 dB 的 动 态 范 围。图 1 是 当 今 CMOS 图像传感器系统中比较流行的 4 管有源像素 结构图［5］。应用这种结构，在拍摄一些动态范围很 大的场景时，场景的亮度差异远远超过感光元件的
sponse speed．
Key words： CMOS image sensor； security surveillance； dynamic range； rolling shutter； multiple exposure
EEACC： 1265A； 7230G； 4150
doi： 10． 3969 / j． issn． 1004－1699． 2013． 03． 007
the different exposure parameters，sensor outputs different images，which combined to a wide dynamic range picture
Βιβλιοθήκη Baidu
at last． By well using the free circuit resources when rolling shutter，this technology effectively shortens the time
关键词： CMOS 图像传感器； 安防监控； 动态范围； 滚筒式曝光； 多次曝光
中图分类号： TN491
文献标识码： A
文章编号： 1004－1699（ 2013） 03－0328－05
近些年来，CMOS 图像传感器 （ CIS） 在移动通 信，电子竞技，安防监控和机器视觉等领域有着广泛 的应用和 良 好 的 发 展 前 景［1］。 特 别 是 在 安 防 监 控 领域［2］，相比于传统的电荷耦合器件（ CCD 图像传 感器） ［3］，CMOS 图像传感器有着更高灵敏度，从而 可以在暗 场 环 境 下 得 到 高 质 量 的 图 像［4］。 甚 至 可 以预 见 在 不 久 的 将 来，CCD 图 像 传 感 器 必 将 被 CMOS 图像传感器所取代。
传感技术学报
330
www． chinatransducers． com
第 26 卷
曝光读取时，其他行对应的像素单元处于空闲状态， 所以图像传感器电路总会存在大量的空闲电路未充 分利用。所以这种获取大动态范围图像的方式，会 使得整个处理周期过长，造成系统反应时间过慢，并 因此可能影响动态图像的实时性，而且在逐行曝光 读取时产 生 了 大 量 的 电 路 空 闲，造 成 系 统 资 源 的 浪费。
Abstract： A new CMOS image sensor technology using combination rolling shutter to increase the dynamic range is
described． Known from former methods，multiple rolling shutters are alternated in a single frame time． According to
本文所提出的一种新颖的组合滚筒式曝光控制 方法就是要利用这个空闲时间，让图像传感器电路 系统资源得到尽可能利用。在一帧处理时间内，将 多次滚筒式曝光穿插进行，实现对目标图像的多次 成像。对于各次成像，间隔一个预设的行处理间隔 时间，各行像素单元逐行进行图像的曝光和曝光数 据的读取。
以二次曝光为例，其基本原理为假设图像传感 器每隔 1 / fps 秒输出两帧图像，其中一帧图像 frm1 的曝光时间为 texp1 ，另一帧图像 frm2 的曝光时间为 texp2 ，用以组合出一帧高动态范围的图像，组合的图 像的帧频为目标帧频 fps。相对于单次曝光，二次曝 光的方法将行处理时间设定为 2 倍的 Trow，这样每 行便会有一半的时间处于空闲，在 frm1 进行曝光和 读出操作时可以在行空闲状态穿插进行 frm2 的曝 光和读出操作。因此这种二次曝光方法最大限度地 利用了目标帧频指定的帧间隔时间作为曝光时间。 并且 frm1 与 frm2 曝光开始的间隔时间仅受限于第 一次曝光时间 texp1 的大小，而不需要等 frm1 全部行 曝光结束后再开始 frm2 的曝光，大大缩短了两帧的 曝光间隔。
滚筒式曝光是 CMOS 图像传感器普遍采用的一 种曝光方式，以上面提到的四管像素结构为例，其简 化的操作时序如图 2 所示。假设帧频为 fps，则一次 帧间隔时间为 1 / fps，每一幅完整的图像包括 0、1、 2、3 四行像素。首先，row_idx2 指定曝光第 0 行（ 此 处的“0”从次序来说相当于第一行） ，按照图 1 中的 电路，先将传输管 M0 和复位管 M1 同时开启（ 图 2 时序中 ts2 和 rst2 输入高电平） ，使得存储结点 A 以 及浮动结点 B 的电压复位到 VDD，然后再同时关闭 传输管 M0 和复位管 M1 使 A 点开始积分电荷（ ts2 和 rst2 恢复低电平） ； 经过一段时间的电荷积累后 （ 相当于曝光时间 texp） ，同时开启复位管 M1 和选择 管 M3 ，（ rst1 和 sel 为高电平，此时的选择管 M3 选择 的是第 0 行输出） ，通过源跟随器 M2 ，选择管 M3 的 输出端先读出复位电压值 VDD，然后关闭复位管 M1 （ rst1 恢复低电平） ，保持选择管 M3 导通，再开启传
第3 期
李晓晨，姚素英等: 一种应用于高动态范围 CMOS 图像传感器的曝光控制技术
329
滚筒式曝光的直接高效地提高动态范围的技术，它 可以有效增大动态范围到 110 dB 以上却只消耗较 少的硬件资源，而且不增加任何额外的处理时间。
输管 M0（ ts1 为高电平） ，通过源跟随器 M2 ，选择管 M3 的输出端读出信号的绝对值并与先前的复位电 压值相减得到信号的真实值，如 row_idx1 显示，也就 是将第 0 行的曝光信号读出。类似地，以同样方式 曝光读取第 1 行像素，逐行进行直到全部处理完毕， 相邻行开始曝光读取的间隔时间为 Trow。
项目来源： 国家自然科学基金项目（ 61036004，61274021） 收稿日期： 2012－10－10 修改日期： 2013－03－02
宽容度，因此对于某一指定的曝光时间，很难得到包 含所有细节的图像。解决这一问题的方法无非是从 像素本身和传感器电路两方面考虑，像素本身主要 是 设 计 宽 动 态 范 围 的 像 素 结 构，例 如 对 数 像 素 等［6－7］。电路方面主要考虑采用多次曝光的形式扩 展其动态范围。
一种应用于高动态范围 CMOS 图像传感器的曝光控制技术*
李晓晨1，2* ，姚素英1，2 ，黄碧珍1，2 ，郑 炜1，2
（ 1． 天津大学 ASIC 设计中心，天津 300072； 2． 天津慧微电子研发科技有限公司，天津 300204）
摘 要： 针对提高 CMOS 图像传感器的动态范围，提出了一种新的组合滚筒式曝光技术。由目前现有的技术可知，多次滚筒式曝光
spacing between the two adjacent imaging． This presented method makes the rolling shutter interlaced to achieve the
multiple imaging of the target object，so it has made a great improvement in term of system efficiency and output re-
目前一种可行的获取大动态范围图像的方法 是： 针对场景中的某一部分而不是所有部分正确曝 光，得到几幅曝光参数不同的图像重叠得到一幅图 像［8－9］。即使用 短 曝 光 获 取 较 亮 的 景 物，使 用 长 曝 光获取较暗的景物，多幅组合以弥补单纯的短曝光 造成的暗处细节缺失，和单纯的长曝光造成的亮处 细节缺失［10］。这种方 法 获 取 的 图 像 拥 有 可 以 媲 美 人眼的动态范围。本文在此基础上提出了一种基于
在图 2 所示时序中，因为一个帧间隔时间内只 输出一张曝光图像，图像的曝光时间参数是不变的， 这样单帧图像内只包含一次成像所得到的图像。其 帧、行同步示意图如图 3 所示。显然，整张图像每次 成像的时间间隔等于帧间隔时间。
图 3 滚筒式曝光帧、行同步示意图
2 技术背景及原理
现有的多次曝光方法，主要是利用不同的曝光 参数分次独立成像，然后再整合出一幅高动态范围 的图像作 为 最 后 的 输 出［11－12］。 其 基 本 原 理 是 在 需 要多次曝光时，当每一帧单张图像逐行曝光结束后， 需要改变曝光时间 texp，再进行下一次成像。如果需 要加快输出图像的速率，则必须提高图像传感器的 工作速率，但是只能通过提高图像传感器的工作频 率来压缩行处理时间，效率低。这是因为目标图像 的曝光时间 texp 是根据其场景情况所设定的，只要 曝光时间不大于帧处理时间，其就不会直接决定帧 频。那么在像素阵列固定的情形下，图像传感器的 帧频只取决于最短行处理时间。在一般情况下，图 像传感器的行处理总是在逐行进行，在执行某一行
图 1 四管有源像素结构
1 四管像素工作原理
采用滚筒式曝光技术的 CMOS 图像传感器，如 图 1 所示，像素结构为四管有源像素。PPD 表示埋 层结构的光电二极管，它是主要的感光器件，实现光 电转 换。四 个 MOS 管 分 别 为 传 输 管 M0 ，复 位 管 M1 ，源 跟 随 器 M2 以 及 位 线 读 出 控 制 开 关 管 M3 。 PPD 二极管可以把外部的光信号转换为电信号存 储在 A 点，所以 A 点又叫做存储节点。当 M0 的控 制信号 TX 为高电平时，存储在 A 点的信号将被传 输到浮动节点 B 上。当 M1 的控制信号 RST 为高电 平时，浮 动 节 点 B 被 复 位 到 电 源 电 压 VDD 或 者 VDD-Vt（ Vt 为 M1 管的阈值电压） 。M2 用作源跟随 器，在其栅极接收 B 处的电压，且选择管 M3 的栅极 接收 行 选 择 信 号 SEL，输 出 来 自 源 跟 随 器 M2 的 电压。
一般选择在单帧的时间周期内完成。根据不同的曝光参数，CMOS 图像传感器芯片输出不同的图像，然后再将其组合成一帧宽动态
范围的图像作为最后输出。本文提出的方法，通过充分利用滚筒式曝光时的空闲电路资源，有效地缩短了相邻图像间的时间间隔。
这种方法将多次滚筒式曝光穿插进行，实现对目标图像的多次成像，从而有效提高了系统效率和输出响应速度。