基于CMOS图像传感器的视频采集系统
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(中科院西安光学精密机械研究所; 中国科学院研究生院)李 巍 邱 跃 洪 董 佳
LI Wei QIU Yue-hong DONG J ia
摘要: 设 计 了 一 个 基 于 CMOS 图 像 传 感 器 的 视 频 采 集 系 统 , . 详 细 介 绍 了 该 系 统 的 硬 件 电 路 和 时 序 设 计 , 系 统 采 用 FillFactort
创
新
图 1 光敏二极管型有源像素结构图 定时控制电路用来设置传感器的工作模式, 产生工作时 序, 控制数据的输出等。像素采集到的信号在芯片内部就经过 了放大、AD 转换 、存 储 等处 理 , 最 后可 输 出 需要 的 数 字信 号 , 也 可以输出模拟信号, 这给用户在设计时提供了较大的灵活性。
目前 CMOS 图像传感 器 主要 分 为 无源 象 素 传感 器 (PPS)和 有源象素传感器(APS)。PPS 结构简单, 量子效率高, 但是缺点是 噪声 大 , 并且 不 利 于向 大 型 阵列 发 展 ; APS 在 象 素 中 加 入 了 至 少一个晶体管来 实 现对 信 号 的放 大 和 缓冲 , 改 善 了 PPS 的 噪 声 问题, 但恶化了阈值和增益的一致性, 也减小了填充系数。
图 3 CMOS 视频图像采集板原理图 从 硬 件 设 计 的 原 理 图 可 以 看 出 , CMOS 图 像 传 感 器 只 需 提 供 少 量 的 电 源 转 换 器 件 即 可 正 常 工 作 , 这 是 因 为 CMOS 图 像 传 感 器 功 耗 很 小 , 只 需 采 用 USB 总 线 提 供 的 5v 电 压 就 可 以 驱 动 其 正 常 工 作 。另 外 CMOS 图 像 传 感 器 芯 片 仅 需 要 少 数 的 几 个 外 部 控 制 信 号 即 可 完 成 图 像 的 采 集(本 系 统 的 控 制 信 号 由 USB 数 据 传 输 板 上 的 CPLD 芯 片 提 供 ), 且 芯 片 内 部 集 成了输出放大器, 数模转换模块, 只需修改芯片中的特殊寄 存器值即可改变输出放大器的偏置电压, 增益等参数, 这样 就大大降低了硬件设计的复杂度和成品的体积, 具有很高 的应用价值。 4.2 系统的时序设计。 CMOS 图像传感器结构简单, 内部集成度高, 因此仅需很少 的外部控制信号即可完成视频图像的采集输出 本系统时序 采 用 VHDL 硬件 描 述 语言 设 计 , 其核 心 部 分为 一 个 有限状态机, 具体状态关系如下
3 系统采用的主要芯片。
3.1 CMOS 图像传感器芯片 IBIS5- A- 1300。 本 系 统 CMOS 图 像 采 集 芯 片 选 用 了 Fillfactory 公 司 的 IBIS5- A- 1300 COMS 图像传感器芯片, 分辨率为 1280×1024, 全 帧采 集 速率 最 高 可 达 27fps, 动 态 范 围 最 大 达 到 100db, 6.7 m× 6.7 m 高 填 充系 数 像 元 , 填 充 系 数 可 达 66%,支 持 卷 帘 快 门 和 同
关键词: CMOS 图像传感器; 时序; 块传输; 卷帘快门; 同步快门
中图分类号: TN409
文献标识码: B
Abstr act: A kind of CMOS video collecting system which collects image based on CMOS image sensor,is put forward the design of
李 巍: 在读硕士研究生
步 快 门 两 种 快 门 方 式 。内 部 集 成 可 调 整 增 益 和 偏 置 的 输 出 放 大
《P LC 技术应用 200 例》
邮局订阅号: 82-946 360 元 / 年 - 277 -
电子设计
中 文 核 心 期 刊 《 微 计 算 机 信 息 》( 嵌 入 式 与 S OC )2008 年 第 24 卷 第 4-2 期
术
引言
CCD和 CMOS 图 像 传 感 器 作 为 固 体 图 像 传 感 器 领 域 的 竞 争对手, 两者在性能表现上各有优劣。
相较 于 CCD 图像 传 感 器, CMOS 图 像 传 感 器 功 耗 低 , 结 构 简单, 集成度高, 体积小, 成本低, 这就使产品的便携性和可靠性 得以极大的提高。由于 CMOS 图像传感器的内部结构, 使其具有 高抗 辐 照, 抗 干 扰 能力 强 , 因 此在 图 像 传感 , 天 文 观测 、小 卫 星、 星敏感器等应用领域表现出极大的应用潜力。另外基于 CMOS 图像传感器的加工工艺, 可以较容易的制造出大面阵的 CMOS 体传感器器件, 更加扩展了 CMOS 图像传感器的应用范围。
您的论文得到两院院士关注 文章编号:1008- 0570(2008)04- 2- 0277- 02
电子设计
基于 CMOS 图像传感器的视频采集系统
De s ig n Of Vid e o Acce s s in g S ys te m Ba s e d On CMOS Im a g e S e n s o r
3.2 数据采集芯片 EZ- USB FX2 USB 传 输 部 分 选 用 了 CYPRESS 公 司 的 EZ- USB FX2 芯 片, 它 是 一 个 USB2.0 集 成 外 围控 制 器 , 该芯 片 支 持 12M/S 的 全 速传输 和 480M/S 的 高速 传 输 , 可以 使 用(具有)4 种 USB 传 输方 式:控制传输、中断传输、块传输和同步传输; 该器件集成 有一 个 增 强型 的 8051、8.5kB 的 RAM、4kB 的 FIFO 存 储 器 、 串 行 接 口 引擎(SIE)、通用可编程接口(GPIF)、I/O 口、数据总线、地址总线。 3.3 Altra 公司的 CPLD 控制芯片 EPM570。 系 统 的 时 序 控 制 芯 片 采 用 Atral 公 司 的 CPLD 控 制 芯 片 EPM570。 该 芯 片 可 以 很 好 的 完 成 系 统 的 时 序 控 制 要 求 。
公 司 的 IBIS5- A- 1300 芯 片 作 为 图 像 采 集 芯 片 ,通 过 USB2.0 控 制 器 EZ- USB FX2 芯 片 作 为 数 据 采 集 芯 片 , 实 现 了 图 像 数 据 的
实时采集。试验结果表明, 该系统视频采集系统成像清晰, 可靠, 能够很好的完成视频采集的要求。
2 CMOS 图象视频采集系统工作原理
本视频采集系统整体上按照功能可以分为三个部 分:CMOS 成像部分、CPLD 时序控制部分、USB 传输部分。
整个 图 像采 集 系 统的 工 作 原理 如 下: 通过 CPLD 发 送 正确 时 序 信 号 给 CMOS 图 像 传 感 器 , 驱 动 其 正 常 工 作 , 采 取 合 适 的 快 门 方 式 , 并 将 采 集 到 的 图 像 数 据 进 行 打 包 处 理 , 输 出 给 USB 传 输芯 片 , USB 传 输 芯 片 再 将 图 像 数 据 传 入 主 机 , 并 通 过 上 层 应用程序得到采集到的图像。
图 4 系统图像采集模块时序仿真波形 4.3 USB 图像采集模块设计。 本系统 的数 据 采 集模 块 采 用 cypress 公 司 的 EZ_USB FX2 , USB 传 输 芯 片 , 通 过 编 写 固 件 程 序 , 使 该 芯 片 工 作 在 高 速 批 量 传输方式。本系统采用芯片中的 SLAVE FIFO 传输模式,即不通 过 USB 芯 片 中 增 强 型 8051 核 控 制 和 干 预 , 将 数 据 直 接 通 过 USB 总线, 高速的传输到 pc 机中。最后利用 visual c++6.0 编写 上 层 用 户 端 程 序 , 采 用 多 线 程 技 术 , 创 建 两 个 线 程:USB 传 输 线 程和图像实时显示线程, 实现了在 pc 机中的实时图像显示。
基 于 CMOS 图 像 传 感 器 的 视 频 采 集 系 统 充 分 的 利 用 了 CMOS 图 像 传 感器 的 优 点, 采 用 USB 总 线供 电 , 即 插即 用 , 电 路 简单, 功耗低, 成品体积小, 成像清晰, 稳定, 很好的满足了 CMOS 图像采集系统的图像采集要求。
1 CMOS 图像传感器的内部结构
CMOS 图像传感器像元结构主要有光敏二极管型无源像素 结构、光敏二极管型有源像素结构(见图 1)和光栅型有源像素结 构, 其 它 特殊 结 构 还有 对 数 传输 型 、钉 扎光 敏 二 极管 型 、浮 栅放 大器型等。
一个典型的 CMOS 图像传感器通常包含: 一个图像传 感器 核心, 相应的 时 序逻 辑 和 控制 电 路 、AD 转换 器 、存 储器 、定 时 脉 冲发生器和译码器等。
4 CMOS 视频成像系统设计。
4.1 系统的硬件实现。 本采集系统为两块四层 PCB 板组合而成, 其中一 块 为视 频
技 采集板, 一块为 USB 数据传输板。其核心 CMOS 视频图像采集
板如图 3 所示。
术
创
新
系 统 工 作 过 程 如 下:当 系 统 上 电 后 , CPLD 产 生 复 位 信 号 复 位整个芯片到初始状态, 然后对芯片进行并行数据注入, 向 CMOS 图像传感器的特殊寄存器写入预定值, 设置诸如 像 元 积 分时间, 像素读出行数, 输出放大器增益等参数。随后 CPLD 给 CMOS 芯 片 提 供 ss_start 信 号 , 标 志 开 始 像 素 积 分 , ss_stop 信 号 结束像素积分, 随后图像传感器即处于可读出状态 。向 CMOS 发出 y_start 信号开始一 帧 图 像的 读 出 , 发出 y_clock 信 号 , 开始 一 行 图 像 的 读 出 , 当 CMOS 图 像 传 感 器 有 像 素 信 号 输 出 时 , pxl_valid 引 脚信 号 为 高 , 此 时 CMOS 图 像 传 感 器 正 在 进 行 一 行 图 像 的 输 出 , 当 pxl_valid 变 低 时 , 一 行 图 像 输 出 结 束 , CPLD 再 提供 下 一 个 y_clock 信 号 , 启 动 CMOS 进 行 下 一行 图 像 的读 出 。 当 一 帧 图 像 的 最 后 一 行 开 始 读 出 时 , CMOS 芯 片 的 LAST_LINE 引 脚 变 高 , 标 志 一 帧 图 像 读 出 的 结 束 , CPLD 再 产 生 下 一 个 ss_start 信 号 , 开始 下 一 帧图 像 的 读出 。这 样 , CMOS 就 在 CPLD 的时序控制下, 正常工作,循环读出图像。系统图像采集模块时 序仿真波形如图 4
goal of the image collecting has reached the satisfactory result.
技
Key wor ds: CMOS image sensor ; Timing; Bulk tr ansfer ; Rolling shutter ; Synchr onous shutter
器 , 以 及 40Msamples/s 高 速 A/D 转 换 模 块 , A/D 量 化 等 级 为 10bit, 可 直 接 输 出 模 拟 信 号 或 数 字 信 号 , 内 部 有 大 量 的 寄 存 器 和控制器, 可以对传感器的工作状态进行实时调整。芯片支持 开窗技术亚采样技术, 根据实际需要实时提高帧速率。
circuit hardware and timing. This system selects IBIS5- A- 1300 as its image collecting chip and EZ- USB FX2 as its data transfer
chip. Finally the result given by experiment shows that the system make the collectiBaidu Nhomakorabeag image credible and in focus, shooting the
LI Wei QIU Yue-hong DONG J ia
摘要: 设 计 了 一 个 基 于 CMOS 图 像 传 感 器 的 视 频 采 集 系 统 , . 详 细 介 绍 了 该 系 统 的 硬 件 电 路 和 时 序 设 计 , 系 统 采 用 FillFactort
创
新
图 1 光敏二极管型有源像素结构图 定时控制电路用来设置传感器的工作模式, 产生工作时 序, 控制数据的输出等。像素采集到的信号在芯片内部就经过 了放大、AD 转换 、存 储 等处 理 , 最 后可 输 出 需要 的 数 字信 号 , 也 可以输出模拟信号, 这给用户在设计时提供了较大的灵活性。
目前 CMOS 图像传感 器 主要 分 为 无源 象 素 传感 器 (PPS)和 有源象素传感器(APS)。PPS 结构简单, 量子效率高, 但是缺点是 噪声 大 , 并且 不 利 于向 大 型 阵列 发 展 ; APS 在 象 素 中 加 入 了 至 少一个晶体管来 实 现对 信 号 的放 大 和 缓冲 , 改 善 了 PPS 的 噪 声 问题, 但恶化了阈值和增益的一致性, 也减小了填充系数。
图 3 CMOS 视频图像采集板原理图 从 硬 件 设 计 的 原 理 图 可 以 看 出 , CMOS 图 像 传 感 器 只 需 提 供 少 量 的 电 源 转 换 器 件 即 可 正 常 工 作 , 这 是 因 为 CMOS 图 像 传 感 器 功 耗 很 小 , 只 需 采 用 USB 总 线 提 供 的 5v 电 压 就 可 以 驱 动 其 正 常 工 作 。另 外 CMOS 图 像 传 感 器 芯 片 仅 需 要 少 数 的 几 个 外 部 控 制 信 号 即 可 完 成 图 像 的 采 集(本 系 统 的 控 制 信 号 由 USB 数 据 传 输 板 上 的 CPLD 芯 片 提 供 ), 且 芯 片 内 部 集 成了输出放大器, 数模转换模块, 只需修改芯片中的特殊寄 存器值即可改变输出放大器的偏置电压, 增益等参数, 这样 就大大降低了硬件设计的复杂度和成品的体积, 具有很高 的应用价值。 4.2 系统的时序设计。 CMOS 图像传感器结构简单, 内部集成度高, 因此仅需很少 的外部控制信号即可完成视频图像的采集输出 本系统时序 采 用 VHDL 硬件 描 述 语言 设 计 , 其核 心 部 分为 一 个 有限状态机, 具体状态关系如下
3 系统采用的主要芯片。
3.1 CMOS 图像传感器芯片 IBIS5- A- 1300。 本 系 统 CMOS 图 像 采 集 芯 片 选 用 了 Fillfactory 公 司 的 IBIS5- A- 1300 COMS 图像传感器芯片, 分辨率为 1280×1024, 全 帧采 集 速率 最 高 可 达 27fps, 动 态 范 围 最 大 达 到 100db, 6.7 m× 6.7 m 高 填 充系 数 像 元 , 填 充 系 数 可 达 66%,支 持 卷 帘 快 门 和 同
关键词: CMOS 图像传感器; 时序; 块传输; 卷帘快门; 同步快门
中图分类号: TN409
文献标识码: B
Abstr act: A kind of CMOS video collecting system which collects image based on CMOS image sensor,is put forward the design of
李 巍: 在读硕士研究生
步 快 门 两 种 快 门 方 式 。内 部 集 成 可 调 整 增 益 和 偏 置 的 输 出 放 大
《P LC 技术应用 200 例》
邮局订阅号: 82-946 360 元 / 年 - 277 -
电子设计
中 文 核 心 期 刊 《 微 计 算 机 信 息 》( 嵌 入 式 与 S OC )2008 年 第 24 卷 第 4-2 期
术
引言
CCD和 CMOS 图 像 传 感 器 作 为 固 体 图 像 传 感 器 领 域 的 竞 争对手, 两者在性能表现上各有优劣。
相较 于 CCD 图像 传 感 器, CMOS 图 像 传 感 器 功 耗 低 , 结 构 简单, 集成度高, 体积小, 成本低, 这就使产品的便携性和可靠性 得以极大的提高。由于 CMOS 图像传感器的内部结构, 使其具有 高抗 辐 照, 抗 干 扰 能力 强 , 因 此在 图 像 传感 , 天 文 观测 、小 卫 星、 星敏感器等应用领域表现出极大的应用潜力。另外基于 CMOS 图像传感器的加工工艺, 可以较容易的制造出大面阵的 CMOS 体传感器器件, 更加扩展了 CMOS 图像传感器的应用范围。
您的论文得到两院院士关注 文章编号:1008- 0570(2008)04- 2- 0277- 02
电子设计
基于 CMOS 图像传感器的视频采集系统
De s ig n Of Vid e o Acce s s in g S ys te m Ba s e d On CMOS Im a g e S e n s o r
3.2 数据采集芯片 EZ- USB FX2 USB 传 输 部 分 选 用 了 CYPRESS 公 司 的 EZ- USB FX2 芯 片, 它 是 一 个 USB2.0 集 成 外 围控 制 器 , 该芯 片 支 持 12M/S 的 全 速传输 和 480M/S 的 高速 传 输 , 可以 使 用(具有)4 种 USB 传 输方 式:控制传输、中断传输、块传输和同步传输; 该器件集成 有一 个 增 强型 的 8051、8.5kB 的 RAM、4kB 的 FIFO 存 储 器 、 串 行 接 口 引擎(SIE)、通用可编程接口(GPIF)、I/O 口、数据总线、地址总线。 3.3 Altra 公司的 CPLD 控制芯片 EPM570。 系 统 的 时 序 控 制 芯 片 采 用 Atral 公 司 的 CPLD 控 制 芯 片 EPM570。 该 芯 片 可 以 很 好 的 完 成 系 统 的 时 序 控 制 要 求 。
公 司 的 IBIS5- A- 1300 芯 片 作 为 图 像 采 集 芯 片 ,通 过 USB2.0 控 制 器 EZ- USB FX2 芯 片 作 为 数 据 采 集 芯 片 , 实 现 了 图 像 数 据 的
实时采集。试验结果表明, 该系统视频采集系统成像清晰, 可靠, 能够很好的完成视频采集的要求。
2 CMOS 图象视频采集系统工作原理
本视频采集系统整体上按照功能可以分为三个部 分:CMOS 成像部分、CPLD 时序控制部分、USB 传输部分。
整个 图 像采 集 系 统的 工 作 原理 如 下: 通过 CPLD 发 送 正确 时 序 信 号 给 CMOS 图 像 传 感 器 , 驱 动 其 正 常 工 作 , 采 取 合 适 的 快 门 方 式 , 并 将 采 集 到 的 图 像 数 据 进 行 打 包 处 理 , 输 出 给 USB 传 输芯 片 , USB 传 输 芯 片 再 将 图 像 数 据 传 入 主 机 , 并 通 过 上 层 应用程序得到采集到的图像。
图 4 系统图像采集模块时序仿真波形 4.3 USB 图像采集模块设计。 本系统 的数 据 采 集模 块 采 用 cypress 公 司 的 EZ_USB FX2 , USB 传 输 芯 片 , 通 过 编 写 固 件 程 序 , 使 该 芯 片 工 作 在 高 速 批 量 传输方式。本系统采用芯片中的 SLAVE FIFO 传输模式,即不通 过 USB 芯 片 中 增 强 型 8051 核 控 制 和 干 预 , 将 数 据 直 接 通 过 USB 总线, 高速的传输到 pc 机中。最后利用 visual c++6.0 编写 上 层 用 户 端 程 序 , 采 用 多 线 程 技 术 , 创 建 两 个 线 程:USB 传 输 线 程和图像实时显示线程, 实现了在 pc 机中的实时图像显示。
基 于 CMOS 图 像 传 感 器 的 视 频 采 集 系 统 充 分 的 利 用 了 CMOS 图 像 传 感器 的 优 点, 采 用 USB 总 线供 电 , 即 插即 用 , 电 路 简单, 功耗低, 成品体积小, 成像清晰, 稳定, 很好的满足了 CMOS 图像采集系统的图像采集要求。
1 CMOS 图像传感器的内部结构
CMOS 图像传感器像元结构主要有光敏二极管型无源像素 结构、光敏二极管型有源像素结构(见图 1)和光栅型有源像素结 构, 其 它 特殊 结 构 还有 对 数 传输 型 、钉 扎光 敏 二 极管 型 、浮 栅放 大器型等。
一个典型的 CMOS 图像传感器通常包含: 一个图像传 感器 核心, 相应的 时 序逻 辑 和 控制 电 路 、AD 转换 器 、存 储器 、定 时 脉 冲发生器和译码器等。
4 CMOS 视频成像系统设计。
4.1 系统的硬件实现。 本采集系统为两块四层 PCB 板组合而成, 其中一 块 为视 频
技 采集板, 一块为 USB 数据传输板。其核心 CMOS 视频图像采集
板如图 3 所示。
术
创
新
系 统 工 作 过 程 如 下:当 系 统 上 电 后 , CPLD 产 生 复 位 信 号 复 位整个芯片到初始状态, 然后对芯片进行并行数据注入, 向 CMOS 图像传感器的特殊寄存器写入预定值, 设置诸如 像 元 积 分时间, 像素读出行数, 输出放大器增益等参数。随后 CPLD 给 CMOS 芯 片 提 供 ss_start 信 号 , 标 志 开 始 像 素 积 分 , ss_stop 信 号 结束像素积分, 随后图像传感器即处于可读出状态 。向 CMOS 发出 y_start 信号开始一 帧 图 像的 读 出 , 发出 y_clock 信 号 , 开始 一 行 图 像 的 读 出 , 当 CMOS 图 像 传 感 器 有 像 素 信 号 输 出 时 , pxl_valid 引 脚信 号 为 高 , 此 时 CMOS 图 像 传 感 器 正 在 进 行 一 行 图 像 的 输 出 , 当 pxl_valid 变 低 时 , 一 行 图 像 输 出 结 束 , CPLD 再 提供 下 一 个 y_clock 信 号 , 启 动 CMOS 进 行 下 一行 图 像 的读 出 。 当 一 帧 图 像 的 最 后 一 行 开 始 读 出 时 , CMOS 芯 片 的 LAST_LINE 引 脚 变 高 , 标 志 一 帧 图 像 读 出 的 结 束 , CPLD 再 产 生 下 一 个 ss_start 信 号 , 开始 下 一 帧图 像 的 读出 。这 样 , CMOS 就 在 CPLD 的时序控制下, 正常工作,循环读出图像。系统图像采集模块时 序仿真波形如图 4
goal of the image collecting has reached the satisfactory result.
技
Key wor ds: CMOS image sensor ; Timing; Bulk tr ansfer ; Rolling shutter ; Synchr onous shutter
器 , 以 及 40Msamples/s 高 速 A/D 转 换 模 块 , A/D 量 化 等 级 为 10bit, 可 直 接 输 出 模 拟 信 号 或 数 字 信 号 , 内 部 有 大 量 的 寄 存 器 和控制器, 可以对传感器的工作状态进行实时调整。芯片支持 开窗技术亚采样技术, 根据实际需要实时提高帧速率。
circuit hardware and timing. This system selects IBIS5- A- 1300 as its image collecting chip and EZ- USB FX2 as its data transfer
chip. Finally the result given by experiment shows that the system make the collectiBaidu Nhomakorabeag image credible and in focus, shooting the