6.2 仿复眼视觉系统的研究进展_邢强
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
采用 CCD 相机阵列模拟复眼结构在工程应用中易于实现。如将常规光学镜头,按照某半径形成环形 或球型结构,获取序列图像,通过对图像特征的提取、拼接,制作出全 景 图 像。 国 内 在 80 年 代 就 研 制 出 环 形旋转式全景相机并投入使用。在 全 景 大 视 场 图 像 获 取 上,有 以 下 几 种 主 要 方 式[4]:通 过 云 台 准 确 控 制 单/双相机旋转;采用 CCD 环形阵列获取环形场景图片;将 CCD 相 机 排 列 在 球 面 或 立 方 体 表 面 来 获 取 图 像。Sarachick、Ishiguro旋转单摄像机的室内全景图像及 Thierry、Ryad等人采用双摄像机旋转获得全景 图像;2008年,王永松等人,结合 CPLD、AVR 微 处 理 器,将 六 个 60°视 角 的 线 阵 CCD 环 状 排 列 构 成 360° 视角,通过多通道同步采集实现大视角的多目标快速识别与定位跟踪;2010年,周永庆等人采用线阵 CCD
2.College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)
Abstract:Compound eye is one of the most important peripheral sensors in insects,which consists of thousands of ommatidia.The compound eye is characterized as multi-aperture imaging and fast parallel processing,which insures the ability of fast detection and location on obstacles and predators.These characteristics have been widely recognized in several research fields,such as robot visual navigation, obstacle avoidance,machine vision,guided missile.Firstly,the biological mechanism,imaging features, and the existed large field visual system of the compound eyes were introduced;secondly,the different optical systems designed with micro lens array imitation from compound eyes,the panoramic image quality with large field of view and depth field,and the surface micro-lens imaging defects were discussed;finally,the idea of combining the surf and plane micro lens array to achieve a system with large field of view and large depth of field was proposed.Based on the judgment of quality in panoramic images,position estimation of such a system can be achieved in detecting multiple moving targets. Key words:bio-mimetic optics;artificial visual system;compound eye;micro lens array;large field of view
* 收稿日期:2012-09-18 基金项目:国家自然科学基金资助项目(960910007、61161120323);中国博士后科学基金(2012M521071);国 家 自 然 科 学 基 金 重 点 项 目(61233014) 作 者 简 介 :邢 强 (1985-),男 ,江 苏 南 通 人 ,博 士 研 究 生 ,主 要 从 事 仿 生 物 视 觉 方 面 的 研 究 。
第一种形式是 1992 年 Adelson 等 人,通 过 散 光 片、主 透 镜、物 镜 以 及 微 透 镜 阵 列 组 合 形 成 全 景 相 机[6],如图3(a)所示。在每个微透镜下采用r、s、t三个成像区接收来自不同方向的光 线:当 目 标 在 焦 平 面 时,目标在对应的单微透镜下的s区域成像;当目标 靠 近 或 者 远 离 焦 平 面 时,则 有 规 律 地 对 应 于 相 邻 的 微 透镜的r或t区域内。根据上述的目标成 像 位 置 与 焦 平 面 的 关 系,通 过 目 标 的 成 像 位 置 可 实 现 目 标 的 位 置估计,但该设计忽略了图像的合成与重构,图像质量较差。2001年,Naemur采用该微透镜阵列,获 得在 一定景深范围内的清晰成像,效果如图3(d)所示 。 [7] 此系统可通过加大 主 透 镜 的 景 深 与 微 透 镜 的 数 量 来 扩大景深范围及分辨率。
本文从微透镜阵列的仿复眼设计和成像两方面来阐述仿生物复眼系统的研究进展。
1 全 景 成 像 的 生 物 模 型
按照组成结构和光学特性,复眼可分为并列型、折射重叠型、反射重叠型以及神经重叠型[3],如图 1 所 示。并列型复眼的小眼可作为光学上的一个最小独立视觉单元 ,接收的光线范围与小眼的视场一一对应, 相邻小眼重叠视场图像的融合可以形成镶嵌像;折射重叠型复眼小眼对应的感 杆 束 可 同 时 接 收 自 己 小 眼 面和相邻小眼面的光,通过叠加在复眼视网膜上形成一个大重叠像,这样的 结 构 方 式 不 仅 提 高 图 像 照 度, 而且可直接实现场景图像的快速成像。为便于工程实现复眼结 构,往 往 采 用 CCD 模 拟 并 列 型 复 眼 结 构, 以此实现复眼具有的大视场全景成像功能。
摘要:复眼是昆虫重要的光 感 受 器,由 成 千 上 万 的 小 眼 构 成,具 有 大 视 野 的 动 目 标 快 速 检 测 能 力。仿复眼的多孔径系统在机器人视觉导航、大视 角 测 量 和 全 景 成 像 等 领 域 应 用 广 泛。 首 先 介 绍 了 复 眼 的 生 物 机 理 、成 像 特 性 及 现 有 的 大 视 场 成 像 系 统 ;其 次 介 绍 了 微 透 镜 阵 列 的 仿 复 眼 光 学 设 计 现 状 ,分 析 了 微 透 镜 阵 列 的 大 视 角 与 多 景 深 的 全 景 成 像 质 量 ,指 出 目 前 曲 面 微 透 镜 一 体 化 制 造 存 在 的 成 像 缺 陷 ;最 后 提 出 结 合 曲 面 与 平 面 微 透 镜 阵 列 实 现 大 视 角 、多 景 深 分 辨 率 的 仿 复 眼 系 统的可行性。该成像系统不仅可以实现全景范围内 的清 晰 成 像,而 且 还 具 有 全 景 范 围 内 的 目 标 位置估计能力。 关 键 词 :仿 生 光 学 ;人 工 视 觉 ;复 眼 ;微 透 镜 阵 列 ;全 景 图 中 图 分 类 号 :TH 74 文 献 标 识 码 :A doi:10.3969/j.issn.1005-5630.2013.03.018
不高的场合。但在机器人运动中,要 实 现 全 景 图 像 获 取 的 同 步 性,CCD 阵 列 间 需 具 有 较 高 的 同 步 性。 采 用多孔径单 CCD 的透镜或者采用高性能的处理器实现多通道 多 CCD 的 实 时 性 采 集,从 而 实 现 仿 复 眼 多 孔径相机设计。 2.1.2 微 透 镜 阵 列 的 结 构
图 2 仿 复 眼 视 觉 系 统 的 结 构 形 式 Fig.2 The types of structure of artificial compound eye
2.2 微 透 镜 阵 列 的 全 景 成 像 设 计 2.2.1 平 面 微 透 镜 结 构
在传感器前添加平面微透镜阵列 来 [6-10] 模拟并列型复眼,该结构 具 有 高 清 晰、成 像 畸 变 小 以 及 对 目 标 位置估计的能力。平面微透镜阵列仿制复眼视觉系统主要有以下三种方式。
· 9 0 ·
光 学 仪 器
第 35 卷
引 言
生物昆虫复眼由成千上万的小眼组 成,视 角 范 围 甚 至 可 以 达 到 360°,具 有 大 视 角 的 快 速 定 位 及 偏 振 光导航功能。一个世纪以来,研究者从光学结构上、视 觉 功 能 上 进 行 模 拟,以 实 现 生 物 复 眼 的 [1-2] 功 能,如 复眼(蜜蜂)背部边缘区域(doral rim area,DRA)感 杆 束 的 高 度 单 色 偏 振 敏 感 特 性,可 用 于 海 航 的 偏 振 光 导航仪;其他区域感杆束,具有空间/颜色视觉敏感特性,与 现 有 的 CCD 相 机 类 似。 昆 虫 复 眼 的 微 透 镜 阵 列结构,是研制多孔径成 像 系 统 和 动 目 标 快 速 运 动 检 测 器 (element movement detesters,EMDs)的 科 学 依据。
图 1 复 眼 的 类 型 Fig.1 Types of compound eye
2 全 景 成 像 仿 复 眼 系 统
全景成像包括两种模式:一种是指大视场的成像,如环形 360°成像;另一种是指视野范 围 内 远 近 目 标 均清晰成像的多景深成像。无论哪种成像方式,可通过不同的微 透 镜 阵 列 与 CCD 阵 列 组 合 的 方 式 实 现, 且具有更大视角。本文主要通过微透镜阵列不同组合形式来介绍全景成像系统。 2.1 仿 复 眼 视 觉 系 统 2.1.1 CCD 相机阵列结构
第 35 卷 第 3 期 2013 年 6 月
光 学 仪 器
OPTICAL INSTRUMENTS
文 章 编 号 :1005-5630(2013)03-0089-06
Hale Waihona Puke Baidu
Vol.35,No.3 June,2013
仿复眼视觉系统的研究进展*
邢 强1,2,戴 振 东1,王 浩1
(1.南京航空航天大学 仿生结构与材料防护研究所,江苏 南京 210016; 2.南京航空航天大学 机电学院,江苏 南京 210016)
Research progress on artificial visual system inspired by compound eyes
XING Qiang1,2,DAI Zhendong1,WANG Hao1
(1.Institute of Bio-inspired Structure and Surface Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;
昆虫复眼具有大视角的全景成像及并行采集功能。仿复眼结构主要是通过制造平面微透镜阵列或者 曲面微透镜阵列,通过 CCD 实现图像信号的同步采集,具有硬件实 现 的 多 通 道 信 号 并 行 采 集 功 能。 其 中 平面微透镜阵列是指微透镜阵列排列在同一平面上,具有同视轴方向;曲面 微 透 镜 阵 列,是 指 将 微 透 镜 规 则 排 列 在 曲 面 ,具 有 各 自 的 视 轴 方 向 ,如 图 2 所 示 。
第3期
邢 强 ,等 :仿 复 眼 视 觉 系 统 的 研 究 进 展
· 91 ·
相机旋转获取图像,实现全景图像的拼接 。 [5] 由 于 系 统 中 存 在 机 械 转 动 机 构 ,系 统 的 同 步 性 差 ,全 景 图 的 获 取 适 用 于 计 算 机 视 觉 和 一 些 同 步 性 要 求
2.College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China)
Abstract:Compound eye is one of the most important peripheral sensors in insects,which consists of thousands of ommatidia.The compound eye is characterized as multi-aperture imaging and fast parallel processing,which insures the ability of fast detection and location on obstacles and predators.These characteristics have been widely recognized in several research fields,such as robot visual navigation, obstacle avoidance,machine vision,guided missile.Firstly,the biological mechanism,imaging features, and the existed large field visual system of the compound eyes were introduced;secondly,the different optical systems designed with micro lens array imitation from compound eyes,the panoramic image quality with large field of view and depth field,and the surface micro-lens imaging defects were discussed;finally,the idea of combining the surf and plane micro lens array to achieve a system with large field of view and large depth of field was proposed.Based on the judgment of quality in panoramic images,position estimation of such a system can be achieved in detecting multiple moving targets. Key words:bio-mimetic optics;artificial visual system;compound eye;micro lens array;large field of view
* 收稿日期:2012-09-18 基金项目:国家自然科学基金资助项目(960910007、61161120323);中国博士后科学基金(2012M521071);国 家 自 然 科 学 基 金 重 点 项 目(61233014) 作 者 简 介 :邢 强 (1985-),男 ,江 苏 南 通 人 ,博 士 研 究 生 ,主 要 从 事 仿 生 物 视 觉 方 面 的 研 究 。
第一种形式是 1992 年 Adelson 等 人,通 过 散 光 片、主 透 镜、物 镜 以 及 微 透 镜 阵 列 组 合 形 成 全 景 相 机[6],如图3(a)所示。在每个微透镜下采用r、s、t三个成像区接收来自不同方向的光 线:当 目 标 在 焦 平 面 时,目标在对应的单微透镜下的s区域成像;当目标 靠 近 或 者 远 离 焦 平 面 时,则 有 规 律 地 对 应 于 相 邻 的 微 透镜的r或t区域内。根据上述的目标成 像 位 置 与 焦 平 面 的 关 系,通 过 目 标 的 成 像 位 置 可 实 现 目 标 的 位 置估计,但该设计忽略了图像的合成与重构,图像质量较差。2001年,Naemur采用该微透镜阵列,获 得在 一定景深范围内的清晰成像,效果如图3(d)所示 。 [7] 此系统可通过加大 主 透 镜 的 景 深 与 微 透 镜 的 数 量 来 扩大景深范围及分辨率。
本文从微透镜阵列的仿复眼设计和成像两方面来阐述仿生物复眼系统的研究进展。
1 全 景 成 像 的 生 物 模 型
按照组成结构和光学特性,复眼可分为并列型、折射重叠型、反射重叠型以及神经重叠型[3],如图 1 所 示。并列型复眼的小眼可作为光学上的一个最小独立视觉单元 ,接收的光线范围与小眼的视场一一对应, 相邻小眼重叠视场图像的融合可以形成镶嵌像;折射重叠型复眼小眼对应的感 杆 束 可 同 时 接 收 自 己 小 眼 面和相邻小眼面的光,通过叠加在复眼视网膜上形成一个大重叠像,这样的 结 构 方 式 不 仅 提 高 图 像 照 度, 而且可直接实现场景图像的快速成像。为便于工程实现复眼结 构,往 往 采 用 CCD 模 拟 并 列 型 复 眼 结 构, 以此实现复眼具有的大视场全景成像功能。
摘要:复眼是昆虫重要的光 感 受 器,由 成 千 上 万 的 小 眼 构 成,具 有 大 视 野 的 动 目 标 快 速 检 测 能 力。仿复眼的多孔径系统在机器人视觉导航、大视 角 测 量 和 全 景 成 像 等 领 域 应 用 广 泛。 首 先 介 绍 了 复 眼 的 生 物 机 理 、成 像 特 性 及 现 有 的 大 视 场 成 像 系 统 ;其 次 介 绍 了 微 透 镜 阵 列 的 仿 复 眼 光 学 设 计 现 状 ,分 析 了 微 透 镜 阵 列 的 大 视 角 与 多 景 深 的 全 景 成 像 质 量 ,指 出 目 前 曲 面 微 透 镜 一 体 化 制 造 存 在 的 成 像 缺 陷 ;最 后 提 出 结 合 曲 面 与 平 面 微 透 镜 阵 列 实 现 大 视 角 、多 景 深 分 辨 率 的 仿 复 眼 系 统的可行性。该成像系统不仅可以实现全景范围内 的清 晰 成 像,而 且 还 具 有 全 景 范 围 内 的 目 标 位置估计能力。 关 键 词 :仿 生 光 学 ;人 工 视 觉 ;复 眼 ;微 透 镜 阵 列 ;全 景 图 中 图 分 类 号 :TH 74 文 献 标 识 码 :A doi:10.3969/j.issn.1005-5630.2013.03.018
不高的场合。但在机器人运动中,要 实 现 全 景 图 像 获 取 的 同 步 性,CCD 阵 列 间 需 具 有 较 高 的 同 步 性。 采 用多孔径单 CCD 的透镜或者采用高性能的处理器实现多通道 多 CCD 的 实 时 性 采 集,从 而 实 现 仿 复 眼 多 孔径相机设计。 2.1.2 微 透 镜 阵 列 的 结 构
图 2 仿 复 眼 视 觉 系 统 的 结 构 形 式 Fig.2 The types of structure of artificial compound eye
2.2 微 透 镜 阵 列 的 全 景 成 像 设 计 2.2.1 平 面 微 透 镜 结 构
在传感器前添加平面微透镜阵列 来 [6-10] 模拟并列型复眼,该结构 具 有 高 清 晰、成 像 畸 变 小 以 及 对 目 标 位置估计的能力。平面微透镜阵列仿制复眼视觉系统主要有以下三种方式。
· 9 0 ·
光 学 仪 器
第 35 卷
引 言
生物昆虫复眼由成千上万的小眼组 成,视 角 范 围 甚 至 可 以 达 到 360°,具 有 大 视 角 的 快 速 定 位 及 偏 振 光导航功能。一个世纪以来,研究者从光学结构上、视 觉 功 能 上 进 行 模 拟,以 实 现 生 物 复 眼 的 [1-2] 功 能,如 复眼(蜜蜂)背部边缘区域(doral rim area,DRA)感 杆 束 的 高 度 单 色 偏 振 敏 感 特 性,可 用 于 海 航 的 偏 振 光 导航仪;其他区域感杆束,具有空间/颜色视觉敏感特性,与 现 有 的 CCD 相 机 类 似。 昆 虫 复 眼 的 微 透 镜 阵 列结构,是研制多孔径成 像 系 统 和 动 目 标 快 速 运 动 检 测 器 (element movement detesters,EMDs)的 科 学 依据。
图 1 复 眼 的 类 型 Fig.1 Types of compound eye
2 全 景 成 像 仿 复 眼 系 统
全景成像包括两种模式:一种是指大视场的成像,如环形 360°成像;另一种是指视野范 围 内 远 近 目 标 均清晰成像的多景深成像。无论哪种成像方式,可通过不同的微 透 镜 阵 列 与 CCD 阵 列 组 合 的 方 式 实 现, 且具有更大视角。本文主要通过微透镜阵列不同组合形式来介绍全景成像系统。 2.1 仿 复 眼 视 觉 系 统 2.1.1 CCD 相机阵列结构
第 35 卷 第 3 期 2013 年 6 月
光 学 仪 器
OPTICAL INSTRUMENTS
文 章 编 号 :1005-5630(2013)03-0089-06
Hale Waihona Puke Baidu
Vol.35,No.3 June,2013
仿复眼视觉系统的研究进展*
邢 强1,2,戴 振 东1,王 浩1
(1.南京航空航天大学 仿生结构与材料防护研究所,江苏 南京 210016; 2.南京航空航天大学 机电学院,江苏 南京 210016)
Research progress on artificial visual system inspired by compound eyes
XING Qiang1,2,DAI Zhendong1,WANG Hao1
(1.Institute of Bio-inspired Structure and Surface Engineering,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;
昆虫复眼具有大视角的全景成像及并行采集功能。仿复眼结构主要是通过制造平面微透镜阵列或者 曲面微透镜阵列,通过 CCD 实现图像信号的同步采集,具有硬件实 现 的 多 通 道 信 号 并 行 采 集 功 能。 其 中 平面微透镜阵列是指微透镜阵列排列在同一平面上,具有同视轴方向;曲面 微 透 镜 阵 列,是 指 将 微 透 镜 规 则 排 列 在 曲 面 ,具 有 各 自 的 视 轴 方 向 ,如 图 2 所 示 。
第3期
邢 强 ,等 :仿 复 眼 视 觉 系 统 的 研 究 进 展
· 91 ·
相机旋转获取图像,实现全景图像的拼接 。 [5] 由 于 系 统 中 存 在 机 械 转 动 机 构 ,系 统 的 同 步 性 差 ,全 景 图 的 获 取 适 用 于 计 算 机 视 觉 和 一 些 同 步 性 要 求