视觉片上系统芯片

２ 可 编 程 视 觉 Ｓ Ｃ 芯 片 ：这 类 视 觉 Ｓ Ｃ 芯 片 ） ｏ ｏ
处理 功能 ，其 目的在 于对 图像进 行预 处理 ，增 强 图 像或 者是 进 行 滤 波 平 滑 锐 化 等 ，方 便 后 续 图像 处 理 ；中级 图像 处理则 负 责进行 图像分 割和 图像 特征 的提取 ，即分 离 出图像 中的不 同物体 和背景 ，然后
半 导体研 究所ｏ－］ ｚ５等诸多 著名 的大学 、研究 机构和 １
企业 开展 了视觉 Ｓ Ｃ芯 片 的研 究 工 作 ，并 逐 渐 形 ｏ 成 了两个 主要 的研究方 向 ： １ ）专 用视觉 芯片 ：主 要 是 针对 某 种 或 某些 具
体应用 而设 计 ，比如运 动探测 、运 动分析 、物体 范 围搜 寻 、 目标 跟踪 和 ３ Ｄ视觉 等 ；
目前 ，国际 国 内虽 然 在 视 觉 Ｓ Ｃ芯 片 的研 究 ｏ
方 面取得 了 明显 的进 步 ，但是 在视 觉信息处 理能 力
器 人视 觉系 统 、图像 识别 、智 能交通 、虚拟现 实及 各 类智 能化玩具 等领 域具有 广泛 的应 用前景 。是 当
方 面与人相 比仍然 具有较 大差距 ：
ＷＵ ｎｊ ｎ Ｎａ － ａ ｉ
（ ｔ ｔ ｙ Ｌａ ｏ ａ ｏ ｙ ｆ ｒ Ｓ ｐ ｒａ ｔ ｅ ｎ ｉｒ ｓ ｒ ｃｕ ｅ ，Ｉ ｓ ｉ ｔ ｆＳ ｍｉｏ ｄ ｃ ｏ ｓ Ｓ ａ ｅ Ｋｅ ｂ ｒ ｔ ｒ ｏ ｕ ｅ ｌ ｔｉ ｓ ａ ｄ Ｍ ｃ ｏ ｔ ｕ ｔ ｒ ｓ ｎ ｔｔ ｅｏ ｅ ｃ ｎ ｕ ｔ ｒ ，Ｃｈ ｎ ｓ ａ ｅ ｆＳ ｉｎ ｅ ） ｃ ｕ ｉ ｅ ｅ Ａｃ ｄ ｍｙ ｏ ｃｅ ｃ ｓ
司和 麻 省 理 工 大 学 ［ 、爱 丁 堡 大 学 ＿ 、东 京 大 ３ ］ ４ ］ 学 引、斯 坦福大 学 引、Ｂ ｒ ｕ ｄ ｕｇ ｎ ｙ大 学嘲 、约翰 霍 普金斯大 学［ 、曼 彻 斯 特大 学 ［］ ９ ］ ∞ 、静 冈大 学［ “ 和
高级 图像处 理 。低 级 图像 处理 完成一 些基本 的 图像
ｈ ｇ ｒ ｃ ｓ ｉ ｇ ｓ ｅ ｄ ａ ｄ ｌ ｗ ｏ ｒｃ ｎ ｕ ｐ ｉ ｎ ｔｈ ｓｂ ｏ ｄ ａ ｐ ｉ ａ ｉ ｎ ｉ ｈ ｓ ｅ ｄ ｔ ｒ ｅ ｒ ｃ ｉ ｇ， ｉ ｈ ｐ ｏ ｅ ｓｎ ｐ ｅ ｎ ｏ ｐ ｗｅ ｏ ｓ ｍ ｔｏ ．Ｉ ａ ｒ ａ ｐ ｌ ｔｏ ｓ ｉ ｈ ｇ ｐ ｅ ａ ｇ ｔｔ ａ ｋ ｎ ｃ ｎ ｍａ ｈ ｎ ｉｉ ｎ，ｉ ｇ ｅ ｏ ｎ ｔ ｎ，ｉ ｔ ｌ ｇ ｎ ｒ ｆｉ ｙ ｔ ｍ ｎ ｉｔ ａ ｅ ｌ ｙ ｃ ｉ ｅ ｖ ｓｏ ｍａ ｅ ｒ ｃ ｇ ｉ ｏ ｉ ｎ ｅ ｌ ｅ ｔｔ ａ ｆｃ ｓ ｓ ｅ ａ ｄ ｖ ｒ ｕ ｌｒ ａ ｉ ． ｉ ｔ
芯片实 现和测 试结果 。
图 ２ 视 觉 Ｓ Ｃ 芯 片 示 意 图 ｏ
Ｆｉ． Ａ ｃ ｉ ｃ ｕ ｅｏ ｉｉｎ Ｓ Ｃ ｈｐ ｇ２ ｒ ｈ ｔ ｔ ｒ ｆｖｓｏ ｏ ｃ ｉ ｅ
视 觉 信 息处 理 的特 征
图 ３给出 了视觉 信息处理 流程及 其特 征 。视 觉 系统 首先完 成 图像 采集 ，然后 进行视 觉 图像 信息 处
Ａｂ ｔ ａ ｔ Ａ ｉｉ ｎ ｓ ｓ ｅ ｏ ｈ ｐ （ ｏ ｓｒ ｃ ： ｖ ｓｏ ｙ ｔ ｍ ｎ ｃ ｉ Ｓ Ｃ）ｗａ ｔ ｏ ｕ ｅ ｉｈ ｉ ａ ｐ ｒ ａ ｔｒ ｓ ａ ｃ ｒ ａｉ ｓ ｉ ｒ ｄ ｃ ｄ ｗｈ ｃ ｓ ｎ ｉ ｏ ｔ ｎ ｅ ｅ ｒ ｈ ａ ｅ ＣＭ ＯＳ ｉ — ｎ ｍ ｎ ｍ ａ ｅ ｓ ｎ ｏ ． Ｔｈ ｅ ｅ ｒ ｈ ｂ ｃ ｇ ｏ ｎ ｎ ｐ ｌ ａ ｉ ｎ ａ ｅ ｆｔ ｅｖ ｓｏ ｏ ｃ ｉ ｒ ｒ ｐ ｓ ｄ Ｔｈ ａ ｅ ｇ ｅ ｓ ｒ ｅ ｒ ｓ ａ ｃ ａ ｋ ｒ ｕ ｄ ａ ｄ ａ ｐ ｉ ｔｏ ｒ ａ ｏ ｈ ｉ ｉ ｎ Ｓ Ｃ ｈ ｐ ｗｅ ｅｐ ｏ ｏ ｅ ． ｃ ｅｐ ｐ ｒ ｐ ｅ ｅ ｔ ｕ ｅ ｅ ｒ ｈ ａ ｔ ｉｙ ａ ｄ ｒ ｃ ｎ ｅ ｕ ｔ ｉｈ ｉ ｃｕ ｅｔ ｅ ｃ ｉ ｒ ｈ ｔ ｃ ｕ ｅ ｉｃ ｉ ｄ ｓｇ ，ｉ ｐ ｅ ｒ ｓ ｎ ｓｏ ｒ ｒ ｓ ａ ｃ ｃ ｉ ｔ ｎ ｅ ｅ ｔｒ ｓ ｌｓｗｈ ｃ ｎ ｌ ｄ ｈ ｈ ｐ ａ ｃ ｉ ｔ ｒ ，ｃ ｒ ｕ ｔ ｅ ｉ ｎ ｍ ｌ — ｖ ｅ
视 觉 片 上 系 统 芯 片
吴 南健
（ 国科 学 院 半 导 体 研 究所 超 晶格 国 家 重 点 实验 室 ， 北 京 １ ０ ８ ） 中 ０ ０ ３
摘 要 ：介绍了 Ｃ Ｓ ＭＯ 图像 传感器领域的一个重要研究 分支—— 视觉片上系统 （ｏ ）芯片 。重点 阐述了视觉 ＳＣ
８ Ｃ 片 的 研究 背 景 、应 用 领 域 、 国 内外 的研 究 动 态 和 关 键 科 学 技 术 问 题 。 围 绕 开 展 的研 究 内 容 和 取 得 的 研 究 ｏ
２ 目前 的视觉 信 息 处理 是 基 于精 确 的数 学 建 ） 模进行 串行计 算来 实现 的 ，仅仅 依靠这 样 的传统 处
理器架 构很难 完成复 杂 的视觉信 息处理 ，无法模 仿
和接近人 脑 的简单直 观感知 与认 知能力 ；
３ ）在 电路 结构上 ，单 元 电路 规 模 大导 致 填 充
Ｋｅ ｒ ｓ ｖｓｏ ｈ ｐ ｉ ａ ｅ ｓｎ ｏ ； ｉ ａ ｅｐ ｏ ｅ ｓｎ ； Ｐ ｌｍｅ ｔ ｒ ｗ ｒ ｃ ｓ ｏ ｙ ｗｏ ｄ ： ｉｉｎ ｃ ｉ ； ｍ ｇ ｅ ｓ ｒ ｍ ｇ ｒ ｃ ｓ ｉ ｇ Ｅ ｅｅ ｎ ； ｏ ｐ ｏ ｅ ｓ ｒ
进行一 些 噪声 去除 等初级 图像 处理 。人的大 脑神 经
可以执行 图像识 别 、智 能 交 通 、机器 人 视 觉 系统 、
图像 自动解释 和虚拟 现实 等多种 图像处 理任务 ，通
过 编程可 以应对 复杂 多变 的实际应 用场合 。
它具 有 图像 处理速度 快 、功能 强 、功 耗低 、体 积小
和成 本低 的优点 ，在高速 运动 目标 的实时追踪 、机
４ ）在 面 向器 件实 现 的算 法 上 ，当前 主 要 是 为
在计 算机 上采用 软件进 行视觉 信息处 理 而设 计 ，忽
视 觉Ｓ Ｃ ｏ 芯片
视 了人 眼并 行视 觉处理 、简单 直观 的视觉感 知与认 知特 性 以及 视觉 芯片高 速图像摄 取 的特征 ，无 法适
特 征
数 据
第 ２卷 第 ３期
２１年 ８ ０ｉ 月
黑
龙
江
大 学
工
程
学
报
Ｖｏ ． １２。 Ｎｏ ３ ． Ａｕ ．， ２ １ ｇ ０１
Ｊ ｕ ｎ ｌ ｆＥｎ ｉｅ ｒｎ ｆ ｉ ｎ ｊ ｎ ｉｅ ｓ ｙ ｏ ｒ ａ ｇ ｎ ｅ ｉｇ ｏ ｌ ｇｉ ｇＵｎ ｖ ｒ ｉ ｏ Ｈｅ ｏ ａ ｔ
收 稿 日期 ：２ １ ７ ｌ ０ 卜Ｏ 一 ９
基 金 项 目 ：国 家 自然 科 学 基 金 项 目
作者 简 介 ：吴 南 健 （ ９ １） １ ６ ，男 ，浙 江金 华 人 ，研 究员 ，博 士 研 究 生 导 师 ，博 士 ，研 究 方 向 ：大 规 模 数 模 混 合 集 成 电 路 设 计 ，Ｅ ｍａｌ ａ ｉ ：ｎ ｎ
得 到 图像 中物体 的特 征 ，如 轮廓 、质 心 和纹 理 等 ；
高级 图像 处理 利用 图像 的特 征信 息 ，根据 已有 的知
识 经 验 ，完 成 物 体 识 别 和 分 析 的任 务 。
ｊ ｎ ｒ ｄ ｓｍｉａ ． ｎ ＠ ｅ ．ｅ ． ｃｃ 。 Ｊ ａ
黑
龙
江
ቤተ መጻሕፍቲ ባይዱ
大
学
工
程
学
报
第 ２ 卷
理 的片上 系统 芯 片 。视 觉 Ｓ Ｃ芯 片 能 够模 仿 人 的 ｏ 视觉 和大脑 图像处 理 系统进行 图像摄 取 、实时 图像 信息并 行处 理和控 制 外 部设 备 等 完整 的系统 操 作 。
用于 视觉芯 片 的并 行视觉 信息 处理 。 本 文将重 点介 绍视觉 信息 处理 的特 征 和我们研 究小组 最近 几 年在 视 觉 Ｓ Ｃ芯 片领 域 取 得 的研 究 ｏ
成果 。下面分 别 给 出 视 觉 信 息 处 理 的 特 征 、视 觉 Ｓ Ｃ芯 片的架构设 计 、芯片 的电路 设计 、视 觉 Ｓ Ｃ Ｏ ｏ
理 。视觉 图像信 息处理 过程根 据处 理的 复杂度 以及
并行 度 的高低可 以划分 为 ３ 层次 ：低级 、中级 和 个
近年来 国内外 研究 机构纷 纷投入 了大量 资金 和
研究人 员支 持 视 觉 Ｓ Ｃ芯 片 的关 键 技 术 研 究 ，取 ｏ
得 了一 系列重 要 的进 展 。加州理 工大学 ¨ 、东芝 公 １ ］
关 键 词 ：视觉芯片 ；图像传感器 ；图像处理 ；Ｐ Ｅ单元 ；行并行处理器
中图 分类 号 ：Ｔ ２２１ Ｐ １．４
文 献标 志码 ：Ａ
文 章 编号 ：２９～ ８ （０ １０—０７ ９ ０５ ０Ｘ ２１）３ ６ ０ ０ ０
Ａ ＣＯＭ Ｓ ｖ ｓｏ ｙ ｔ ｍ ｎ ｃ ｉ ｉｉ ｎ ｓ ｓｅ ｏ ｈ ｐ
１ ）在 视觉 Ｓ Ｃ芯 片体 系架 构 上 ， 当前 的芯 片 ｏ 实现 了局域 像素并 行处理 ，但并 不具 备视觉 图像 的
今 图像 传感 和图像处 理 系统 芯 片研 究 领域最前 沿 的
研 究课 题之一 。
广域 信息处 理能力 ，没 有完全 、充分 的实现 视觉芯
片 的功 能 ；
ｍｅ ｔ ｔｏｎ ａ ｄ ｍ ｅ ｓ ｒ ｍｅ ｆｔ ｉ ｉ Ｃ ｈｉ Ｔｈｅ ｖ ｓ ｏ ｏＣ ｈ ｐ ｈａ ｈｅ ａ ｖａ ａ ｓｏｆｓ ｌ ｉｅ， ｎ ａ ｉ ｎ ａ ｕ ｅ ｎｔｏ ｈｅ ｖ ｓｏｎ Ｓｏ ｃ ｐ． ｉｉｎ Ｓ ｃ ｉ ｓ ｔ ｄ ｎｔ ｇｅ ｍａ ｌｓｚ
０ 前
言
元 网络是 一个 视 觉 图像 处 理 系 统 ，具 有 非 常 强 的 、 对所摄 取 的视觉 信 息进行 并行 处理 的 能力 。
视 觉是 人类 感知 外部 世 界 的最 重要 手段 ，人类 从 外部 环境 获取 信息 中的 ８ ％是视 觉信 息 。如 图 １ ０ 所 示人 的视 觉信 息 系统包 括人 的 眼睛 和大脑 。人 的
眼睛是 一个 典型 的 图像传 感器 ，能够摄 取 图像 并且
加州 理工 学 院 Ｍｅｄｊ 东 京 大 学 石 川 正俊 ［ ａ Ⅲ和 ２
最 先提 出 了视 觉片 上系 统 （ ｏ Ｓ Ｃ） 芯片 的概 念 。如 图 ２ 示 视觉 Ｓ Ｃ芯 片 是 一 种 集 图像 传 感 器 和 图 所 ｏ 像信 息处 理 电路 为 一体 ，实 现高 速实 时视觉 信息 处
信息传输
率 低 ，很 难实 现高精度 处理 ，满 足不 了真正 的视 觉
芯 片的要求 ；
图 １ 人 眼 和大 脑 组 成 的 视 觉 系统 的截 面 示 意 图
Ｆ ｇ １ Ｓ ｈ ｍａ ｉ ｆｈ ｍａ ｉｉｎ ｓ ｓｅ ｉ ． ｃ ｅ ｔ ｏ ｕ ｎ ｖｓｏ ｙ ｔｍ ｃ
成果 ，详 细地介 绍了视觉图像信息处理 的特征 、视觉 ８ Ｃ芯 片的架构 、芯片的 电路设 计 、视觉 ８ Ｃ芯 片实现和 ｏ ｏ 测试结 果 。它具 有图像处理速度快 、功能 强、功耗 低 、体 积小 和成 本低 的优 点 ，在 高速 运动 目标 的实 时追 踪 、 机 器人 视觉 系统 、图像识别 、智能交通和虚拟现实等领域具有 广泛的应用前景 。