一种采用纹理映射技术实现鱼眼镜头快速校正的方法

在图像的扭曲（ 在最后的子图中， 最右边的建筑严重扭
曲） 。图 ７ 是半正方体模型的俯视图， 图中很容易得到：
ｌ ＝ｈ ×ｔｇθ， ｄｌ ＝ｈ ×ａｒｃｔｇθ， 即 ｄｌ 是 随 θ的 变 化 而 变 化 ， 它
ｄθ
ｄθ
本 刊 邮 箱 ：ｅ ｔａ ＠ｎｃｓ ｅ ． ｃｏｍ ． ｃｎ
３９
计算机技术 ● 图形图像与多媒体
１ 采用纹理映射技术实现鱼眼镜头校正的过程 １．１ 映射函数的建立
根 据 整 个 空 间 的 中 心 对 称 性 ， １８０°的 视 场 选 择 以 视 点 Ｏ 为中心， 半径为 Ｒ 的一个半球作为还原模型， 鱼眼 镜 头 的 成 像 过 程 如 图 ２ 所 示 ， 这 样 Ｚ＞０ 的 部 分 就 是 整 个视场。
纹 理 映 射［８］是 计 算 机 图 形 学 中 解 决 物 体 表 面 细 节 的 一种显示技术。把鱼眼照片看作纹理图片， 按照纹理映
如 图 ２ 所 示 ， 鱼 眼 镜 头 的 成 像 过 程［６］可 以 分 为 三 步 ： （１） 每 个 空 间 点 Ｐ０ 被 映 射 为 连 结 Ｐ０ 与 投 影 中 心 Ｏ 的 射 线 ＯＰ０； （２）将 射 线 ＯＰ０ 线 性 地 映 射 到 单 位 球 面 上 ， 得 到 球 面 透 视 投 影 图 像 Ｐ１； （３ ） 将 球 面 点 Ｐ１ 非 线 性 地 投 影 到 平 面 ＸＯＹ 上 ， 得 到 鱼 眼 照 片 上 成 像 点 Ｐ２。 在 图 ２ 中 ， 整 个 半 球 在 ＸＯＹ 平 面 上 的 投 影 部 分 就 是 最 后 镜 头 生 成 的 鱼 眼照片。
图 ５ 中 ， 设 三 角 形 Ｐ０Ｐ１Ｐ２ 三 个 顶 点 的 ＵＶ 坐 标 是 可 知 的 ， 求 解 其 内 部 点 Ｐ３ 的 ＵＶ 坐 标 。
《电子技术应用》２００６ 年第 ８ 期
图 ４ 目标图像的网格划分
Ｙ
Ｐ２
Ｂ
Ｗ
Ｐ３
Ｐ１
Ｐ０
Ａ
Ｘ 图 ５ 确 定 三 角 形 边 上 或 内 部 点 ＵＶ 坐 标 算 法 示 意 图
照片上的点。
由 于 ＵＶ 坐 标 的 范 围 是 ［０ ， １］， 所 以 将 公 式 （４）坐 标 变
换， 可以得到映射函数：
%
ｕ’
’
＝
０
．
５
＋
０ ． ５ ×ｍ
’ ’’
$ｍ２ ＋ ｎ２ ＋ ｐ２
&
（５）
’
ｖ’
’
＝
０
．
５
＋
０ ． ５ ×ｎ
’’ (
$ｍ２ ＋ ｎ２ ＋ ｐ２
１．２ 映射过程的实现
对图 ３ 中确定的目标图像进行网格划分， 得到目标
关键词： 鱼眼镜头 校正算法 纹理映射
在 机 器 人 导 航 ［１］、虚 拟 现 实 、基 于 图 像 的 绘 制 以 及 视 觉监控等许多计算机视觉领域，需要使用具有较大视场 的 鱼 眼 镜 头 ［２］。 鱼 眼 镜 头 最 大 的 特 点 就 是 视 场 大 ， 一 张 照 片 包 含 的 信 息 非 常 丰 富 。 图 １ 就 是 视 场 为 １８０°的 鱼 眼照片， 它不但包含了整个天空， 而且还包括了四个方 向的信息， 如果使用普通镜头， 至少需要拍摄 ４ 次； 如果 在机器人导航或者监视侦察领域， 就至少需要 ４ 个摄像 头 。这 不 但 增 加 了 成 本 ， 而 且 每 个 镜 头 之 间 的 衔 接 、图 像 的拼接也非常麻烦。
图 ９ 使用圆柱型校正模型产生的效果图
该映射函数对目标图像上每个像素进行处理， 而新方
图 ６ 使用半立方体还原模型产生的效果图
Ｏ !
ｈ ｌ
法 只 对 网 格 上 的 点 进 行 公 式 （５）处 理 ， 其 他 的 点 都 使 用 公 式（９）进 行 处 理 。 公 式 （５）主 要 是 乘 除 和 开 方 运 算 ， 公 式 （９）主 要 是 乘 除 运 算 ， 因 此 前 者 要 比 后 者 复 杂 ， 需 要 更 多 的 运 算 时 间 。 假 如 目 标 图 像 是 ２００ ×２００ 像 素 规 模 的 ， 目 标 图 像 采 用 ２０ ×２０ 的 网 格 划 分 （ 试 验 证 明 采 用 这 样的网格划分， 校正效果已非常理想） ， 传统方法需要 进 行 ２００ ×２００ 次 公 式 （５ ） 运 算 ， 而 新 方 法 则 采 用 ２０ ×２０ 次 公 式 （ ５ ） 运 算 ， ２００ ×２００ － ２０ ×２０ 次 公 式 （９ ） 运 算 ， 新 方 法 ９９ ％ 的 像 素 都 在 进 行 简 单 的 运 算 。 这 就 是 新 方 法 提高速度的原因。此外， 本实验建立的鱼眼校正模型 比较简单， 建立的映射函数也比较简单， 如果直接采
（ ｍ×Ｒ ， ｎ×Ｒ ， ｐ×Ｒ ）
Байду номын сангаас（３）
#ｍ２＋ｎ２＋ｐ２ $ｍ２＋ｎ２＋ｐ２ $ｍ２＋ｎ２＋ｐ２
Ｐ１ 在 ＸＯＹ 平 面 的 投 影 为 Ｐ２， Ｐ２ 的 坐 标 为 ：
（ ｍ×Ｒ ， ｎ×Ｒ ， ０）
（４）
$ｍ２＋ｎ２＋ｐ２ $ｍ２＋ｎ２＋ｐ２
根 据 鱼 眼 镜 头 的 成 像 过 程 ， 知 道 Ｐ２ 就 是 Ｐ０ 在 鱼 眼
射的思路映射到目标图像上， 可以实现鱼眼镜头的校正。 本文重点不是提出新的校正算法， 而是在传统校正
算法的基础上， 采用纹理映射技术， 提高校正速度， 采用 的 模 型 是 英 向 华 球 面 透 视 投 影 模 型 。 由 于 视 场 为 １８０° 左右的鱼眼镜头应用比较广泛，本文仅讨论该研究对象 的快速校正。
Ｚ
Ｐ０
Ｐ１
Ｏ
Ｐ２
Ｙ
Ｘ 图 ３ 半正方体校正模型
设半球的方程为：
"ｘ２ ＋ ｙ２ ＋ ｚ２ ＝ Ｒ２
（１）
ｚ≥０
设 半 立 方 体 表 面 上 一 点 Ｐ０ （ｍ， ｎ ， ｐ）， 直 线 ＯＰ０ 的 方 程为：
ｘ ＝ｙ ＝ｚ
（２）
ｍｎ ｐ
由 公 式 （１） 和 （２） 得 直 线 ＯＰ０ 交 球 面 于 Ｐ１， Ｐ１ 点 的 坐 标为：
即
ｄｌ 是 ｄθ
常数
，
这
加 复 杂 ， 这 时 候 新 方 法 速 度 快 的 特 点 将 更 加 突 出 。表 １ 是新方法与传统方法校正速度的实验对比（ 采用圆柱 模型而且圆柱顶和侧面采取相同数量的网格， 平台： Ｗｉｎｄｏｗｓ２００３ ＋ＣＰＵ１ ． ８Ｇ＋５１２ＭＢ 内 存 ） 。
样就不存在方向上图像的扭曲， 因此， 将半球型外面的半正方体
Ｐ０ Ｚ
Ｐ１
Ｏ
Ｐ２
Ｙ
图 １ １８０ °鱼 眼 照 片
Ｘ
从图 １ 可以看到， 鱼眼镜头虽然非常方便， 但它拍
图 ２ 鱼眼镜头的成像过程
摄的图像具有非常严重的变形， 必须先经过校正才能使 用。传统的校正主要采用平面透视投影约束， 通过变形 校正模型将空间直线的投影曲线映射为图像平面上的 直 线 ［３～５］。２００３ 年 英 向 华 ［６～７］在 平 面 透 视 约 束 的 基 础 上 提 出球面透视投影约束， 即空间直线的球面透视投影为球 面上的大圆。
ＡＸ×ＢＹ－ ＡＹ×ＢＸ
（８）
" ＝ ＡＸ×ＷＹ－ ＡＹ×ＷＸ ＡＸ×ＢＹ－ ＡＹ×ＢＸ
设 Ｐ０、Ｐ１、Ｐ２ 三 点 的 ＵＶ 坐 标 Ｑ０、Ｑ１ 和 Ｑ２。 根 据 公 式
（６）得 Ｐ３ 点 的 ＵＶ 坐 标 就 是 ：
［! ×（Ｑ１－ Ｑ０）＋" ×（Ｑ２－ Ｑ０）＋Ｑｏ］
（９）
如 果 鱼 眼 照 片 的 尺 寸 是 Ｗｉｄｔｈ ×Ｈｅｉｇｈｔ ， 则 目 标 图 上
图像的网格划分如图 ４ 所示。
根 据 公 式 （ ５ ） 求 解 网 格 上 的 交 叉 点 的 ＵＶ 坐 标 。 确
定 每 个 子 格 内 部 所 有 点 的 ＵＶ 坐 标 。
以 下 介 绍 如 何 根 据 子 网 格 四 个 顶 点 的 ＵＶ 坐 标 确 定
网 格 内 部 任 意 点 ＵＶ 坐 标 的 方 法 。该 方 法 适 合 于 任 何 形
设 向 量 Ａ ＝Ｐ１－ Ｐ０， Ｂ ＝Ｐ２－ Ｐ０， Ｗ ＝Ｐ３－ Ｐ０。 根据数学公式有如下线性关系：
Ｗ ＝!Ａ ＋"Ｂ （!， "∈［０， １］）
（６）
即：
* +* +* + ＷＸ ＝ ＡＸ
ＢＸ
! ×
（７）
ＷＹ ＡＹ ＢＹ "
对（７）式 求 解 ， 可 以 得 到 ：
! ＝ ＢＹ×ＷＸ－ ＢＸ×ＷＹ
状 的 四 边 形 。连 接 四 边 形 一 条 对 角 线 ， 就 把 问 题 转 换 为 ：
根 据 三 角 形 顶 点 的 ＵＶ 坐 标 ， 求 解 三 角 形 边 上 或 内 部 任
何 一 点 ＵＶ 坐 标 。 确 定 三 角 形 边 上 或 内 部 点 ＵＶ 坐 标 算
法示意图如图 ５ 所示。
表 １ 新方法与传统方法校正速度的实验对比
替换为外切圆柱， 则圆柱型校正 模型如图 ８ 所示。改进后的效果 如图 ９ 所示。对比图 ６ 会发现， 图 ９ 在 ４ 个方向上图像分布均 匀， 扭曲也消失了。
Ｚ
目标图像尺寸
方法
采用不同 网格划分 的新方法
校 正 所 需 时 间（ｍｓ）
传统方法 １０×１０×２ 个单元格 ２０×２０×２ 个单元格 ３０×３０×２ 个单元格
根据鱼眼镜头的成像过程， 为了提取整个鱼眼照片
３８ 欢迎网上投稿 ｗｗｗ．ａｅｔｎｅｔ．ｃｎ ｗｗｗ．ａｅｔｎｅｔ．ｃｏｍ．ｃｎ 《电子技术应用》２００６ 年第 ８ 期
计算机技术 ● 图形图像与多媒体
中的立体信息， 在半球上加一个与它外切的半立方体， 它 的 前 、后 、左 、右 和 上 面 分 别 模 拟 环 境 的 前 、后 、左 、右 和上方。半正方体校正模型如图 ３ 所示。
１００×１００×（２×!＋１）
４９６ ２１０ ３２９ ４０７
２００×２００×（２×!＋１）
１ ９３１ ８３８ ９２４ １ １０８
４００×４００×（２×!＋１）
７ ７５１ ３ ３１０ ３ ６２５ ３ ９３７
新 方 法 比 传 统 方 法 灵 活 。新 方 法 校 正 速 度 和 校 正 结
Ｐ０
果都与网格划分有关。网格划分越多， 目标图像就越细
系 ， 常 常 忽 视 目 标 图 像 生 成 中 出 现 的 一 些 问 题 ： （１）当 目 标图像尺寸大于鱼眼照片尺寸时， 根据映射关系， 目标 图像上多个像素就对应鱼眼照片上同一个像素点， 当目 标图像尺寸大于鱼眼照片尺寸约 ４ 倍以上时， 就存在明 显 的 马 赛 克 现 象 。 （２）当 目 标 图 像 尺 寸 小 于 鱼 眼 照 片 尺 寸时， 目标图像上相邻的像素就对应鱼眼照片上距离比 较大的两点， 那么当系统实时运转时， 就会出现目标图 像的闪烁。上述两个问题在传统方法中都没有解决， 而
计算机技术 ● 图形图像与多媒体
一种采用纹理映射技术 实现鱼眼镜头快速校正的方法
薛军涛 １， 贺怀清 １， ２ （１．中 国 民 用 航 空 学 院 计 算 机 科 学 与 技 术 学 院 ， 天 津 ３００３００； ２．天 津 市 智 能 信 息 与 图 像 处 理 重 点 实 验 室 ， 天 津 ３００３００）
摘 要： 鱼眼镜头摄像机具有大视场角的特点， 但存在严重的图像变形， 常规的校正算法实时性 较 差 。本 文 详 细 介 绍 了 采 用 纹 理 映 射 技 术 实 现 鱼 眼 镜 头 校 正 的 方 法 。实 验 表 明 ， 该 方 法 不 但 较 好 地 完 成了镜头的校正， 而且大大提高了系统的实时性， 解决了传统方法中的几个问题。
Ｐ１
腻 ， 运 算 速 度 也 就 越 慢 。根 据 应 用 领 域 的 不 同 ， 选 择 合 适
的网格划分， 就可以兼顾细腻性和实时性。
Ｏ
Ｐ２
Ｙ
新 方 法 可 以 解 决 传 统 方 法 存 在 的 一 些 不 足 。传 统 方 法只强调优化改进目标图像与鱼眼照片之间的映射关
Ｘ 图 ８ 圆柱型校正模型
２ 新方法与传统方法的对比
新方法比传统方法校正速度快。这是新方法的最 大 优 点 。无 论 是 新 方 法 还 是 传 统 方 法 ， 都 是 在 给 目 标 图 像着色， 因此也要建立一个目标图像和鱼眼照片上像 素 的 映 射 函 数 ， 如 公 式 （５）。不 同 的 是 ， 传 统 方 法 会 使 用
Ｐ３ 对 应 鱼 眼 照 片 上 像 素 点 就 是 ：
* + Ｗｉｄｔｈ
［! ×（Ｑ１－ Ｑ０）＋"×（Ｑ２－ Ｑ０）＋Ｑｏ］× Ｈｅｉｇｈｔ
（１０ ）
１．３ 存在的问题及改进
图 ６ 就是采用纹理映射技术实现鱼眼镜头校正的
效果图。可以看到， 图 ６ 中表示 ４ 个方向的子图中景物
的分布密度与实际不符合， 而且靠近方向衔接的地方存
图 ７ 半正方体俯视图
用 传 统 的 校 正 模 型 ， 它 建 立 的 映 射 函 数 要 比 公 式 （５）更
在 ［０ ， ４５°］ 是 递 增 的 ， 当 接 近 方 向 衔 接 （ θ＝４５°） 时 ， 其 值
最大， 因此， 在那里图像扭曲较严重。
在圆中，
周长
ｌ，
圆心角
θ，
ｄｌ ＝Ｒ ｄθ
，