基于鱼眼镜头的全方位视觉系统建模

鱼眼镜头成像不同于普通镜头， 具有相当长的景 但 用鱼眼镜头 所 深， 有利于 表现照 片的 长景深效果 ， 摄图像变形严重. 为了表示真实场景中物体在镜头成 即建立图像像素位置与空间重点位 像平面上的投影， 进而 置之 间的关系， 需 要对 鱼眼镜头建 立成像 模型 ，
（2007AA04Z229） 基金项目： 国家 863 资助项目
第3期
苑光明,等:基于鱼眼镜头的全方位视觉系统建模
— 49 —
律来设计， 根据投影规律可以得出它们各自的畸变校 正模型. （1）等距修正模型. 等距投影是： r′ = （ f w） ， 所以有 -1 f （r）= r′/ f （11） 1 （10） 结合 可得： r = z arctan[f -（ r′） ] = z arcta r′ f 故等距离修正模型表示为： （ r x′ - x′0） tan r′ f +x x= 0 r tan r′ （y′ - y′0） z f +y y= 0 r 这种图像校正影响鱼眼镜头边缘的成像.
（1967—） 博士研究生， 副教授 . E-mai:gm-yuan@eyou.com 通讯作者： 苑光明 ， 男，
— 48 — 图像物理坐标系中的方位角.
目标 z p w X θ Y O
天
津
工
业
大
学
学来自百度文库
报
第 29 卷
2
Z
鱼眼镜头的畸变模型
鱼眼镜头 的 畸变 是 指由 像 点 发 出 的光 线经 鱼眼 理想像点与摄像机实际成像面上所 镜头透镜折射后， 成的像点之间所存在的光学误差. 主要的畸变误差分 偏心畸变 （切向畸变） 和薄棱镜畸变. 3 类： 径向畸变、 镜头径向曲率的变化. 这种变化会引起图像上的点沿 离中心点越远， 其变形量越大. 正的径向变 径向移动， （1）径向变形. 引起径向变形 的主要原因是光学
2 2 4 δud = p（ + 2p 2uv + O（ [ u， v） ] 1 3u + v ） （6） 2 2 4 δvd = 2p 1uv + p（ + O（ [ u， v）] 1 u + 3v ） （3） 薄棱镜变形. 薄棱镜变形是指由光学镜头制 造误差和成像敏感阵列制造 误差引 起的图像 变形, 这 种变形是由径向变形分量和 切向变形分量共 同构成 , 其数学模型为： 2 2 4 δup = s（ + O（ [ u， v） ] 1 u + v） （7） 2 2 4 δvp = s（ + O（ [ u， v）] 2 u +v）
其次， 为了建立图像像素位置与空间重点位置之 进行如下坐标系变换. 间的关系， （1）绝对坐标系到鱼眼镜头坐标系. 设空间一点 （xw， 在绝对坐标系中的坐标为 yw， z w） ， 在鱼眼镜头坐标 （xc， 系中的坐标为 y c， z c） ， 它们之间的刚体变换为 xc r00 r01 r02 xw t0 yc = r10 r11 r12 yw + t1 （1） zc r20 r21 r22 z w t2
（2） 等 立体角 修 正 模型 . 等 立体角 投 影 是 ： r′ = ， 所以有 2fsin （w ） 2 f-1 （r）= 2 arcsin r′ （13） 2f （10） 结合式 可得： r = z tan （2 arcsin r′ ） 2f 故等角修正模型表示为： z （x′ - x′0） tan （2arcsin r′ ） 2f + x x= 0 r′ （14） z （y′ - y′0） tan （2arcsin r′ ） 2f + y y= 0 r′ （3）正交校正模型. 正交投影为:r′ = fsinw，所以 有 f-1 （r）= 2 arcsin r （15） 2f 结合式 （10） 可得： r = z tan （2arcsin r ） f 故正交校正模型表示为： （x′ - x′0） z tan （2arcsin r′ ） f x= + x0 r′ （16） r ′ （y′ - y′0） z tan （2arcsin ） 2f + y y= 0 r′ 但是 在鱼眼镜头内部这个调整过程是比较好的， 在图像边缘处扭曲比较严重一些. 为了 得 到鱼眼镜头图像 进行 以 下实验 . 首先 用 得到成像模 鱼眼镜头的图像采集卡对图像进行采集， 使用立方体投影， 根据 型， 然后再利用鱼眼投影曲线， 使用鱼眼图像畸变校正系统 成像平面确定映射关系， 对鱼眼图像进行畸变校正. 修正模型对鱼眼镜头图像 的影响如图 2 所示. 图 2 （a） 为鱼眼镜头的图像采集卡
运动目标识别跟踪是计算机视觉领域中最活跃 其核心任务是利用计算机视觉技术 的研究课题之一， 从图像序列中识别、跟踪运动目标. 与其他用于运动 全方位摄像机可以在图像中 目标检测的传感器相比， 获取水平方向 360°的环境信息. 利用全方位视觉的这 个特点， 移动机器人在任意位姿的情况下可以全方位 的实时检测机动目标运动的信息. 鱼眼镜头是一种超 它的焦距极短并且视角接近或能达 广角的特殊镜头， 这种摄 影 到 180° ， 为了让镜头达到最大的摄 影视角， 镜头的前镜片直径很短且呈抛物状向镜头前部凸出， 和鱼的眼睛很相似，因此有了鱼眼镜头的说法. 鱼眼 镜头可以 实现近距离或超近距离 大视 场立体 视觉感 知，但同时也引入了非常严重的图像变形. 图像变形 而是 的主要原因是鱼眼镜头的真正成像面不是平面， 近似于球状的曲面. 本文将重点研究基于鱼眼镜头的 全方位视觉图像的建模.
3
鱼眼镜头的畸变校正模型
鱼眼镜头可以用下面的方程式来描述： r′ = （ f ω） （8）
{
⎧ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⎨ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⎩
2 2 其中 w = arctan √x + y = arctan r （9） z z 由式 （8） 、 （9） ， 可以得到： r′ = （ f w）= （ f arctan r ） （10） z 式中： 鱼眼图像中的点 p （x， y， z） 为极坐标系中的校正 为鱼眼图像的中心； 前的一点； p（ ′ x， y） 为校正后的点， r′为 p ′ 到中心点的距离，为校正后图像的中心； r为p 到校正后中心点的距离； z 为校正后平面的高度； ω为 入射角. 径向 畸 变 、 偏心 针 对鱼眼镜头主要 的 3 类畸变 ： 畸变 （即切向畸变） 和薄棱镜畸变， 鱼眼镜头一般都采 等立体角投影和正交投影这 3 种成像规 用等距投影、
鱼眼镜头
R
β x
f
y
o r
p θ
成像面
图1 Fig.1
鱼眼镜头的成像模型
Imaging model of fish-eye lens
形量会引起点向远离图像中心的方向移动, 其比例系 数增大； 负的径向变形量会引起点向靠近图像中心的 方向移动， 其比例系数减小. 数学模型如下[1-2]： 5 δur = k 1u （u2 + v 2）+ O（ [ u， v） ] （5） 2 2 5 δvr = k 1v （u + v ）+ O（ [ u， v）] （2）偏心变形.由于装配误差， 组成光学系统的多 个光学镜头的光轴不可能完全共线， 从而引起偏心变 形， 这种变形是由径向变形分量和切向变形分量共同 构成， 其数学模型为[3-4]：
YUAN Guang-ming， DING Cheng-jun， YU Xue-bo
Abstract：Model of fish-eye lens is studied, the three kinds of distortion of the fish-eye lens，including the radial distortion，distortion eccentric （tangential distortion） ，and thin prism distortion are analyzed, and their own mathematical model are established. Finally，3 kind of distortion adjustment model are obtained according to the projection rule, including equal-space revision model, defined solid angle correction model and orthogonal Key words：fish-eye lens；deformation；modeling correction model.
{ { {
（2）鱼眼镜头坐标 系到理想 图像坐 标系. 鱼眼镜 （xu， yc ， z c） 到理想图像坐标系 yv） 之间的转 头坐标系 （xc， 换为透视投影变换： xu = f xc ， yv = f yc （2） zc zc 式中： f 为焦距. （3）理想图像坐标系到像素坐标系. 理想图像坐 （u， 标系 （xu， yv） 到像素坐标系 v） 之间的变换关系为： u = k xxu + u0 （3） v = k yyv + v 0 式中： k x， k y 为像素尺度系数； （u0， v 0） 为图像中心坐标. （1） 和 （3） 联立式 、 （2） ， 便可得到理想透视投影下 （u， （xw， 的二维图像坐标 v） 与对应的三维坐标 yw， z w） 之 间的关系式： u = r00xw + r01yw + r02z w + t0 f k x + u0 r20xw + r21yw + r22z w + t2 （4） v = r10xw + r11yw + r12z w + t1 f k y + v 0 r20xw + r21yw + r22z w + t2
⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎡ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎤ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦
第 29 卷 第 3 期 2010 年 6 月
天 津 工 业 大 学 学 报 JOURNAL OF TIANJIN POLYTECHNIC UNIVERSITY
Vol.29 No.3 June 2010
基于鱼眼镜头的全方位视觉系统建模
苑光明，丁承君，俞学波
（河北工业大学 机械工程学院， 天津 300130）
（1967—） 博士研究生， 副教授 . 作者简介： 苑光明 ， 男， 收稿日期： 2009-09-25
1
鱼眼镜头的成像模型
对其成像规律进行研究和分析. 首先建立鱼眼镜头的成像模型. 设空间任意一点 如图 1 所示. P 在鱼眼镜头下的成像为 p 点， OXY Z 为鱼眼镜头 坐 标 系 ， oxy 为 图像 平面 坐 标 系， Oo 轴 为鱼眼镜头 光 轴， z 为 P 点到 投影平面的 空 间高度， R 为 P 到镜头中心 O 的水平距离， w为P点 ， 相对镜头中心的入射角 （仰角） θ 为 P 点在鱼眼镜头 坐标系中的方位角， p 为 P 在成像平面中的像点， r为 ， 像点离图像中心点 o 的距离 （径向距离） θ 为像点在
⎧ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⎨ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⏐ ⎩
图2 对图像进行采集得到的图形； （b） 为等距修正模型 图2 畸变校正的结果； （c） 为等立体角修正模型畸变校 图2 正的结果； （d） 是正交校正模型畸变校正的结果.
（12）
（a） 图像采集卡采集
（b） 等距修 正模型畸变校 正
摘
要： 研究鱼眼镜头成像模型， 对鱼眼镜头的 3 种畸变,包括径向畸变、 偏心畸变 （切向畸变） 和薄棱镜畸变进行了 模型和正交校正模型.
分析,并建立了各自的数学模型.最后根据投影规律得出 3 种畸变校正模型： 等距修正模型、 等立体角修正 文献标志码： A 文章编号： 1671-024X （2010） 03-0047-03
关键词： 鱼眼镜头； 变形； 建模 中图分类号： TP391.41
Modeling of full range of visual images based on fish-eye lens
（School of Mechanical Engineering， Hebei University of Technology， Tianjin 300130， China）