大视场光学显示设备图像畸变校正算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3. 2 双线性插值 设 d 点的坐 标为 ( xd, yd ), xd 和 yd 大 部分 情况 下
都不是整数。原 始图像 中点 d 周围 的 4个像 素点, 距 离点 d越近对点 c的灰度值贡献 越大。双线性插 值的 方法定义如下:
f (xd, yd ) = ( x + 1 - xd ) (y + 1- yd )f ( x, y) + ( x + 1 - xd ) (yd - y )f (x, y + 1) +
处理, 消除畸变带来的不利影响。给出了较为全面的算法性能衡量指标, 利用 M a tlab和 VC++ 6. 0对校 正算法进行 详
细的仿真和深入的分析、比较。仿真结果表明, 经过优化的校正算 法保证了畸变校正的准确性和实时性。
关键词: 畸变校正; 大视场光学设备; 多项式变换; 双线性插值; 仿真
提高多项式的次数, 不仅计算量急剧增加, 而且由于系
统有效数字的舍入误差加大, 造成拟合精度急剧恶化。
我们将采用最小二乘 法解 决这一 问题, 即 使拟 合误差
平方和达到最小 [ 11]:
L
N N- i
x= (ul -
aij
x
i l
yjl
)
2
l= 1
i= 0 j= 0
( 2)
L
N N- i
y= ( vl -
第 5期
郑 春等: 大视场光学显示设备图像畸变校正算法
25
点的灰度值有 关。按照 坐标顺 序, 依 次生成 校正图 像 上每一像素点的灰度值, 即可得到所需的校正图像。
灰度校正最简 单的 方法是 最近邻 插值, 也叫零 阶 插值, 即点 c取离 点 d 最近 像素 点的 灰度 值。这种 方 法的优点是实时性 好, 缺 点是不 能够 精确地 反映实 际 情况的灰度 值 [ 13] 。三次 卷积 插值 需要 参考 点 d 邻 近 16个坐标点 的灰 度值, 是精 确度 比较 高 的插 值方 法, 可以保持较好的图 像边 缘细节, 但它 的缺点 是计算 量 较大。还有一种 折衷 方法 双线 性插 值法, 它由 点 d 周围的 4个像素的灰度值, 估计点 c的灰度值。双线 性插值法插值精度 高于 最邻近 插值 法, 并且 在程序 复 杂性和运算时间上, 优于三次卷积插值, 综合考虑 运算 精度和计算量, 本文采用双线性插值法进行灰度校正。
中图分类号: V 241
文献标志码: A
文 章编号: 1671- 637X ( 2011) 05- 0023- 05
Im age D istortion Correction A lgorithm of Large-FOV D isp lay D evice
ZH ENG Chun1, 2, ZHOU Y ong jun1, 2, W EN Y ongq iang3
u=
aij xiy j
i = 0 j= 0
N N-i
v=
bij xiy j
i = 0 j= 0
( 1)
式中: aij和 bij是多项式的系数; N 为多项式的次数。
如果直接对式 ( 1 )进行求 解, 得 到两 个系 数组 aij
与 bij, 则需要相当大的计算量。除此之外, 如果拟合多
项式的次数不够高, 则造成拟合精度较差; 如果一味地
1 畸变校正原理
本研究中显 示 设备 的 光学 系 统由 光 学工 程 软件 CODE V 设计和 分析, 该软 件可 给出 像源 图 像和 显示 图像之间的对应关系, 表示形式为两种图像抽样点 ( 控 制点 ) 的对应坐标。为了便于描述和理解, 我们约定:
24
电光与控制
第 18卷
1) 显示设备显示出来的 图像称为显 示图像, 记为 f = (x, y ), 如果忽略光学系统的放 大效果, 显示图 像应 与输入到光学显示设备的原始图像相同;
0 引言
在大视场光学 显示 设备中, 由于显 示光 学系统 视 场大, 离轴 角也 大, 造 成光 学 系统 的 剩余 畸 变 像差 很 大, 显示画面因畸变而严重变形。一般来说, 越接 近视 场的边缘, 其畸变值就越大 [ 1]。目前, 国内外对畸 变校 正技术已进行了大量的实 验研究工 作。很多文 献 [ 2- 4] 对医用内窥镜图像 的畸 变校正 技术 进行了 研究, 但 内 窥镜图像视 场 较小, 且畸 变 具有 中 心对 称 性; 有的 文 献 [ 5]提出了摄像机 镜头 畸变的 校正 方法, 但 大多数 方
图像 畸 变校 正 的方 法 包括 两 个步 骤: 1) 空 间 变 换, 描述原始图像与校正图像对应像素的映射关系; 2) 灰度校正, 通过插值确定校正图像像素的灰度值 [ 7]。
2 空间变换
2. 1 空间变换方法的选择 大视场光学显示设备对光学性能和光学畸变 要求
严格, 光学系统 的设计 复杂、难 度大, 产生 的畸变 为多 种畸变成份的综 合 [ 8] , 其 校正方 法按 原理可 分为基 于 控制对象的方法 和模 式ຫໍສະໝຸດ Baidu两 大类 : [ 9] 前者是 利用控 制 对象 (包括点、直线或其他 特征对 象 ) 对目 标的控 制函 数进行优化来实现 对图 像的非 线性 校正; 后 者是基 于 大视场显示设备光学特性模型来对光学显示系统 的非 线性畸变进行校正的方法。模式法需要分析光学 系统 的畸变特性模型, 由于大 视场光 学显 示设备 产生的 非 线性畸变较为 复杂, 畸变特 性模型 难以 给出。本文 根 据光学设计软件 CODE V 所能给出畸变数据的特点以 及校正的精度要求, 选择 基于控 制对 象方法 中的多 项 式变换作为校正工作的基础。 2. 2 多项式变换
第 18卷 第 5期 2011年 5月
电光与控制 E lectronics O ptics & C ontro l
V o.l 18 N o. 5 M ay 2011
大视场光学显示设备图像畸变校正算法
郑 春 1, 2, 周拥军1, 2, 温永强3
( 1. 光 电控制技术重点实验室, 河南 洛阳 471009; 2. 中航工业洛阳电光 设备研究所, 河南 洛阳
对于大视场光学 显示设备, 显示图像 ( 原始图 像 ) 与畸变图像 (校正图像 ) 之间是 非线性的 变换关 系, 通
常用坐标间的多项式 变换 来表示, 原始图 像中 任一点
( x, y )与校 正 图像 中 对应 点 ( u , v )的 变 换关 系 由式
( 1)表示 [ 10] :
N N- i
分为对称的两部分, 利 用多 项式对 其中一 部分 进行变
换, 拟合出左半 图 (或 右半 图 ) 的空 间映 射 关系, 再根
据左右对称性, 得出整 个原 始图像 与校正 图像 对应像
素的映射关系。进行多项式变换的控制点数目减少了
一半, 因此, 对称变 换法减少 了运算 量, 同时 也在降低
拟合多项式次数的前提下提高了校正精度。
3. 中国人民解放军驻洛阳电光设备研究所军事代表室, 河南 洛阳 471009)
4 710 09;
摘 要: 在大视场光学显示设备中, 画面会因畸变而严重变形。为了使最终的成像结果不发生畸变, 根据大视场光学
显示设备的畸变特性, 选择适合的校正方法并进行优化, 提出对称 变换法和 改进的双线 性插值法, 对像 源图像进行 预
本文研究的目的就是将原始图像经过畸变校 正得 到校正图像 g = (u , v ), 使其尽可能地 接近畸变 图像 g = ( u, v ), 这样经过显示设备后, 就可以得到与原始图 像相近的显示图像。畸变校正系统示意见图 1。
图 1 校正系统示意图 F ig. 1 Schem atic o f correc tion system
3 灰度校正
3. 1 灰度校正方法的选择 图像畸变校正的第 2个步骤
像重采样 [ 12] 。
灰度 校正也叫图
图 2 双线性插值示意图 F ig. 2 B ilinea r in terpolation
如图 2, 多项式变换使得校正图像上的像素点 c与 原始图像上像素点 d 对 应, c 与 d 的灰 度值应 该相同, 由于点 d 不是整像素 点, 它 的灰度 值与其 四周 的像素
3. M ilitary D epu ty O ffice of PLA in Luoyang Institute o f E lec tro-O ptic Equ ipm en t, L uoyang 471009, China)
A bstract: T he im age m ay deform seriously in large-FOV d isplay dev ices due to d istortion. Appropriate correct ion m ethod w as chosen and optim ized based on the d istortion characteristics to avo id d istortion in the f inal im ag ing. The m ethods of symm etrical transform and im proved bilinear interpo lation w ere proposed for pretreatm en t of im age source to e lim inate the adverse effects of the d istortion. The com prehensive indexes for estim at ing the a lgorithm perfo rm ance w ere presented. T he correction a lgorithm w as analyzed by sim ulat ion w ith M atlab and VC++ 6. 0, and the experim ental resu lt show s that this opt im ized m ethod can im prove the veracity of d istortion correction as w ell as the rea-l tim e perform ance. K ey words: distortion correct ion; large-FOV d isplay device; polynom ia l transform; b ilinear interpo lat ion; sim ulat ion
b
ij
x
i l
yjl
)
2
l= 1
i = 0 j= 0
( 3)
其中, L 为 控制点 对的 个数。 引入 最小二 乘 法可 以在
拟合多项式次数不是很高的前提下, 保证校正精度。
2. 3 多项式变换方法的优化 观察 CODE V 给出的 畸变数 据可 知, 畸 变图 像具
有左右对称性。本文 提出 对称变 换法: 即 将畸 变数据
( 1. Science and T echno logy on E lec tro-optic Control L abo rato ry, Luoyang 471009, Ch ina; 2. Luoyang Institute of E lectro-O ptic Equipm ent, AV IC, Luoy ang 471009, Ch ina;
2) 显示设备的光学系统 采取逆向设 计, 与原 始图 像相同的显示图像 经过 光学系 统后 聚焦到 像源上, 由 CODE V 软件计算 出畸 变数 据, 形 成的 像 源图 像称 为 畸变图像, 记为 g = ( u, v );
3) 原始图 像通 过畸 变校 正得 到的像 源图 像称 为 校正图像, 记为 g = (u , v )。
收稿日期: 2010 - 09- 30
修回日期: 2010- 10- 27
作者简介: 郑 春 ( 1986 ), 女, 江苏淮安人, 硕士 生, 研究方向 为瞄
准显示图像处理。
法都基于光学成像原理及镜头的物理特性给出摄像机 镜头模型从而进行校正; 另外, 有些学者 [ 6] 提出了精确 几何校正的两个模型, 并将 两者结 合引入 到卫 星影像 的校正中。本文通过 深入 理解畸 变校 正的原 理, 提出 对称变换法和改进的 双线 性插值 法; 对校 正算 法进行 详细的仿真与分析, 为 将来 在硬件 上实现 畸变 实时校 正做好准备。
都不是整数。原 始图像 中点 d 周围 的 4个像 素点, 距 离点 d越近对点 c的灰度值贡献 越大。双线性插 值的 方法定义如下:
f (xd, yd ) = ( x + 1 - xd ) (y + 1- yd )f ( x, y) + ( x + 1 - xd ) (yd - y )f (x, y + 1) +
处理, 消除畸变带来的不利影响。给出了较为全面的算法性能衡量指标, 利用 M a tlab和 VC++ 6. 0对校 正算法进行 详
细的仿真和深入的分析、比较。仿真结果表明, 经过优化的校正算 法保证了畸变校正的准确性和实时性。
关键词: 畸变校正; 大视场光学设备; 多项式变换; 双线性插值; 仿真
提高多项式的次数, 不仅计算量急剧增加, 而且由于系
统有效数字的舍入误差加大, 造成拟合精度急剧恶化。
我们将采用最小二乘 法解 决这一 问题, 即 使拟 合误差
平方和达到最小 [ 11]:
L
N N- i
x= (ul -
aij
x
i l
yjl
)
2
l= 1
i= 0 j= 0
( 2)
L
N N- i
y= ( vl -
第 5期
郑 春等: 大视场光学显示设备图像畸变校正算法
25
点的灰度值有 关。按照 坐标顺 序, 依 次生成 校正图 像 上每一像素点的灰度值, 即可得到所需的校正图像。
灰度校正最简 单的 方法是 最近邻 插值, 也叫零 阶 插值, 即点 c取离 点 d 最近 像素 点的 灰度 值。这种 方 法的优点是实时性 好, 缺 点是不 能够 精确地 反映实 际 情况的灰度 值 [ 13] 。三次 卷积 插值 需要 参考 点 d 邻 近 16个坐标点 的灰 度值, 是精 确度 比较 高 的插 值方 法, 可以保持较好的图 像边 缘细节, 但它 的缺点 是计算 量 较大。还有一种 折衷 方法 双线 性插 值法, 它由 点 d 周围的 4个像素的灰度值, 估计点 c的灰度值。双线 性插值法插值精度 高于 最邻近 插值 法, 并且 在程序 复 杂性和运算时间上, 优于三次卷积插值, 综合考虑 运算 精度和计算量, 本文采用双线性插值法进行灰度校正。
中图分类号: V 241
文献标志码: A
文 章编号: 1671- 637X ( 2011) 05- 0023- 05
Im age D istortion Correction A lgorithm of Large-FOV D isp lay D evice
ZH ENG Chun1, 2, ZHOU Y ong jun1, 2, W EN Y ongq iang3
u=
aij xiy j
i = 0 j= 0
N N-i
v=
bij xiy j
i = 0 j= 0
( 1)
式中: aij和 bij是多项式的系数; N 为多项式的次数。
如果直接对式 ( 1 )进行求 解, 得 到两 个系 数组 aij
与 bij, 则需要相当大的计算量。除此之外, 如果拟合多
项式的次数不够高, 则造成拟合精度较差; 如果一味地
1 畸变校正原理
本研究中显 示 设备 的 光学 系 统由 光 学工 程 软件 CODE V 设计和 分析, 该软 件可 给出 像源 图 像和 显示 图像之间的对应关系, 表示形式为两种图像抽样点 ( 控 制点 ) 的对应坐标。为了便于描述和理解, 我们约定:
24
电光与控制
第 18卷
1) 显示设备显示出来的 图像称为显 示图像, 记为 f = (x, y ), 如果忽略光学系统的放 大效果, 显示图 像应 与输入到光学显示设备的原始图像相同;
0 引言
在大视场光学 显示 设备中, 由于显 示光 学系统 视 场大, 离轴 角也 大, 造 成光 学 系统 的 剩余 畸 变 像差 很 大, 显示画面因畸变而严重变形。一般来说, 越接 近视 场的边缘, 其畸变值就越大 [ 1]。目前, 国内外对畸 变校 正技术已进行了大量的实 验研究工 作。很多文 献 [ 2- 4] 对医用内窥镜图像 的畸 变校正 技术 进行了 研究, 但 内 窥镜图像视 场 较小, 且畸 变 具有 中 心对 称 性; 有的 文 献 [ 5]提出了摄像机 镜头 畸变的 校正 方法, 但 大多数 方
图像 畸 变校 正 的方 法 包括 两 个步 骤: 1) 空 间 变 换, 描述原始图像与校正图像对应像素的映射关系; 2) 灰度校正, 通过插值确定校正图像像素的灰度值 [ 7]。
2 空间变换
2. 1 空间变换方法的选择 大视场光学显示设备对光学性能和光学畸变 要求
严格, 光学系统 的设计 复杂、难 度大, 产生 的畸变 为多 种畸变成份的综 合 [ 8] , 其 校正方 法按 原理可 分为基 于 控制对象的方法 和模 式ຫໍສະໝຸດ Baidu两 大类 : [ 9] 前者是 利用控 制 对象 (包括点、直线或其他 特征对 象 ) 对目 标的控 制函 数进行优化来实现 对图 像的非 线性 校正; 后 者是基 于 大视场显示设备光学特性模型来对光学显示系统 的非 线性畸变进行校正的方法。模式法需要分析光学 系统 的畸变特性模型, 由于大 视场光 学显 示设备 产生的 非 线性畸变较为 复杂, 畸变特 性模型 难以 给出。本文 根 据光学设计软件 CODE V 所能给出畸变数据的特点以 及校正的精度要求, 选择 基于控 制对 象方法 中的多 项 式变换作为校正工作的基础。 2. 2 多项式变换
第 18卷 第 5期 2011年 5月
电光与控制 E lectronics O ptics & C ontro l
V o.l 18 N o. 5 M ay 2011
大视场光学显示设备图像畸变校正算法
郑 春 1, 2, 周拥军1, 2, 温永强3
( 1. 光 电控制技术重点实验室, 河南 洛阳 471009; 2. 中航工业洛阳电光 设备研究所, 河南 洛阳
对于大视场光学 显示设备, 显示图像 ( 原始图 像 ) 与畸变图像 (校正图像 ) 之间是 非线性的 变换关 系, 通
常用坐标间的多项式 变换 来表示, 原始图 像中 任一点
( x, y )与校 正 图像 中 对应 点 ( u , v )的 变 换关 系 由式
( 1)表示 [ 10] :
N N- i
分为对称的两部分, 利 用多 项式对 其中一 部分 进行变
换, 拟合出左半 图 (或 右半 图 ) 的空 间映 射 关系, 再根
据左右对称性, 得出整 个原 始图像 与校正 图像 对应像
素的映射关系。进行多项式变换的控制点数目减少了
一半, 因此, 对称变 换法减少 了运算 量, 同时 也在降低
拟合多项式次数的前提下提高了校正精度。
3. 中国人民解放军驻洛阳电光设备研究所军事代表室, 河南 洛阳 471009)
4 710 09;
摘 要: 在大视场光学显示设备中, 画面会因畸变而严重变形。为了使最终的成像结果不发生畸变, 根据大视场光学
显示设备的畸变特性, 选择适合的校正方法并进行优化, 提出对称 变换法和 改进的双线 性插值法, 对像 源图像进行 预
本文研究的目的就是将原始图像经过畸变校 正得 到校正图像 g = (u , v ), 使其尽可能地 接近畸变 图像 g = ( u, v ), 这样经过显示设备后, 就可以得到与原始图 像相近的显示图像。畸变校正系统示意见图 1。
图 1 校正系统示意图 F ig. 1 Schem atic o f correc tion system
3 灰度校正
3. 1 灰度校正方法的选择 图像畸变校正的第 2个步骤
像重采样 [ 12] 。
灰度 校正也叫图
图 2 双线性插值示意图 F ig. 2 B ilinea r in terpolation
如图 2, 多项式变换使得校正图像上的像素点 c与 原始图像上像素点 d 对 应, c 与 d 的灰 度值应 该相同, 由于点 d 不是整像素 点, 它 的灰度 值与其 四周 的像素
3. M ilitary D epu ty O ffice of PLA in Luoyang Institute o f E lec tro-O ptic Equ ipm en t, L uoyang 471009, China)
A bstract: T he im age m ay deform seriously in large-FOV d isplay dev ices due to d istortion. Appropriate correct ion m ethod w as chosen and optim ized based on the d istortion characteristics to avo id d istortion in the f inal im ag ing. The m ethods of symm etrical transform and im proved bilinear interpo lation w ere proposed for pretreatm en t of im age source to e lim inate the adverse effects of the d istortion. The com prehensive indexes for estim at ing the a lgorithm perfo rm ance w ere presented. T he correction a lgorithm w as analyzed by sim ulat ion w ith M atlab and VC++ 6. 0, and the experim ental resu lt show s that this opt im ized m ethod can im prove the veracity of d istortion correction as w ell as the rea-l tim e perform ance. K ey words: distortion correct ion; large-FOV d isplay device; polynom ia l transform; b ilinear interpo lat ion; sim ulat ion
b
ij
x
i l
yjl
)
2
l= 1
i = 0 j= 0
( 3)
其中, L 为 控制点 对的 个数。 引入 最小二 乘 法可 以在
拟合多项式次数不是很高的前提下, 保证校正精度。
2. 3 多项式变换方法的优化 观察 CODE V 给出的 畸变数 据可 知, 畸 变图 像具
有左右对称性。本文 提出 对称变 换法: 即 将畸 变数据
( 1. Science and T echno logy on E lec tro-optic Control L abo rato ry, Luoyang 471009, Ch ina; 2. Luoyang Institute of E lectro-O ptic Equipm ent, AV IC, Luoy ang 471009, Ch ina;
2) 显示设备的光学系统 采取逆向设 计, 与原 始图 像相同的显示图像 经过 光学系 统后 聚焦到 像源上, 由 CODE V 软件计算 出畸 变数 据, 形 成的 像 源图 像称 为 畸变图像, 记为 g = ( u, v );
3) 原始图 像通 过畸 变校 正得 到的像 源图 像称 为 校正图像, 记为 g = (u , v )。
收稿日期: 2010 - 09- 30
修回日期: 2010- 10- 27
作者简介: 郑 春 ( 1986 ), 女, 江苏淮安人, 硕士 生, 研究方向 为瞄
准显示图像处理。
法都基于光学成像原理及镜头的物理特性给出摄像机 镜头模型从而进行校正; 另外, 有些学者 [ 6] 提出了精确 几何校正的两个模型, 并将 两者结 合引入 到卫 星影像 的校正中。本文通过 深入 理解畸 变校 正的原 理, 提出 对称变换法和改进的 双线 性插值 法; 对校 正算 法进行 详细的仿真与分析, 为 将来 在硬件 上实现 畸变 实时校 正做好准备。