人脸全景纹理图像拼接算法

x2 f2 -
2x 2fr
在这里面要求拍 摄点 O 与 图像边 界点 B 的延长 线一定
要与投影柱面相割或 者相切, 也就是说拍摄的 广角 ∀ BOC 不 能过大, 主要的目的在于防止角度过大造 成边界部 分投影模 糊化。 3. 2 图像配准
人脸纹理信息丰富, 对应的边缘信息 和特征点 信息也十 分丰富, 为准确的进行图像配准提供很好的条件。
全景纹理图像的拼 接方 法, 并通 过对实 验结 果进行 对比, 证 明该方法是可行 的。另一 方面 图像配 准是 所有 图像拼 接都 要涉及到的一项重要步骤, 主要有比值匹 配法和特 征块匹配 法两大类, 考虑到人脸 纹理 信息 丰富, 对应 的边 缘信息 和特 征点信息也十分丰 富, 本文 采用 了特征 块匹 配法, 实验 表明 应用该方法可以快速的配准相 邻的图像; 再应用亮 度直方图 均衡法消除相邻图像的亮度差 异; 并使用 改进加权 因子的渐 进渐入方 法 实 现图 像 的 平 滑过 渡 获 得 人脸 柱 面 全 景纹 理 图像。
1 引言
在人类的交流过 程中最重要的手段应该 是语言, 再接下 来就是人类的肢体语言, 而在肢体语言中 最重要的 表达部位 应该就是人脸, 人脸表面具有高度复杂的 几何形状 和十分丰 富的纹理信 息, 正因 为 如此 研 究人 脸建 模 有着 其特 殊 的意 义。自古以来 人 们就 开始 寻 找人 脸的 建 模方 法, 中 国的 壁 画, 浮雕; 外国的素描, 雕塑。人们所追求 的是多方 位的表达 手法, 但受限于人类的 认识, 这 些建模 方法 都只 局限于 二维 表达, 并不能全面的表达出人脸的信 息。但随着人 类对空间
摘要: 研究人脸部位真实图像问题, 为了获得真实感人脸三维模型, 提出一种柱面人脸全景纹理图像拼接算法。考虑到人头 部接近于一个圆柱体以及因投影方向不同直接进行拼接会造成视觉的不一致性, 采用了一种人 脸特征的柱面 投影方法; 针 对人脸纹理特征信息丰富的特点, 利用特征块匹配法配准相邻的图像; 再根据亮度直方图均衡法消除相邻图像的亮度差异; 并使用改进的平滑因子实现图像的平滑过渡。实验表明算法能够有效地消除视觉不一致性, 快速有效地生成真实感人脸全 景图像, 为人脸三维建模提供参考依据。 关键词: 人脸全景纹理图像; 无缝拼接; 柱面投影; 特征块匹配; 直方图 中图分类号: TP391 41 文献标识码: B
M osaic A lgorithm of Face Texture P anoram ic Image
YAO Jia- liang1, 2, HU Jun1
( 1. Changchun Institute o f Optics, F ine M echan ics and Physics, Ch inese A cadem y o f Sc iences, Changchun Jilin130033, Ch ina;
( 3)
OM != OD - DM != ( f + r ) f f2 + x2
柱面投影公式:
r2
-
x
2(f+ f2 +
r) x2
2
x! = r( arcs in ( f + r ) x - arc tan x )
r f2 + x2
f
( 4)
y! =
yf ( f +
r)
-
y r2 f2 f2 + x2
2 人脸图像拼接基本原理
传统的基于正 侧面两 幅图 像出发 的合 成纹 理图像 的方 法虽然算法简单, 但人脸的许多特征及纹 理信息并 不能在正 面和侧面照片中表达出来, 并且由于受光 照以及拍 摄角度的 影响获得的纹理 图像 无法满 足视 觉一致 性的 要求。针 对这 两个问题本文提出两 方面的改进。
图 3( a) 过 O 点取水 平截 面得 到图 3( b)。其 中图 像的
27 7
宽度为 W, 高度为 H, 焦 距为 F, 而圆 形的 半径 的取 值问 题, 根据中国成人人体头 面部尺寸男女统计信息: 头 围 561mm 546mm; 头最大长度 184mm - 176mm; 头 最大 宽 度 154mm 149mm [4] 。综合考虑男女的 头部尺 寸取圆柱 半径 R = 85mm 来进行计算。再进行度 量单 位的统 一处 理得 焦距为 f, 圆柱 半径为 r。其中 M ( x, 0)为截面上图像中任意一点, M !( x!, 0) 为对应的柱面则其对应的公式:
x! = r∀
( 2)
OMN 截面如图 3( c) 所示, N ( x, y ) 为 OMN 截面 上待拼 接图
像中任意 一 点, N ( x !, y!) 为 对应 的 投 影 点。 可得 如 下 关
系式:
y! y
=
OM ! OM
OM = f2 + x 2
首先, 应用边缘信息进行特征块 与搜索块的 选取。在待 拼接的两幅 图像上初步划分出待拼接带 (如图 4所示: 图像 1 的右侧 1 /4部分, 图像 2的左侧 1 /4部 分 ), 并在拼 接带上寻 找一系列特 征点。特征 点的 选择 方面上, 使 用 sobe l算 子对
两块拼接带图像进行边缘检测 , 再进行阈 值处理得 到二值边 缘图 E ( i, j )以及 F ( i, j), 然后以图像中每个像素点 的领域边 缘量 (N EA )来定义此位置的边缘信息大 小 [ 4]:
第 28 卷 第 2期 文章编号: 1006 - 9348( 2011) 02 - 0276- 04
计算机仿真
2011年 2月
人脸全景纹理图像拼接算法
姚嘉梁 1, 2, 胡 君 1
( 1. 中国科学院长春光学精密机械与物理研究所, 吉林 长春 130033; 2. 中国科学院研究生院, 北京 100039 )
影到圆柱表面的位置无关, 所以选取柱面 坐标为标 准坐标空 间, 实验证明用其描述的柱面人脸全景图 像可以在 水平方向 上满足 360 环视, 较好的满足 视觉一致性的要求 [ 2] 。
图 3 柱面投影
由于人脸图像是以 像素为基本单位, 不同于一般 的空间 距离单位, 这样 在计 算 中就 存在 着 度量 单 位的 不统 一 的问 题, 为了避免相互转化 带来 的不便, 该 算法 统一 选取像 素作 为基本度量单位。为了计算的方 便, 取 I以及 II的中 心位置 P 作为像素原点。
图 1 拍摄方式
2)人脸柱面投影。由 于图 像系列 是在 不同 的方向 上的 二维投影得到的, 从图 2中可 以看出 同一段 弧 A B在 相邻的 两张图像上投 影 CD 与 EF 长度 是不 同的, 这 就使 得同 一部 分纹理在不同投影图像上不一 致, 从而无 法满足视 觉的一致 性, 给拼接带来困难, 因此 需要 将待拼 接的 图像 投影到 一个 标准坐标空间上, 再进行拼接。考虑到人 头部轮廓 近似于一 个圆柱体以及柱面 坐标变 换比 较简单 并且 投影 图像与 其投
2. G raduate Schoo l of Ch inese A cademy o f Sciences, Be ijing 100039, Ch ina )
AB STRACT: In orde r to ob tain rea listic 3D m ode l of hum an face, a face texture pano ram ic im age m osa ic algor ithm w as proposed. Consider ing tha t the hum an head is sim ilar to a cy linder and stitching the im ages directly w ill lead to unrea l resu lt, cy lindr ica l coord inate projection is imp lem ented. B lock - m atch ing m ethod is used to reg ister the ne ighbor ing im ages because o f r ich texture inform ation of hum an face. A nd br ightness histog ram is used to e lim inate the br ightness differences betw een adjacent im ages. F urtherm ore, sm oo th fac to r is used to m erge the over lapp ing im a ges. T he experim ents show that th is a lgor ithm can elim ina te the v isua l inconsistency e fficiently and gene ra te the face tex ture panoram ic image qu ickly, w hich can be used in 3D m ode ling o f real hum an face. K EYW ORDS: Face texture pano ram ic im age; Seam less stitching; Cy lindrical coordinate pro jection; B lock m atc h ing; H istog ram
既有一般的图像 拼接 的特点 又有 其特殊 的地 方。传统 的人 脸全景纹理图像的拼接方法, 着重考虑如 何配准拼接 相邻的 重叠图像, 而没用考虑到从不同方向拍摄 得到的图像 直接进 行拼接获得的全景图像存在着较 严重的图像 扭曲, 本 文充分 地分析了造成这种缺陷的原因, 提出了基 于柱面投影 的人脸
收稿日期: 2009 - 12- 10 修回日期: 2009- 12- 29
276
的认识以及计算机技术的出现和 发展, 让 人脸三维建 模成为 了现实, 并成为计算机 图形 学领域 的一 个重 要分支, 出 现了 基于激光扫 描的 三维 建 模、基于 曲 线曲 面 的三 维建 模 等方 法 [ 1] , 其中 基于图像的三维人脸建模技术是一种比较 经济可 行的建模方法: 一般要 经过 人脸特 征信 息提 取、个性化 人脸 模型建立和纹理 合成 与纹理 映射 三个步 骤。人 脸全景 纹理 图像的拼接是人脸三维建模中的 一个重要的 环节, 其 拼接效 果直接影响到建 模结 果的真 实感。人 脸全 景纹 理图像 拼接
∀
=
arctan
x f
AD = ( f + r ) sin∀ = ( f + r) x
f2 + x2
∀ = a rcsin AD = arcsin ( f + r ) x
( 1)
AM !
r f2 + x2
∀
=∀
-∀
=
arcsin ( f + r ) x r f2 + x2
arctan
x f
其中 x 的取值范围为 [ - W /2, W /2]。 在投 影面上 以弧
图 2 视觉不一致性
3 人脸图像拼接关键算法
3. 1 柱 面投影 柱面投影就是将图 像投影到柱面坐标上, 以满足 视觉一
致性的要求。由于拍摄方式的不同, 所以 本文采用的 柱面投 影方法得到的计算公式 也不同于文献 [ 3] 给出的公式。如图 3所示, O 为观测点 (拍摄 点 ), K 为 投影 柱面, I为 待投 影的 人脸图像, II为 I的柱面投影图像。并使 O 点 在 I以及 II上 的投影落在图像的中心 点 P 处。
1)多角度拍摄。对于生成周围景物的全 景图像, 其素材 是通过以镜头为轴 转动一 周连续 拍摄获 得的 [2, 3] , 但不 能用 这种方式 来拍 摄 人脸。拍 摄 景物 是视 点 不变、拍 摄 方向 改 变、拍摄目 标变动, 拍 摄人脸 是视点变 动、拍摄方 向改变、拍 摄目标不变, 这两种拍摄方式有着本 质上的区别。 人脸图像 的拍摄方式如图 1所示, 以人头部为中心 轴绕着轴 转动一周 多角度连续拍摄, 拍摄过程中要求镜头要 对准人头 部并且要 求获得的相邻图像边 界有一定程度的重叠。