多模态生物特征识别技术进展综述_王瑜

1. 1 融合方式
一般来说, 生物特征识别 系统主要 由传感 器、特征提 取、匹 配和决策四个模块组成。单生物特征的组合和多生物特征的 融 合可以发生在其中任何一 个阶段, 因而 多模态 生物特 征识别 系 统可以通过下面五种方式进行设计 [ 1, 2] , 如图 1所示。
图 1 融合方式 收稿日期: 2007- 06- 28。国家自然科学基金 ( 60375002, 60573058); 北京 市教委重点学科共建项目 ( XK 100080431) 。王 瑜, 博士 生, 主研 领域: 模 式 识别, 图像处理。

响 , 因 而也 就 比其 它的 特 征更 加 不 准 确, 下 面 简 单介 绍 一 些 常 用的 融合 方法 。

在匹配值层, 求和原 则 [ 2], 加 权平均 [1] , 求积 原则, k-NN 分 类器, 决策树和贝叶斯方法 [ 3] 等, 都 得到了 很好 的表现 , 另外, R o li等人 [ 4] 将 决策 层融 合方 法分 为两 类: 确定 原则 和训 练 原 则。融合策略中 最大投票法和求和原则方法属于确定原则, 而 加

权平均和行为知识空间属于训练原则。再者, 专有用户 参数 ( 专 有用户的阈值或是权值的技巧 ) 能被用来进一步 提高生物特 征 识别系统的表现能力 [2, 5] 。

1. 5 运作模式
从运作模 式考虑, 多模态 生物特征 识别系统可 以分为以 下 三类 [6] : 并联模式; 串连模式, 级联模 式, 如图 3所示。

A SURVEY ON M ULT IMODAL BI OM ETR IC S TECHNOLOG IES
W ang Yu M u Zh ichun Xu Zhengguang
( S chool of Inf orma tion Eng ineering, Un iversity of Sc ience and T echnology B eijing, B eijing 100083, China )

[ 9]

240人

可见光图像和红 外光图像

PCA

匹配值层 和决策层

基于无权值方法; 对数转换 所有融合方法都要比 单模态方 法效果好, 并且基于 匹

方法; 基于匹配值方法

配值方法要优于其他融合方法

2. 2 多种生物特征
多种生物特征进 行有效融合是真正意义上的多模态生物特

生物特征融合成一个 唯一的特征。

匹配层: 将每一个生 物特 征 系统 输出 的匹 配值 (用 于描 述 获得的生物特征与存储的模 板之间 的相似 程度 ) 进行融 合。这

种融合模式需要将匹配值进行 标准化处理, 以保证融合以前, 匹 配值拥有相同的数量级 [ 2, 3] , 一般经过两个步骤: 匹配值分 布的 统计估计和公共域的 转换。
c) 单生物特征多种 单位 ( un its): 相同 的生物 特征, 但 是不 同的单位, 例如都是提取指纹, 但却是同 一个人的不同手指的指 纹, 然后融合提高识别率。
d) 单生物特征多种表达方式: 相同的生物特征单位通 过相 同的传感器多次获得, 并使用多种表达方式表示, 每种表达都有 自己的分类器, 最后将这些 由分类器 产生的 匹配值 加以融 合用 于提高识别率。
然 而, 在 实际 应用 中, 由 于客 观条 件 变化 的 不可 预 测性 , 单 生物 特征 识别 技术 往往 会遇 到难 以克 服的 困 难, 譬 如 在使 用 指纹 认证 时, 相 当一 部 分 人 不 能采 集 到 清 晰 的 指 纹; 随着 时 间的 流逝 或者 光照 变化 , 人脸 图像 会发 生 变化 ; 虹 膜、DN A 和 指纹 等识 别方 式又 会使 人感 到不 舒适 , 甚至 会 产生 受 侮辱 的 感觉 。而 多生 物特 征识 别技 术由 于利 用了 多 种生 物 特征 , 并 结合 数据 融合 技术 , 不 仅 可 以 提高 识 别 的 准 确 性, 而 且可 以 扩大 系统 覆盖 的范 围, 降 低系 统的 风险 , 使之 更接 近 实用 。 因 此, 多 模态 生物 特征 融 合 识 别 技术 , 近 年 来 己 成 为 生 物特 征 识别 技术 研究 领域 的一 个热 点, 也 是未 来生 物 特征 应 用领 域 的必 然趋 势。

32

计算机应用与软件

2009 年

a) 单生物特征多个传感器: 相 同的生物特征通过不同 的传 感器获得, 然后融合在一起提高系统的准确性。
b) 多种生物特征: 同一 人的多 种生物 特征被 获得, 然 后融 合在一起提高系统的 速度和可 靠性, 这种方 法是真 正意义 上的 多模态生物特征融合 技术。

a) 并联融合 b ) 串联融合

c) 级联融合 图 3 运作模式 并联模式: 系统同时完成生物特征的融合; 串连模式: 系统按顺序完成生物特征的融合; 级联模式: 当分类器数量很多时, 生物特征可以利用类似 树 结构的分级方案进行融合。

第 2期

王瑜等: 多模态生物特征识别技术进展综述

33

2 多模态生物特征识别系统和数据库

决策层: 将每一个生物特 征系统 的决策 进行融 合得到 一个

最终的决策。

对于生物特征系统来说, 融合发生的层次越早, 效果就越明 显 [ 2] , 因 此在特征提取层融合会有 更好的 识别效 果, 然 而, 这种 融合对于生物特征系 统来说非 常困难, 因此 匹配值 层的融 合通

常被优先选择, 但是对于一 个既可靠 又鲁棒 的生物 特征系 统来 说, 适当的决策层融合 [ 4] 也是必不可少的。

识别结果

[ 7]

50人

灰度图像和深度 图像

EHMM

匹配值层 加权求和原则

多模态同单模态方法相比, EER 改进 2 - 5%

[ 8]

278人

彩色图像和深度 图像

PCA

匹配值层 加权求和原则

2D 特征得到 83. 1% 的识别率, 3D 特征得到 83. 7% 的 识别率, 融合得到 92. 8% 的识别率

0 - 1范围内。

sc =

s - m in m ax - m in

( 1)

这里 m in代表最小匹配值, m ax 代表最大匹配值。

b) z 值法: 这种方法是将匹配 值标准化为标准正态分布。

sc =

s- L R

( 2)

这里 L为所有匹 配值的均值, R 为所有匹配值的方差。

c) T anh法: 这种方法将匹 配值标准化到 0 - 1范围内, 该方
e) 单生物特征多种匹配器: 相 同的生物特征通过不同 的传 感器获得, 经不同的特征提取和匹配方法融合提高识别率。
1. 2 融合层次
生物特征系统主 要有四个 重要的 组成部分 构成, 在每 一个 部分都有可能进行融合, 本文以人脸和指纹为例来进行说明, 如 图 2所示。

图 2 可能的融合层次 ( FU: 融合; MM: 匹配模块; DM: 决策模块 ) 特征提取层: 如果提取的特征是相互独立的, 将提取的不同

法被认为是现存最有效的方法。

sc = tanh 0. 01 s - L + 1

( 3)

R

这里 L为所有匹 配值的均值, R 为所有匹配值的方差。

另外还有中值自适应法, 双二次曲面法, 对数法和二次曲面 - 直线 - 二次曲面法等。

1. 4 融合方法

融合 技术 是 多模 态系 统中 的重 要组 成 部 分, 标 准 化后 的 匹 配值 被映 射到 一维 平面 进行 有效 融合 并作 出最 后 决策 。决

决策层对通过不同传感器得到的图像进行有效融合, 结果表明, 利用融合技术都会在不同程 度上提 高最后 的识别 效果。具体 内 容如表 1所示。

2. 1 单生物特征多种传感器

在下述文献中, 均采用人脸作为生物特征, 在匹配值层或是

表 1 单生物特征多种传感器

文献 数据库

图像种类

识别方法 融合层次

融合方法

策 依据 定义 的阈 值而 决定 , 如果 融合 后产 生的 决策 值 小于 设 定 的阈 值, 用 户就 被拒 绝, 否 则就 被接 受。匹 配值 的融 合要 比

标 准化 更加 重要 和复 杂, 在多 模 态 生 物 特 征 识别 系 统 中 , 并 不 是每 一种 特征 贡献 率是 相同 的, 有 些会 更容 易受 噪 声的 影

1. 3 标准化技术

在多模态识别系统中, 特征扫描, 提 取和分类需要使用不同 的方法, 在融 合这些结果 时, 必须将这 些结果转变 成标准形式。 例 如人脸匹配值在 50- 100范围内, 而声音却在 5- 10范围内, 要想在一个系统中综合考 虑所有 特征的 匹配值, 将 匹配值 进行

标准化就显得非常重要了。现存的标准化技术种类很多, 下面介 绍几种常用的标准化 方法。用 s 表示输出匹配值, 用 sc表示标准 化后的数值。a) 最小值 最大值法: 这种方法将匹配值标准 化到

0引 言

1 多模态生物特征识别的融合

随着网络时代的到来, 人们面对面的接触越来越少, 身份窃 取事件也因此时有发 生, 并 已成为当 今社会 普遍关 注的问 题之 一。仅美国一家, 在 2003年一年就有将近一千万人的身份 信息 被盗用, 大概占美国 18岁 以上 人口的 5% , 产 生的 损失 超过 了 500亿美元, 可见, 身份认证技术在现实 生活中 意义重大。 生物 特征识别是利用人体 的身体或部分生理及行为特征来进行身份 识别, 因此比 传统的身 份鉴定方法 更具安全、保密和 方便性, 同 时具有不易遗 忘、伪造或 被盗、随 身 / 携 带 0和随 时随 地可用 等 优点。
Abstrac t Biom e trics has becom e one of the m ost po ten tia l au then tification techn iques in last few years. In this paper it genera lizes and summ ar izes the mu ltimodal b iom etr ics techniques and also describes a lo t o f ex isting m ulຫໍສະໝຸດ Baiduim oda l b iom e trics system s for identify ing an ind iv idua l from o thers. A s re flected by the investiga tion and the research, M u ltimodal biom etrics techn iques have shown mo re re liab ility and secur ity than the m onom odal biom etrics as they take mo re than one phy sio log ical or behavioral charac teristics o f an ind iv idua l into accoun t to identify and ver ify. M ultim odal biom etrics has becom e one of inev itab le trends in the future. K eywords B iom etr ic M ultim odal Fus ion N o rma lization
第 26卷第 2期 2009年 2月

计算机应用与软件 Com puter Applications and Softw are

Vo l126 No. 2 Feb. 2009

多模态生物特征识别技术进展综述
王 瑜 穆志纯 徐正光
(北京科技大学信息工程学院 北京 100083)
摘 要 近年来, 生物特征识别已经成为一种最具潜力的身份认证技术 之一。主 要对多模态生物特征识别技术进行概括和总结, 同时也介绍了现存若干用于身 份识别和验证的多模态生物特征识别系统。经调 查研究显 示, 多 模态生物特 征识别技 术由于在身 份 认证和识别过程中考虑了个体 的多种生理或行为特征, 因而表现出了较单生物特征 更高的可靠性和安全性, 并已成为生物特征识 别 技术未来发展的趋势 之一。 关键词 生物特征 多模态 融合 标准化