一种改进的FastICA算法及其应用
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
detectionofmovingtarget0引言独立分量分析independentcomponentanalysisica是近十年来在信号分析与处理中发展起来的一种新方法它不同于主分量分析把目光投注于信号的二阶统计量研究信号间的相关关系而是基于信号的高阶统计量研究信号间的独立关系盲源信号分离生理学数据分析语音信号处理图像处理和人脸识别运动目标检测在军事和工业等领域有着广泛的应用前景如军事目标跟踪交通自动导航视频信号传输和机器人视觉
第 28卷第 4期 2008年 4月
计算机应用 C ompu ter App lications
V o.l 28 No. 4 Apr. 2008
文章编号: 1001- 9081( 2008) 04- 0960- 03
一种改进的 FastICA 算法及其应用
郭 武, 朱长仁, 王润生
( 国防科学技术大学 ATR 实验室, 长沙 410073) ( guouw u2000@ yahoo. com. cn)
Abstract: Independent Com ponent A nalysis ( ICA ) is a signal ana lysism e thod based on high orde r cum ulants of signals and it can find out the la tent independent com ponents in da ta. R ecently ICA has been w ide ly used in m any fie lds such as speech recogn ition, im age processing, te lecommunication sy stem e tc. T he FastICA is the m ost popu lar a lgo rithm for ICA at present, and it uses N ew ton ru le to optim ize the objective function. T his algorithm can converge speedily bu t is no t robust to in itia lization. In order to overcom the drawbacks, one dim ens ion search w as im posed on the d irection of N ew ton itera tive. T he improved a lgor ithm can ensure the convergence o f the resu lts and is robust to in itia lization. W hen the improv ed a lgo rithm is used to detect the m oving targ et, the experim ental resu lts show tha t it is a robust m ethod.
2 基于负熵的目标函数及 FastICA 定点算法
ICA 的目标是通过变换 y = wx 由观测信号求解源信号, 为此需设置一个目标 函数 L ( w ), 使 L ( w ) 达到极值的 w^ 即为
所需解, 从而使得 y 与 s 相对应。在建立目标 函数时应该 遵循 下面两个原则:
1)当变量为高斯分布时, 目标函数为零。
关键词: 独立分量分析; 快速独立分量分析; 运动目标检测 中图分类号: T P391. 41 文献标志码: A
An improved FastICA algorithm and its application
GUO W u, ZHU Chang-ren, WANG Run-sheng
(ATR Labora tory, N ationa l Un iversity of D efence Techn ology, Chang sha H unan 410073, China )
xi = ai1 s1 + ai2 s2 + + ain sn; i = 1, 2, , m
( 1)
也可以将上式写成矩阵形式:
x = As =
其中 A = { a1, 向量。
n
aj sj
j= 1a2, ,an } 称为混合矩阵,
( 2) aj 是 混合矩阵 基
ICA 的目的是仅通过观测数据 x估计出未知独立源 s或混合 矩阵 A。由于没有任何参数目标, 这样学习过程只能是自组织的。
当 x为其他 非高斯分布 时, 负熵大于零。同 时, 负熵还有 一个
重要的性 质, 即对所有的 可逆线性 变换, 负熵的值 保持不变。 因此, 从统计特性角度讲, 负熵是度量随 机变量非高斯性的最 优工具之一。
由于对负熵的计算涉及概率密度的估计, 直接计算非常困
难, 因而有必要对负熵进行合理而有效的近似。对负熵进行近似
2)变量的非高斯性越强, 目标 函数的 值或绝 对值应 该越
大, 当目标函数达到极值时, 各 分量相互独立。 实际应用中通常 采用基于信息论的负熵作为描述信号非
高斯性的目标函数。负熵的定 义源于信息论中熵的概念。一
般来说, 随机变量的熵越大, 其 不确定性越大。在所有等方差
随机变量中, 高斯分布的随机变量熵最大。基于这一特点, 只
运动目标检 测在 军事 和工 业等 领域 有着 广泛 的 应用 前 景, 如军事目标跟踪、交通自动 导航、视频 信号传输 和机器 人 视觉。目前大多数目 标运动变 化检测 算法如 图像差 值法、图 像比值法、图像回归法、分类 结果 比较法 等 [ 7- 8], 对 图像帧 与 帧之间的几何配准精 度要求 很高, 在配准 不精确 的情况 下难 以得到好的结果。近 年来, 一些国 内的研 究者使用 独立分 量 分析来对运 动目标 进行 检测 也取 得了 一些 成果 [9- 11] 。在 这 些文献中, 都采用了 计算 效率 较高 的 F astICA 算 法来 获得 独 立分量。众所周知, F astICA 定点学习算法是利用了牛顿 迭代 法的原理, 牛顿迭代法是一 种具有 二阶收 敛特性 的最优 化方 法, 特别当目标函数是二次凸函数时, 运 用牛顿迭代法经一次 迭代就能达到极小点 。然而, 当初始点远离极小点时, 牛顿法 可能不收敛, 原因在于牛顿迭代的方向不一定是下降方向, 经 过迭代, 目标函数值可 能不收 敛。此外, 使目标 函数 值收敛,
第 4期
郭武等: 一种改进的 F astICA算法及其应用
96 1
独立分量分析方法是以分离出的各分量相互独立为目标, 因此对独立性的要求在 ICA 研究中就显得非常重要。依据统计 学的观点, 随机变量的非高斯性与统计独立密切相关, 其非高斯 性最强的方向即 ICA 寻找的投影方向。针对随机变量的非高斯 性, 可以建立不同的目标函数对其进行度量, 使得变量的非高斯 性越强对应的目标函数值越大。因此 ICA 问题可以归结为两个 主要方面: 目标函数 (优化准则 )和寻优过程 (优化算法 )。 ICA 方法的稳健性主要取决于目标函数的选择; 算法的收敛速度主要 依赖于优化算法。因此, 下面就采用的基于负熵的目标函数的 FastICA 及其改进算法进行分析。
K ey words: Independent Component A na ly sis ( ICA ); FastICA; de tection o f mov ing target
0 引言
独 立分 量分 析 ( Independent Component A na lysis, ICA ) 是 近十年来在信号分析 与处理 中发展 起来的一 种新方 法, 它不 同于主分量分析把目 光投注 于信号 的二阶统 计量, 研究 信号 间的相关关系, 而是基于信号的高阶统计量, 研究信号间的独 立关系 [ 1] 。近年来独立分量 分析已 经广泛 应用于特 征提取、 盲源信号分离、生理学数 据分析、语音 信号处 理、图 像处理 和 人脸识别 [ 2- 6] 等方面, 并 取得很多研究成果。
( 5)
针对负熵的目标 函数, 可以采用 梯度下 降的方 法实现 函
数极值的求解, 其中 FastICA 是当前应用最为广泛的一 种 ICA 优化方法, 基于牛顿梯度下降法的原理求解函数极值 [ 12] 。
根据前面近似负 熵的 表达式, 在 ICA 模型 中, F astICA 通
过最大化下面的等式 求解 y = w x的投影方向:
1 独立分量分析原理
独立分量分析是近年 出现的 一种数 据处理 方法, 可以 看 作是主分量分 析 ( P rinc ipa l Com ponent A na ly sis, PCA ) 的一 种
扩展, 它将数据变 换到相互独立的方向上, 使经过变换所得 到 的各个分量之间不仅 正交, 而且相 互独立。 设一组观 测信 号 x = { x 1, x 2, , xm } 是源信号 s = { s1, s2, , sn } 的观 测 值, 假设 第 i个观测信号由 n 个独立分量 s线性混合而成:
摘 要: 独立分量分析是基于信号高 阶统计量的信号分析方法, 它可以找到 隐含在数 据中的独立 分量, 已经广泛 应用到语音信号处理、图像处理及信息通信等方面 。目前应 用较多的快速独立分量分析 ( FastICA )利用了牛 顿迭代法 原理, 具有较快的收敛速度, 但对初始值的选择比较敏感。为克服其缺点, 改进其优化学习算法, 在牛顿迭代方向 增加 一维搜索, 使改进后的算法的收敛性不依赖于初始 值的选择。将改进的 F astICA 算法应用 到运动目标 检测中, 取得稳 定性较强的结果。
计算的一种有效方法是基于最大熵原理, 其负熵的表达式为:
J (x) [ E {G (x ) } - E {G ( v) } ] 2
( 4)
式中的 v是一标准高斯随机变量, G 是某种形式的非二次函数, 一般选择具有下凸性质的偶对称函数, 我们选择的函数为:
G(x) =
1 a
log(
co sh( ax) )
JG ( w ) = [ E { G ( wT x ) } - E { G ( v) } ] 2
( 6)
式中 w是 m维变量, 由于 v是与 y 具有相同均值和协方差矩阵
的高斯变 量, 在预 处 理 后, 上 式 的 最 大 化 问题 可 以 转 化 为
E { G ( wT x ) } 的 优 化 问 题。 按 照 K uhn-T ucke r 条 件,
需将熵的定义进行修改, 就可以得到随机变量的负熵, 作为度
量随机变量非高斯性 的目标函数。
随 机变量 x 的负熵 J( x) 定义为:
J (x) = HG (x) =
p (x)
log
p( x) pG ( x)
dx
( 3)
其 中 pG ( x ) 表示与随机变量 x 具有相同均值和方差的高斯随
机变量的分布函数。容易知道, 当 x 为高斯分布时, 负熵为零;
学习的第一步是建立一个以 w 为变元的目标函数 L ( w ), 如果某 个 w 能使得 L ( w ) 达到极值, 该 w 即为所需的解。
收稿日期: 2007- 10- 30; 修回日期: 2008- 02- 20。 基金项目: 国防科技重点实验室基金资助项目 ( 9140c8004010611) 。 作者简介: 郭武 ( 1976- ) , 男, 云南大姚人, 博士研究生, 主要研究方向: 图像分析理解、信息融合; 朱 长仁 ( 1968 - ), 男, 浙江杭州人, 副教 授, 主要研究方向: 图像理解、信息融合、遥感图像智能目标识别、人脸识别; 王润生 ( 1941 - ) , 男, 江苏扬州 人, 教授, 博士 生导师, 主要研 究方 向: 图像分析理解、信息融合。
E { G ( wT x ) } 的优化问题在条件 E { ( wT x ) 2 } = 可以通过求解下式得 到:
w 2 = 1下
E { xg( wT x) } - w = 0
( 7)
式中 为 常 量, 可 以 通 过 w 的 初 始 值 w0 得 到: =
E { w0T xg ( w0T x) }。函数 g ( ) 为 G ( ) 的导数。 为了求解式 ( 7) 中 的 w, F astICA 采用了 牛顿迭 代法, 记
得到的点也不一定是沿着牛顿方向的最好点或极值点。为 了
克服牛顿迭代 方法 的 这些 不足, 本文 改进 了 传统 的 F astICA 算法, 在沿牛顿迭 代的方向增加一维搜索, 保证了优化算法 收 敛到极值点。在 将改 进的 学习 算法 应用 到运 动目 标检 测 中 时, 取得 了令人满意的结果。
第 28卷第 4期 2008年 4月
计算机应用 C ompu ter App lications
V o.l 28 No. 4 Apr. 2008
文章编号: 1001- 9081( 2008) 04- 0960- 03
一种改进的 FastICA 算法及其应用
郭 武, 朱长仁, 王润生
( 国防科学技术大学 ATR 实验室, 长沙 410073) ( guouw u2000@ yahoo. com. cn)
Abstract: Independent Com ponent A nalysis ( ICA ) is a signal ana lysism e thod based on high orde r cum ulants of signals and it can find out the la tent independent com ponents in da ta. R ecently ICA has been w ide ly used in m any fie lds such as speech recogn ition, im age processing, te lecommunication sy stem e tc. T he FastICA is the m ost popu lar a lgo rithm for ICA at present, and it uses N ew ton ru le to optim ize the objective function. T his algorithm can converge speedily bu t is no t robust to in itia lization. In order to overcom the drawbacks, one dim ens ion search w as im posed on the d irection of N ew ton itera tive. T he improved a lgor ithm can ensure the convergence o f the resu lts and is robust to in itia lization. W hen the improv ed a lgo rithm is used to detect the m oving targ et, the experim ental resu lts show tha t it is a robust m ethod.
2 基于负熵的目标函数及 FastICA 定点算法
ICA 的目标是通过变换 y = wx 由观测信号求解源信号, 为此需设置一个目标 函数 L ( w ), 使 L ( w ) 达到极值的 w^ 即为
所需解, 从而使得 y 与 s 相对应。在建立目标 函数时应该 遵循 下面两个原则:
1)当变量为高斯分布时, 目标函数为零。
关键词: 独立分量分析; 快速独立分量分析; 运动目标检测 中图分类号: T P391. 41 文献标志码: A
An improved FastICA algorithm and its application
GUO W u, ZHU Chang-ren, WANG Run-sheng
(ATR Labora tory, N ationa l Un iversity of D efence Techn ology, Chang sha H unan 410073, China )
xi = ai1 s1 + ai2 s2 + + ain sn; i = 1, 2, , m
( 1)
也可以将上式写成矩阵形式:
x = As =
其中 A = { a1, 向量。
n
aj sj
j= 1a2, ,an } 称为混合矩阵,
( 2) aj 是 混合矩阵 基
ICA 的目的是仅通过观测数据 x估计出未知独立源 s或混合 矩阵 A。由于没有任何参数目标, 这样学习过程只能是自组织的。
当 x为其他 非高斯分布 时, 负熵大于零。同 时, 负熵还有 一个
重要的性 质, 即对所有的 可逆线性 变换, 负熵的值 保持不变。 因此, 从统计特性角度讲, 负熵是度量随 机变量非高斯性的最 优工具之一。
由于对负熵的计算涉及概率密度的估计, 直接计算非常困
难, 因而有必要对负熵进行合理而有效的近似。对负熵进行近似
2)变量的非高斯性越强, 目标 函数的 值或绝 对值应 该越
大, 当目标函数达到极值时, 各 分量相互独立。 实际应用中通常 采用基于信息论的负熵作为描述信号非
高斯性的目标函数。负熵的定 义源于信息论中熵的概念。一
般来说, 随机变量的熵越大, 其 不确定性越大。在所有等方差
随机变量中, 高斯分布的随机变量熵最大。基于这一特点, 只
运动目标检 测在 军事 和工 业等 领域 有着 广泛 的 应用 前 景, 如军事目标跟踪、交通自动 导航、视频 信号传输 和机器 人 视觉。目前大多数目 标运动变 化检测 算法如 图像差 值法、图 像比值法、图像回归法、分类 结果 比较法 等 [ 7- 8], 对 图像帧 与 帧之间的几何配准精 度要求 很高, 在配准 不精确 的情况 下难 以得到好的结果。近 年来, 一些国 内的研 究者使用 独立分 量 分析来对运 动目标 进行 检测 也取 得了 一些 成果 [9- 11] 。在 这 些文献中, 都采用了 计算 效率 较高 的 F astICA 算 法来 获得 独 立分量。众所周知, F astICA 定点学习算法是利用了牛顿 迭代 法的原理, 牛顿迭代法是一 种具有 二阶收 敛特性 的最优 化方 法, 特别当目标函数是二次凸函数时, 运 用牛顿迭代法经一次 迭代就能达到极小点 。然而, 当初始点远离极小点时, 牛顿法 可能不收敛, 原因在于牛顿迭代的方向不一定是下降方向, 经 过迭代, 目标函数值可 能不收 敛。此外, 使目标 函数 值收敛,
第 4期
郭武等: 一种改进的 F astICA算法及其应用
96 1
独立分量分析方法是以分离出的各分量相互独立为目标, 因此对独立性的要求在 ICA 研究中就显得非常重要。依据统计 学的观点, 随机变量的非高斯性与统计独立密切相关, 其非高斯 性最强的方向即 ICA 寻找的投影方向。针对随机变量的非高斯 性, 可以建立不同的目标函数对其进行度量, 使得变量的非高斯 性越强对应的目标函数值越大。因此 ICA 问题可以归结为两个 主要方面: 目标函数 (优化准则 )和寻优过程 (优化算法 )。 ICA 方法的稳健性主要取决于目标函数的选择; 算法的收敛速度主要 依赖于优化算法。因此, 下面就采用的基于负熵的目标函数的 FastICA 及其改进算法进行分析。
K ey words: Independent Component A na ly sis ( ICA ); FastICA; de tection o f mov ing target
0 引言
独 立分 量分 析 ( Independent Component A na lysis, ICA ) 是 近十年来在信号分析 与处理 中发展 起来的一 种新方 法, 它不 同于主分量分析把目 光投注 于信号 的二阶统 计量, 研究 信号 间的相关关系, 而是基于信号的高阶统计量, 研究信号间的独 立关系 [ 1] 。近年来独立分量 分析已 经广泛 应用于特 征提取、 盲源信号分离、生理学数 据分析、语音 信号处 理、图 像处理 和 人脸识别 [ 2- 6] 等方面, 并 取得很多研究成果。
( 5)
针对负熵的目标 函数, 可以采用 梯度下 降的方 法实现 函
数极值的求解, 其中 FastICA 是当前应用最为广泛的一 种 ICA 优化方法, 基于牛顿梯度下降法的原理求解函数极值 [ 12] 。
根据前面近似负 熵的 表达式, 在 ICA 模型 中, F astICA 通
过最大化下面的等式 求解 y = w x的投影方向:
1 独立分量分析原理
独立分量分析是近年 出现的 一种数 据处理 方法, 可以 看 作是主分量分 析 ( P rinc ipa l Com ponent A na ly sis, PCA ) 的一 种
扩展, 它将数据变 换到相互独立的方向上, 使经过变换所得 到 的各个分量之间不仅 正交, 而且相 互独立。 设一组观 测信 号 x = { x 1, x 2, , xm } 是源信号 s = { s1, s2, , sn } 的观 测 值, 假设 第 i个观测信号由 n 个独立分量 s线性混合而成:
摘 要: 独立分量分析是基于信号高 阶统计量的信号分析方法, 它可以找到 隐含在数 据中的独立 分量, 已经广泛 应用到语音信号处理、图像处理及信息通信等方面 。目前应 用较多的快速独立分量分析 ( FastICA )利用了牛 顿迭代法 原理, 具有较快的收敛速度, 但对初始值的选择比较敏感。为克服其缺点, 改进其优化学习算法, 在牛顿迭代方向 增加 一维搜索, 使改进后的算法的收敛性不依赖于初始 值的选择。将改进的 F astICA 算法应用 到运动目标 检测中, 取得稳 定性较强的结果。
计算的一种有效方法是基于最大熵原理, 其负熵的表达式为:
J (x) [ E {G (x ) } - E {G ( v) } ] 2
( 4)
式中的 v是一标准高斯随机变量, G 是某种形式的非二次函数, 一般选择具有下凸性质的偶对称函数, 我们选择的函数为:
G(x) =
1 a
log(
co sh( ax) )
JG ( w ) = [ E { G ( wT x ) } - E { G ( v) } ] 2
( 6)
式中 w是 m维变量, 由于 v是与 y 具有相同均值和协方差矩阵
的高斯变 量, 在预 处 理 后, 上 式 的 最 大 化 问题 可 以 转 化 为
E { G ( wT x ) } 的 优 化 问 题。 按 照 K uhn-T ucke r 条 件,
需将熵的定义进行修改, 就可以得到随机变量的负熵, 作为度
量随机变量非高斯性 的目标函数。
随 机变量 x 的负熵 J( x) 定义为:
J (x) = HG (x) =
p (x)
log
p( x) pG ( x)
dx
( 3)
其 中 pG ( x ) 表示与随机变量 x 具有相同均值和方差的高斯随
机变量的分布函数。容易知道, 当 x 为高斯分布时, 负熵为零;
学习的第一步是建立一个以 w 为变元的目标函数 L ( w ), 如果某 个 w 能使得 L ( w ) 达到极值, 该 w 即为所需的解。
收稿日期: 2007- 10- 30; 修回日期: 2008- 02- 20。 基金项目: 国防科技重点实验室基金资助项目 ( 9140c8004010611) 。 作者简介: 郭武 ( 1976- ) , 男, 云南大姚人, 博士研究生, 主要研究方向: 图像分析理解、信息融合; 朱 长仁 ( 1968 - ), 男, 浙江杭州人, 副教 授, 主要研究方向: 图像理解、信息融合、遥感图像智能目标识别、人脸识别; 王润生 ( 1941 - ) , 男, 江苏扬州 人, 教授, 博士 生导师, 主要研 究方 向: 图像分析理解、信息融合。
E { G ( wT x ) } 的优化问题在条件 E { ( wT x ) 2 } = 可以通过求解下式得 到:
w 2 = 1下
E { xg( wT x) } - w = 0
( 7)
式中 为 常 量, 可 以 通 过 w 的 初 始 值 w0 得 到: =
E { w0T xg ( w0T x) }。函数 g ( ) 为 G ( ) 的导数。 为了求解式 ( 7) 中 的 w, F astICA 采用了 牛顿迭 代法, 记
得到的点也不一定是沿着牛顿方向的最好点或极值点。为 了
克服牛顿迭代 方法 的 这些 不足, 本文 改进 了 传统 的 F astICA 算法, 在沿牛顿迭 代的方向增加一维搜索, 保证了优化算法 收 敛到极值点。在 将改 进的 学习 算法 应用 到运 动目 标检 测 中 时, 取得 了令人满意的结果。