基于记忆的混合高斯建模

合集下载

基于改进的混合高斯背景模型的运动目标检测

Ｖａｕｆｏｉｅｉｅｇｓａｅａａｙｅｈｗｅｐｏｅｓｆａｋｏｎｐａｉｇａｄｒｃｎｔｃｉｎｔｅｍｐｏｅｖｌｅｏｓｍｅｐｘｌｎｖｄｏｉｉｍａｅｒｎｌｚｄｔｓｏｔｒｃｓｂｃｇｕｄｕｄｔｏｓｒｔ，ｈｎｗｅｅｌｙｔｏｈｏｒｎｎｅｕｏｈ
４４６６
２１，１（１００３２）
计算机工程与设计ＣｍｕｅＥｇｎｅｉｇｎｅｉｎｏｐｔｒｎｉｅｒｄＤｓｎａｇ
・多媒体技术・
基于改进的混合高斯背景模型的运动目标检测
宋雪桦，陈瑜，耿剑锋，陈景柱
（苏大学计算机科学与通信工程学院通信工程系，江苏镇江２２１）江１０３
ａｄａｂｃｇｏｄｒｂｉｉｇｍｅｈｎｓｔａｏｉｅｙｌｏｎｅｔｙａｃｕｄｔｇｉａｏｔｄＴｅｃａｇｉａｉｎｏｄｎａｋｕｅｕｌｎｃａｉｍｈｔｍｂｎｓｃｃｅｃｕｔｒｈｄｎｍｉｐａｉｄｐｅ．ｈｈｎｅｓｔｔｏｆＳａｒｎｄｃｗｉｎｓｕｎ
Ｆｒｈｓｏｌ，ａｇｒｈｉｐｏｏｅ，ｗｉｍｉｅｊｃｎａｉｅｅｃｔｏｔｂｃｇｏｄｓｂｒｃｉｔｏ，ｏｅｅｒｂｅｔｐｍｓｎｌｏｔｓｒｐｓｄｈｃｃｂｎｓｄａｅｔｒｍｅｆｒｎｅｈｄｈａｋｕｔｔｎｍｅｄａｉｍｈｏａｆｄｍｅｗｉｒｎｕａｏｈ

混合高斯模型在图像处理中的应用

混合高斯模型在图像处理中的应用随着数字化技术的不断发展，计算机视觉技术在图像处理中广泛应用。

而混合高斯模型(Mixture of Gaussian, MoG)便是其中的一种重要的数学工具和统计模型。

它不仅可以对图像进行描述和分析，还可以进行模式识别，它已经被应用在许多领域。

一、混合高斯模型的定义混合高斯模型，是指用多个高斯分布的线性组合来近似表示数据分布的一种模型。

这些高斯分布的均值、标准差和权重均不相同。

可以把这里的高斯分布看作是"越窄越高"的簇，而模型则是将若干个簇进行组合形成的。

二、混合高斯模型在图像分割中的应用在图像分割中，常常需要将图像进行区域划分，将图像中的不同区域分开。

而混合高斯模型正好可以对不同区域的图像进行描述。

混合高斯模型可以计算得到不同区域像素的概率密度函数，通过对密度函数进行阈值分割，将图像进行分割。

对于混合高斯模型的应用，主要分为以下两个步骤：1. 计算高斯分布参数首先，需要将整个图像从RGB空间转换为灰度空间，并预处理图像。

然后，使用混合高斯模型拟合图像数据，计算高斯分布的参数，即像素点的均值，方差和权值。

2. 基于高斯分布阈值进行分割确定一个合适的阈值是十分重要的。

一种常见的方法是使用OTSU阈值定位方法，这种方法可以自动选择分割的最佳阈值，从而使分割的区域达到最好的分割效果。

三、混合高斯模型在图像去噪中的应用除了在图像分割中的应用，混合高斯模型也可以用于图像去噪。

对于被污染的图像，可以将其看作是受到不同噪声类型的混合，每种噪声可以使用高斯模型进行描述。

具体实现方式为，将图像转换为灰度空间，并对其进行初步处理，例如中值滤波等。

然后使用混合高斯模型将不同类型的噪声进行建模，通过对噪声的建模，可以得到不同噪声参数的概率密度函数。

最后，将这些概率密度函数进行加权平均，得到的结果是一幅去噪后的图像。

四、结语混合高斯模型不仅可以对图像进行分割和去噪，还可以应用于其他领域，例如视频处理、运动跟踪和人脸识别等。

语音识别深度学习模型

语音识别深度学习模型第一部分语音识别深度学习模型概述 (2)第二部分语音识别技术发展历程 (4)第三部分深度学习在语音识别中的应用 (8)第四部分主流语音识别深度学习模型介绍 (11)第五部分语音识别深度学习模型的构建过程 (15)第六部分语音识别深度学习模型的训练方法 (18)第七部分语音识别深度学习模型的优化策略 (21)第八部分语音识别深度学习模型的应用前景 (25)第一部分语音识别深度学习模型概述语音识别深度学习模型概述随着人工智能技术的不断发展，深度学习已经成为了语音识别领域的研究热点。

深度学习模型在语音识别任务中取得了显著的性能提升，为实际应用提供了强大的支持。

本文将对语音识别深度学习模型进行概述，包括其基本原理、关键技术和应用领域。

一、基本原理深度学习是一种模拟人脑神经网络结构的机器学习方法，通过多层次的神经网络对数据进行自动学习和抽象表示。

在语音识别任务中，深度学习模型通常采用深度神经网络（DNN）结构，包括多个隐藏层和一个输出层。

输入层接收原始语音信号的特征向量，通过隐藏层的非线性变换和逐层抽象表示，最终在输出层得到识别结果。

二、关键技术1.卷积神经网络（CNN）卷积神经网络是一种特殊的深度学习模型，广泛应用于图像识别和语音识别任务。

在语音识别中，CNN 可以有效地提取局部特征，减少参数量，提高模型的泛化能力。

常见的 CNN 结构有多层感知机（MLP）、长短期记忆网络（LSTM）和门控循环单元（GRU）。

2.长短时记忆网络（LSTM）长短时记忆网络是一种具有长短时记忆能力的循环神经网络（RNN），可以有效地处理序列数据。

在语音识别中，LSTM 可以捕捉语音信号的时序信息，提高模型的识别性能。

为了进一步提高 LSTM 的性能，研究者提出了多种改进方法，如双向 LSTM、门控 LSTM 和注意力机制等。

3.注意力机制注意力机制是一种模拟人类注意力分配机制的方法，可以帮助模型在处理序列数据时关注重要的部分。

基于混合高斯模型与三帧差分的目标检测算法

基于混合高斯模型与三帧差分的目标检测算法张文;李榕;朱建武【摘要】针对传统目标检测方法中光照变化、复杂背景、阴影等难点,提出了一种结合三帧差分法和混合高斯背景建模的算法,既能很好地适应场景中的光照渐变和背景扰动,又能克服普通帧差法中检测目标不准确,容易产生孔洞及双影现象的问题.同时,采用了一种简易的阴影抑制算法和形态学滤波处理,有效地去除了阴影以及噪声.实验结果表明,该算法易于实现,具有较好地实时性和鲁棒性,能精确地检测出运动目标.%Aiming at the difficulties of the illumination change, complex background and shadow in the traditional target detecting methods, a novel algorithm which combines three-frame difference with mixture Gaussian background models is presented. It not only can satisfy the illumination changes and background scene disturbance, but also can overcome the problems of object detection inaccuracy which is prone to produce the voids and double-shadow phenomenon existing in common frame differencing method. Furthermore, this paper uses a simple shadow restaint algorithm and morphological filtering processing, which effectively reduces the shadows and noise. The experimental results show that the algorithm is easy to implement, has good real-time performance and robustness, and can detect the moving targets accurately.【期刊名称】《现代电子技术》【年(卷),期】2012(035)008【总页数】4页(P57-60)【关键词】三帧差分;混合高斯背景建模;阴影抑制;形态学滤波【作者】张文;李榕;朱建武【作者单位】华南师范大学物理与电信工程学院,广东广州 510006;华南师范大学物理与电信工程学院,广东广州 510006;华南师范大学物理与电信工程学院,广东广州 510006【正文语种】中文【中图分类】TN919-340 引言运动目标检测是机器视觉研究的一个重要领域，它是目标跟踪和视频图像分析的基础，在智能安防、交通监控、医学图像处理等方面有着广泛的应用，具有重要的应用价值和广阔的发展前景。

人体运动学人体姿势估计的关键算法分析

人体运动学人体姿势估计的关键算法分析人体姿势估计是计算机视觉和人机交互领域的重要研究内容之一。

它的主要目标是通过对人体姿势进行准确估计，从而实现人机交互、姿势识别和行为分析等应用。

在这一方面，算法的选择和设计至关重要。

本文将对人体运动学人体姿势估计的关键算法进行分析和探讨。

一、深度学习算法深度学习算法在人体姿势估计中取得了显著的成果。

它的主要思想是通过构建深层神经网络来对人体姿势进行学习和估计。

其中，卷积神经网络（CNN）和循环神经网络（RNN）在人体姿势估计中应用较为广泛。

1. CNN算法CNN算法通过局部感受野和参数共享的方式，能够有效提取图像中的特征，并对人体姿势进行识别。

常用的CNN模型如VGG、ResNet 和Hourglass等，它们通过堆叠多个卷积层和池化层，逐渐提取出图像中的高层次特征。

这些模型在人体姿势估计中能够取得较好的效果，但同时也需要大量的训练数据和计算资源支持。

2. RNN算法RNN算法通过循环神经网络的记忆特性，能够对序列化的人体姿势进行建模。

主要应用于视频和时间序列的人体姿势估计。

其中，长短期记忆网络（LSTM）和门控循环单元（GRU）是常用的RNN模型，它们能够有效地捕捉时间序列中的语义信息。

二、基于生成模型的算法基于生成模型的算法能够通过对观测数据的建模，来生成符合语义和几何约束的人体姿势。

其中，最常用的方法是高斯混合模型（GMM）和条件随机场（CRF）。

1. GMM算法GMM算法通过对人体关节点位置的概率分布进行建模，从而估计出人体姿势。

它将关节点位置看作是高斯分布的参数，通过最大似然估计或贝叶斯推断，能够对人体姿势进行准确的估计。

然而，GMM算法往往需要大量的训练数据和计算资源来进行学习。

2. CRF算法CRF算法通过对人体姿势之间的关系进行建模，来综合考虑上下文信息和语义约束。

它利用条件随机场的方法，通过最大后验估计，能够对人体姿势的空间和时间结构进行建模。

混合高斯背景建模原理及实现

一、理论混合高斯背景建模是基于像素样本统计信息的背景表示方法，利用像素在较长时间内大量样本值的概率密度等统计信息(如模式数量、每个模式的均值和标准差)表示背景，然后使用统计差分(如3σ原则)进行目标像素判断，可以对复杂动态背景进行建模，计算量较大。

在混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。

对于视频图像中的每一个像素点，其值在序列图像中的变化可看作是不断产生像素值的随机过程，即用高斯分布来描述每个像素点的颜色呈现规律【单模态(单峰)，多模态(多峰)】。

对于多峰高斯分布模型，图像的每一个像素点按不同权值的多个高斯分布的叠加来建模，每种高斯分布对应一个可能产生像素点所呈现颜色的状态，各个高斯分布的权值和分布参数随时间更新。

当处理彩色图像时，假定图像像素点R、G、B三色通道相互独立并具有相同的方差。

对于随机变量X的观测数据集{x1,x2,…,x N}，x t=(r t,g t,b t)为t时刻像素的样本，则单个采样点x t其服从的混合高斯分布概率密度函数：其中k为分布模式总数，η(x t,μi,t,τi,t)为t时刻第i个高斯分布，μi,t为其均值，τi,t为其协方差矩阵，δi,t 为方差，I为三维单位矩阵，ωi,t为t时刻第i个高斯分布的权重。

详细算法流程：高斯背景模型是由Stauffer等人提出的经典的自适应混合高斯背景提取方法，是一种基于背景建模的方法，它是根据视频中的每个像素在时域上的分布情况来构建各个像素的颜色分布模型，依次来达到背景建模的目的。

混合高斯背景模型是有限个高斯函数的加权和，它能描述像素的多峰状态，适用于对光照渐变、树木摇摆等复杂背景进行准确建模。

此后经过很多研究人员的不断改进，该方法目前已经成为比较常用的背景提取方法。

Matlab中的混合高斯模型建模方法介绍

Matlab中的混合高斯模型建模方法介绍混合高斯模型（Gaussian Mixture Model，简称GMM）是一种常用的概率模型，用于对数据进行建模和分析。

在Matlab中，通过使用统计和机器学习工具箱（Statistics and Machine Learning Toolbox），可以轻松地实现混合高斯模型的建模和应用。

本文将介绍混合高斯模型的基本概念、建模方法和实际应用，并通过示例演示Matlab工具箱的使用。

1. 混合高斯模型的基本概念混合高斯模型是由若干个高斯分布组合而成的概率模型，每个高斯分布被称为一个混合成分（mixture component）。

每个混合成分具有自己的均值和方差，通过控制每个混合成分所占的权重，可以对不同分布的重要性进行调节。

混合高斯模型可以用于数据的聚类、分类、异常检测等各种应用场景。

2. 混合高斯模型的建模方法在Matlab中，可以使用`gmdistribution.fit()`函数对数据进行混合高斯模型的拟合。

该函数需要输入一个数据集以及所希望拟合的混合高斯模型的数量。

可以通过修改`Options`参数来调整拟合过程中的迭代次数、算法选择等。

3. 混合高斯模型的参数估计拟合完成后，可以通过以下属性来获取混合高斯模型的参数估计：- `mu`：每个混合成分的均值- `Sigma`：每个混合成分的协方差矩阵- `PComponents`：每个混合成分的权重4. 混合高斯模型的应用示例为了更好地理解混合高斯模型在实际应用中的表现，我们以一个虚拟数据集为例进行演示。

假设该数据集包含两个不同的高斯分布。

我们首先生成数据集，并对其进行可视化。

```matlabrng(1); % 设置随机种子data1 = mvnrnd([1, 1], [0.2, 0.1; 0.1, 0.2], 1000);data2 = mvnrnd([-1, -1], [0.2, -0.1; -0.1, 0.2], 1000);data = [data1; data2];scatter(data(:, 1), data(:, 2));```接下来，我们使用GMM对数据进行建模。

基于混合高斯模型与码本算法的前景目标检测

图像进行码本学习，将码本建模得到的前景对象与ＧＭＭ得到的前景对象相融合，根据前后２次帧间差分得到前景对象的比例关系，自适应地更新高斯参数和扩展码字，到前景对象目标。实验结果表明，该方法实时性好，可消除视频序列中的阴影和鬼影，提取完整的前景得
ＤＯＩ１．９９．ｓ．００３２．０２０．０：０３６０ｉｎ１０４８２１．５０１ｓ
１概述
在智能监控系统中，运动目标的准确检测与分析对于目标分类、跟踪、行为理解等后期处理起到至关重要的作用。最常用的目标检测方法为背景减除法，其基本思想是将当Ｊ
第３８卷第５期
、．８ｂ１３
・
计
算
机
工
程
Hale Waihona Puke ２１０２年３月Ｍａｃｒｈ２０１２
Ｎｏ．５
ＣｏｍｐｕｅｔｒＥｎｇｎｅｉｇｉｅｒｎ
专栏・
文章缩号ｌＯ０＿４８０２５１４文献标识码；ＡＯ－３２（１Ｏ—彻Ｏ—０１＿２）
中圈分类号：Ｐ９Ｔ３
基于混合高斯模型与码本算法的前景目标检测
叶勇，管业鹏，李晶晶
（上海大学通信与信息工程学院，上海２０７）００２
摘要：出一种基于混合高斯模型（ＭＭ）提Ｇ与码本算法的前景目标检测方法。利用ＧＭＭ进行背景图像建模并初步提取前景对象，对背景
ＹｏｇＧＵｅｐｎ，ＩｉｇｊｇＥＹｎ，ＡＮＹ－ｅｇＬｎ－ｎＪｉ

基于混合高斯模型的目标差分自适应背景模型

时长时间留下前景运动物体和降低对光照变化的适应
能力
收稿日期：０９２０修稿日期：０９１－６２０ —１ — ９２０－２２
作者简介：永福（９１，，东省肇庆人，士研究生，究方向为机器视觉与模式识别刘１８一）男广硕研
（）１
｝．（ｌ（１ｆ１主】
。（２）
Ｔ（ｔ∑ ）１× ・
ｅ‘
式中，１’ 示ｔ的值（，２ … ，中落入第ｉ ‘Ｉ表）ｌ帧Ｘ。，Ｘ）Ｘ
个高斯分布的比率，和 ∑－分别表示高斯分布的期＇１
，
分量都置为２５方法不但填补了目标体内大量的裂５本
背景和引人大量噪声：新率低则在停滞物体逃离背景更
１混合高斯模型更新和背景生成．２
对某像素点的每个新样本点Ｘ判断其与已存在的Ｋ个高斯分布进行匹配，若满足条件Ｉ¨ １２ｔ，Ｘ一＜．ｒ５ｉ则Ｘ与该分布匹配。如果Ｘ＋都不匹配，。则增加新高斯分布或者用新高斯分布代替入最小的分布新的高
望值和方差，．。（ ∑ｉ１Ｉ假设像素点的ＲＢ个分量互相＝Ｇ
独立，且有相同的方差，为单位矩阵）Ｋ个高斯分布总Ｉ。是按照优先级 ‘Ｉｃ。ｉ１２ … ，从高到低的次１＇ｒ（，，Ｋ））ｌ＝／

基于时空的混合高斯背景建模的运动目标检测

【摘要】针对摄像机固定下的复杂背景环境，提出一种基于时空的自适应混合高斯背景建模方法，克服了经典混合高斯模型（ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ，ＧＭＭ）中只考虑单个像素的独立性而忽略相邻像素间的空间域相关性。首先采用混合高斯模型对每个像素在时间域上进行学习，然后利用相邻像素的自信息对背景及前景目标进行二次聚类，以修正错误的判断。实验结果表明，与经典混合高斯背景算法相比，提出的方法目标检测结果更加完整，具有更强的鲁棒性和很好的应用前景。
计算机视觉是一门研究利用计算机系统实现类似人了传统混合高斯背景模型对非平稳场景的稳健陛。
类视觉系统理解客观世界的、新兴的、多学科交叉的学科，上述各种方法针对Ｓｔａｕｆｆｅｒ等人提出的经典自适应涉及图像处理、计算机图形学、模式识别和人了较好的效果。
【Ａｂｓｔｒａｃｔ】Ａｔｅｍｐｏｒａｌ — ｓｐａｔｉａｌｍｉｘｔｕｒｅＧａｕｓｓｉａｎｂａｃｋｇｒｏｕｎｄｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄｗｈｉｃｈｏｖｅｒｃｏｍｅｔｈｅｓｔａｎｄａｒｄＧＭＭｗｈｅｒｅｅａｃｈｐｉｘｉｓｏｎｌｙｃｏｎｓｉｄｅｒｅｄｉｎ —
【关键词】混合高斯模型；空间域；自信息；聚类【中图分类号】ＴＮ９１１．７３；ＴＰ３９１

基于改进的混合高斯模型的运动目标提取

第２２卷第７期２１０２年７月
计算机技术与发展
ＣＯＭＰＵＴＥＴＲＥＣＨＮＯＬＯＧＹＡＮＤＤＥＶＥＬＯＰＭＥＮＴ
Ｖｏ．２Ｎｏ７Ｊ２．
Ｊｌ２１ｕｙ０２
基于改进的混合高斯模型的运动目标提取
杨宁，杨敏
ｓｎｉｖｏｔｅａｊｓｎｏｔｅｌａｉｇａ．ｎｔｉｐｐｒｉｒｖｄａａｔｅｌｏｔｍｉｐｔｏｗｒｏｍｏｉｇｏｊｔｘａｔｎＴｅｅｓｅｔｈｄｕｔｔｆｈｅｒｎｔＩｈｓａｅ，ｏｅｐｖｇｒｉｔｍｅｎｒｅｍｐｄｉａｉｈｓｕｆｒａｄｆｒｖｎｂｅＷｉ．ｈｃｅｃｏｍａｒｍｒｖｍｅｔｓｅｎｍｂｒｆｍｘｕｅＧｕｓｏｏｎｎｓａｄｔｅｄｓｒｎｔｆｄｎＴｅｅｐｒｎｅｕｔｓｏａｅｊｐｏｅｎｕｅｉｔｒａｓａｃｍｐｅｔｎｉｃｍｉａｉｏ．ｘｅｉｔｓｌｈｗｔｔｏｉｉｔｈｏｉｎｈｉｎｃ￣ｈｍｅｒｓｈｔｈ
ｉｒｖｇｒｔｍｓｂｔｒｔａａｉｏａｇｒｔｍｎｂｔｄｐｂｌｙａｏｕｉｇｓｅｄ．ｍｐｏｅａｏｉｄｌｈｉｔｎｔｄｔｎａｏｉｅｅｈｒｉｌｌｈｉｏａａｔｉｔｎｄｃｍｐｔｐｅｈａｉｎ
（南京邮电大学自动化学院，苏南京２０４）江１０６
摘要：背景提取技术是图像与视频处理中的关键技术文中对静态背景下运动目标的提取算法进行了研究。混合高斯

混合高斯的跟踪原理

混合高斯的跟踪原理混合高斯模型是一种经典的目标跟踪方法，它通过对目标和背景模型的高斯混合进行建模，实现目标的准确跟踪。

本文主要介绍混合高斯跟踪的原理及其实现流程。

一、混合高斯模型简介混合高斯模型（Mixture of Gaussian Model）是一种概率分布模型，其中各个混合成分均为高斯分布。

它在计算机视觉领域中被广泛应用于目标跟踪、背景减除、运动检测等领域。

在目标跟踪中，混合高斯模型将图像中的像素分为目标和背景两部分。

对于背景部分，混合高斯模型建立一个高斯混合模型，描述像素在背景中的分布情况。

而对于目标部分，则建立一个单一高斯模型，描述像素在目标中的分布情况。

混合高斯跟踪的基本原理是通过维护一个背景模型，来实现对目标的跟踪。

假设视频帧已经被划分成像素块，用$\xi_i$表示第i个像素块的像素分布概率密度函数（pdf），用$w_{i,j}$表示第i个像素块第j个混合成分的权值，用$\mu_{i,j}$和$\sigma^2_{i,j}$分别表示第i个像素块第j个混合成分的均值和方差。

模型初始化时将所有像素块视为背景，均以固定的概率进行混合。

当某个像素块出现目标时，慢慢地将其划分到目标模型中。

下面将详细阐述混合高斯跟踪的实现流程：1. 背景模型初始化混合高斯模型背景模型初始化是跟踪的重要一步，其主要目的是建立像素的高斯混合模型。

对于每个像素块$\xi_i$，首先建立一个混合成分，均值设为均值灰度值，方差设为初始方差。

混合成分的权值设为$\frac{1}{M}$，其中M为混合成分的数量。

2. 像素块分类3. 跟踪目标4. 高斯混合模型的更新在混合高斯模型中，当一个新的像素块被归为背景时，需要将该像素块加入到背景模型中。

以混合高斯模型背景模型的第i个像素块为例，其新的高斯混合模型可以表示为：$P_{i,j}(x_t)=w_{i,j}(x_{t})N(x_t|\mu_{i,j}(t),\sigma^2_{i,j}(t))+(1-w_{i,j}(x_t))P_{i,j}(x_t)$其中，$x_t$表示第t帧图像中像素块的值，$w_{i,j}(x_t)$表示第i个像素块第j个混合成分的权值，$\mu_{i,j}(t)$和$\sigma^2_{i,j}(t)$分别表示第i个像素块第j个混合成分的均值和方差。

混合模型公式混合高斯模型隐马尔可夫模型

混合模型公式混合高斯模型隐马尔可夫模型混合模型是一种统计模型，它结合了多个基本模型的特点，以适应数据的复杂性和多样性。

本文将重点介绍混合模型中常用的两种类型：混合高斯模型和隐马尔可夫模型。

一、混合高斯模型混合高斯模型是一种基于高斯分布的混合模型。

它假设数据点是从多个高斯分布中生成的，这些高斯分布具有不同的均值和方差，各自对应不同的类别或簇。

混合高斯模型通过考虑每个高斯分布的权重来描述不同类别或簇的重要性。

混合高斯模型可以使用以下公式进行表示：p(x) = ∑[i=1 to k] w[i] * N(x|μ[i],Σ[i])其中，p(x)表示给定数据点x的概率，k表示高斯分布的数量，w[i]表示第i个高斯分布的权重，N(x|μ[i],Σ[i])表示第i个高斯分布的概率密度函数。

通过调整权重和调整各个高斯分布的参数，可以根据实际情况对数据进行分类或聚类。

二、隐马尔可夫模型隐马尔可夫模型（Hidden Markov Model，简称HMM）是一种描述具有隐藏状态的序列数据的统计模型。

它假设系统的状态是一个马尔可夫链，即当前状态只依赖于前一状态，并且观测数据仅与当前状态有关。

隐马尔可夫模型可以使用以下公式进行表示：π(i) = P(q[i]) 初始状态概率a(ij) = P(q[j]|q[i]) 状态转移概率b(i) = P(x[i]|q[i]) 观测概率其中，π(i)表示初始状态概率，表示系统在时间序列的初始时刻处于状态i的概率；a(ij)表示状态转移概率，表示系统由状态i转移到状态j的概率；b(i)表示观测概率，表示系统处于状态i时，观测到某个具体观测值的概率。

隐马尔可夫模型广泛应用于语音识别、自然语言处理、生物信息学等领域。

通过调整初始状态概率、状态转移概率和观测概率，可以对序列数据进行建模与分析，包括状态预测、序列生成和序列估计等任务。

总结：混合模型是一种统计模型，可以适应数据的多样性和复杂性。

混合高斯模型和隐马尔可夫模型是混合模型的两种常见形式，分别适用于数据的分类和序列建模。

高斯混合模型（GMM）-混合高斯回归（GMR）

⾼斯混合模型（GMM）-混合⾼斯回归（GMR）⾼斯模型就是⽤⾼斯概率密度函数（正态分布曲线）精确地量化事物，将⼀个事物分解为若⼲的基于⾼斯概率密度函数（正态分布曲线）形成的模型。

对图像背景建⽴⾼斯模型的原理及过程：图像灰度直⽅图反映的是图像中某个灰度值出现的频次，也可以以为是图像灰度概率密度的估计。

如果图像所包含的⽬标区域和背景区域相差⽐较⼤，且背景区域和⽬标区域在灰度上有⼀定的差异，那么该图像的灰度直⽅图呈现双峰-⾕形状，其中⼀个峰对应于⽬标，另⼀个峰对应于背景的中⼼灰度。

对于复杂的图像，尤其是医学图像，⼀般是多峰的。

通过将直⽅图的多峰特性看作是多个⾼斯分布的叠加，可以解决图像的分割问题。

在智能监控系统中，对于运动⽬标的检测是中⼼内容，⽽在运动⽬标检测提取中，背景⽬标对于⽬标的识别和跟踪⾄关重要。

⽽建模正是背景⽬标提取的⼀个重要环节。

我们⾸先要提起背景和前景的概念，前景是指在假设背景为静⽌的情况下，任何有意义的运动物体即为前景。

建模的基本思想是从当前帧中提取前景，其⽬的是使背景更接近当前视频帧的背景。

即利⽤当前帧和视频序列中的当前背景帧进⾏加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，⼀般的建模后的背景并⾮⼗分⼲净清晰，⽽⾼斯混合模型(GMM，Gaussian mixture model)是建模最为成功的⽅法之⼀，同时GMM可以⽤在监控视频索引与检索。

混合⾼斯模型使⽤K（基本为3到5个）个⾼斯模型来表征图像中各个像素点的特征,在新⼀帧图像获得后更新混合⾼斯模型,⽤当前图像中的每个像素点与混合⾼斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。

通观整个⾼斯模型，他主要是有⽅差和均值两个参数决定，,对均值和⽅差的学习,采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。

由于我们是对运动⽬标的背景提取建模，因此需要对⾼斯模型中⽅差和均值两个参数实时更新。

为提⾼模型的学习能⼒,改进⽅法对均值和⽅差的更新采⽤不同的学习率;为提⾼在繁忙的场景下,⼤⽽慢的运动⽬标的检测效果,引⼊权值均值的概念,建⽴背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进⾏前景和背景的分类。

高斯混合模型聚类

高斯混合模型详解聚类的方法有很多种，k-means要数最简单的一种聚类方法了，其大致思想就是把数据分为多个堆，每个堆就是一类。

每个堆都有一个聚类中心（学习的结果就是获得这k个聚类中心），这个中心就是这个类中所有数据的均值，而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心（分类的过程就是将未知数据对这k个聚类中心进行比较的过程，离谁近就是谁）。

其实k-means算的上最直观、最方便理解的一种聚类方式了，原则就是把最像的数据分在一起，而“像”这个定义由我们来完成，比如说欧式距离的最小，等等。

想对k-means的具体算法过程了解的话，请看这里。

而在这篇博文里，我要介绍的是另外一种比较流行的聚类方法----GMM（Gaussian Mixture Model）。

GMM和k-means其实是十分相似的，区别仅仅在于对GMM来说，我们引入了概率。

说到这里，我想先补充一点东西。

统计学习的模型有两种，一种是概率模型，一种是非概率模型。

所谓概率模型，就是指我们要学习的模型的形式是P(Y|X)，这样在分类的过程中，我们通过未知数据X可以获得Y取值的一个概率分布，也就是训练后模型得到的输出不是一个具体的值，而是一系列值的概率（对应于分类问题来说，就是对应于各个不同的类的概率），然后我们可以选取概率最大的那个类作为判决对象（算软分类soft assignment）。

而非概率模型，就是指我们学习的模型是一个决策函数Y=f(X)，输入数据X是多少就可以投影得到唯一的一个Y，就是判决结果（算硬分类hard assignment）。

回到GMM，学习的过程就是训练出几个概率分布，所谓混合高斯模型就是指对样本的概率密度分布进行估计，而估计的模型是几个高斯模型加权之和（具体是几个要在模型训练前建立好）。

每个高斯模型就代表了一个类（一个Cluster）。

对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。

然后我们可以选取概率最大的类所为判决结果。

人工智能技术中的语音识别算法详解

人工智能技术中的语音识别算法详解随着人工智能技术的快速发展，语音识别算法成为了研究的热点之一。

语音识别算法是指通过计算机将人类语音转化为文本或命令的技术。

它在日常生活中的应用越来越广泛，比如语音助手、语音翻译等。

本文将详细介绍几种常见的语音识别算法及其原理。

首先，我们来介绍一种常见的语音识别算法——基于高斯混合模型的隐马尔可夫模型（GMM-HMM）。

这种算法是一种统计建模方法，它假设语音信号可以由多个高斯分布组成的混合模型表示。

在训练阶段，首先通过对大量的语音数据进行训练，得到每个高斯分布的参数。

然后，通过隐马尔可夫模型来建模语音信号的时序关系。

在识别阶段，通过计算观测序列与每个高斯分布的概率，再利用动态规划算法来求解最优路径，从而得到最可能的文本结果。

除了GMM-HMM算法，还有一种常见的语音识别算法是基于深度神经网络的端到端模型。

这种算法的特点是将语音信号直接输入神经网络，通过多层神经网络的处理，得到最终的文本结果。

与传统的GMM-HMM算法相比，端到端模型不需要手动提取语音特征，而是通过神经网络自动学习特征表示。

这种算法的优势在于可以更好地处理复杂的语音信号，提高识别准确率。

此外，还有一种常见的语音识别算法是基于循环神经网络的模型。

循环神经网络（RNN）是一种具有记忆功能的神经网络，它可以处理序列数据。

在语音识别中，RNN可以通过对输入的语音信号进行时间序列建模，从而捕捉到语音信号的时序信息。

为了解决RNN在长序列输入时的梯度消失问题，人们提出了长短时记忆网络（LSTM）和门控循环单元（GRU）等改进算法。

这些改进算法在语音识别中取得了较好的效果。

除了以上介绍的几种算法，还有一些其他的语音识别算法，比如基于注意力机制的模型、序列到序列模型等。

这些算法在不同的应用场景中有着各自的优势和适用性。

例如，注意力机制可以帮助模型在长序列中更好地关注重要的部分，而序列到序列模型可以用于语音翻译等任务。

基于元认知模型的智能混合高斯背景建模

ＭＣＫｅｌｅｍｅｎｔｉｓｃｏｍｐｏｓｅｄｏｆｈｅｔｂａｃｋｒｏｇｕｎｄｍｏｄｅｌｓｃｏｎｉｇｚｅｄｅｖｅｒ．ＭＥｅｌｅｍｅｎｔｉｓｃｏｍｐｏｓｅｄｏｆｈｅｔｅｘｐｅｒｉｅｎｃｅｓｒｏｆｍ
ＡＭｅｔａｃｏｇｎｉｔｉｖｅＭｏｄｅｌ — ｂａｓｅｄＩｎｔｅｌｌｉｇｅｎｔＧａｕｓｓｉａｎＭｉｘｔｕｒｅｂａｃｋｇｒｏｕｎｄｍｏｄｅｌｉｎｇｍｅｔｈｏｄｉｓｐｒｏｐｏｓｅｄ．Ｆｏｒｅａｃｈｐｉｘｅｌ，
计算机系统应用
ｈｔｔｐ：ｌｌ￣ｗ．ｃ — Ｓ — ａ．ｏｒｇ．ｃｎ
２０１３年第２２卷第９期
基于元认知模型的智能混合高斯背景建模①
陈真，王钊
（中国石油大学（华东）电子信息工程系，青岛２６６５８０）
ｍｏｎｉｔｏｒｓｔｈｅｍｏｄｅｌｉｎｇｓｃｈｅｍｅ，ｓｔｉｍｕｌａｔｅｓｔｏｇｅｔＭＥｅｌｅｍｅｎｔ，ａｎｄｅｘｔｒａｃｔｓｃｏｇｎｉｔｉｖｅｋｎｏｗｌｅｄｇｅｆｒｏｍＭＣＫｅｌｅｍｔｉｖｅＣｏｇｎｉｔｉｖｅＫｎｏｗｌｅｄｇｅ（ＭＣＫ）ｅｌｅｍｅｎｔａｎｄＭｅｔａｃｏｇｎｉｔｉｖｅＥｘｐｅｒｉｅｎｃｅ（ＭＥ）ｅｌｅｍｅｎｔ．ＭＭｅｌｅｍｅｎｔ

混合高斯背景建模理解（原创）

混合⾼斯背景建模理解（原创）⽬前，基于⼆值化图像提取运动⽬标仍具有⼴泛的应⽤。

但是，在提取运动⽬标之前必须进⾏背景建模。

背景建模的⽅法很多，如平均法，最⼤值最⼩值统计法，单⾼斯建模法，加权平均法等，⽽混合⾼斯背景建模应该来说是⽐较成功的⼀种。

为什么这么说呢？机器视觉算法提取运动⽬标⾯临的基本问题：图像抖动，噪声⼲扰，光线变化，云飘动，阴影（包括⽬标阴影和区域外物体阴影），区域内部反光（如⽔⾯，显⽰器），运动⽬标缓慢移动等。

那我们来看看，混合⾼斯背景建模是怎么解决这些问题的？从混合⾼斯模型的原理⼀看便知。

混合⾼斯模型的原理图像中每个像素点的值（或特征）短时间内都是围绕与某⼀中⼼值⼀定距离内分布，通常，中⼼值可以⽤均值来代替，距离呢可以⽤⽅差来代替。

这种分布呢是有规律的，根据统计定律，如果数据点⾜够多的话，是可以说这些点呈正态分布，也称为⾼斯分布（取名⾼斯，⼤概是因为很多地⽅都⽤这个名字吧）。

根据这个特点，如果像素点的值偏离中⼼值较远，那么，这个像素值属于前景，如果像素点的值偏离中⼼值很近（在⼀定⽅差范围内），那么可以说这个点属于背景。

理论上，如果不存在任何⼲扰的话，是可以准确区分前景和背景的。

但是，现实往往不尽如⼈意，如果画⾯中光线变化的话，这个⾼斯分布的中⼼位置是会改变的。

如果光线强度改变的话，在原来那个位置并没有⽆数个点供统计，因此，不符合⼤数定理，也就不能说那个点的分布满⾜正态分布了，只能说是近似为⾼斯分布。

混合⾼斯模型指这个像素点值存在多个中⼼位置，如来回摆动的树叶，波光粼粼的⽔⾯，闪烁的显⽰器，图像中特征边缘位置的抖动等，这些都会引起某个像素点会在多个中⼼位置聚集⼤量的点，每个位置便会产⽣⼀个⾼斯分布，四个以上的⾼斯分布其实并不常见，这便是混合⾼斯模型的由来。

混合⾼斯背景建模主要⽤来解决背景像素点具有多峰特性的场合，如在智能交通场景中，解决视频画⾯抖动带来的⼲扰。

针对光线变化的问题，混合⾼斯模型通过⽐较当前像素点的值与⾼斯分布中⼼位置，选择⼀定的加权系数对当前⾼斯分布的中⼼位置进⾏更新，以便于适应缓慢的光线变化。

基于混合高斯模型的运动阴影抑制算法

Ａｓａｔｈａｋｒｎｏｅｉｆｃｍｌｎｉｎｅｔｍｖｇｏｊｃｄｔｔｎｎｏｉｇｃｓｓａｏｂｔｃ：Ｔｅｂｃｇｏｄｍｄｌｇｏｏｐｅｅｖｍｎ，ｏｉｂｅｔｅｃｉ，ａｄｍｖｎａｔｈｄｗｒｕｎｘｏｒｎｅｏ
ｉｅｔｅｈｔｅｉｅｖｕｒｂｂｅｓａｏｙｓａｏｍｏｅＶｃｌｒｓａｅｈｉｅｖｕｓｄｔｃｅｒｂｂｅｄｎｉｓｗｅｈｒｐｘｌａｅｉｐａｌｈｄｗｂｈｄｗｄｌｉＨＳｏｏｐｃ，ｔｅｐｘｌａｅｅｅｔｄａｐｏａｌｉｆａｌｓｏｎｌｓｓａｏａｅｔｅｕｎｏｍｉｔｒｕｓａｈｄｗｍｏｅｔｅｒｄｃｕｔｒＴｅｅｐｒｎａｅｕｔｉｄｃｔｓｔａｈｈｄｗｈｎｐｔｉｔｘｕｅＧａｓｉｎｓａｏｄｌｏｌａｎａｌｓ．ｈｘｅｍｅｔｒｓｌｎｉａｅｈｔｔｅｒｎｅｉｌｓｐｐｓｄａｐａｈｉｈｓｐｐｒｃｎｐｏｅｓｉｅ－ｉｄｒｍｏｅｓａｏｒｆｃｉｅｙｏｒｏｅｐｒｃｎｔｉａｅａｒｃｓｎｒａｔｏｌｍｅａｅｖｈｄｗｍｏｅｅｅｔｌ．ｎｖＫｅｒｓａｋｒｕｄｍｏｅｉｇｙｗｏｄ：ｂｃｇｏｎｄｌｎ；Ｇａｓｉｎｍｉｔｒ；ｓａｏｕｐｅｓｎｕｓｘｕｅｈｄｗｓｐｒｓｉ；ＨＳｏｏｐｃａｏＶｃｌｒｓａｅ

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

第36卷第11期自动化学报Vol.36,No.11 2010年11月ACTA AUTOMATICA SINICA November,2010基于记忆的混合高斯背景建模齐玉娟1王延江1李永平1摘要混合高斯模型(Gaussian mixture model,GMM)可对存在渐变及重复性运动的场景进行建模,被认为是最好的背景模型之一.然而,它不能解决场景中存在的突变,如门的打开/关闭等.为解决此类问题,受人类认知环境方式的启发,本文将人类记忆机制引入到背景建模,提出一种基于记忆的混合高斯模型(Memory-based GMM,MGMM).每个像素都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和处理.本文提出的基于记忆的背景模型能够记住曾经出现的背景,从而能更快地适应场景的变化.关键词背景建模,混合高斯模型,记忆,基于记忆的混合高斯模型,运动目标分割,背景减除DOI10.3724/SP.J.1004.2010.01520Memory-based Gaussian Mixture Background ModelingQI Yu-Juan1WANG Yan-Jiang1LI Yong-Ping1Abstract Gaussian mixture model(GMM)is one of the best models for modeling a background scene with gradual changes and repetitive motions.However,it fails when the scene changes suddenly,e.g.,a door is opened or closed. To handle such problems,we propose a memory-based Gaussian mixture model(MGMM)inspired by the way human perceives the environment.The human memory mechanism is introduced to model the background.Each pixel of every frame is processed and transferred through three spaces:ultra-short time memory space,short time memory space,and long time memory space.The proposed memory-based model can remember what the scene has ever been,which helps the model adapt to the variation of the scene more quickly.Key words Background modeling,Gaussian mixture model(GMM),memory,memory-based Gaussian mixture model (MGMM),moving object segmentation,background subtraction图像序列运动目标检测对智能视频监控、行为分析等后续处理非常重要,检测的结果直接影响后期处理的效果.在众多目标检测方法中,背景减除法是目前最常用的一种方法[1−2].背景减除法通过计算当前帧与背景模型的差来实现运动目标的检测,因此背景建模是背景减除法的关键.目前已有的背景建模方法能适应场景中光照及背景的缓慢变化.其中,由Stauﬀer等[3−4]和Friedman等[5]分别同时提出的混合高斯模型(Gaussian mixture model,GMM)可对存在周期性运动(如树叶的晃动、旗帜的飘动、显示器的闪烁等)的场景进行建模,是应用最广泛的背景模型之一.混合高斯模型将每个像素点的时变取值建模为K个独立的混合高斯分布.若X i表示某个像素点在时刻i的观测值,一般为(R,G,B)颜色分量,{X1, X2,···,X t}表示该点从开始观测到时刻t的时变取值,则时刻t观测值为X t的概率可用K个高斯收稿日期2009-12-18录用日期2010-06-12Manuscript received December18,2009;accepted June12, 2010国家自然科学基金(60873163)资助Supported by National Natural Science Foundation of China (60873163)1.中国石油大学(华东)信息与控制工程学院东营2570611.College of Information and Control Engineering,China Uni-versity of Petroleum,Dongying257061分布建模:P(X t)=Kk=1ωk,t·η(X t,µk,t,Σk,t)(1)其中,K是高斯分布的数量(一般取3或5),ωk,t是时刻t第k个高斯分布的权重,η(X t,µk,t,Σk,t)是高斯概率密度函数:η(X t,µk,t,Σk,t)=1(2π)D/2|Σk,t|1/2×e{−12(X t−µk,t)TΣ−1k,t(X t−µk,t)}(2)其中,D表示X t的维数,µk,t和Σk,t分别表示时刻t 第k个高斯分布的均值和协方差.为了简化计算,通常假设各颜色通道独立且具有相同的方差,即Σk,t=σ2·I(3)其中,σ为标准差,I为单位阵.所有K个高斯分布首先按照ωk/σk由大到小排序,然后从首端选取B个高斯分布作为背景模型:B=arg minbbk=1ωk,t>T(4)其中,T为权重阈值.11期齐玉娟等:基于记忆的混合高斯背景建模1521给定一帧新的图像,将每一个新采样值X t+1依次与K个高斯分布进行比较,如果|(X t+1−µk,t)|≤2.5σk,t,就判定该样本属于该高斯分布,或称与该高斯分布相匹配.采用在线K-均值近似算法更新第一个匹配高斯分布的所有参数,而对于其他K−1个高斯分布,仅更新它们的权重,均值和方差保持不变:ωk,t+1=(1−α)·ωk,t+α·M k,t+1(5)µk,t+1=(1−ρ)·µk,t+ρ·X t+1(6)σ2k,t+1=(1−ρ)·σ2k,t+ρ·(X t+1−µk,t+1)T·(X t+1−µk,t+1)(7)M k,t+1=1,第一个匹配的高斯分布0,其他(8)ρ=α·η(X t+1|µk,t,σk,t)(9)其中,α为更新速率.如果不存在匹配分布,就用一个新的均值为X t+1、高方差和低权重的高斯分布取代尾端的高斯分布,即第K个高斯分布.混合高斯背景模型能够适应场景的缓慢变化,并能够描述场景中的周期性运动,被认为是最好的背景模型之一[6].然而,它无法解决场景中存在的光照或背景突变等问题.为了解决这些问题,近年来研究者对其做了各种改进.如,Javed等[7]通过对每一帧图像进行像素级、区域级和帧级处理,并结合颜色和梯度信息解决光照突变及场景中存在运动目标时背景模型的初始化问题.Sun等[8]提出了层次式混合高斯背景模型解决光照突变问题.Zivkovic 等[9−10]提出了一种自适应混合高斯建模算法,有效减少了程序运行时间,并且分割效果也有所改善. Zhang等[11]提出了一种高斯运动模型以解决树枝晃动、摄象机颤动、雨雾等动态场景中运动车辆的分割问题.Lee提出了一种提高混合高斯模型收敛率而没有降低模型的稳定性的有效机制[12−13].Baf 等[14]提出了一种Type-2模糊混合高斯建模方法,用以解决相机振动、光照变化、树枝晃动和水面波动等问题.Singh等[15]提出将在线K-均值近似算法与期望最大化(Expectation maximization,EM)算法相结合更新混合高斯模型参数的方法,该方法在前景和背景对比度低的场景中取得了良好的分割效果.王永忠等[16]提出了一种自适应的时空背景模型,改进了传统混合高斯背景模型对非平稳场景的稳健性.杨涛等[17]为了检测出前景中的静止运动目标及消除“鬼影(Ghost)”,提出一种基于多层背景模型(Multiple layer background model,MLBM)的前景检测算法,该算法将背景分为参考背景和动态背景两层,分别采用单高斯和混合高斯模型进行建模.此外,Elgammal等[18]利用核密度估计提出了一种非参数背景建模方法,该方法不用对背景的概率模型做任何假设,直接利用先前获得的像素值估计当前像素为背景的概率.该方法能够解决混合背景中树枝或灌木的晃动等问题.此后的研究者又对非参数背景建模方法做了各种改进[10,19−21].上述多数方法主要针对存在光照突变或全局变化场景而提出,不适合对局部突变场景建模,如室内场景中门的打开/关闭等.为解决此类问题,本文将人类记忆机制引入背景建模,提出了一种基于记忆的混合高斯模型(Memory-based GMM,MGMM).在建模过程中每一个像素都要经过瞬时记忆、短时记忆和长时记忆三个空间的传输和存储.经过学习,基于记忆的混合高斯模型能记住出现过的背景;当遇到相似的背景时,能及时提取并激活记忆的背景,从而能快速地适应场景的变化.本文剩余部分安排如下:第1节介绍人类的记忆机制;第2节详细描述提出的基于记忆的混合高斯背景建模算法;第3节给出基于记忆的混合高斯模型和传统的混合高斯模型及文献[17]的MLBM 方法的对比实验结果;最后是总结.1人类记忆模型众所周知,不管场景怎么变化,人类都能很容易区分目标和背景.根据认知心理学,人类之所以能够做到这一点,与人类拥有一套功能完善和强大的记忆系统密切相关.人所看到的和所经历的都要经过记忆系统的处理.当认知新的事物时,与该事物相关的记忆信息就会被提取出来,从而加快认知的过程.根据认知心理学,人类的记忆可分为三个阶段,其模型如图1所示[22−24].图1三阶段记忆模型Fig.1The three-stage memory model从图1可以看出,记忆可以分为瞬时记忆、短时记忆和长时记忆三个阶段.每个阶段包括编码、存储和提取三个过程.不经常提取或不经常使用的信息就会从记忆中遗失,即遗忘[25].三阶段记忆过程描述如下:1)瞬时记忆用于存储基本的感知信息.2)短时记忆(也称为工作记忆)用来做出决策.1522自动化学报36卷存储在短时记忆中的信息包括由瞬时记忆而得到的新的信息、已存储在短时记忆且被处理过的信息和从长时记忆中提取的信息.短时记忆可以看作是一个信息储存和处理的复杂系统.3)长时记忆是一个庞大而复杂的信息库,存储的信息能够使主体回忆各种已发生的事物、认知各种模型进而解决各种问题.2基于记忆的混合高斯模型(MGMM)2.1基于记忆的混合高斯背景建模为了模拟人类记忆机制,首先将存储高斯分布的空间Ω分为两部分:短时记忆空间和长时记忆空间,并对它们分别定义如下:定义1.短时记忆空间(Short time memory space,STMS):用来模拟人类的短时记忆,是K个高斯分布的集合.若用Dis i表示短时记忆空间中的第i个分布,那么ST MS={Dis i,i=1,···,K}存储在短时记忆空间中的分布包括由存储在瞬时记忆空间中的像素构成的新的分布、短时记忆空间中原有的并经过更新的分布或者从长时记忆空间中提取过来的分布.为了标记曾经作为背景的分布,我们为短时记忆空间中的每一个分布都定义了一个参数β.若β=1,则表明该分布为可记忆分布,表示它曾经是背景,可以存储到长时记忆空间;否则说明该分布不是背景模型.具体地,对于∀Dis i∈ST MS,i=1,···,K,如果Dis i·β=1,则Dis i是可记忆分布,用Dis im 来表示.定义2.长时记忆空间(Long time memory space,LTMS):用来模拟人类的动态的长时记忆,是可记忆分布的集合.即:LT MS={Dis mj,j=1,···,N−K}其中,Dis mj表示长时记忆空间的第j个可记忆分布,N是短时记忆空间和长时记忆空间中高斯分布的总和.对瞬时记忆空间,定义如下:定义3.瞬时记忆空间(Ultra-short time mem-ory space,USTMS):用来模拟人类的瞬时记忆,是当前帧所有像素的集合.在背景建模过程中每一个像素都要经过上述三个空间的传输和处理.综上可得出基于记忆的背景建模总体框图,如图2所示.基于记忆的混合高斯背景建模过程可简要概括为:新的像素值暂时存储于瞬时记忆空间中,然后依次与短时记忆空间和长时记忆空间中的分布进行匹配,并根据匹配结果确定该像素是否属于背景像素,同时由记忆、提取、遗忘及竞争等行为对记忆空间进行更新.图2基于记忆的背景建模总体框图Fig.2The block diagram of memory-basedbackground modeling如果短时记忆空间中不存在匹配分布,并且该空间中最后一个分布(记为Dis K)是可记忆的,通过记忆行为将其存储到长时记忆空间中.如果长时记忆空间中也不存在匹配分布,记忆行为之后, Dis K会被当前像素构成的新的分布取代;而如果长时记忆空间中存在匹配分布,记忆的同时提取匹配的高斯分布取代Dis K.为了将存储的背景激活,提取后匹配高斯分布的背景属性不变.如果Dis K被新的分布取代或者一个分布被从任一空间中清除,该过程称之为遗忘.如果长时记忆空间已满且Dis K是可记忆的,就在Dis K和长时记忆空间中的所有分布(Dis mj,j=1,2,···,N−K)之间产生竞争,根据权重值决定记忆哪一个分布.设Dis mmin表示长时记忆空间中具有最小权重值的分布,如果Dis K·ω>Dis mmin·ω,则Dis K被记忆,而Dis mmin 被遗忘;反之,Dis K被遗忘.记忆行为可以使长时没有匹配的可记忆分布作为先验知识存储到长时记忆空间;而提取行为可以激活先验知识.在它们的共同作用下,背景模型能够快速地适应场景的变化.2.2基于记忆的混合高斯背景建模算法描述根据上面的模型分析,基于记忆的混合高斯背景建模算法流程如图3所示.算法的具体描述如下:步骤1.第一帧时初始化短时记忆空间,每一个像素用K个高斯分布描述,并将长时记忆空间置为空.步骤2.对每一帧新的图像,将短时记忆空间中的K个分布按ωk/σk的值从大到小排序.根据式(4)从首端选取B个高斯分布作为背景模型,并标记为可记忆的.步骤3.将新的采样值X t+1(感知信息)依次与短时记忆空间中的K个高斯分布进行匹配.如果11期齐玉娟等:基于记忆的混合高斯背景建模1523图3算法流程图Fig.3Diagram of the algorithm找到匹配分布(用Dis mat表示),根据式(10)确定p(x,y)t+1的值为p(x,y)t+1=0,若Dis mat是可记忆的1,其他(10)并且按照式(5)∼(8)和式(12)更新匹配的分布,其他分布只更新权重;否则,转步骤4.式(10)中,p(x,y)t+1用于对位于(x,y)的像素X t+1进行标识;若p(x,y)t+1=1,表示该像素为前景像素.由混合高斯建模方法可知,排在前面的背景分布具有较高的权重,而代表运动目标的分布权重比较低;经过前L(在本文中L=200)帧的固定学习之后,我们期望具有较高权重的分布具有较高的学习率,因而式(5)中的α由下式描述[26]:α=αL,前L帧αup,其他(11)其中,αup=max(αc,ωM·α0),ωM是匹配分布的权重,αc,α0,αL都是常数,且αc<αL<α0.引入αc的目的是令αup的值不至于过小而致使长时间停止运动的目标无法被更新至背景模型.参数ρ可由下式近似表示[6]:ρ=αωM(12)步骤4.将采样值X t+1依次与长时记忆空间中的分布进行匹配.如果找到匹配,则p(x,y)t+1=0,并根据式(5)更新匹配分布的权重值(其中α=αL),然后执行步骤4.1和步骤4.2;否则转向步骤5.步骤4.1.如果Dis K是可记忆的,记忆Dis K 同时提取Dis mat(即:将Dis K与Dis mat进行交换),如图4所示.图4记忆和提取行为示意图Fig.4Illustration of remembering and recalling图4中每一个小框代表一个分布,带星号的表示可记忆分布,带粗框的表示匹配分布,下同.步骤4.2.如果Dis K是不可记忆的,提取Dis mat遗忘Dis K,如图5所示.图5提取和遗忘行为示意图Fig.5Illustration of recalling and forgetting步骤5.如果短时记忆空间和长时记忆空间中都不存在匹配分布,则p(x,y)t+1=1,然后先执行1524自动化学报36卷步骤5.1和步骤5.2,再用一个新的均值为X t+1、高方差、低权重的分布取代Dis K.步骤5.1.如果Dis K是可记忆的且长时记忆空间未满,直接记忆Dis K;步骤5.2.如果Dis K是可记忆的而长时记忆空间已满,则通过竞争行为,记忆权重大的而遗忘权重小的,如图6所示.图6竞争行为示意图Fig.6Illustration of competition3实验结果及讨论为验证本文所提MGMM算法的有效性,在P43.0的PC机上,VC编程环境下,用实拍序列进行了测试,并与传统GMM方法以及文献[17]的MLBM方法进行了对比.在目标提取过程中,为了去除噪声,采用了3×3高斯滤波器以及连通域分析算法,但未采用任何阴影去除算法.表1列出了三种建模方法所使用的参数大小,为了保证比较的有效性,三种方法基本参数取值是相同的.表1三种背景建模方法使用的参数Table1Parameters used by the three kinds ofbackground modeling methods模型参数GMM K=5;σ=25;T=0.4;ω=0.2;α=0.005MLBM K=5;K REF=3;σ=25;T=0.4;ω=0.2;α=β=0.005MGMM K=4;N=5;σ=25;T=0.4;ω=0.25;αL=0.005;α0=0.007;αc=0.000001第一个序列“Ghost”,最初场景中的椅子上是空的,后来在椅子上放上一件外套,如图7所示.经过背景的不断学习更新后,放有外套的场景被存储到短时记忆空间中,而没有外套时的场景被记忆到长时记忆空间中.图8给出当取走外套时(序列第1156,1160,1162,1164,1166,1168帧),采用经典GMM方法、文献[17]的MLBM方法以及本文提出的MGMM方法的运动目标分割结果.结果显示本文提出的MGMM方法和MLBM方法都消除了“Ghost”,但MGMM方法分割效果明显优于MLBM方法;而GMM方法却将“Ghost”也作为前景检测出来,并直到第1318帧才完全消失.图7“Ghost”序列背景变化Fig.7Background changes in“Ghost”(a)原序列(a)Original sequence(b)GMM分割结果(b)The segmentation results of GMM(c)MLBM分割结果(c)The segmentation results of MLBM(d)MGMM分割结果(d)The segmentation results of MGMM图8“Ghost”序列运动目标分割结果Fig.8The segmentation results of“Ghost”第二个序列“Door”,开始时门是开着的,然后关闭,如图9所示(第1帧和第500帧).经过背景的学习更新后,门关闭着的场景被存储到短时记忆空间中,而门开着的场景被记忆到长时记忆空间中.本文分别对该序列中门开始打开、完全打开以及关闭后三个阶段进行了测试.图9“Door”序列背景变化Fig.9Background changes in“Door”11期齐玉娟等:基于记忆的混合高斯背景建模1525图10给出了“Door”序列采用三种方法的分割结果.结果显示门开始打开时(第990,1021帧),MLBM只检测到部分运动目标;而GMM方法将门外区域误检为前景目标.门完全打开人往外走时(第1123,1135帧),MLBM方法没有检测到运动目标;而GMM方法仍将门外区域也作为前景检测出来,该区域直到第1208帧才被完全吸收为背景.门关上后(第1518,1527帧),MLBM方法只检测到部分运动目标;而GMM方法将门检测为前景目标,并且直到第1618帧才再次被吸收为背景.而本文提出的方法在这三个阶段都能快速检测到较完整的运动目标.(a)原序列(a)Original sequence(b)GMM分割结果(b)The segmentation results of GMM(c)MLBM分割结果(c)The segmentation results of MLBM(d)MGMM分割结果(d)The segmentation results of MGMM图10“Door”序列运动目标分割结果Fig.10The segmentation results of“Door”表2列出了三种方法适应场景变化所用的时间(用所需帧数表示).表2三种方法适应场景所用的时间Table2Times used to adapt tothe variation of the scene bythe three kinds of methods门位置变化模型适应场景所用时间(帧数) {开始打开GMM242(966∼1208)→MLBM0完全打开}MGMM0GMM109(1509∼1618)关闭后MLBM0MGMM0此外,为了验证本文提出的MGMM方法对重复性背景的有效性,用“Pedestrian”序列进行了测试.图11给出运动目标分割结果(第898,906,918, 924,930,941帧).结果显示MGMM方法同样能够处理“重复性”背景.(a)原序列(a)Original sequence(b)MGMM分割结果(b)The segmentation results of MGMM图11“Pedestrian”序列运动目标分割结果Fig.11The segmentation results of“Pedestrian”4结论本文将人类记忆机制引入背景建模,提出了一种基于记忆的混合高斯模型(MGMM).在MGMM 的一些行为作用下,该模型能够记住发生的背景并当遇到相似背景时能够快速适应场景.与传统的GMM方法及MLBM方法室内实拍序列对比实验结果显示,本文所提出的方法能够更快地适应场景的局部突变并取得了较好的运动目标分割结果.此外,本文提出的方法也适应于存在重复性运动场景的建模.References1Wan Ying,Han Yi,Lu Han-Qing.The methods for mov-ing object puter Simulation,2006,23(10): 221−226(万缨,韩毅,卢汉清.运动目标检测算法的探讨.计算机仿真,2006, 23(10):221−226)2Piccardi M.Background subtraction techniques:a review.In:Proceedings of the International Conference on Systems, Man,and Cybernetics.Hague,Netherlands:IEEE,2004.3099−31043Stauﬀer C,Grimson W E L.Adaptive background mixture models for real-time tracking.In:Proceedings of the IEEE Computer Society Conference on Computer Vision and Pat-tern Recognition.Fort Collins,USA:IEEE,1999.246−252 4Stauﬀer C,Grimson W E L.Learning patterns of activ-ity using real-time tracking.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(8):747−7575Friedman N,Russell S.Image segmentation in video se-quences:a probabilistic approach.In:Proceedings of the 13th Conference on Uncertainty in Artiﬁcial Intelligence.San Francisco,USA:Morgan Kaufmann,1997.175−1811526自动化学报36卷6Chaung S S,Kamath C.Robust techniques for background subtraction in urban traﬃc video.In:Proceedings of the Conference on Video Communications and Image Process-ing.San Jose Calif,USA:SPIE,2004.881−8927Javed O,Shaﬁque K,Shah M.A hierarchical approach to robust background subtraction using color and gradient in-formation.In:Proceedings of the Workshop on Motion and Video Computing.Orlando,USA:IEEE,2002.22−278Sun Y D,Yuan B Z.Hierarchical GMM to handle sharp changes in moving object detection.Electronics Letters, 2004,40(13):801−8029Zivkovic Z.Improved adaptive Gaussian mixture model for background subtraction.In:Proceedings of the17th Inter-national Conference of Pattern Recognition.Cambrige,UK: IEEE,2004.28−3110Zivkovic Z,van der Heijden F.Eﬃcient adaptive density estimation per image pixel for the task of background sub-traction.Pattern Recognition Letters,2006,27(7):773−78011Zhang W,Fang X Z,Yang X K.Moving vehicles segmen-tation based on Bayesian framework for Gaussian motion model.Pattern Recognition Letters,2006,27(9):956−96712Lee D S.Improved adaptive mixture learning for robust video background modeling.In:Proceedings of IAPR Work-shop on Machine Vision Applications.Nara,Japan:J-EAST,2002.443−44613Lee D S.Eﬀective Gaussian mixture learning for video back-ground subtraction.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(5):827−83214Baf F,Bouwmans T,Vachon B.Type-2fuzzy mixture of Gaussians model:application to background modeling.In: Proceedings of the4th International Symposium on Ad-vances in Visual s Vegas,USA:Springer-Verlag,2008.772−78115Singh A,Jaikumar P,Mitra S K,Joshi M V,Banerjee A.De-tection and tracking of objects in low contrast conditions.In:Proceedings of the National Conference on Computer Vision,Pattern Recognition,Image Processing and Graphic.Gandhinagar,India:IEEE,2008.98−10316Wang Yong-Zhong,Liang Yan,Pan Quan,Cheng Yong-Mei,Zhao Chun-Hui.Spatiotemporal background modeling based on adaptive mixture of Gaussian.Acta Automatica Sinica,2009,35(4):371−378(王永忠,梁彦,潘泉,程咏梅,赵春晖.基于自适应混合高斯背景模型的时空背景建模.自动化学报,2009,35(4):371−378)17Yang Tao,Li Jing,Pan Quan,Cheng Yong-Mei.A multiple layer background model for foreground detection.Journal of Image and Graphics,2008,13(7):1303−1308(杨涛,李静,潘泉,程咏梅.一种基于多层背景模型的前景检测算法.中国图象图形学报,2008,13(7):1303−1308)18Elgammal A M,Harwood D,Davis L S.Non-parametric model for background subtraction.In:Proceedings of the 6th European Conference on Computer Vision.London,UK: Springer-Verlag,2000.751−76719Adam A,Rivlin E,Shimshoni I.Aggregated dynamic back-ground modeling.In:Proceedings of the IEEE International Conference on Image Processing.Atlanta,USA:IEEE,2006.3313−331620Pless R.Spatio-temporal background models for outdoor surveillance.EURASIP Journal on Applied Signal Process-ing,2006,2005:2281−229121Zhou Zhen-Yi,Hu Fu-Qiao.Object detection in nonstation-ary scenes based on background puter Engi-neering,2008,34(24):203−205(周箴毅,胡福乔.基于背景建模的动态场景目标检测.计算机工程, 2008,34(24):203−205)22Wang Y X,Wang Y.Cognitive models of the brain.In:Pro-ceedings of the1st International Conference on Cognitive Informatics.Calgary,Canada:IEEE,2002.259−26923Human memory[Online],available:.gatech.edu/classes/cs675197winter/Topics/human-cap/memory.html,December200924Zhang Shu-Jun,Ban Xiao-Juan,Chen Yong,Chen Ge.Memory-based cognitive model of artiﬁcialﬁputer Engineering,2007,33(19):33−35(张淑军,班晓娟,陈勇,陈戈.基于记忆的人工鱼认知模型.计算机工程,2007,33(19):33−35)25Harry M.Real Learning a Bridge to Cognitive Neuroscience.Lanham:Scarecrow Education,200326Suo P,Wang Y J.An improved adaptive background mod-eling algorithm based on Gaussian mixture model.In:Pro-ceedings of the9th International Conference on Signal Pro-cessing.Beijing,China:IEEE,2008.1436−1439齐玉娟讲师,博士研究生.主要研究方向为计算机视觉和模式识别.E-mail:qiyj@(QI Yu-Juan Lecturer,Ph.D.can-didate.Her research interest coverscomputer vision and pattern recogni-tion.)王延江教授,博士.主要研究方向为智能信息处理、仿生智能及其在计算机视觉和模式识别领域的应用.本文通信作者.E-mail:yjwang@(W ANG Yan-Jiang Professor,Ph.D..His research interest covers in-telligent information processing,bionicintelligence and its applications in com-puter vision and pattern recognition.Corresponding au-thor of this paper.)李永平硕士研究生.主要研究方向为计算机视觉和模式识别.E-mail:simon112233@(LI Yong-Ping Master student.Hisresearch interest covers computer visionand pattern recognition.)。