神经网络和盲源分离
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
三种常见的梯度 a. 常规梯度（欧式空间） b. 自然梯度（黎曼空间）
J ( W) W(k ) W J ( W) T W(k ) W W W
c. 相对梯度 与b等价
输出信号和输入信号互信息达到最大时，输 出信号个分量之间的冗余度会降到最低 利用输出信号联合概率密度函数与边缘概率 密度函数乘积来描述信号的独立性
盲源分离与神经网络
汇报人：刘力 2016/9/30
问题来源
鸡尾酒会问题
盲分离（Blind Signal Separation, BSS） 盲源分离（Blind Source Separation）
发展状况
• • • • 盲信号分离是一种功能强大的信号处理方法 对其研究始于二十世纪八十年代中后期 有关的理论和算法都已经取得了较大的发展 对于线性瞬时混合信号的分离问题、卷积混 合信号的分离问题以及非线性混合信号的分 离问题都做了深入的研究，提出了许多经典 算法 • 用于语音信号分离、图像特征提取和医学脑 电信号的分离等方面
信号的预处理
去均值 白化（PCA去相关）
常见的三个分离准则
(1) 基于独立分量分析 (2) 基于最大信噪比 (3) 基于峭度
独立分量分析（ICA）
如果能够找到矩阵W使得其输出Y(t)=WX(t)的各个 分量之间也两两独立，则Y(t)就是原始信号S(t)的 完好的恢复。 通常的ICA算法就是选定某个目标函数，然后用 某种方法来进行优化。 独立分量分析＝目标函数＋优化算法
人工神经网络
Artificial Neural Network
• 人工神经元模型
(1)一组连接 连接强度由各连接上的权值表示，权 值可以取正值也可以取负值，权值为正表示激活， 权值为负表示抑制。 (2)一个加法器 用于求输入信号对神经元的相应突 触加权之和。 (3)一个激活函数 用来限制神经元输出振幅。激活 函数也称为压制函数，因为它将输入信号压制(限制) 到允许范围之内的一定值。
Y (t ) WX (t )
模型假设
(1) 混合矩阵A为列满秩矩阵，即源信号的个数不多于 观测信号； (2) 源信号为相互独立的平稳随机信号； (3) 观测信号中服从高斯分布的信号不能超过一个； (4) 假设噪声忽略不计（噪声大的情况还没考虑）。
两个不确定性：顺序不确定和幅值不确定性
Y(t ) WX(t ) WAS(t ) GS(t )
看成是一个自适应神经网络。
生物神经网络的结构
枝 蔓 （ Dendrite ）
轴突（Axon） 胞体(Soma) 胞体(Soma)
突触（Synapse）
神经网络的六个基本特征：
– 1）神经元及其联接； – 2）神经元之间的联接强度决定信号传递的强弱； – 3）神经元之间的联接强度是可以随训练改变的； – 4）信号可以是起刺激作用的，也可以是起抑制作 用的； – 5）一个神经元接受的信号的累积效果决定该神经 元的状态； – 6) 每个神经元可以有一个“阈值”。
X (t ) AS (t ) n(t )
X(t) 为观察向量 S(t) 为隐含向量，又称为源向量 n(t) 为噪声向量
A是{aij}系数组成的混合矩阵。
S1 (t )
Sn(t )
未知的 混合过程A
X 1 (t )
Xm (t )
学习 分离矩阵W
Y1 (t )
Yn (t )
盲分离问题就是求得一个分离矩阵W，恢复出源 信号S(t)。设y(t)是源信号的估计矢量。
信息的度量
熵 随机性的测度，用来描述信号的不确定 程度 互信息 两组随机变量相关性的测度 Kullback-Leibler（K-L）散度 两个概率密度函数之间的距离
H ( X ,Y )
H(X | Y) I(X,Y) H(Y | X )
H (X )
H (Y )
KL( f x ( x), f y ( y ))
vi f ( wi xi )
i 0
n
f 为激励函数，v是神经元的输出信号 i
激励函数
执行对该神经元所获得的网络输入的变换。
神经网络结构
单层前向网络、多层前向网络、反馈网络
学习过程
有监督学习（输入输出）和无监督学习（只有 输入，常见Βιβλιοθήκη Baidu最优化过程）
训练
给定输入，计算网络输出，得到误差，调整 权值，重新计算输出，直到满足要求。
当描述参数变化引起的概率属性时，我们不能 在欧式空间进行度量，此时必须使用K-L距离， 对应所讨论的空间为黎曼空间。 黎曼流型——某种弯曲的空间。如三维空间的 球面。
Y(t ) WX(t )
1 py ( y) px ( x) det( W)
输出信号的独立性测度：
I (y, W) H (y ) E[lg( p yi ( yi ))]
f x ( x) f x ( x) lg dx f ( y) y
互信息的最小化和熵或KL距离的最大化即可 获得最大的独立性
独立分量分析＝目标函数＋优化算法
• 批处理 • 自适应处理
自然梯度算法
目标函数最优化
Wopt arg min J (w )
w
W(k 1) W(k ) W(k )
i 1
n
I ( W) H (x) lg( det( W) ) E[lg( p yi ( yi ))]
i 1
n
求解自然梯度：
I ( W) W T E[ f (y )xT ] W
f (y) 与概率密度有关的非线性激励函数
W(k 1) W(k ) W(k )
W(k )
T
J ( W) T W W W
W(k 1) W(k ) (I f (y)y )W(k )
由于信息度量的三个指标都涉及到概率密
度函数，概率密度函数一般情况是未知的。于 是引入神经网络里面的非线性激励函数进行模 拟。
任一盲源分离给出的信号分离系统都可以
J ( W) W(k ) W J ( W) T W(k ) W W W
c. 相对梯度 与b等价
输出信号和输入信号互信息达到最大时，输 出信号个分量之间的冗余度会降到最低 利用输出信号联合概率密度函数与边缘概率 密度函数乘积来描述信号的独立性
盲源分离与神经网络
汇报人：刘力 2016/9/30
问题来源
鸡尾酒会问题
盲分离（Blind Signal Separation, BSS） 盲源分离（Blind Source Separation）
发展状况
• • • • 盲信号分离是一种功能强大的信号处理方法 对其研究始于二十世纪八十年代中后期 有关的理论和算法都已经取得了较大的发展 对于线性瞬时混合信号的分离问题、卷积混 合信号的分离问题以及非线性混合信号的分 离问题都做了深入的研究，提出了许多经典 算法 • 用于语音信号分离、图像特征提取和医学脑 电信号的分离等方面
信号的预处理
去均值 白化（PCA去相关）
常见的三个分离准则
(1) 基于独立分量分析 (2) 基于最大信噪比 (3) 基于峭度
独立分量分析（ICA）
如果能够找到矩阵W使得其输出Y(t)=WX(t)的各个 分量之间也两两独立，则Y(t)就是原始信号S(t)的 完好的恢复。 通常的ICA算法就是选定某个目标函数，然后用 某种方法来进行优化。 独立分量分析＝目标函数＋优化算法
人工神经网络
Artificial Neural Network
• 人工神经元模型
(1)一组连接 连接强度由各连接上的权值表示，权 值可以取正值也可以取负值，权值为正表示激活， 权值为负表示抑制。 (2)一个加法器 用于求输入信号对神经元的相应突 触加权之和。 (3)一个激活函数 用来限制神经元输出振幅。激活 函数也称为压制函数，因为它将输入信号压制(限制) 到允许范围之内的一定值。
Y (t ) WX (t )
模型假设
(1) 混合矩阵A为列满秩矩阵，即源信号的个数不多于 观测信号； (2) 源信号为相互独立的平稳随机信号； (3) 观测信号中服从高斯分布的信号不能超过一个； (4) 假设噪声忽略不计（噪声大的情况还没考虑）。
两个不确定性：顺序不确定和幅值不确定性
Y(t ) WX(t ) WAS(t ) GS(t )
看成是一个自适应神经网络。
生物神经网络的结构
枝 蔓 （ Dendrite ）
轴突（Axon） 胞体(Soma) 胞体(Soma)
突触（Synapse）
神经网络的六个基本特征：
– 1）神经元及其联接； – 2）神经元之间的联接强度决定信号传递的强弱； – 3）神经元之间的联接强度是可以随训练改变的； – 4）信号可以是起刺激作用的，也可以是起抑制作 用的； – 5）一个神经元接受的信号的累积效果决定该神经 元的状态； – 6) 每个神经元可以有一个“阈值”。
X (t ) AS (t ) n(t )
X(t) 为观察向量 S(t) 为隐含向量，又称为源向量 n(t) 为噪声向量
A是{aij}系数组成的混合矩阵。
S1 (t )
Sn(t )
未知的 混合过程A
X 1 (t )
Xm (t )
学习 分离矩阵W
Y1 (t )
Yn (t )
盲分离问题就是求得一个分离矩阵W，恢复出源 信号S(t)。设y(t)是源信号的估计矢量。
信息的度量
熵 随机性的测度，用来描述信号的不确定 程度 互信息 两组随机变量相关性的测度 Kullback-Leibler（K-L）散度 两个概率密度函数之间的距离
H ( X ,Y )
H(X | Y) I(X,Y) H(Y | X )
H (X )
H (Y )
KL( f x ( x), f y ( y ))
vi f ( wi xi )
i 0
n
f 为激励函数，v是神经元的输出信号 i
激励函数
执行对该神经元所获得的网络输入的变换。
神经网络结构
单层前向网络、多层前向网络、反馈网络
学习过程
有监督学习（输入输出）和无监督学习（只有 输入，常见Βιβλιοθήκη Baidu最优化过程）
训练
给定输入，计算网络输出，得到误差，调整 权值，重新计算输出，直到满足要求。
当描述参数变化引起的概率属性时，我们不能 在欧式空间进行度量，此时必须使用K-L距离， 对应所讨论的空间为黎曼空间。 黎曼流型——某种弯曲的空间。如三维空间的 球面。
Y(t ) WX(t )
1 py ( y) px ( x) det( W)
输出信号的独立性测度：
I (y, W) H (y ) E[lg( p yi ( yi ))]
f x ( x) f x ( x) lg dx f ( y) y
互信息的最小化和熵或KL距离的最大化即可 获得最大的独立性
独立分量分析＝目标函数＋优化算法
• 批处理 • 自适应处理
自然梯度算法
目标函数最优化
Wopt arg min J (w )
w
W(k 1) W(k ) W(k )
i 1
n
I ( W) H (x) lg( det( W) ) E[lg( p yi ( yi ))]
i 1
n
求解自然梯度：
I ( W) W T E[ f (y )xT ] W
f (y) 与概率密度有关的非线性激励函数
W(k 1) W(k ) W(k )
W(k )
T
J ( W) T W W W
W(k 1) W(k ) (I f (y)y )W(k )
由于信息度量的三个指标都涉及到概率密
度函数，概率密度函数一般情况是未知的。于 是引入神经网络里面的非线性激励函数进行模 拟。
任一盲源分离给出的信号分离系统都可以