四元数神经网络

能量函数：
结果：对于串行的离散时间双极值的四元数Hopfield网络，若权值矩阵共轭对称 且对角元非负，则每次迭代后，能量函数E是单调减的（非严格）.
4
• 数值试验1
实验描述：3个神经元存储1个样本 存储样本：
权值矩阵：
不动点：由于网络中只存储了一个样本， ξ1和（-ξ1）肯定是网络的不动点
5
• 数值试验1
表中的16个向量都是网络的 不动点，并且权值矩阵W均 可以由表中任意一个向量产 生
{ξ1, ξ2,… ,ξ16}称为一个多重态（multiplet）； {ξ2, ξ3，… ,ξ16}称为样本ξ1的退化模式（degenerated pattern）.
6
• 多重态现象的原因
单位变换：
由于网络是双极值的，即四元数的每个分ቤተ መጻሕፍቲ ባይዱ只能取1或-1，满足要求的 a只有16个，所以一组多重态所含向量的个数是16.
10
• 数值试验3
试验描述：比较四元数Hopfield网络和实值Hopfield网络的抗噪声能力 1，采用40个神经元 四元数Hopfield网络 实值Hopfield网络
样本：
样本：
噪声：只发生在四元数的实数部分，即只对ξ1的第1列进行干扰; 噪声率：若噪声率为0.5，表示随机改变ξ1的第1列中的20个分量; 收敛成功：1）收敛到ξ1 2）收敛到ξ1的退化模式
11
• 数值试验3
1，采用40个神经元
12
• 数值试验3
2，采用100个神经元
13
• 数值试验3的结果分析
原因1：四元数虚数部分信息对于实数部分的支持，试验中虚数部分信息是 准确的,直观的解释就是由于四元数乘法规则造成的:
原因2：“收敛域”的扩大，即四元数多重态中的向量个数大于实数域 多重态中的向量个数.
7
• 数值试验1
汉明距离：
例：
取4080个向量，按照汉明距离分成11组
浅灰：收敛到相应向量 深灰：未收敛到相应向量
8
• 数值试验2
实验描述：4个神经元存储1个样本 存储样本：
权值矩阵：
9
• 数值试验2
取65520个向量，按照汉明距离分成15组
浅灰：收敛到相应向量 中灰：未收敛到相应向量但收敛到其退化模式 黑色：以上两种情况外
15
数域 实数域 复数域 四元数 一个多重态所含向量的个数 单位变换 2=21 4=22 16=24 1，-1 1，-1，i，- i a1，a2，…，a16
多重态现象的好处： 相当于扩大了“收敛域” ，当网络收敛到ξ1的退化模式也是有意义的，因为 退化模式中的向量只要经过一个单位变换就可以变换为样本ξ1.
乘法：
共轭：
模： 逆： 数乘:
1
神经元模型
激活函数：
网络描述:离散时间双极值的Hopfield网络,采用串行工作方式
2
• 网络权值矩阵
这里N表示样本向量的维数，即网络中神经元的个数,0≦p,q ≦N； np表示样本的个数,权值矩阵W是一个N×N的矩阵. 权值矩阵W是共轭对称，对角元非负的：
3
• 收敛性结果
14
• 问题
1，四元数Hopfield网络的存储容量和不动点 2, TSP问题 3，网络模型的推广 实数域 Hopfield模型 MLP模型 RBF模型 高阶前馈网络 复数域 Hopfield模型 MLP模型 RBF模型 高阶前馈网络？ 四元数 Hopfield模型 MLP模型 RBF模型？ 高阶前馈网络？