自组织神经网络
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ 起作用范围是竞争胜出神经元及其周围邻域中的 所有神经元，但是修正率不同
邻域
❖ 距离中心神经元距离小于指定半径d的所有神经
元的集合
拓扑结构
❖ 矩形拓扑结构：gridtop()（例一） ❖ 六（三？）角型拓扑结构：hextop()（例二） ❖ 随机拓扑结构：randtop()（例三）
❖ 注意：指的是神经元组织拓扑结构，而不是 特征向量空间的拓扑结构
排序阶段（粗调） 调整阶段（细调）
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量，神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
设置输入向量 构建网络 根据输入向量进行训练 显示训练结果并进行测试
例十：二维SOFM网络设计
❖ 输入为二维向量，神经元分布为二维 ❖ 将二维空间的特征映射到二维拓扑结构 ❖ 步骤
自组织竞争网络神经元功能分析
❖ 权值W：R维向量（与输入向量维数相同）
❖ 处理函数：求权值向量W与输入向量I之间 的距离的负值-d
❖ 输出：阈值b与-d的和
❖ n = b - dist(p , w)
自组织竞争神经网络的结构
自组织竞争神经网络结构分析
❖ 输入：R维列向量，表示待分类的特征空间 是R维的。（每个样本有R个分量）
❖
加强自身建设，增强个人的休养。2020年11月15日 下午6时 1分20.11.1520.11.15
❖
精益求精，追求卓越，因为相信而伟 大。2020年11月15日 星期日 下午6时 1分1秒 18:01:0120.11.15
❖
让自己更加强大，更加专业，这才能 让自己 更好。2020年11月下 午6时1分20.11.1518:01November 15, 2020
- 距离函数，缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率，缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤，缺省为1000.
❖
TLR
- 调整阶段学习率，缺省为0.02;
❖
TND
- 调整阶段最大学习步骤，缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本（待聚类样本） ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
几种距离定义
SOFM结构
SOFM的构建函数
❖ NET =
NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,
TNS)
❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数，缺省为 'hextop'.
❖ DFCN
❖
相信命运，让自己成长，慢慢的长大 。2020年11月15日星 期日6时 1分1秒 Sunday, November 15, 2020
❖
爱情，亲情，友情，让人无法割舍。20.11.152020年 11月15日星期 日6时1分1秒20.11.15
谢谢大家！
例六：自组织竞争神经网络用于模式识别
❖ 通过语句生成待分类点集，8组，每组10个 ❖ 创建一个有8个神经元的网络 ❖ 观察训练前网络的状态 ❖ 对网络进行训练 ❖ 观察网络训练后的状态 ❖ 用新的输入向量进行测试
自组织特征映射神经网络
❖ Self-Organizing Feature Maps，简称SOFM ❖ 设计来源：
❖ 输入层：有S个神经元，分别通过学习确定 S个类的核心（在特征空间的）位置
❖ 竞争层（输出层）：输出一个S维列向量， 若输入的第i个分量最大，则输出向量中的 第i个分量为1，其它分量为0
基本竞争型神经网络结构
自组织竞争神经网络的学习过程
❖ 根据一个输入向量与初始状态下各个核心的 距离判断它属于哪个类
外星学习规则
❖ Outstar学习规则：Δwij = lr ·(aj – wij) ·pj ❖ 例二：外星学习规则函数learnos()
Kohonen学习规则
❖ 对instar规则的改进 ❖ 将ai取值为1 ❖ Kohonen学习规则： Δwij = lr ·(pj – wij) ❖ 例三：科荷伦学习规则函数learnk()
小结
❖ SOFM：特征映射的含义
竞争层有拓扑结构 可以形成中枢 可以体现拓扑结构
❖ LVQ：矢量量化的含义
增加线性层 可以合并子类
❖
生活中的辛苦阻挠不了我对生活的热 爱。20.11.1520.11.15Sunday, November 15, 2020
❖
人生得意须尽欢，莫使金樽空对月。18:01:0118:01:0118:0111/15/2020 6:01:01 PM
模拟大脑的“不同感知路径”（拓扑结构） 引入神经元所处位置的空间信息 每个神经元受到的激励除了外部输入信息之外还有来
自周围神经元的反馈信号
❖ 特点：
神经元只有权值，没有阈值 神经元之间有相互联系 自组织学习
SOFM模型（二维）
❖ 输入信号：n维 ❖ 输出：2维
SOFM网络学习方法
❖ Kohonen学习规则
LVQ的网络构建函数
❖ NET = NEWLVQ(PR,S1,PC,LR,LF) ❖ PR - Rx2 矩阵确定输入范围 ❖ S1 – 竞争层神经元个数 ❖ PC – 大样本情况下各种分类所占比例 ❖ LR – 学习率缺省为0.01. ❖ LF – 学习函数，缺省为'learnlv1'
例：LVQ网络的设计
❖ 根据确定分类的输入向量对相应的核心位置 进行修订
❖ 对所有训练样本都进行上述处理 ❖ 反复将训练样本进行多次处理，直到不再发
生分类改变为止，学习过程完成
修正神经元权值的规则
❖ 内星学习规则 ❖ 外星学习规则 ❖ Kohonen学习规则 ❖ 阈值学习规则
内星学习规则
❖ instar学习规则:Δwij = lr ·(pj – wij) ·ai ❖ 例一：内星学习规则函数learnis()
设置输入向量 构建网络 根据输入向量进行训练 显示训练结果并进行测试
学习矢量量化神经网络
❖ Learning Vector Quantization Network 简称LVQ
❖ 两层网络：
竞争层：同自组织竞争网络 线性层：对竞争结果进行量化组合
❖ 可以进行子类合并
LVQ的网络结构
LVQ的学习规则
❖
做一枚螺丝钉，那里需要那里上。20. 11.1518 :01:011 8:01No v-2015 -No v-2 0
❖
日复一日的努力只为成就美好的明天 。18:01:0118:01:0118:01Sunday, November 15, 2020
❖
安全放在第一位，防微杜渐。20.11.1520.11.1518:01:0118:01:01November 15, 2020
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
这些年的努力就为了得到相应的回报 。2020年11月15日星 期日6时 1分1秒 18:01:0115 November 2020
❖
科学，你是国力的灵魂；同时又是社 会发展 的标志 。下午6时1分1秒下午 6时1分 18:01:0120.11.15
❖
每天都是美好的一天，新的一天开启 。20.11.1520.11.1518:0118:01:0118:01:01Nov-20
阈值学习规则
❖ 阈值的作用：
调整的是某个神经元响应的半径
❖ 为什么除了调整权值以外还要调整阈值：
某些神经元的初始位置离样本区域太远 先将这些“死”神经元的响应半径增大 当有样本能够吸引到该神经元后再缩小半径
❖ 阈值学习函数learncon()
ቤተ መጻሕፍቲ ባይዱ
自组织竞争神经网络的创建
❖ 创建自组织竞争神经网络的函数 ❖ NET = NEWC(PR,S,KLR,CLR)
第十章 自组织神经网络
常见的自组织网络
❖ 自组织竞争网络（Kohonen网络） ❖ 自组织特征映射网络（SOFM网络） ❖ 学习矢量量化神经网络（LVQ网络）
学习方法分类
❖ 有师学习（分类）
已知输入 已知期望输出（每个输入分别属于哪一类） 在特征空间中，各个类的核位置已知
❖ 无师学习（聚类）
已知输入 期望输出未知（但可能已知分为几类） 在特征空间中，各个类的核位置待确定
PR：Rx2维矩阵，确定输入范围 S：神经元个数（分类个数） KLR：Kohonen学习规则的学习率，默认为0.01 CLR：阈值学习率，默认为0.001
❖ 例四：自组织竞争神经网络的创建（注意初 始状态）
例五：自组织竞争神经网络的设计
❖ 设置初始训练向量 ❖ 创建初始态的自组织竞争神经网络 ❖ 设置训练参数 ❖ 训练 ❖ 观察训练后网络的状态 ❖ 检验网络功能
邻域
❖ 距离中心神经元距离小于指定半径d的所有神经
元的集合
拓扑结构
❖ 矩形拓扑结构：gridtop()（例一） ❖ 六（三？）角型拓扑结构：hextop()（例二） ❖ 随机拓扑结构：randtop()（例三）
❖ 注意：指的是神经元组织拓扑结构，而不是 特征向量空间的拓扑结构
排序阶段（粗调） 调整阶段（细调）
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量，神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
设置输入向量 构建网络 根据输入向量进行训练 显示训练结果并进行测试
例十：二维SOFM网络设计
❖ 输入为二维向量，神经元分布为二维 ❖ 将二维空间的特征映射到二维拓扑结构 ❖ 步骤
自组织竞争网络神经元功能分析
❖ 权值W：R维向量（与输入向量维数相同）
❖ 处理函数：求权值向量W与输入向量I之间 的距离的负值-d
❖ 输出：阈值b与-d的和
❖ n = b - dist(p , w)
自组织竞争神经网络的结构
自组织竞争神经网络结构分析
❖ 输入：R维列向量，表示待分类的特征空间 是R维的。（每个样本有R个分量）
❖
加强自身建设，增强个人的休养。2020年11月15日 下午6时 1分20.11.1520.11.15
❖
精益求精，追求卓越，因为相信而伟 大。2020年11月15日 星期日 下午6时 1分1秒 18:01:0120.11.15
❖
让自己更加强大，更加专业，这才能 让自己 更好。2020年11月下 午6时1分20.11.1518:01November 15, 2020
- 距离函数，缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率，缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤，缺省为1000.
❖
TLR
- 调整阶段学习率，缺省为0.02;
❖
TND
- 调整阶段最大学习步骤，缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本（待聚类样本） ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
几种距离定义
SOFM结构
SOFM的构建函数
❖ NET =
NEWSOM(PR,[D1,D2,...],TFCN,DFCN,OLR,OSTEPS,TLR,
TNS)
❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数，缺省为 'hextop'.
❖ DFCN
❖
相信命运，让自己成长，慢慢的长大 。2020年11月15日星 期日6时 1分1秒 Sunday, November 15, 2020
❖
爱情，亲情，友情，让人无法割舍。20.11.152020年 11月15日星期 日6时1分1秒20.11.15
谢谢大家！
例六：自组织竞争神经网络用于模式识别
❖ 通过语句生成待分类点集，8组，每组10个 ❖ 创建一个有8个神经元的网络 ❖ 观察训练前网络的状态 ❖ 对网络进行训练 ❖ 观察网络训练后的状态 ❖ 用新的输入向量进行测试
自组织特征映射神经网络
❖ Self-Organizing Feature Maps，简称SOFM ❖ 设计来源：
❖ 输入层：有S个神经元，分别通过学习确定 S个类的核心（在特征空间的）位置
❖ 竞争层（输出层）：输出一个S维列向量， 若输入的第i个分量最大，则输出向量中的 第i个分量为1，其它分量为0
基本竞争型神经网络结构
自组织竞争神经网络的学习过程
❖ 根据一个输入向量与初始状态下各个核心的 距离判断它属于哪个类
外星学习规则
❖ Outstar学习规则：Δwij = lr ·(aj – wij) ·pj ❖ 例二：外星学习规则函数learnos()
Kohonen学习规则
❖ 对instar规则的改进 ❖ 将ai取值为1 ❖ Kohonen学习规则： Δwij = lr ·(pj – wij) ❖ 例三：科荷伦学习规则函数learnk()
小结
❖ SOFM：特征映射的含义
竞争层有拓扑结构 可以形成中枢 可以体现拓扑结构
❖ LVQ：矢量量化的含义
增加线性层 可以合并子类
❖
生活中的辛苦阻挠不了我对生活的热 爱。20.11.1520.11.15Sunday, November 15, 2020
❖
人生得意须尽欢，莫使金樽空对月。18:01:0118:01:0118:0111/15/2020 6:01:01 PM
模拟大脑的“不同感知路径”（拓扑结构） 引入神经元所处位置的空间信息 每个神经元受到的激励除了外部输入信息之外还有来
自周围神经元的反馈信号
❖ 特点：
神经元只有权值，没有阈值 神经元之间有相互联系 自组织学习
SOFM模型（二维）
❖ 输入信号：n维 ❖ 输出：2维
SOFM网络学习方法
❖ Kohonen学习规则
LVQ的网络构建函数
❖ NET = NEWLVQ(PR,S1,PC,LR,LF) ❖ PR - Rx2 矩阵确定输入范围 ❖ S1 – 竞争层神经元个数 ❖ PC – 大样本情况下各种分类所占比例 ❖ LR – 学习率缺省为0.01. ❖ LF – 学习函数，缺省为'learnlv1'
例：LVQ网络的设计
❖ 根据确定分类的输入向量对相应的核心位置 进行修订
❖ 对所有训练样本都进行上述处理 ❖ 反复将训练样本进行多次处理，直到不再发
生分类改变为止，学习过程完成
修正神经元权值的规则
❖ 内星学习规则 ❖ 外星学习规则 ❖ Kohonen学习规则 ❖ 阈值学习规则
内星学习规则
❖ instar学习规则:Δwij = lr ·(pj – wij) ·ai ❖ 例一：内星学习规则函数learnis()
设置输入向量 构建网络 根据输入向量进行训练 显示训练结果并进行测试
学习矢量量化神经网络
❖ Learning Vector Quantization Network 简称LVQ
❖ 两层网络：
竞争层：同自组织竞争网络 线性层：对竞争结果进行量化组合
❖ 可以进行子类合并
LVQ的网络结构
LVQ的学习规则
❖
做一枚螺丝钉，那里需要那里上。20. 11.1518 :01:011 8:01No v-2015 -No v-2 0
❖
日复一日的努力只为成就美好的明天 。18:01:0118:01:0118:01Sunday, November 15, 2020
❖
安全放在第一位，防微杜渐。20.11.1520.11.1518:01:0118:01:01November 15, 2020
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
这些年的努力就为了得到相应的回报 。2020年11月15日星 期日6时 1分1秒 18:01:0115 November 2020
❖
科学，你是国力的灵魂；同时又是社 会发展 的标志 。下午6时1分1秒下午 6时1分 18:01:0120.11.15
❖
每天都是美好的一天，新的一天开启 。20.11.1520.11.1518:0118:01:0118:01:01Nov-20
阈值学习规则
❖ 阈值的作用：
调整的是某个神经元响应的半径
❖ 为什么除了调整权值以外还要调整阈值：
某些神经元的初始位置离样本区域太远 先将这些“死”神经元的响应半径增大 当有样本能够吸引到该神经元后再缩小半径
❖ 阈值学习函数learncon()
ቤተ መጻሕፍቲ ባይዱ
自组织竞争神经网络的创建
❖ 创建自组织竞争神经网络的函数 ❖ NET = NEWC(PR,S,KLR,CLR)
第十章 自组织神经网络
常见的自组织网络
❖ 自组织竞争网络（Kohonen网络） ❖ 自组织特征映射网络（SOFM网络） ❖ 学习矢量量化神经网络（LVQ网络）
学习方法分类
❖ 有师学习（分类）
已知输入 已知期望输出（每个输入分别属于哪一类） 在特征空间中，各个类的核位置已知
❖ 无师学习（聚类）
已知输入 期望输出未知（但可能已知分为几类） 在特征空间中，各个类的核位置待确定
PR：Rx2维矩阵，确定输入范围 S：神经元个数（分类个数） KLR：Kohonen学习规则的学习率，默认为0.01 CLR：阈值学习率，默认为0.001
❖ 例四：自组织竞争神经网络的创建（注意初 始状态）
例五：自组织竞争神经网络的设计
❖ 设置初始训练向量 ❖ 创建初始态的自组织竞争神经网络 ❖ 设置训练参数 ❖ 训练 ❖ 观察训练后网络的状态 ❖ 检验网络功能