概率神经网络
概率神经网络
• 多源异构数据融合:在实际应用中,数据往往来自多个源和具有不同的形式和 结构。如何设计概率神经网络模型以有效地融合多源异构数据,提取有用信息 并进行概率推断,是一个值得探索的研究方向。
特点
概率神经网络具有强大的概率建模能力,能够学习到数据的内在结构和概率分 布,同时利用神经网络的非线性映射能力,能够处理复杂的、非线性数据。
概率神经网络的应用领域
分类
概率神经网络广泛应用于分类问 题,如图像分类、语音识别、自
然语言处理等。
回归
概率神经网络也可用于回归问题, 如预测股票价格、预测天气等。
概率神经网络需要大量的标注数据进行训 练,对于数据稀疏或标注成本高的任务可 能不太适用。
模型解释性差
稳定性问题
概率神经网络通常比传统的神经网络模型 更加复杂,导致模型解释性较差,难以理 解模型内部的决策机制。
概率神经网络的训练过程可能不稳定,容 易受到噪声和异常值的影响,导致模型性 能下降。
如何克服概率神经网络的局限性
异常检测
概率神经网络通过学习数据的内在 结构和概率分布,能够检测出异常 数据,如金融欺诈检测、网络安全 监测等。
概率神经网络的发展历程
早期发展
概率神经网络最早可以追溯到上世纪80年代,随着神经网络的兴起,研究者开始尝试将概率模型与神经网络相结 合。
近期进展
近年来,随着深度学习技术的快速发展,概率神经网络在理论和应用方面都取得了重要进展。研究者不断提出新 的模型和算法,提高了概率神经网络的性能和实用性。同时,随着大数据和云计算技术的发展,概率神经网络在 各个领域的应用也越来越广泛。
mixture density networks 计算概率
mixture density networks 计算概率
混合密度网络(MDN)是一种用于计算概率的神经网络模型。
MDN通过学习多个混合分布的参数来估计输出的概率分布。
MDN的输入通常是一组特征向量,输出是一个概率分布。
这
个分布可以是一维高斯分布的混合分布,也可以是其他概率分布的混合分布,如泊松分布、指数分布等。
MDN通过使用多个隐藏层来建模混合分布的参数。
每个隐藏
层都会计算混合分布的一个参数,如均值、方差、权重等。
通过训练网络,可以通过输入特征向量来预测这些参数,从而得到输出的概率分布。
在训练过程中,通常使用最大似然估计来优化MDN。
具体来说,对于每个训练样本,计算模型预测的概率分布与真实标签之间的差异,并将其最小化。
在推断阶段,可以使用模型预测的概率分布来计算给定输入特征向量的输出概率。
总之,混合密度网络是一种用于计算概率的神经网络模型,通过学习多个混合分布的参数来估计输出的概率分布。
概率神经网络信用评价模型及预警研究
1 引言
利用样本的先验概率 — — — Bayes 定律和最优判定原则对新的样本进行分类 , 则产生概率神经网络 ( Probabilistic Neural Network ,简称 PNN) . PNN 是 Specht [1 ] 于 1990 年提出的一种人工神经网络模型 , 它既具 有统计分类的功能 ,又不受多元正态分布等条件的限制 , 并且在 PNN 运算过程中可读出被分类的新输入 样本的后验概率 ,从而提供了对计算结果的解释 . 这种基于统计原理的神经网络模型 ,其模式分类器是一 种自监督的前馈网络分类方法 ,这种方法无需训练网络的连接权值 ,由给定的训练样本直接构成隐单元进
2005 年 5 月
系统工程理论与实践
第5期
文章编号 :100026788 ( 2005) 0520043206
概率神经网络信用评价模型及预警研究
庞素琳
( 暨南大学数学系 ,广州 广东 510632)
摘要 : 介绍了概率神经网络 ( PNN) 方法及其分类机理 , 构造了用于识别两类模式样本的 PNN 结构 , 用 来对我国 2000 年 106 家上市公司进行两类模式分类 . 仿真结果表明 ,PNN 对训练样本有很高的分类准确 率 ,能达到 100 % ;但对测试样本的分类准确率却很低 , 只达到 69177 %. 因而使总体的分类效果偏差 , 分 类准确率只达到 87174 %. 进一步的仿真结果表明 ,该方法对我国 2001 年公布的 13 家预亏公司进行预警 分析时 ,准确率只达到 69123 %. 所以 PNN 不太适合用来对新样本的识别和预警研究 . 研究结果还表明 , PNN 在分类效果上不如 MLP ( 对相同的样本 ,多层感知器分类准确率达到 98111 %) ,但和 Yang 等的 PNN 分类效果 ( 分类准确率最高达到 74 %) 相比 ,该文给出的 PNN 结构其分类效果更好 . 所以作为一种方法上 的探讨 ,PNN 仍不失其研究的价值 . 关键词 : 概率神经网络 ; 信用评价模型 ; 模式分类 ; 财务预警 中图分类号 : F830 文献标识码 : A
概率神经网络的分类预测——基于PNN的变压器故障诊断
概率神经网络的分类预测——基于PNN的变压器故障诊断摘要:电力变压器故障诊断对变压器、电力系统的安全运行有着十分重要的意义,本文介绍了基于概率故障神经网络(PNN)在变压器故障诊断中的应用。
针对概率神经网络(PNN)模型强大的非线性分类能力,PNN能够很好地对变压器故障进行分类;文章通过对PNN神经网络的结构和原理的分析,应用PNN概率神经网络方法对变压器故障进行诊断。
关键词:变压器;概率神经网络;故障诊断0 引言变压器是电力系统中的一个重要设备,由于它对电能的经济传输、灵活分配和安全使用具有重要意义,因而它的维护检修就显得极为重要,特别是通过对其进行故障诊断为其正常运行提供可靠的依据。
故障诊断技术是借助于现代测试、监控和计算机分析等手段,研究设备在运行中或相对静止条件下的状态信息,分析设备的技术状态,诊断其故障的性质和起因,并预测故障趋势,进而确定必要对策的一种方法。
从本质上讲,故障诊断就是模式识别问题。
神经网络的出现,为故障诊断问题提供了一种新的解决途径,特别是对于实际中难以解决的数学模型的复杂系统,神经网络更显示出其独特的作用。
目前,在故障诊断方面虽然BP网络应用得最为广泛,但其网络层数及每层神经元的个数不易确定,而且在训练过程中网络容易陷入局部最小点。
本文引入一种新的人工神经网络模型——概率神经网络,使用该网络进行变压器的故障诊断,可以获得令人满意的故障诊断率,并能有效地克服BP神经网络的缺点。
本文采用概率神经网络(probabilistic neural networks)对变压器故障进行诊断。
概率神经网络结构简单、训练简洁,利用概率神经网络模型的强大的非线性分类能力,将故障样本空间映射到故障模式空间中,可形成一个具有较强容错能力和结构自适应能力的诊断网络系统,从而提高故障诊断的准确率。
在实际应用中,尤其是在解决分类问题的应用中,它的优势在于用线性学习算法来完成非线性学习算法所做的工作,同时保持非线性算法的高精度等特性。
概率神经网络多历元残差RAIM_算法
第45卷 第12期2023年12月系统工程与电子技术SystemsEngineeringandElectronicsVol.45 No.12December2023文章编号:1001 506X(2023)12 3967 08 网址:www.sys ele.com收稿日期:20220910;修回日期:20230307;网络优先出版日期:20230427。
网络优先出版地址:https:∥kns.cnki.net/kcms/detail/11.2422.TN.20230427.1136.004.html 通讯作者.引用格式:武明,许承东,黄国限,等.概率神经网络多历元残差RAIM算法[J].系统工程与电子技术,2023,45(12):3967 3974.犚犲犳犲狉犲狀犮犲犳狅狉犿犪狋:WUM,XUCD,HUANGGX,etal.Probabilisticneuralnetworkmulti epochresidualRAIMalgorithm[J].SystemsEngineeringandElectronics,2023,45(12):3967 3974.概率神经网络多历元残差犚犃犐犕算法武 明,许承东 ,黄国限,孙 睿,鲁智威(北京理工大学宇航学院,北京100081) 摘 要:民用航空领域中,为提高接收机自主完好性监测(receiverautonomousintegritymonitoring,RAIM)算法对故障偏差的检测能力,降低最小可检测偏差,提出了一种概率神经网络多历元残差RAIM算法。
该算法基于概率神经网络构建4层故障卫星检测模型,利用方差膨胀模型建立伪距残差故障类与无故障类训练样本,通过粒子群优化算法优化概率神经网络的平滑参数以满足误警率要求,从而计算输入多历元伪距残差与故障类和无故障类训练样本的相似程度,判断卫星是否出现故障。
仿真实验结果表明,优化平滑参数可提高所提算法故障检测性能。
两种截然不同的PNN
关于两个PNN杂七杂八关于PNN其实有两种说法,一种是概率神经网络(Probabilistic Neural Network),另一种是基于产品的神经网络Product-based Neural Network,所以在使用PNN的时候要格外注意,要不然你的领导你的导师都不知道你说的是哪一个,常用的是第一种PNN,概率神经网络,北京航空航天大学的王小川老师在其著作中提到的PNN也指代的是概率神经网络下面先说概率神经网络1 概率神经网络的原理概率神经网络(Probabilistic Neural Network)的网络结构类似于RBF神经网络,但不同的是,PNN是一个前向传播的网络,不需要反向传播优化参数。
这是因为PNN结合了贝叶斯决策,来判断测试样本的类别。
1.1关于贝叶斯决策1.2关于概率神经网络的结构其网络并不算很主流的3层,而是4层图中样本特征维度为3,由上图可知,PNN的网络结构分为四层:输入层,模式层、求和层、输出层。
假设训练样本为PNN各层的作用于相互之间关系描述如下:输入层:输入测试样本,节点个数等于样本的特征维度。
感觉根据实际含义输入层中节点个数的确定依据与理由也大都同BP中的相关说法相似。
模式层:计算测试样本与训练样本中的每一个样本的Gauss函数的取值,节点个数等于训练样本的个数。
机器学习模型中,超参数是在开始学习过程之前设置值的参数这个时候不得不设定一些合适的寻址算法,相关的能够使用的寻址算法其实有很多,可以是GA算法,可以是SA(模拟退火),可以是PSO(粒子群算法),可以是AFSA(人工鱼群算法),可以是萤火虫算法,相关套路很多。
求和层:求取相同类别测试样本对应的模式层节点输出之和,节点个数等于训练样本的类别个数。
训练样本的类别个数其实就是侧面反映的label的个数输出层:对上述求和层输出进行归一化处理求取测试样本对应不同类别的概率,根据概率大小判断测试样本的类别,节点个数为1。
基于概率神经网络的计算机网络安全仿真分析
收稿日期:2 1- 7 1 00 0 -1 作者简介:王伟 (9 8 17 一),男 ,山西新绛人 ,工程 师,硕士 ,研究方向为计算机信息 系统 、网络管理与应用。 第3 卷 3 第 1期 2 2 1 —1 ( 【5 0 0 2 下) 7】
务I
数 相 同 ,输 出层 神 经 元个 数 等于 训 练 样 本数 据 的
王
伟
V ANG e V W j
( 西安 财经学 院,西安 7 0 6 ) 1 0 1
摘 要 : 计算机 网络 安全 评价是网络研究中的重要课题 。近年来国内学者使用B 神经 网络进 行相关研 P 究 ,然 而该算法存在 收敛 速度缓慢 、易 于陷入局部极小 且网络结构难 以确 定等缺陷 ,导 致其 学 习效率和分类精度 较差。针对此 问题 ,本文建立 了网络安全评价指标体 系 ,运用概 率神经 网络 ( N 对样本数 据进行仿真分析 ,结果表明 :基于 P N PN ) N 模型的分 类方法在分类 的速度、 精度 等方面均优 于基于BP N N 的模型 ,从而为准 确、全面 的评价计算 机网络安 全状况提供 了
的 安全 程 度 越 高 。 网络 安 全 分 为 四个 等 级 ,即安
提高 。
全 状 态 (-. ) 1 8 、基 本安 全 ( . —. 、不 安全 05 0 50 ) 8 7 ( .—.) 0706 、很 不 安 全 (.—) 060 ;其 对 应 的 类 别表 示
为 1 、3 。样 本 数 据 参 见 文 献 [] 、2 、4 3 ,将 1 6组 样 本数 据 对应 的输 出结 果进 行类 别 标示 依次 记 为 :
网 络 (rb bl t e rl t r ,P ) 型 应 Po a iscN ua Ne ii wok NN 模
PNN神经网络
概率神经网络(PNN)一、引言概率神经网络它主要用于模式分类,是径向基网络的一个分支,是基于贝叶斯策略前馈神经网络。
它具有如下优点:学习过程简单、训练速度快;分类更准确,容错性好等。
从本质上说,它属于一种有监督的网络分类器,基于贝叶斯最小风险准则。
二、PNN结构该神经网络与GRNN类似由输入层、隐含层和输出层组成。
输入层将变量传递给隐含层,但不进行计算,因此该层只起传输数据的作用。
隐含层中的神经元个数等于训练集样本个数,该层的权值函数为欧式距离函数,用||dist||表示,其作用是计算出网络输入与输入层权重IW1,1之间的距离及阈值,阈值用b1表示。
隐含层传递函数为径向基函数,采用高斯函数作为网络的传递函数。
输出层为竞争输出,各神经元依据Parzen方法来球和估计各类的概率,从而竞争输入模式的响应机会,最后仅有一个神经元竞争获胜,这样获胜的神经元即表示对输入变量的分类。
在数学上,PNN结构的特性,可在高维数据空间中解决在低维空间不易解决的问题。
也因此其隐含神经元较多,但隐含层空间的维数和网络性能有着直接的关系,维数越高,网络的逼近精度越高,但带来的负面后果是网络复杂度也随之提高。
三、算法步骤(1)确定隐含层神经元径向基函数中心设训练集样本输入矩阵P和输出矩阵T111211112121222212221212P=,T=m m m m n n nm k k km p p p t t t p p p t t t p p p t t t ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦ 其中,ij p 表示第j 个训练样本的第i 个输入变量;ij t 表示第j 个训练样本的第i个输出变量;n 为输入变量的维度;k 为输出变量的维度;m 为训练集样本数。
隐含层的每个神经元对应一个训练样本,即m 个隐含神经元对应的径向基函数中心C P '=(2)确定隐含层神经元阈值m 个隐含神经元对应的阈值为:111121[,,,]m b b b b =111210.8326m b b b spread==== spread 为径向基函数的扩展速度。
概率神经网络在地震岩性反演中的应用
煤 田地 质 与勘 探
CoA LG 0匝 E 0GY& E I 1 XP oR ON
≯
Vb1 40N O. . 4 Au 201 g. 2
s ee s net nl tiue opeit ooi s gtet h oo yo o aiscnua n t r(N . N hs i rda xe a atb t t rdc p rsyu i c n lg f rbblt e rl e kP N)P N a d a r r t n h e p ii wo
su y tco i o l e eo me t n t a eg so c re c t ih sa i t n o u ain l rcso . t d e tn cc a v lp n dmeh n a c u r n ewi ah g tbly a dc mp tt a e iin d a h i o p
h g e e n t n i d n i i g a e rc me t z n h c u t mp d c , i t e o h i d c t h s n e i h r d f i o n i e tf n g s n ih n o e t a a o si i e a ewh l h y b t n i ae t e a l i i y n c n e
Ke r s p o a i si e a ewok lh lgc l n eso ; o o i ; c u t e a c ywo d : rb b l t n u l t r ;i oo ia v rin p r st a o si i i c r n t i y c mp d n e
基于Matlab的概率神经网络的实现及应用
Ke rs Poa iscN ua N tok P N) Ma a ;c s ctn f i e i ywod :rbblt erl ew r( N ; t b l i ao ; ag f ii l s i a f i t u le
0 引 言
概 率 神 经 网 络 ( rbblt N ua N tok Poaisc erl e r, ii w
苏 亮, 宋绪丁7 06 ) 陕 104 摘要 : 介绍概率神经 网络 ( N 的模型和基 本算 法, P N) 以及 利用 Maa t b神经 网络 工具箱设 计 P N网络 的方法和 步骤 , l N 实现 对网络的设计、 训练 、 仿真。针 对某水泥泵车臂 架细部 焊接 结构的疲劳寿命 实验数据 , 应用 P N的 分类功能对 实验数 据 N
I p e nt to n m l me a i n a d App i a i n o o biitc Ne a t r s d o a l b lc to fPr ba lsi ur lNe wo k Ba e n M ta
S in U L a g,S NG Xu dn O —ig
领域 中被广 泛应用 。
Ma a l f b是 由美 国 Mah rs公 司开 发 的集 数 值 t Wok
本 文将 以 Maa70 1 发 环境 , 绍 神 经 网络 l fb .. 开 介 工具 箱 及 其 相 关 函数 , 述 利 用 Maa 经 网络 工 论 db神 具箱 实现概 率神 经 网络 模型 的建立 步骤及 其应 用 。
1 概 率神 经 网络 的 模 型
进行 训练仿真处理 , 得到对臂 架细部结构疲 劳寿命的预测分类 结果 , 验证 了此方法的可靠性。 关键 词 : 概率神 经 网络( N ;M d b 分 类;疲劳寿命 P N) a a ;
基于Bagging的概率神经网络集成分类算法
Ab s t I t Ne u r a l n e t wo r k s c l a s s i f i c a t i o n a l g o r i t h m n O W mo r e c o n c e n t r a t e s o n t h e B P a l g o r i t m h wh i c h i s t h e r e p r e s e n t a —
输出层神经元是一种竞争神经元每个神经元分别对应于一个数据类型即分类模式输出层神经元个数等于训练样本数据的种类个数它接收从求和层输出的各类概率密度模式概率密度函数最大的那个神经元输出为1所对应的那一类即为待识别的样本类别其他神经元的输出全为023集成学习方法机器学习machinelearning10是研究计算机如何模拟或实现人类的学习行为以获取新的知识或技能重新组织已有的知识结构并使之不断改善自身的性能
( 西北 师 范大学计 算机 科 学与 工程 学院 兰 州 7 3 0 0 7 0 )
摘 要 目前的神 经网络较 多集 中在 以 B P算法为基础 的 B P神 经 网络上 。针 对 B P神 经 网络 的不足 , 在分析研 究概
率神 经 网络和机器学 习的基 础上 , 结合 集成 学习的思想, 提 出了基 于 B a g g i n g的概率神 经 网络 集成 分类算 法。理 论分
t i o n a l g o r i t m h wh i c h i s p r o b a b i l i s t i c n e u r a l n e t wo r k s e n s e i n g . Th e o r e t i c a l a n a l y s i s a n d e x p e r i me n t a l
概率神经网络在低孔低渗油气层识别中应用
概率神经网络在低孔低渗油气层识别中的应用摘要:针对低孔低渗储层物性差、孔隙结构复杂以及含水饱和度高等特点,为了解决利用测井资料进行低孔低渗储层流体性质准确识别较困难的问题,提出了一种概率神经网络判别解释方法。
以中国西南某一低孔低渗气藏为例,结合试油资料,对不同流体性质的储层进行了测井响应特征分析,根据测井响应特征与流体性质的相关性对概率神经网络进行了训练,从而对该区储层流体性质进行了预测和识别。
实际资料处理的结果表明:解释符合率显著提高,取得了较好的应用效果。
关键词:概率神经网络低孔低渗流体性质测井识别中图分类号:te3 文献标识码:a 文章编号:1674-098x(2012)04(a)-0089-021 引言低孔低渗储层由于孔隙结构复杂、孔隙间连通性差,往往驱替不充分,一般形成低饱和度油气层,又低孔低渗储层储集空间小,测井信息中来自流体的贡献少,导致测井对油气的敏感性降低,而储层岩性和孔隙结构的复杂性以及钻井液的侵入作用进一步掩盖或模糊了电阻率测井反映油气特征的能力[1-2]。
这种类型的油气层,在电阻率曲线上常表现为油气层和水层的电阻率比较接近,直接根据电阻率测井值的大小将它们区分开较困难[3]。
概率神经网络是一种基于概率密度函数理论且泛化能力很强的神经网络,可以用这种网络来描述各种测井响应特征与流体性质之间的复杂关系,把低孔低渗储层分为气层、气水同层和水层,作为输出层;把控制因素作为输入层,对网络样本进行训练和学习,可以达到预测低孔低渗气层的目的。
2 概率神经网络的理论基础概率神经网络(probabilistic neural networks,pnn)由specht 于1990年提出,它是一种基于概率密度函数理论且泛化能力很强的神经网络,其本质上是对径向基函数神经网络的一种重要变形,具有计算复杂度低、结构简单等特性;在解决分类问题上,当训练样本数据足够多时,收敛于一个贝叶斯分类器,具有良好的泛化能力[4]。
概率神经网络在玉米叶部病害识别中的应用
自动曝光模式 采集植株 活体 病斑 照片。数 码相 机采 用佳能 G 0 分辨率 1 0 1 0 ) 采集 10幅锈病 、 1( 0x 0 , 2 6 2
15幅灰 斑 病 、4 0 16幅 大斑 病 、5幅褐 斑 病 和 9 8 1幅 弯
孢菌叶斑病 图像 。玉米大斑病 图像样本如图 1 所示。
眼观察获得。这种方法不仅耗时 、 费力 、 预报滞后 , 且
不宜在大范 围 内展 开。随着 图像 处理技 术 的和模式 识别技术的飞速发展 , 物病 害的计算 机 自动识别 已 植 显示 出客观、 快速与准确的优越性 L 。因此 , 1 J 进行植
物病 害识别系 统的研发具 有广泛 的应用 前景 和重大
对图像质量的影响 ; 贵力 等设 计 了活体采样光箱 徐
采集病害 图像 , 免 了拍摄 阴影 , 避 减少 了误差 。这 些
方法简化了后期图像 的处理和病害的识别 , 对图像 但
采 集 环境 要 求 比较 严 格 。
收稿 日期 :2 1 0 2 0 0— 9— 6
.
图 1 玉米叶部病 害原始 图像示 例
一
第 6期
背景 , 然后用 M t b aa 进行 图像处理 。在对采 集的 图像 l
21 0 1年 6月
农 机 化 研 究
第 6期
概 率 神 经 网 络 在 玉 米 叶 部 病 害 识 别 中 的 应 用
陈 丽 ,王 兰英。
0 1 01 . 7 O ;2 河北 大 学 期 刊 社 ,河北 保 定 0 10 ) 7 0 3
(. 1 河北 农 业 大 学 机 电 工程 学 院 ,河 北 保 定
噪处 理 、 图像 分 割 和 特征 提 取 ; 后 , 用 遗 传算 法 优 化 选 择 出 4个 独 立 、 定 性 好 、 类 能 力 强 的 分 类 特 征 ; 然 利 稳 分 最
概率神经网络故障诊断的流程
概率神经网络故障诊断的流程Diagnosing faults in probabilistic neural networks can be a complex process. It involves identifying and addressing issues that may affect the network's performance and accuracy. 概率神经网络故障诊断涉及识别和解决可能影响网络性能和准确性的问题。
One of the first steps in diagnosing faults in a probabilistic neural network is to thoroughly analyze the input data. This involves examining the quality of the data, identifying any outliers or anomalies, and ensuring that the data is properly formatted for use in the network. 诊断概率神经网络故障的第一步是彻底分析输入数据。
这包括检查数据的质量,识别任何异常值或异常,确保数据被正确格式化以供网络使用。
Another important aspect of diagnosing faults in probabilistic neural networks is to carefully examine the network architecture and parameters. This involves checking the structure of the network, the activation functions used, and the learning algorithms employed. 维植概率神经网络故障诊断的另一个重要方面是仔细检查网络结构和参数。
改进的概率神经网络的语义区域分类
摘 要 : 对 彩 色 图像 信 息量 大 , 割 效 果 自适 应 性 差 的 问题 , 图像 语 义 区域 的 分 割 精 度 进 行 控 制 , 取 图像 的纹 理 特 征 值 , 针 分 对 提 再 通 过 改进 后 的 概 率 神 经 网 络模 型 对 测 试 样 本 做 分 类 测 试 , 到 提 高 图像 语 义提 取 和 分 类 准 确 性 的 目的 。 实验 表 明 , 达 改进 后 的 概
ma t s e i n h o g e mp o e r b b l t n u a n t r i 0 n i r g o t r u h t i r v d p o a i si c h i c e r l ewo k s 9 % wh l t S 0 i i ’ 7 % b f r . h n w eh d es h e e e o eT e e m t o g t t
o e i a e s ma t s e i n a d e ta t h e ma e e t r c a a trsisT e e t t e s mp e ’ ca sf ai n h o g t e f t m g e n i r g o n x r c t i g tx u e h r ce it . h n t s a l s h c c h l s i c to t r u h h i i r v d p o a i si e r l n t r o e . h e p rme t h ws h a t e p e ii n f a s ri g h c l r e ma e s — mp o e r b b l t n u a ewo k m d 1 e x e i n s o t t h r c so o s o n t e o o i d i g s e i c T t z
概率神经网络在烟叶自动分级中的应用
摘
要 :烟 叶 自动 分 级 一 直都 是 国 内外烟 草 研 究 领域 的重 难 点 。为 此 , 以红外 光 谱 作 为 烟 叶的 特征 , 用 概 率 神 采
经网络对 1 1个 等 级 的烟 叶 进行 分 组 和 分 级 。 对 光 谱 信 号 做 消 除基 线 漂 移 预 处 理 , 后 将 其 作 为 神 经 网 络 的 输 然
关 键 词 :烟 叶分 级 ;概率 神 经 网 络 ;红 外 光谱
中图分 类号 :T 1 3 P 8 文献标识码 :A 文章编号 :1 0 — 8 X(0 1 1 — 0 2 0 0 3 1 8 2 1 )2 0 3 — 4
0 引 言
目前 , 内外 烟 叶 分 级 多 是 采 用 人 工 方 式 , 仅 国 不 浪费 人 力物 力 , 且 具 有 很 强 的 主 观 随 意 性 。 为 使 烟 而 叶分 级 走 出单 纯依 靠 经 验 和技 艺 的模 式 , 高 烟 叶 分 提 级 的 准 确 性 , 现 分 级 标 准 从 定 性 走 向定 量 , 决 国 实 解 家烟 叶 分级 标 准执 行 中所 面 临 的 困难 和 问题 , 必 需 就 实现 客 观 、 正 的烟 叶 自动 分级 J 公 。 目前 , 内外对 烟 叶 自动 分 级 的研 究 主要 从 图像 国 特 征 人 手 , 用 色 度 学 和 图像 处 理 等 方 法 进 行 探 索 , 运
隔为 2 m。 烟 叶光谱 数 据采 集 光路 如 图 1所示 。 n
钨 灯
团) 的近红 外 光谱 的合 频 吸 收 与 倍 频 吸 收 , 草 的红 烟 外光 谱 特 征所 包 含 的 信 息 与 烟 叶 化 学成 分关 系 密 切 。 文献 [ ] 用 光谱 分 析 法 测 定 烟 草 化 学 成 分 和 含 量 ; 6运
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
概率神经网络概述
概率神经网络(Probabilistic Neural Network,PNN)是由D. F. Specht 在1990年提出的。
主要思想是贝叶斯决策规则,即错误分类的期望风险最小,在多维输入空间内分离决策空间。
它是一种基于统计原理的人工神经网络,它是以Parazen窗口函数为激活函数的一种前馈网络模型。
PNN吸收了径向基神经网络与经典的概率密度估计原理的优点,与传统的前馈神经网络相比,在模式分类方面尤其具有较为显著的优势。
1.1 概率神经网络分类器的理论推导
由贝叶斯决策理论:
(1-1)
其中。
一般情况下,类的概率密度函数
是未知的,用高斯核的Parzen估计如下:
(1-2)
其中,
是属于第
类的第k个训练样本,
是样本向量的维数,
是平滑参数,
是第
类的训练样本总数。
去掉共有的元素,判别函数可简化为:
(1-3)
1.2 概率神经元网络的结构模型
PNN的结构以及各层的输入输出关系量如图1所示,共由四层组成,当进行并行处理时,能有效地进行上式的计算。
图1 概率神经网络结构
如图1所示,PNN网络由四部分组成:输入层、样本层、求和层和竞争层。
PNN的工作过程:首先将输入向量
输入到输入层,在输入层中,网络计算输入向量与训练样本向量之间的差值
的大小代表着两个向量之间的距离,所得的向量由输入层输出,该向量反映了向量间的接近程度;接着,输入层的输出向量
送入到样本层中,样本层节点的数目等于训练样本数目的总和,
,其中M是类的总数。
样本层的主要工作是:先判断哪些类别输入向量有关,再将相关度高的类别集中起来,样本层的输出值就代表相识度;然后,将样本层的输出值送入到求和层,求和层的结点个数是M,每个结点对应一个类,通过求和层的竞争传递函数进行判决;最后,判决的结果由竞争层输出,输出结果中只有一个1,其余结果都是0,概率值最大的那一类输出结果为1。
2.基本学习算法
第一步:首先必须对输入矩阵进行归一化处理,这样可以减小误差,避免较小的值呗较大的值“吃掉”。
设原始输入矩阵为:
(2-1)
从样本的矩阵如式(2-1)中可以看出,该矩阵的学习样本由m个,每一个样本的特征属性有n个。
在求归一化因子之前,必须先计算
矩阵:
然后计算:
(2-2)
式中,
则归一化后的学习矩阵为C。
在式(2-2)中,符号
表示矩阵在做乘法运算时,相应元素之间的乘积。
第二步:将归一化好的m个样本送入网络样本层中。
因为是有监督的学习算法,所以很容易就知道每个样本属于哪种类型。
假设样本有m个,那么一共可以分为c类,并且各类样本的数目相同,设为k,于是m=k*c。
第三步:模式距离的计算,该距离是指样本矩阵与学习矩阵中相应元素之间的距离。
假设将由P个n维向量组成的矩阵称为待识别样本矩阵,则经归一化后,需要待识别的输入样本矩阵为:
(2-3)
计算欧氏距离:就是需要是别的样本向量,样本层中各个网络节点的中心向量,这两个向量相应量之间的距离:
(2-4)
第四步:样本层径向基函数的神经元被激活。
学习样本与待识别样本被归一化后,通常取标准差
的高斯型函数。
激活后得到出事概率矩阵:
(2-5)
第五步:假设样本有m个,那么一共可以分为c类,并且各类样本的数目相同,设为k,则可以在网络的求和层求得各个样本属于各类的初始概率和:
(2-6)
上式中,
代表的意思是:将要被识别的样本中,第i个样本属于第j类的初始概率和。
第六步:计算概率
,即第i个样本属于第j类的概率。
(2-7)
3.特点
概率神经网络具有如下特性:
(1) 训练容易,收敛速度快,从而非常适用于实时处理;
(2) 可以完成任意的非线性变换,所形成的判决曲面与贝叶斯最优准则下的曲面相接近;
(3) 具有很强的容错性;
(4) 模式层的传递函数可以选用各种用来估计概率密度的核函数,并且,各分类结果对核函数的形式不敏感;
(5) 各层神经元的数目比较固定,因而易于硬件实现。
4.不足之处
概率神经网络的不足主要集中在其结构的复杂性和网络参数的选择上。
PNN
网络进行模式分类的机理是基于贝叶斯最小风险决策,为了获得贝叶斯准则下的最优解,必须保证有足够多的训练样本。
PNN的拓扑结构和训练样本数目成直接比例关系,每个训练样本决定一个隐含层神经元,所以当训练样本数量巨大时,将导致
规模庞大的神经网络结构,阻碍了PNN网络的推广和应用。
而且,PNN的网络参数(比如连接权重,Parzen窗函数的平滑因子等),也很大程度的决定着网络的性能。
此外PNN对训练样本的代表性要求高;需要的存储空间更大。
5.应用领域
概率神经网络主要应用于分类个模式识别领域,其中分类方面应用最为广泛,这种网络已较广泛地应用于非线性滤波、模式分类、联想记忆和概率密度估计当中。