贝叶斯网络生成学习和判别学习对比研究-山东建筑大学学报
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第2 8卷 2 0 1 3年
V o l . 2 8 N o . 4 第 4期 山东建筑大学学报 ㊀㊀㊀㊀㊀㊀㊀ ㊀ ㊀ ㊀㊀㊀㊀㊀㊀㊀ 8月 J O U R N A LO FS H A N D O N G J I A N Z H U U N I V E R S I T Y A u g . 2 0 1 3
文章编号: 1 6 7 3- 7 6 4 4 ( 2 0 1 3 ) 0 4- 0 3 2 8- 0 7
ຫໍສະໝຸດ Baidu
贝叶斯网络生成学习和判别学习对比研究
高妍方1, 王继伟2
( 1 . 山东建筑大学 管理工程学院, 山东 济南 2 5 0 1 0 1 ; 2 . 山东建筑大学 计算机科学与技术学院, 山东 济南 2 5 0 1 0 1 ) 摘要: 优化目标决定了贝叶斯网络分类器的分类性能。文章围绕生成函数和判别函数等两类典型的优化目标, C I 数据集, 通过实验对比了训练样本数量的变化 对比分析了贝叶斯网络在不同学习目标下的学习方法, 应用 U 对贝叶斯网络分类器性能的影响, 分析了贝叶斯网络分类器的目标函数与分类性能的关系。数据实验结果表 明: 冗余数据对判别贝叶斯网络过拟合的影响大于生成贝叶斯网络, “ 最优” 贝叶斯网络分类器并不一定具有最 大的联合似然值或者条件似然值; 为了提高学习效率和分类性能, 可在训练判别贝叶斯网络的过程中采用主动 样本选择策略, 并且以生成函数和判别函数的权衡值作为贝叶斯网络分类器的优化目标。 关键词: 贝叶斯网络; 生成学习; 判别学习 中图分类号: T P 1 8 1 ㊀㊀㊀㊀㊀文献标识码: A
1 2 G a oY a n f a n g ,Wa n gJ i w e i
( 1 .S c h o o l o f M a n a g e m e n t E n g i n e e r i n g ,S h a n d o n gJ i a n z h uU n i v e r s i t y ,J i n a n2 5 0 1 0 1 ,C h i n a ;2 .S c h o o l o f C o m p u t e r S c i e n c ea n dT e c h n o l o g y ,S h a n d o n gJ i a n z h uU n i v e r s i t y ,J i n a n2 5 0 1 0 1 ,C h i n a )
C o mp a r a t i v er e s e a r c ho ng e n e r a t i v el e a r n i n ga n dd i s c r i mi n a t i v e l e a r n i n go f B a y e s i a nn e t w o r k s
A b s t r a c t :O p t i m i z a t i o nf u n c t i o nd e t e r m i n e s c l a s s i f i c a t i o np e r f o r m a n c e o f B a y e s i a nn e t w o r k s c l a s s i f i e r . , D i f f e r e n t t r a i n i n gm e t h o d sb a s e do ng e n e r a t i v ef u n c t i o na n dd i s c r i m i n a t i v ef u n c t i o na r ec o m p a r e d e f f e c t o f i n c r e a s i n gn u m b e r o f t r a i n i n gs a m p l e so nc l a s s i f i c a t i o np e r f o r m a n c eo f g e n e r a t i v eB a y e s i a n n e t w o r k sa n dd i s c r i m i n a t i v eB a y e s i a nn e t w o r k sa r ec o m p a r e da n dc o r r e l a t i o nb e t w e e no p t i m i z a t i o n f u n c t i o na n dc l a s s i f i c a t i o np e r f o r m a n c eo f B a y e s i a nn e t w o r k s a r e a n a l y z e da c c o r d i n g t o t h e e x p e r i m e n t o nU C I d a t a s e t s .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t r e d u n d a n t d a t a h a v e g r e a t e r i m p a c t o no v e r f i t t i n g i nd i s c r i m i n a t i v eB a y e s i a nn e t w o r k s t h a nt h a t o f g e n e r a t i v en e t w o r k sa n dt h eb e s t B a y e s i a nn e t w o r k s c l a s s i f i e r d o n o a l w a y s h a v e t h e b i g g e s t l o g l i k e l i h o o do r l o g c o n d i t i o n a l l i k e l i h o o d .S o ,a d o p t i n g a c t i v e s a m p l es e l e c t i o ns t r a t e g ya n dt a k i n gt r a d e o f fb e t w e e ng e n e r a t i v ea n dd i s c r i m i n a t i v ef u n c t i o na s o p t i m i z a t i o no b j e c t i v em a yi m p r o v el e a r n i n ge f f i c i e n c ya n dc l a s s i f i c a t i o np e r f o r m a n c eo f d i s c r i m i n a t i v e B a y e s i a nn e t w o r k s . K e yw o r d s :B a y e s i a nn e t w o r k s ;g e n e r a t i v el e a r n i n g ;d i s c r i m i n a t i v el e a r n i n g
V o l . 2 8 N o . 4 第 4期 山东建筑大学学报 ㊀㊀㊀㊀㊀㊀㊀ ㊀ ㊀ ㊀㊀㊀㊀㊀㊀㊀ 8月 J O U R N A LO FS H A N D O N G J I A N Z H U U N I V E R S I T Y A u g . 2 0 1 3
文章编号: 1 6 7 3- 7 6 4 4 ( 2 0 1 3 ) 0 4- 0 3 2 8- 0 7
ຫໍສະໝຸດ Baidu
贝叶斯网络生成学习和判别学习对比研究
高妍方1, 王继伟2
( 1 . 山东建筑大学 管理工程学院, 山东 济南 2 5 0 1 0 1 ; 2 . 山东建筑大学 计算机科学与技术学院, 山东 济南 2 5 0 1 0 1 ) 摘要: 优化目标决定了贝叶斯网络分类器的分类性能。文章围绕生成函数和判别函数等两类典型的优化目标, C I 数据集, 通过实验对比了训练样本数量的变化 对比分析了贝叶斯网络在不同学习目标下的学习方法, 应用 U 对贝叶斯网络分类器性能的影响, 分析了贝叶斯网络分类器的目标函数与分类性能的关系。数据实验结果表 明: 冗余数据对判别贝叶斯网络过拟合的影响大于生成贝叶斯网络, “ 最优” 贝叶斯网络分类器并不一定具有最 大的联合似然值或者条件似然值; 为了提高学习效率和分类性能, 可在训练判别贝叶斯网络的过程中采用主动 样本选择策略, 并且以生成函数和判别函数的权衡值作为贝叶斯网络分类器的优化目标。 关键词: 贝叶斯网络; 生成学习; 判别学习 中图分类号: T P 1 8 1 ㊀㊀㊀㊀㊀文献标识码: A
1 2 G a oY a n f a n g ,Wa n gJ i w e i
( 1 .S c h o o l o f M a n a g e m e n t E n g i n e e r i n g ,S h a n d o n gJ i a n z h uU n i v e r s i t y ,J i n a n2 5 0 1 0 1 ,C h i n a ;2 .S c h o o l o f C o m p u t e r S c i e n c ea n dT e c h n o l o g y ,S h a n d o n gJ i a n z h uU n i v e r s i t y ,J i n a n2 5 0 1 0 1 ,C h i n a )
C o mp a r a t i v er e s e a r c ho ng e n e r a t i v el e a r n i n ga n dd i s c r i mi n a t i v e l e a r n i n go f B a y e s i a nn e t w o r k s
A b s t r a c t :O p t i m i z a t i o nf u n c t i o nd e t e r m i n e s c l a s s i f i c a t i o np e r f o r m a n c e o f B a y e s i a nn e t w o r k s c l a s s i f i e r . , D i f f e r e n t t r a i n i n gm e t h o d sb a s e do ng e n e r a t i v ef u n c t i o na n dd i s c r i m i n a t i v ef u n c t i o na r ec o m p a r e d e f f e c t o f i n c r e a s i n gn u m b e r o f t r a i n i n gs a m p l e so nc l a s s i f i c a t i o np e r f o r m a n c eo f g e n e r a t i v eB a y e s i a n n e t w o r k sa n dd i s c r i m i n a t i v eB a y e s i a nn e t w o r k sa r ec o m p a r e da n dc o r r e l a t i o nb e t w e e no p t i m i z a t i o n f u n c t i o na n dc l a s s i f i c a t i o np e r f o r m a n c eo f B a y e s i a nn e t w o r k s a r e a n a l y z e da c c o r d i n g t o t h e e x p e r i m e n t o nU C I d a t a s e t s .T h e e x p e r i m e n t a l r e s u l t s s h o wt h a t r e d u n d a n t d a t a h a v e g r e a t e r i m p a c t o no v e r f i t t i n g i nd i s c r i m i n a t i v eB a y e s i a nn e t w o r k s t h a nt h a t o f g e n e r a t i v en e t w o r k sa n dt h eb e s t B a y e s i a nn e t w o r k s c l a s s i f i e r d o n o a l w a y s h a v e t h e b i g g e s t l o g l i k e l i h o o do r l o g c o n d i t i o n a l l i k e l i h o o d .S o ,a d o p t i n g a c t i v e s a m p l es e l e c t i o ns t r a t e g ya n dt a k i n gt r a d e o f fb e t w e e ng e n e r a t i v ea n dd i s c r i m i n a t i v ef u n c t i o na s o p t i m i z a t i o no b j e c t i v em a yi m p r o v el e a r n i n ge f f i c i e n c ya n dc l a s s i f i c a t i o np e r f o r m a n c eo f d i s c r i m i n a t i v e B a y e s i a nn e t w o r k s . K e yw o r d s :B a y e s i a nn e t w o r k s ;g e n e r a t i v el e a r n i n g ;d i s c r i m i n a t i v el e a r n i n g