动态贝叶斯网络结构学习的研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｃｏｎｓｔｒａｉｎｔ Ｓａｔｉｓｆａｃｔｉｏｎ ａｎｄ Ｓｃｏｒｅ—ａｎｄ．Ｓｅａｒｃｈ ｔｏｇｅｔｈｅｒ．Ｆｉｒｓｔ，ｔｈｅ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｕｓｅｓ ｏｒｄｅｒ－０ ｉｎｄｅｐｅｎｄｅｎｃｅ ｔｅｓｔｓ ｗｉｔｈ ａ ｓｅｌｆ－ａｄｊｕｓｔｉｎｇ ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ ｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｓｔｒｉｃｔ ｔｈｅ ｓｐａｃｅ ｏｆ ｃａｎｄｉｄａｔｅ ｓｏｌｕｔｉｏｎｓ，ＳＯ ｔｈａｔ ｔｈｅ ｓｅａｒｃｈ ｐｒｏｃｅｓｓ ｆｏｒ ａｎｔｓ Ｃａｎ ｂｅ ｉｍｐｒｏｖｅｄ ｗｈｉｌｅ ｋｅｅｐｉｎｇ ｂｅａｅｒ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ．Ｔｈｅｎ，ａｌｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｓｃｈｅｍｅ
动态贝叶斯网络（Ｄｙｎａｍｉｃ ＢａｙｅｓｉａｎＮｅｔｗｏｒｋｓ，ＤＢＮ）是贝叶斯网络在时 间领域的扩展【４】，即在原来网络结构的基础上加上时间属性的约束而形成的具 有处理时序数据能力的新的随机模型。它在描述非线性、随机演化的不确定 关系时具有较强的优势。ＤＢＮ已经应用于语音识别【５】、股票市场指数反应、 生物进化过程、病人健康状况监控以及经济预测【６】等很多方面。
２）Ｔｏ ｓｏｌｖｅ ｔｈｅ ｄｒａｗｂａｃｋｓ ｏｆ ｔｈｅ ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ １ｅａｒｎｉｎｇ Ｂａｙｅｓｉａｎ
ｎｅｔｗｏｒｋｓ（Ｉ—ＡＣＯＢ），ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｖａｒｉａｂｌｅ ｓｅａｒｃｈ ｓｐａｃｅ ａｎｄ ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ｓｔｒａｔｅｇｙ（ＶＳＭＩ—ＡＣＯＢ）ｉＳ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｃｏｍｂｉｎｅｄ ｔｗｏ ｂａｓｉｃ ｉｄｅａｓ ｏｆ
ａｌｇｏｒｉｔｈｍ ｕｓｅｓ ｏｒｄｅｒ－０ ｉｎｄｅｐｅｎｄｅｎｃｅ ｔｅｓｔｓ ｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｓｔｒｉｃｔ ｔｈｅ ｓｐａｃｅ ｏｆ ｃａｎｄｉｄａｔｅ ｓｏｌｕｔｉｏｎｓ，ｍｏｒｅｏｖｅｒ，ｔｈｅ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｏｂｔａｉｎｅｄ ｉｎ ｉｎｄｅｐｅｎｄｅｎｃｅ ｔｅｓｔｓ ｐｈａｓｅ ｉＳ ｕｓｅｄ ａｓ ｈｅｕｒｉｓｔｉｃ ｋｎｏｗｌｅｄｇｅ ｔｏ ｉｎｉｔｉａｌｉｚｅ ｔｈｅ ｐａｒｔｉｃｌｅ ｓｗａｒｍ．Ａｎｄ ｔｈｅｎ， ａ ｎｅｗ ｐａｒｔｉｃｌｅ ｐｏｓｉｔｉｏｎ’Ｓ ｓｕｂｔｒａｃｔｉｏｎ ｏｐｅｒａｔｏｒ ｉＳ ｄｅｓｉｇｎｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ＭＤＬ ｓｃｏｒｅ，ｗｈｉｃｈ ｍａｋｅｓ ｔｈｅ ｐａｒｔｉｃｌｅ ｆｌｙｉｎｇ ｅｆｆｅｃｔｉｖｅｌｙ．Ａｔ ｌａｓｔ，ａ ｄｉｓｔｕｒｂｅｄ ｓｔｒａｔｅｇｙ ｉＳ ａｐｐｌｉｅｄ ｔｏ ａｃｃｅｌｅｒａｔｅ ｔｈｅ ｐａｒｔｉｃｌｅｓ ｔｏ ｏｖｅｒｓｔ印ｔｈｅ ｌｏｃａｌ ｅｘｔｒｅｍｕｍ．１１１ｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ ｂｅｎｃｈｍａｒｋ ｄａｔａｂａｓｅｓ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ ｓｔｒａｔｅｇｉｅｓ ａｒｅ ｅ伍ｃｉｅｎｔ，ａｎｄ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｉｓ ｂｅａｅｒ．
ａｌｇｏｒｉｔｈｍ ｉｓ ｅｆｆｉｃｉｅｎｔ ａｎｄ ｃａｌｌ ｈａｎｄｌｅ ｌａｒｇｅ ｄａｔａｓｅｔｓ． Ｋｅｙｗｏｒｄｓ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ；ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ；ｓｔｒｕｃｔｕｒｅ ｌｅａｒｎｉｎｇ； ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ；ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ；
ｂａｓｅｄ ｏｎ ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ，ａｎｄ ａ ｋｎｏｗｌｅｄｇｅ—ｇｕｉｄｅｄ ｓｔｒａｔｅｇｙ ｉｓ ｅｍｐｌｏｙｅｄ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｏｐｔｉｍｉｚｉｎｇ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｔｈｅ
北京工业大学 硕士学位论文 动态贝叶斯网络结构学习的研究 姓名：胡仁兵 申请学位级别：硕士 专业：计算机软件与理论 指导教师：冀俊忠
20090501
摘要
摘要
动态贝叶斯网（ＤＢＮ）作为一种特殊的贝叶斯网络（ＢＮ），是贝叶斯网 络与时间信息相结合而形成的可处理时序数据的新的随机模型。由于其在描 述非线性、随机演化的不确定关系时具有较强的优势，所以对动态贝叶斯网 的研究及其应用成为人工智能领域中的一个研究热点。为了进一步提高ＤＢＮ 结构学习算法的效率，本文在研究国内外现有算法的基础上，完成了如下几 方面的工作：
１）扩展了利用粒子群优化学习贝叶斯网络结构的ＢＮ．ＰＳＯ算法，提出了 基于粒子群优化的ＤＢＮ结构学习算法Ｉ－ＢＮ．ＰＳＯ。新算法首先利用条件独立 性测试（０阶）确定网络候选的连接图，有效地限制了搜索空间，并利用已获 得的互信息作为启发性知识来初始化粒子群；其次，设计了基于ＭＤＬ评分增 益的粒子位置减法算子，使粒子的“飞行”更有效；最后，引入了随机扰动 策略，避免了粒子群的“聚集”现象。在标准数据集上的实验表明，新算法 大大提高了学习的精度和速度。
３）结合动态贝叶斯转移网络的特点，将ＶＳＭＩ．ＡＣＯＢ扩展到动态贝叶斯 网络，提出了基于蚁群优化的分步构建转移网络的结构学习算法。算法将转 移网络的结构学习分为时间片之间的结构学习和时间片内的结构学习两个步 骤进行，并再次改进优化策略，减少了无效优化的次数。标准数据集下大量 实验结果表明：新算法能够更有效地处理大规模数据，且学习精度和速度有 较大改进。
．１１Ｉ．
北京工业大学工学硕士学位论文 ｏｐｔｉｍｉｚａｔｉｏｎ ｓｔｒａｔｅｇｙ ｉｓ ｉｍｐｒｏｖｅｄ ｂｙ ｄｅｃｒｅａｓｉｎｇ ｔｈｅ ｔｉｍｅｓ ｏｆ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｐｅｒｍｉｏｎ．Ａ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｎｄ ｃｏｍｐａｒｉｓｏｎｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｎｅｗ
贝叶斯网络是一个有向无环图【３】，它用节点表示变量，有向边表示变量间 的依赖关系。贝叶斯网络作为一种图形模型，具有图形模型的大多数性质， 是概率理论和图论相结合的产物。它把图形理论的表达和计算能力与概率理 论有机地结合在一起，在处理不确定性问题上具有许多优势，如灵活的相互 依赖的拓扑结构，易于理解和解释的语义，强大的处理能力等。
ｌｏｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ．Ｆｉｎａｌｌｙ，ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｔｅｓｔｅｄ ｏｎ ｄｉｆｆｅｒｅｎபைடு நூலகம் ｓｃａｌｅ
ｂｅｎｃｈｍａｒｋｓ ａｎｄ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｒｅｃｅｎｔｌｙ ｐｒｏｐｏｓｅｄ ｓｔｏｃｈａｓｔｉｃ ａｌｇｏｒｉｔｈｍｓ．ｎｌｅ
关于论文使用授权的说明
本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。
（保密的论文在解密后应遵守此规定）
签名：槛导师签名：璧！垒坠日期．ｗ罕－６－５．
第１章绪论
．Ｉｖ．
独创性声明
本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。
３）Ａｉｍｉｎｇ ａｔ ｔｈｅ ｃｈａｒａｃｔｅｒ ｏｆ Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｔｒａｎｓｉｔｉｏｎ ｎｅｔｗｏｒｋｓ，ｔｈｅ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｎｅｗ ｔｒａｎｓｉｔｉｏｎ ｎｅｔｗｏｒｋｓ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ ｅｘｔｅｎｄｉｎｇ ｔｈｅ ｓｔａｔｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓ ｓｔｒｕｃｔｕｒｅ ｌｅａｎｉｎｇ ａｌｇｏｒｉｔｈｍ ＶＳＭＩ－ＡＣＯＢ．Ｉｎ ｔｈｅ ｎｅｗ ａｌｇｏｒｉｔｈｍ，ａｎｔｓ ｓｅｌｅｃｔ ａｒＣＳ ｆｒｏｍ ｔｈｅ ｉｎｔｅｒ－ａｒｃｓ ｂｅｔｗｅｅｎ ｔｉｍｅ ｓｌｉｃｅｓ ｂｅｆｏｒｅ ｆｒｏｍ ｔｈｅ ｉｎｔｒａ—ａｒｃｓ ｉｎ ｏｎｅ ｓｌｉｃｅ，ａｎｄ ｔｈｅｎ ｔｈｅ ｉｎｔｅｒｖａｌ
ａｒｅ ａｌｌ ｔｈｅ ｔｉｍｅ ｈｏｔ ｔｏｐｉｃｓ ｏｆ趾．ＴｍＳ ｔｈｅｓｉｓ ｍａｉｎｌｙ ｆｏｃｕｓｅｓ ｏｎ Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ ｓｔｒｕｃｔｕｒｅ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍ ｉｎ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｔｈｒｅｅ ｄｉｒｅｃｔｉｏｎｓ：
１）Ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｌｅａｒｎｉｎｇ ＤＢＮ’Ｓ ｓｔｒｕｃｔｕｒｅ ｕｓｉｎｇ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ （Ｉ—ＢＮ—ＰＳＯ）ｉｓ ｐｒｏｐｏｓｅｄ ｂｙ ｅｘｔｅｎｄｉｎｇ ｔｈｅ ａｌｇｏｒｉｔｈｍ ＢＮ—ＰＳＯ．Ｆｉｒｓｔ，ｔｈｅ ｎｅｗ
第１章 绪论
１．１课题背景与研究意义
贝叶斯网络（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ，ＢＮ）的源头可以追溯到１７６３年英国数 学家贝叶斯撰写的一篇名为“Ａｎ Ｅｓｓａｙ Ｔｏｗａｒｄｓ Ｓｏｌｖｉｎｇ ａ Ｐｒｏｂｌｅｍ ｉｎ ｔｈｅ Ｄｏｃｔｆｉｒｌｅ Ｃｈａｎｃｅ”的论文，从此贝叶斯方法和理论开始逐渐地被学者所认识和 重视。１９８２年，Ｐｅａｒｌ在人工智能领域用贝叶斯网络进行概率推理，分别对树 型网络和多树型网络提出了消息传递算法，此后，贝叶斯网络被越来越多地 用在专家系统的不确定性知识表示和推理中。１９８８年，Ｐｅａｒｌ建立了贝叶斯网 络基础理论体系。１９９６年，Ｈｅｃｋｅｒｍａｎ等一些学者把贝叶斯网络用于数据挖 掘ＬｌＪ。随着研究的深入，贝叶斯网逐渐成为人工智能，模式识别，机器学习和 数据挖掘等领域处理不确定问题的重要方法之一【２】。
关键词贝叶斯网络；动态贝叶斯网络：结构学习；粒子群优化；蚁群优化
ＡＢＳＴＲＡＣＴ
ＡＢＳＴＲＡＣＴ
Ｎｅｔｗｏｒｋｓ删） Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ（ＤＢＮ）ｉｓ ａ ｓｐｅｃｉｅｓ ｏｆ Ｂａｙｅｓｉａｎ
ｄｅｓｉｇｎｅｄ ｔｏ ｍｏｄｅｌ ｓｔｏｃｈａｓｔｉｃ ｔｅｍｐｏｒａｌ ｐｒｏｃｅｓｓｅｓ，ｗｈｉｃｈ ｍｏｄｅｌｓ ｔｈｅ ｓｔｏｃｈａｓｔｉｃ ｅｖｏｌｕｔｉｏｎ ｏｆ ａ ｓｅｔ ｏｆ ｒａｎｄｏｍ ｖａｒｉａｂｌｅｓ ｏｖｅｒ ｔｉｍｅ．Ｏｗｉｎｇ ｔｏ ＤＢＮ’Ｓ ｓｉｇｎｉｆｉｃａｎｔ ａｄｖａｎｔａｇｅｓ ｉｎ ｄｅｓｃｒｉｂｉｎｇ ｎｏｎｌｉｎｅａｒ，ｔｅｍｐｏｒａｌ，ｅｖｏｌｖｉｎｇ ａｎｄ ｕｎｃｅｒｔａｉｎ ｒｅｌａｔｉｏｎｓｈｉｐｓ ａｎｄ ｓｔｒｏｎｇ ａｂｉｌｉｔｙ ｏｆ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｉｎｆｅｒｅｎｃｅ，ｓｔｕｄｉｅｓ ｏｎ ＤＢＮ ａｎｄ ｉｔ’Ｓ ａｐｐｌｉｃａｔｉｏｎ
２）针对基于蚁群优化的贝叶斯网络结构学习算法Ｉ－ＡＣＯＢ的不足，融合 阈值自调整的可变搜索空间和模拟退火的优化策略，提出了ＶＳＭＩ。ＡＣＯＢ贝 叶斯网络结构学习算法。新算法将约束满足的方法和ＭＤＬ评分搜索的基本思 想相融合，在学习过程中利用阈值自调整的０阶条件独立性测试来动态压缩 搜索空间，在保证求解质量的同时，加速了搜索过程；然后通过引入基于模 拟退火的优化机制，改进了算法的求解质量，提高了局部优化的效率。实验 结果验证了两种策略的有效性，＋与最新的同类算法相比，新算法在保持较快 收敛速度的前提下，具有更好的求解质量。
ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ ｓｔｒａｔｅｇｉｅｓ ａｒｅ ｅｆｆｉｃｉｅｎｔ，ａｎｄ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｎｅｗ
ａｌｇｏｒｉｔｈｍ ｐｒｅｃｅｄｅｓ ｔｈｅ ｏｔｈｅｒ ａｌｇｏｒｉｔｈｍｓ ｗｈｉｌｅ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ｉＳ ｆａｓｔｅｒ．
动态贝叶斯网络（Ｄｙｎａｍｉｃ ＢａｙｅｓｉａｎＮｅｔｗｏｒｋｓ，ＤＢＮ）是贝叶斯网络在时 间领域的扩展【４】，即在原来网络结构的基础上加上时间属性的约束而形成的具 有处理时序数据能力的新的随机模型。它在描述非线性、随机演化的不确定 关系时具有较强的优势。ＤＢＮ已经应用于语音识别【５】、股票市场指数反应、 生物进化过程、病人健康状况监控以及经济预测【６】等很多方面。
２）Ｔｏ ｓｏｌｖｅ ｔｈｅ ｄｒａｗｂａｃｋｓ ｏｆ ｔｈｅ ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ １ｅａｒｎｉｎｇ Ｂａｙｅｓｉａｎ
ｎｅｔｗｏｒｋｓ（Ｉ—ＡＣＯＢ），ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｖａｒｉａｂｌｅ ｓｅａｒｃｈ ｓｐａｃｅ ａｎｄ ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ｓｔｒａｔｅｇｙ（ＶＳＭＩ—ＡＣＯＢ）ｉＳ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｃｏｍｂｉｎｅｄ ｔｗｏ ｂａｓｉｃ ｉｄｅａｓ ｏｆ
ａｌｇｏｒｉｔｈｍ ｕｓｅｓ ｏｒｄｅｒ－０ ｉｎｄｅｐｅｎｄｅｎｃｅ ｔｅｓｔｓ ｔｏ ｅｆｆｅｃｔｉｖｅｌｙ ｒｅｓｔｒｉｃｔ ｔｈｅ ｓｐａｃｅ ｏｆ ｃａｎｄｉｄａｔｅ ｓｏｌｕｔｉｏｎｓ，ｍｏｒｅｏｖｅｒ，ｔｈｅ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ ｏｂｔａｉｎｅｄ ｉｎ ｉｎｄｅｐｅｎｄｅｎｃｅ ｔｅｓｔｓ ｐｈａｓｅ ｉＳ ｕｓｅｄ ａｓ ｈｅｕｒｉｓｔｉｃ ｋｎｏｗｌｅｄｇｅ ｔｏ ｉｎｉｔｉａｌｉｚｅ ｔｈｅ ｐａｒｔｉｃｌｅ ｓｗａｒｍ．Ａｎｄ ｔｈｅｎ， ａ ｎｅｗ ｐａｒｔｉｃｌｅ ｐｏｓｉｔｉｏｎ’Ｓ ｓｕｂｔｒａｃｔｉｏｎ ｏｐｅｒａｔｏｒ ｉＳ ｄｅｓｉｇｎｅｄ ｂａｓｅｄ ｏｎ ｔｈｅ ｉｎｃｒｅａｓｅ ｏｆ ＭＤＬ ｓｃｏｒｅ，ｗｈｉｃｈ ｍａｋｅｓ ｔｈｅ ｐａｒｔｉｃｌｅ ｆｌｙｉｎｇ ｅｆｆｅｃｔｉｖｅｌｙ．Ａｔ ｌａｓｔ，ａ ｄｉｓｔｕｒｂｅｄ ｓｔｒａｔｅｇｙ ｉＳ ａｐｐｌｉｅｄ ｔｏ ａｃｃｅｌｅｒａｔｅ ｔｈｅ ｐａｒｔｉｃｌｅｓ ｔｏ ｏｖｅｒｓｔ印ｔｈｅ ｌｏｃａｌ ｅｘｔｒｅｍｕｍ．１１１ｅ ｅｘｐｅｒｉｍｅｎｔ ｒｅｓｕｌｔｓ ｏｎ ｔｈｅ ｂｅｎｃｈｍａｒｋ ｄａｔａｂａｓｅｓ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ ｓｔｒａｔｅｇｉｅｓ ａｒｅ ｅ伍ｃｉｅｎｔ，ａｎｄ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｉｓ ｂｅａｅｒ．
ａｌｇｏｒｉｔｈｍ ｉｓ ｅｆｆｉｃｉｅｎｔ ａｎｄ ｃａｌｌ ｈａｎｄｌｅ ｌａｒｇｅ ｄａｔａｓｅｔｓ． Ｋｅｙｗｏｒｄｓ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ；ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ；ｓｔｒｕｃｔｕｒｅ ｌｅａｒｎｉｎｇ； ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ；ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ；
ｂａｓｅｄ ｏｎ ｓｉｍｕｌａｔｅｄ ａｎｎｅａｌｉｎｇ ｉｓ ｉｎｔｒｏｄｕｃｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ，ａｎｄ ａ ｋｎｏｗｌｅｄｇｅ—ｇｕｉｄｅｄ ｓｔｒａｔｅｇｙ ｉｓ ｅｍｐｌｏｙｅｄ ｔｏ ｅｎｈａｎｃｅ ｔｈｅ ｏｐｔｉｍｉｚｉｎｇ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｔｈｅ
北京工业大学 硕士学位论文 动态贝叶斯网络结构学习的研究 姓名：胡仁兵 申请学位级别：硕士 专业：计算机软件与理论 指导教师：冀俊忠
20090501
摘要
摘要
动态贝叶斯网（ＤＢＮ）作为一种特殊的贝叶斯网络（ＢＮ），是贝叶斯网 络与时间信息相结合而形成的可处理时序数据的新的随机模型。由于其在描 述非线性、随机演化的不确定关系时具有较强的优势，所以对动态贝叶斯网 的研究及其应用成为人工智能领域中的一个研究热点。为了进一步提高ＤＢＮ 结构学习算法的效率，本文在研究国内外现有算法的基础上，完成了如下几 方面的工作：
１）扩展了利用粒子群优化学习贝叶斯网络结构的ＢＮ．ＰＳＯ算法，提出了 基于粒子群优化的ＤＢＮ结构学习算法Ｉ－ＢＮ．ＰＳＯ。新算法首先利用条件独立 性测试（０阶）确定网络候选的连接图，有效地限制了搜索空间，并利用已获 得的互信息作为启发性知识来初始化粒子群；其次，设计了基于ＭＤＬ评分增 益的粒子位置减法算子，使粒子的“飞行”更有效；最后，引入了随机扰动 策略，避免了粒子群的“聚集”现象。在标准数据集上的实验表明，新算法 大大提高了学习的精度和速度。
３）结合动态贝叶斯转移网络的特点，将ＶＳＭＩ．ＡＣＯＢ扩展到动态贝叶斯 网络，提出了基于蚁群优化的分步构建转移网络的结构学习算法。算法将转 移网络的结构学习分为时间片之间的结构学习和时间片内的结构学习两个步 骤进行，并再次改进优化策略，减少了无效优化的次数。标准数据集下大量 实验结果表明：新算法能够更有效地处理大规模数据，且学习精度和速度有 较大改进。
．１１Ｉ．
北京工业大学工学硕士学位论文 ｏｐｔｉｍｉｚａｔｉｏｎ ｓｔｒａｔｅｇｙ ｉｓ ｉｍｐｒｏｖｅｄ ｂｙ ｄｅｃｒｅａｓｉｎｇ ｔｈｅ ｔｉｍｅｓ ｏｆ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｐｅｒｍｉｏｎ．Ａ ｎｕｍｂｅｒ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ ａｎｄ ｃｏｍｐａｒｉｓｏｎｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｎｅｗ
贝叶斯网络是一个有向无环图【３】，它用节点表示变量，有向边表示变量间 的依赖关系。贝叶斯网络作为一种图形模型，具有图形模型的大多数性质， 是概率理论和图论相结合的产物。它把图形理论的表达和计算能力与概率理 论有机地结合在一起，在处理不确定性问题上具有许多优势，如灵活的相互 依赖的拓扑结构，易于理解和解释的语义，强大的处理能力等。
ｌｏｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ．Ｆｉｎａｌｌｙ，ｔｈｅ ａｌｇｏｒｉｔｈｍ ｉｓ ｔｅｓｔｅｄ ｏｎ ｄｉｆｆｅｒｅｎபைடு நூலகம் ｓｃａｌｅ
ｂｅｎｃｈｍａｒｋｓ ａｎｄ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｒｅｃｅｎｔｌｙ ｐｒｏｐｏｓｅｄ ｓｔｏｃｈａｓｔｉｃ ａｌｇｏｒｉｔｈｍｓ．ｎｌｅ
关于论文使用授权的说明
本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。
（保密的论文在解密后应遵守此规定）
签名：槛导师签名：璧！垒坠日期．ｗ罕－６－５．
第１章绪论
．Ｉｖ．
独创性声明
本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。
３）Ａｉｍｉｎｇ ａｔ ｔｈｅ ｃｈａｒａｃｔｅｒ ｏｆ Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｔｒａｎｓｉｔｉｏｎ ｎｅｔｗｏｒｋｓ，ｔｈｅ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ａ ｎｅｗ ｔｒａｎｓｉｔｉｏｎ ｎｅｔｗｏｒｋｓ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ａｎｔ ｃｏｌｏｎｙ ｏｐｔｉｍｉｚａｔｉｏｎ ｂｙ ｅｘｔｅｎｄｉｎｇ ｔｈｅ ｓｔａｔｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋｓ ｓｔｒｕｃｔｕｒｅ ｌｅａｎｉｎｇ ａｌｇｏｒｉｔｈｍ ＶＳＭＩ－ＡＣＯＢ．Ｉｎ ｔｈｅ ｎｅｗ ａｌｇｏｒｉｔｈｍ，ａｎｔｓ ｓｅｌｅｃｔ ａｒＣＳ ｆｒｏｍ ｔｈｅ ｉｎｔｅｒ－ａｒｃｓ ｂｅｔｗｅｅｎ ｔｉｍｅ ｓｌｉｃｅｓ ｂｅｆｏｒｅ ｆｒｏｍ ｔｈｅ ｉｎｔｒａ—ａｒｃｓ ｉｎ ｏｎｅ ｓｌｉｃｅ，ａｎｄ ｔｈｅｎ ｔｈｅ ｉｎｔｅｒｖａｌ
ａｒｅ ａｌｌ ｔｈｅ ｔｉｍｅ ｈｏｔ ｔｏｐｉｃｓ ｏｆ趾．ＴｍＳ ｔｈｅｓｉｓ ｍａｉｎｌｙ ｆｏｃｕｓｅｓ ｏｎ Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ ｓｔｒｕｃｔｕｒｅ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍ ｉｎ ｔｈｅ ｆｏｌｌｏｗｉｎｇ ｔｈｒｅｅ ｄｉｒｅｃｔｉｏｎｓ：
１）Ａ ｎｅｗ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｌｅａｒｎｉｎｇ ＤＢＮ’Ｓ ｓｔｒｕｃｔｕｒｅ ｕｓｉｎｇ ｐａｒｔｉｃｌｅ ｓｗａｒｍ ｏｐｔｉｍｉｚａｔｉｏｎ （Ｉ—ＢＮ—ＰＳＯ）ｉｓ ｐｒｏｐｏｓｅｄ ｂｙ ｅｘｔｅｎｄｉｎｇ ｔｈｅ ａｌｇｏｒｉｔｈｍ ＢＮ—ＰＳＯ．Ｆｉｒｓｔ，ｔｈｅ ｎｅｗ
第１章 绪论
１．１课题背景与研究意义
贝叶斯网络（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ，ＢＮ）的源头可以追溯到１７６３年英国数 学家贝叶斯撰写的一篇名为“Ａｎ Ｅｓｓａｙ Ｔｏｗａｒｄｓ Ｓｏｌｖｉｎｇ ａ Ｐｒｏｂｌｅｍ ｉｎ ｔｈｅ Ｄｏｃｔｆｉｒｌｅ Ｃｈａｎｃｅ”的论文，从此贝叶斯方法和理论开始逐渐地被学者所认识和 重视。１９８２年，Ｐｅａｒｌ在人工智能领域用贝叶斯网络进行概率推理，分别对树 型网络和多树型网络提出了消息传递算法，此后，贝叶斯网络被越来越多地 用在专家系统的不确定性知识表示和推理中。１９８８年，Ｐｅａｒｌ建立了贝叶斯网 络基础理论体系。１９９６年，Ｈｅｃｋｅｒｍａｎ等一些学者把贝叶斯网络用于数据挖 掘ＬｌＪ。随着研究的深入，贝叶斯网逐渐成为人工智能，模式识别，机器学习和 数据挖掘等领域处理不确定问题的重要方法之一【２】。
关键词贝叶斯网络；动态贝叶斯网络：结构学习；粒子群优化；蚁群优化
ＡＢＳＴＲＡＣＴ
ＡＢＳＴＲＡＣＴ
Ｎｅｔｗｏｒｋｓ删） Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ（ＤＢＮ）ｉｓ ａ ｓｐｅｃｉｅｓ ｏｆ Ｂａｙｅｓｉａｎ
ｄｅｓｉｇｎｅｄ ｔｏ ｍｏｄｅｌ ｓｔｏｃｈａｓｔｉｃ ｔｅｍｐｏｒａｌ ｐｒｏｃｅｓｓｅｓ，ｗｈｉｃｈ ｍｏｄｅｌｓ ｔｈｅ ｓｔｏｃｈａｓｔｉｃ ｅｖｏｌｕｔｉｏｎ ｏｆ ａ ｓｅｔ ｏｆ ｒａｎｄｏｍ ｖａｒｉａｂｌｅｓ ｏｖｅｒ ｔｉｍｅ．Ｏｗｉｎｇ ｔｏ ＤＢＮ’Ｓ ｓｉｇｎｉｆｉｃａｎｔ ａｄｖａｎｔａｇｅｓ ｉｎ ｄｅｓｃｒｉｂｉｎｇ ｎｏｎｌｉｎｅａｒ，ｔｅｍｐｏｒａｌ，ｅｖｏｌｖｉｎｇ ａｎｄ ｕｎｃｅｒｔａｉｎ ｒｅｌａｔｉｏｎｓｈｉｐｓ ａｎｄ ｓｔｒｏｎｇ ａｂｉｌｉｔｙ ｏｆ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｉｎｆｅｒｅｎｃｅ，ｓｔｕｄｉｅｓ ｏｎ ＤＢＮ ａｎｄ ｉｔ’Ｓ ａｐｐｌｉｃａｔｉｏｎ
２）针对基于蚁群优化的贝叶斯网络结构学习算法Ｉ－ＡＣＯＢ的不足，融合 阈值自调整的可变搜索空间和模拟退火的优化策略，提出了ＶＳＭＩ。ＡＣＯＢ贝 叶斯网络结构学习算法。新算法将约束满足的方法和ＭＤＬ评分搜索的基本思 想相融合，在学习过程中利用阈值自调整的０阶条件独立性测试来动态压缩 搜索空间，在保证求解质量的同时，加速了搜索过程；然后通过引入基于模 拟退火的优化机制，改进了算法的求解质量，提高了局部优化的效率。实验 结果验证了两种策略的有效性，＋与最新的同类算法相比，新算法在保持较快 收敛速度的前提下，具有更好的求解质量。
ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅｓｅ ｓｔｒａｔｅｇｉｅｓ ａｒｅ ｅｆｆｉｃｉｅｎｔ，ａｎｄ ｔｈｅ ｓｏｌｕｔｉｏｎ ｑｕａｌｉｔｙ ｏｆ ｔｈｅ ｎｅｗ
ａｌｇｏｒｉｔｈｍ ｐｒｅｃｅｄｅｓ ｔｈｅ ｏｔｈｅｒ ａｌｇｏｒｉｔｈｍｓ ｗｈｉｌｅ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ｉＳ ｆａｓｔｅｒ．