基于模型融合的分布式贝叶斯网络学习算法
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｄｉ１ ．９ ９ ｊｉ ｎ １ ０ －６ ５ ２ １ ． １０ ７ ｏ：０ ３ ６ ／．ｓ ．０ １３ ９ ．０ ０ ｏ ． １ ｓ
Ｄｉｔ ｂ ｔｄ Ｂａ ｅ ｉｎ ｎ ｔ ｒ ｅ ｒ ｉ ｇ ａｇ ｒｔｍ ａ ｅ ｎ ｍｏ ｅ ｕ ｉｎ ｓｒ ｕ ｅ ｙ ｓａ ｅｗｏ ｋ ｌ ａｎ ｎ ｌｏ ｈ ｂ ｓ ｄ ｏ ｄ ｌｆ ｓｏ ｉ ｉ
建模 的重要工具 ， 从数据 中学习贝叶斯网络结构和参数是数据
０ 引言
网络化时代数据呈现 出爆炸式 的增长态势 ， 如何从这些结 构上异质 的、 地理上分布 的、 内容上 敏感 的数 据资源 获取有用 的知识 ， 成为当前数据挖 掘面临的重要 挑战之一 。挑 战主要来 自两个方面 ：） ａ 数据挖掘算法需 要快速 ， 至实时地 处理这些 甚
第２ ７卷 第 １ 期 ２１ ００年 １月
计 算 机 应 用 研 究
Ａｐ ｌｃ ｔ ｎ Ｒｅ ｅ ｒ ｈ ｏ ｍｐ ｔ ￣ ｐ ｉ ａｉ ｓ ａ ｃ ｆＣｏ ｕ ｅ ｏ
Ｖ ｏ． ．１ Ｊ ２７ Ｎｏ
Ｊｎ ２ １ ａ． ００
基 于模 型 融合 的分 布 式 贝 叶斯 网络 学 习算 法 米
准 ， 所有局 部 结构得到 全局 结构 。 由于只使 用 了数据 集 中变量 间的 互信 息 和条 件 互信 息 ， 有 直接 获 取局 融合 没 部 个体数据 信 息 ， 而可 以 实现 有效 的隐私保 护 。该算 法在 Ａａ 数据 集 上进 行测 试 ， 的误 差 率 小 于 ６ ， 从 ｌｍ ｒ 边 ％ 运
Ｋｅ ｙ ｗｏｒ ｓ： ｄｓｒｂｕｅ ａ ａ ｍｉｉ ｇ；ｐｒｖ ｃ — ｒ ｔｃ ｉｇ；ｍｏ ｅ ｕｓｏ ｄ ｉｔｉ ｔｄ ｄ ｔ ｎ ｎ ｉ ａ ｙ ｐ ｏｅ ｔｎ ｄ ｌｆ ｉｎ；Ｂａ ｅ ｉｎ ｎ ｔ ｒ ｙ ｓａ ｅｗｏｋ；ｍｕｔａ ｎ ｏ ｍａｉｎ ｕ ｌｉｆ ｒ ｔ ｏ
Ｇ Ｕ Ｋ ｉ ｉ ｇ ，Ｇ Ｎ ｉ－ ｎ ， Ａ ｏｇ Ｏ ｕ— ａ ｘｎ Ｏ Ｇ Ｘｕｊ Ｒ Ｎ Ｙ ｎ ｕ
ａ Ｄｐ．ｏ ｔｅ ａｗ ， ｃｏｌｆＳｉ ｃ ， ． ｃｏｌｆＣ ｍ ｕ ｒＳｉ ｃ ． ｅｔ ｆＭａｈｍ ｔｓ Ｓｈｏ ｃ ｎｅ ｂ Ｓｈ ｏ ｏ ｏ ｐ ｔ ｃｅ ｅ＆ Ｔｃｎｌｇ ， ｉｎ ｎＵ ｉ ｒｔ，Ｔａｆｎ３０ ７ ，Ｃ ｉａ ｏ ｅ ｅ ｎ ｅｈ ｏｏｙ Ｔａｆ ｎ ｅｓｙ ｉｎ ０ ０ ２ ｈｎ ） ｉ ｖ ｉ ｉ
行 时间 比集 中学 习的 算法的 运行 时间短 ， 验证 了算 法的 有效性 。
关键 词 ：分布式数 据挖 掘 ；隐私保 护 ；模 型融合 ；贝叶斯 网络 ；互信 息 中 图分 类号 ：Ｔ ３ １ ６ Ｐ０． 文献 标志 码 ：Ａ 文章编 号 ：１０ —６ ５ ２ １ ） ｌ０ ６ — ４ ０ １３９ （００Ｏ 一０００
Ａｂｓ ｒ ｔ Ｆ ｒｌａ ｎ ｎ ｙ ｓａ ｔ ｒ ｔｕ ｔ ｒ ｒ ｍ ｏ ｇ ｎｅ ｕｓｄ ｔｓ ｔ ，ｔ ｉ ａ ｅ ｒ ｐ ｓ ｄ ａｄｉｔｉ ｕ ｅ ｌｏ ｔ ｍ ． ｔ ｔ ａｃ ： ｏ ｅ ｒ ｉ ｇ Ｂａ ｅ ｉｎ ｎｅｗｏ ｋ ｓｒ ｃ ｕ ｅ ｆｏ ｈ ｍｏ ｅ ｏ ａａ ｅｓ ｈ ｓｐ ｐ ｒｐ ｏ ｏ ｅ ｓｒｂ ｔ ｄ ａｇ ｒ ｈ Ｉ ｉ ｉ ｓｌ ｅ ｒ ｄ ｅ ｃ ｏ ａ ｔｕ ｔ ｅ ｕｓｎｇｓ ｏｅ ｍｅ ｈ ｄ．ｈｅ ｗｉｈ ｔ ｅ ｅ ｅ ｔｔｏ ｆｍｕ ｕ ｌｉ ｆｒ ｔｏ ｎｄ ｃ ｄｔｏ ｌｍｕｕａ ｆｒｔｙ ｌ ａｎｅ ａ ｈ ｌｃ ｌｓｒ ｃｕｒ ｉ ｃ ｒ ｔ ｏ ｔ ｎ ｔ ｈ ｘｐ ｃａｉｎｓｏ ｔ ａ ｎ ｏｍ ａｉｎ ａ ｏｎ ｉｉｎａ ｔ ｌ
缑葵香 ，宫秀军 ，冉 勇
（ 津 大学 ａ理 学院 数 学 系； ． 算机科 学与技 术 学院 ， 天 ． ｂ计 天津 ３０ ７ ） ００２
摘 要 ：提 出 了一 个从 同构 数据 集 中学 习贝叶斯 网络 结 构 的分布 式 算 法。该 算 法首 先使 用搜 索评 分的 方 法学
习每 个局 部 贝叶斯 网络 结构 ， 然后 取 节点 对ቤተ መጻሕፍቲ ባይዱ互信 息 变 量和 条件 互信 息 变量 的数 学期 望作 为 全局 学 习的评 价 标
ｕ ａｉ ｇ ｔ ｌ ｏ ｔ ｌ ｔｎ ｈｅ ａｇ ｒ ｈｍ ｎ Ａｌｒ ｄ ｔｓ ｔ ｔ ｅ ｒ ｔ ｆｅ ｒｒｉ ｅ ｓｔ ｎ ６％ ．ｈｅ ｒ ｎ ｎ ｉ ｆｔ ｅ ａ ｇ ｒｔ ｍ ｓｓ ｏ ｔｒｔ ａ ｈ ｉ ｏ ａｍ ａａ ｅ ．ｈ ａｉ ｏ ｒｏ ｓｌ ｓ ｈａ ｏ ｔ ｎｉｇ ｔｍｅ ｏ ｈ ｌｏ ｈ ｉ ｈ ｒｅ ｈ ｎ ｔ ｅ ｕ ｉ ｕ ｒ ｎｎｎｇ ｔｍｅ ｏ ｏｌｃ ｉｅ ａｇ ｒｔ ｍ ｓ ｈ ｌｏｉｈｍ ｓ ｖ ｌｄ． ｉ ｉ ｆｃ ｌｅ ｔｖ ｌｏ ｉｈ ，ｔ ｅ ａｇ ｔｔ ｉ ａｉ ‘
ｉ ｆｒ ｔ ｎ ａ ｖ ｌ ａｅ ｒｔｒ ｎ．ｔ ｕ ｅ ｈ ｓ ｏ ａ ｔ ｃｕ ｅ ｏ ｏ ｔｉ ｌｂ ｌｓｒ ｃｕ ｅ Ｆ ｒ ｕ ｉ ｇ ｏ ｌ ｔａ ｎｏ ｍａｉ ｎ ｎｏ ｍａｉ ｓ ｅ ａｕ ｔｄ ｃ ｅ ｏ ｉ ｆ ｓ ｄ ｔ ｅ ｅ ｌｃ ｌｓ ｔ ｒ ｓ ｔ ｂ ａｎ ｇｏ ａ ｔ ｔｒ ． ｏ ｓ ｎ ｙ ｍｕ ｕ ｉ ｆｒ ｔ ｏ ｉ ｉ ｕ ｒ ｕ ｎ ｌ ｏ ａ ｄ ｃ ｎ ｉ ｏ ａ ｔ ａ ｆｒ ｔ ｎ ｏ ａ ａｉｎ， ｔ ｏ ｔ ｂ ａｎ ｎ ｉｅ ｔ ａ ｌ ａａ ｉ ｍｉｈ ｆ ｃｉｅ ｙｐ ｏｅ ｔ ｒｖ ｃ ． ｉ ｎ ｏ ｄｔ ｎ ｌ ｉ ｍｕ ｕ ｌ ｎ ｏ ｍａｉ ｆｖ ｒ ｔｏ ｗｉ ｕ ｔ ｉｇ ｄ ｒｃ ｌ ｓ ｍｐ ｅｄ ｔ ，ｔ ｇ ｔ ｅ ｔ ｌ ｒ ｔ ｃ ｐ ａ ｙ Ｓ ｍ— ｉ ｏ ｉ ｈ ｏ ｉ ｙ ｅ ｖ ｉ
Ｄｉｔ ｂ ｔｄ Ｂａ ｅ ｉｎ ｎ ｔ ｒ ｅ ｒ ｉ ｇ ａｇ ｒｔｍ ａ ｅ ｎ ｍｏ ｅ ｕ ｉｎ ｓｒ ｕ ｅ ｙ ｓａ ｅｗｏ ｋ ｌ ａｎ ｎ ｌｏ ｈ ｂ ｓ ｄ ｏ ｄ ｌｆ ｓｏ ｉ ｉ
建模 的重要工具 ， 从数据 中学习贝叶斯网络结构和参数是数据
０ 引言
网络化时代数据呈现 出爆炸式 的增长态势 ， 如何从这些结 构上异质 的、 地理上分布 的、 内容上 敏感 的数 据资源 获取有用 的知识 ， 成为当前数据挖 掘面临的重要 挑战之一 。挑 战主要来 自两个方面 ：） ａ 数据挖掘算法需 要快速 ， 至实时地 处理这些 甚
第２ ７卷 第 １ 期 ２１ ００年 １月
计 算 机 应 用 研 究
Ａｐ ｌｃ ｔ ｎ Ｒｅ ｅ ｒ ｈ ｏ ｍｐ ｔ ￣ ｐ ｉ ａｉ ｓ ａ ｃ ｆＣｏ ｕ ｅ ｏ
Ｖ ｏ． ．１ Ｊ ２７ Ｎｏ
Ｊｎ ２ １ ａ． ００
基 于模 型 融合 的分 布 式 贝 叶斯 网络 学 习算 法 米
准 ， 所有局 部 结构得到 全局 结构 。 由于只使 用 了数据 集 中变量 间的 互信 息 和条 件 互信 息 ， 有 直接 获 取局 融合 没 部 个体数据 信 息 ， 而可 以 实现 有效 的隐私保 护 。该算 法在 Ａａ 数据 集 上进 行测 试 ， 的误 差 率 小 于 ６ ， 从 ｌｍ ｒ 边 ％ 运
Ｋｅ ｙ ｗｏｒ ｓ： ｄｓｒｂｕｅ ａ ａ ｍｉｉ ｇ；ｐｒｖ ｃ — ｒ ｔｃ ｉｇ；ｍｏ ｅ ｕｓｏ ｄ ｉｔｉ ｔｄ ｄ ｔ ｎ ｎ ｉ ａ ｙ ｐ ｏｅ ｔｎ ｄ ｌｆ ｉｎ；Ｂａ ｅ ｉｎ ｎ ｔ ｒ ｙ ｓａ ｅｗｏｋ；ｍｕｔａ ｎ ｏ ｍａｉｎ ｕ ｌｉｆ ｒ ｔ ｏ
Ｇ Ｕ Ｋ ｉ ｉ ｇ ，Ｇ Ｎ ｉ－ ｎ ， Ａ ｏｇ Ｏ ｕ— ａ ｘｎ Ｏ Ｇ Ｘｕｊ Ｒ Ｎ Ｙ ｎ ｕ
ａ Ｄｐ．ｏ ｔｅ ａｗ ， ｃｏｌｆＳｉ ｃ ， ． ｃｏｌｆＣ ｍ ｕ ｒＳｉ ｃ ． ｅｔ ｆＭａｈｍ ｔｓ Ｓｈｏ ｃ ｎｅ ｂ Ｓｈ ｏ ｏ ｏ ｐ ｔ ｃｅ ｅ＆ Ｔｃｎｌｇ ， ｉｎ ｎＵ ｉ ｒｔ，Ｔａｆｎ３０ ７ ，Ｃ ｉａ ｏ ｅ ｅ ｎ ｅｈ ｏｏｙ Ｔａｆ ｎ ｅｓｙ ｉｎ ０ ０ ２ ｈｎ ） ｉ ｖ ｉ ｉ
行 时间 比集 中学 习的 算法的 运行 时间短 ， 验证 了算 法的 有效性 。
关键 词 ：分布式数 据挖 掘 ；隐私保 护 ；模 型融合 ；贝叶斯 网络 ；互信 息 中 图分 类号 ：Ｔ ３ １ ６ Ｐ０． 文献 标志 码 ：Ａ 文章编 号 ：１０ —６ ５ ２ １ ） ｌ０ ６ — ４ ０ １３９ （００Ｏ 一０００
Ａｂｓ ｒ ｔ Ｆ ｒｌａ ｎ ｎ ｙ ｓａ ｔ ｒ ｔｕ ｔ ｒ ｒ ｍ ｏ ｇ ｎｅ ｕｓｄ ｔｓ ｔ ，ｔ ｉ ａ ｅ ｒ ｐ ｓ ｄ ａｄｉｔｉ ｕ ｅ ｌｏ ｔ ｍ ． ｔ ｔ ａｃ ： ｏ ｅ ｒ ｉ ｇ Ｂａ ｅ ｉｎ ｎｅｗｏ ｋ ｓｒ ｃ ｕ ｅ ｆｏ ｈ ｍｏ ｅ ｏ ａａ ｅｓ ｈ ｓｐ ｐ ｒｐ ｏ ｏ ｅ ｓｒｂ ｔ ｄ ａｇ ｒ ｈ Ｉ ｉ ｉ ｓｌ ｅ ｒ ｄ ｅ ｃ ｏ ａ ｔｕ ｔ ｅ ｕｓｎｇｓ ｏｅ ｍｅ ｈ ｄ．ｈｅ ｗｉｈ ｔ ｅ ｅ ｅ ｔｔｏ ｆｍｕ ｕ ｌｉ ｆｒ ｔｏ ｎｄ ｃ ｄｔｏ ｌｍｕｕａ ｆｒｔｙ ｌ ａｎｅ ａ ｈ ｌｃ ｌｓｒ ｃｕｒ ｉ ｃ ｒ ｔ ｏ ｔ ｎ ｔ ｈ ｘｐ ｃａｉｎｓｏ ｔ ａ ｎ ｏｍ ａｉｎ ａ ｏｎ ｉｉｎａ ｔ ｌ
缑葵香 ，宫秀军 ，冉 勇
（ 津 大学 ａ理 学院 数 学 系； ． 算机科 学与技 术 学院 ， 天 ． ｂ计 天津 ３０ ７ ） ００２
摘 要 ：提 出 了一 个从 同构 数据 集 中学 习贝叶斯 网络 结 构 的分布 式 算 法。该 算 法首 先使 用搜 索评 分的 方 法学
习每 个局 部 贝叶斯 网络 结构 ， 然后 取 节点 对ቤተ መጻሕፍቲ ባይዱ互信 息 变 量和 条件 互信 息 变量 的数 学期 望作 为 全局 学 习的评 价 标
ｕ ａｉ ｇ ｔ ｌ ｏ ｔ ｌ ｔｎ ｈｅ ａｇ ｒ ｈｍ ｎ Ａｌｒ ｄ ｔｓ ｔ ｔ ｅ ｒ ｔ ｆｅ ｒｒｉ ｅ ｓｔ ｎ ６％ ．ｈｅ ｒ ｎ ｎ ｉ ｆｔ ｅ ａ ｇ ｒｔ ｍ ｓｓ ｏ ｔｒｔ ａ ｈ ｉ ｏ ａｍ ａａ ｅ ．ｈ ａｉ ｏ ｒｏ ｓｌ ｓ ｈａ ｏ ｔ ｎｉｇ ｔｍｅ ｏ ｈ ｌｏ ｈ ｉ ｈ ｒｅ ｈ ｎ ｔ ｅ ｕ ｉ ｕ ｒ ｎｎｎｇ ｔｍｅ ｏ ｏｌｃ ｉｅ ａｇ ｒｔ ｍ ｓ ｈ ｌｏｉｈｍ ｓ ｖ ｌｄ． ｉ ｉ ｆｃ ｌｅ ｔｖ ｌｏ ｉｈ ，ｔ ｅ ａｇ ｔｔ ｉ ａｉ ‘
ｉ ｆｒ ｔ ｎ ａ ｖ ｌ ａｅ ｒｔｒ ｎ．ｔ ｕ ｅ ｈ ｓ ｏ ａ ｔ ｃｕ ｅ ｏ ｏ ｔｉ ｌｂ ｌｓｒ ｃｕ ｅ Ｆ ｒ ｕ ｉ ｇ ｏ ｌ ｔａ ｎｏ ｍａｉ ｎ ｎｏ ｍａｉ ｓ ｅ ａｕ ｔｄ ｃ ｅ ｏ ｉ ｆ ｓ ｄ ｔ ｅ ｅ ｌｃ ｌｓ ｔ ｒ ｓ ｔ ｂ ａｎ ｇｏ ａ ｔ ｔｒ ． ｏ ｓ ｎ ｙ ｍｕ ｕ ｉ ｆｒ ｔ ｏ ｉ ｉ ｕ ｒ ｕ ｎ ｌ ｏ ａ ｄ ｃ ｎ ｉ ｏ ａ ｔ ａ ｆｒ ｔ ｎ ｏ ａ ａｉｎ， ｔ ｏ ｔ ｂ ａｎ ｎ ｉｅ ｔ ａ ｌ ａａ ｉ ｍｉｈ ｆ ｃｉｅ ｙｐ ｏｅ ｔ ｒｖ ｃ ． ｉ ｎ ｏ ｄｔ ｎ ｌ ｉ ｍｕ ｕ ｌ ｎ ｏ ｍａｉ ｆｖ ｒ ｔｏ ｗｉ ｕ ｔ ｉｇ ｄ ｒｃ ｌ ｓ ｍｐ ｅｄ ｔ ，ｔ ｇ ｔ ｅ ｔ ｌ ｒ ｔ ｃ ｐ ａ ｙ Ｓ ｍ— ｉ ｏ ｉ ｈ ｏ ｉ ｙ ｅ ｖ ｉ