评分函数

车璐. 贝叶斯网络结构增量学习研究[D].杭州电子科技大学,2010. 批量学习算法： K2 算法、 爬山算法， 这类算法的特点是当获得新的训练数据后， 此类算法不会对贝叶斯网络进行更新优化。 K2 算法最主要的缺陷是样本量必须足够大，否则学习所得网络结构质量较差。 李淑智 徐光华 刘弹 张熠卓 贝叶斯网络结构评分函数研究，2010 根据 BIC 评分函数提出一种新的评分函数 BCPS
n 1 F BIC (S | D) mijk log ln m qi (ri 1) mij* 2 i 1 j 1 k 1 i 1 * n qi ri
mijk
F BCPS (S | D) mijkijk qi (ri 1)m
* i 1 j 1 k 1 i 1
n
qi
ri
n
实验结果表明λ会直接影响到结构学习的精确度，当λ太大时，网络结构的缺失边 会较多，没有络结构的增加边会较多，表明惩罚项太轻，出现数据与结构的过拟合。
K2_BIC 实验结果表明， 在 5000 个样本数据时， 学习到的模型结构有 45 条正确 边，仅有（12 23）由于关联强度很弱而缺失，但这条边在所有的学习结果 中均消失，所以该结构是一个最优的结构；在 10000 个样本时，由于惩罚值相 对于总分值过小，出现数据与结构的过拟合；在 2000 个样本时，由于惩罚值相 对于结构分值过大，即惩罚较重，会导致缺失边较多。实验结果表明，BIC 评分 函数的惩罚项对学习结果的精确度有较大影响。 贝叶斯网络结构学习算法改进研究 BD 评分函数：BD 评分函数的实质就是利用贝叶斯方法求解。贝叶斯方法学习 网络结构是先定义未知的网络结构为 G， 其次估计该网络结构 G 的先验概率 p(G)； 最后计算网络结构后验概率 p(G D)。贝叶斯方法学习网络结构在实际应用中由 于状态空间很大，n 个变量的可能的网络状态数是 n 的指数次幂。数据完备时， BD 评分函数具有可分解性，可分解成每个参数的局部因式。也都具有一致性和 渐进有效性，都将收敛于同一个常数，且是等价的，即等价的网络结构其评分相 同，BD 评分函数能自然地利用先验领域知识。 MDL 评分函数：MDL 评分函数用于贝叶斯网络，选择的网络结构 S 要使网络结 构的描述长度和使用网络结构描述数据之和最小， 描述长度越小的结构模型则越 好。这意味着学习过程中必须在网络结构的复杂性和用该网络表示 D 的频度的 准确性之间进行权衡。 MDL 评分函数的目标是结构简单、 参数较少的稀疏网络， 学习所需要的数据相对较少， 可有效避免了数据的过度拟合现象，并且该评分函 数具有渐进一致性。