SVM的概率输出（Plattscaling）

SVM的概率输出（Plattscaling）
SVM的概率输出（Platt scaling）
2015-10-22 10:38:19 阅读数 8121 ⽂章标签：更多
分类专栏：
版权声明：本⽂为博主原创⽂章，遵循版权协议，转载请附上原⽂出处链接和本声明。

本⽂链接：
最近在研究基于样本的相似度度量问题，其中⽤到了分类器的概率输出（Platt scaling），⼤概了解了⼀下⽤法，总结的⽐较简单。

参考wiki的定义，Platt scaling，也叫Platt calibration，是⼀种将分类模型的输出变换为基于类别的概率分布的⽅法（可能翻译的不太准确，附上原⽂：In machine learning, Platt scaling or Platt calibration is a way of transforming the outputs of a classification model into a probability distribution over classes.）Platt scaling最初是⽤来解决SVM分类结果的概率输出（也可⽤于其他分类⽅法），采⽤逻辑斯蒂回归模型拟合分类器分数（classifier's socre）。

这⾥定义SVM的输出（⾮阈值化的）：
其中
Platt基于Bayes准则，⽤后验概率 P(y=1|f) 替代类别条件密度 p(f|y)，采⽤Sigmoid的参数化形式表达。

模型有两个参数A和B，采⽤最⼤似然估计训练，定义新的训练集合，其中ti为⽬标概率：
最⼩化训练数据的Negative Log Likelihood，⽬标函数为cross-entropy error function：
其中
Platt在论⽂中指出优化的两个问题：训练集的选择和避免过拟合的⽅法。

Platt Scaling的⽅法相当于创建新的训练集（SVM分类器输出Score和标签），基于这些新的数据进⾏训练，训练模型的输出就是分类器的概率输出。

相关参考：
Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods 1999。