交叉熵损失公式

交叉熵损失公式

交叉熵损失（Cross entropy loss）是在多分类和二分类任务中最常用的损失函数之一。它可以度量样本与预测标签之间有多么不同，也可以被用作模型终止训练或模型选择的指标。简言之，它是一种测量一个预测结果准确性的指标。

交叉熵损失的基本概念是将真实分布与预测分布之间的差异度量，从而来评估

预测的精确度。交叉熵量化了这种不断的差异，其公式如下：

Loss_CE(y, T) = -[(Tlog(y) + (1 - T)log(1 - y))]

其中，y表示模型的输出结果，T表示真实值（target）。负号代表交叉熵损

失总是非正的，结果越接近于0，则模型预测结果越准确。

为什么我们选择交叉熵损失来度量真实值与预测值之间的差异？因为它允许我

们对复杂和非线性的情况进行更高级的度量。相反，如果我们使用均方误差，又名平均绝对误差，适用于多分类和二分类任务，它无法度量更多的复杂性。

比如，交叉熵能够把真实值的分布与预测值的分布想象成一条不断变化的折线。它可以度量出真实值与预测值的“离散性”，可以明确的指出，预测值从真实值的哪些方面出现了失误。

总之，交叉熵损失是在机器学习领域中重要的度量工具，可以用于评估模型的

精确度，并让模型更准确地预测正确答案。