信息熵 信息增益

信息熵信息增益
信息熵是信息论中度量信息内容量的一种方法，用来衡量一个系统的不确定性或混乱程度。

在机器学习和数据挖掘中，信息熵常用于衡量一个特征对于分类结果的不确定性。

信息熵定义为：
H(X) = -∑(P(x) * log2(P(x)))
其中，H(X)表示随机变量X的信息熵，P(x)表示事件x发生的概率。

信息增益是指在已知某个特征的情况下，选择该特征作为划分标准能够带来的信息熵减少量。

在决策树算法中，根据特征的信息增益来选择最优划分属性。

信息增益的计算公式为：
IG(X) = H(Y) - ∑(P(X=x) * H(Y|X=x))
其中，IG(X)表示特征X的信息增益，H(Y)表示分类结果Y的信息熵，P(X=x)表示特征X取值为x的概率，H(Y|X=x)表示在特征X取值为x的条件下，分类结果Y的条件熵。

通过计算每个特征的信息增益，可以选择信息增益最大的特征作为划分属性，从而构建决策树模型。

信息增益越大，表示划分后的不确定性减少得越多，对分类结果的贡献越大。