随机森林的公式

随机森林的公式
随机森林的公式主要包括以下几个部分：
1. 基尼不纯度公式：Gini(U) = ∑ p(ui) * (1 - p(ui))，其中p(ui)表示随机样本属于类别i的概率。

这个公式用于度量样本集的不纯度，即样本集中各类别的分布情况。

2. 熵公式：H(U) = - ∑ p(ui) * log2 p(ui)，其中p(ui)表示随机样本属于类别i的概率。

这个公式用于度量样本集的熵，即样本集中各类别的分布的混乱程度。

3. 树建立过程中的公式：基于基尼不纯度或熵公式，随机森林在构建每一棵树时，采用在每次划分中考虑k个特征的随机采样方式，并选择最优的特征进行划分，以达到减小Gini指数或增加熵值的目的。

这样可以在每一棵树中尽可能地提高分类的准确性。

4. 森林投票公式：在随机森林中，每一棵树都会对输入样本进行分类，最后通过投票的方式决定最终的分类结果。

具体来说，如果大部分树将样本分类为某一类别，那么最终的分类结果就是这一类别。

这些公式是随机森林算法的重要组成部分，它们用于度量样本集的不纯度、熵、分类准确性等指标，并指导如何建立每一棵树和如何进行最终的分类决策。