决策树的训练过程

决策树的分类 信息增益 信息增益 = 分类前后的信息熵之差 信息增益越高，就越应优先选择该属性进行分类 通过信息增益来进行分类，会优先选择类别多的属性进行划分 信息增益率 为了解决信息增益会优先选择类别多的属性进行划分的问题，使用信息增益率。 但是没啥用 基尼系数 基尼值 从数据集D中随机抽取两个样本，其类别标记不一致的概率。故，Gini（D）值越小，数据集D的纯度越高。 基尼系数 选择使划分后基尼系数最小的属性作为最优化分属性。 不同的决策树类型 信息增益 – ID3 决策树 会偏