机器学习决策树算法中特征选项的算法实现——信息熵 首先我们将信息熵的定义进行阐述: 熵经验熵 我们这里以网上数据贷款申请为例:数据来自（https://blog.csdn.net/c406495762/article/details/75663451） 在这里我们利用ID3算法分别计算年龄这个属性里的三个分支青年H(D1)、H(D2)、H(D3)的信息熵。 问题理解很简单，公式也很简单，其代码如下： """ 年龄：0代表青年，1代表中年，2代表老年 类别（是否给贷款）：no代表否，y