决策树
算法评价
准确性,速度,强壮行,规模性,可解释性
什么是决策树(Decision tree)?
类似于流程图的树结构:其中,每个内部节点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶节点代表类或类分布,树的最顶层是根节点。
熵(Entropy)
信息度量==不确定性的多少
H(x)=-∑P(x)*log2P(x)
决策树归纳算法(ID3)
信息获取量:Gain(A)=Info(D)-Info_A(D);
建造过程:
1.树以训练样本的单个节点开始
2.如果样本都在同一类,则