本文就基于决策树的分类系统进行了说明，主要介绍了根据决策树算法中的ID3算法，利用开发工具Visual C++ 6.0完成系统的方法。首先介绍了机器学习、归纳学习、决策树学习等方面的相关背景。接着详细介绍了决策树，ID3算法的理论知识，包括信息熵知识,算法原理,以及分析了ID3算法的优劣。本文针对本系统的实际情况，详细的介绍了系统中的各模块和实现方法，以及系统功能的全过程。 另外，本文还比较详细的介绍了系统开发工具Visual C++ 6.0,从实现本系统的角度，对涉及的相关内容进行了介绍。通
波士顿房价机器学习作业python编码，策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可读的规则和决策树，然后使用决策对新数据进行分析。本质上决策树是通过一系列规则对数据进行分类的过程。 决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，
从这一章开始进入正式的算法学习。
首先我们学习经典而有效的分类算法：决策树分类算法。
1、决策树算法
决策树用树形结构对样本的属性进行分类，是最直观的分类算法，而且也可以用于回归。不过对于一些特殊的逻辑分类会有困难。典型的如异或（XOR）逻辑，决策树并不擅长解决此类问题。
决策树的构建不是唯一的，遗憾的是最优决策树的构建属于NP问题。因此如何构建一棵好的决策树是研究的重点。
J. Ross Quinlan在1975提出将信息熵的概念引入决策树的构建，这就是鼎鼎大名的ID3算法。后续的C4.5
