KNN-k最近邻 KNN(K-NearestNeighbor)–k最近邻，NN代表神经网络的意思 k最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居表示 核心思想：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并且具有这个类别样本的特性。 算法三要素 k值的选取 距离度量的方式 分类决策规则 k值的选择 对于k值的选择，没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适的k值。 选择较小

本文来自于fujiabin,本篇会使用scikit-learn这个开源机器学习库来对iris数据集进行分类练习。我将分别使用两种不同的scikit-learn内置算法——DecisionTree（决策树）和kNN（邻近算法），随后我也会尝试自己实现kNN算法。目前为止，我还是在机器学习的入门阶段，文章中暂不详细解释算法原理，如果想了解细节信息可自行搜索。scikit-learn中预制了很多经典数据集，非常方便我们自己练习用。使用方式也很容易： load_iris返回的结果有如下属性：featur

任务安排 1、机器学习导论       8、稀疏表示 2、KNN及其实现       9、核方法 3、K-means聚类      10、高斯混合模型 4、主成分分析          11、嵌入学习 5、线性判别分析      12、强化学习 6、贝叶斯方法          13、PageRank 7、逻辑回归              14、深度学习 主成分分析(PCA) Ⅰ算法背景：维数灾难       维数灾难最早是由理查德·贝尔曼(Richard E. Bellman)在考虑优化问题