机器学习中的最优化算法总结下图给出了这些算法的分类与它们之间的关系: 接下来我们将按照这张图来展开进行讲解。 费马定理 对于一个可导函数,寻找其极值的统一做法是寻找导数为0的点,即费马定理。微积分中的 这一定理指出,对于可导函数,在极值点处导数必定为0: 对于多元函数,则是梯度为0 导数为0的点称为驻点。需要注意的是,导数为0只是函数取得极值的必要条件而不是充分条 件,它只是疑似极值点。是不是极值,是极大值还是极小值,还需要看更高阶导数。对于 元函数,假设x是驻点 如果 (x)>0,则在该

极限学习机（ELM）作为一种新兴技术，在大规模设置中取得了卓越的性能，非常适合于二进制和多类分类以及回归任务。 但是，现有的ELM及其变体主要使用单个隐藏层前馈网络，而未使用流行的且可能功能强大的堆叠泛化原理来寻找输入数据的预测性深层表示。 深度架构可以找到更高级别的表示，因此可以潜在地捕获相关的更高级别的抽象。 但是，当前大多数深度学习方法都需要解决一个困难且非凸的优化问题。 在本文中，我们提出了一个堆叠模型DrELM，以根据堆叠泛化原理通过极限学习机学习深度表示。 提出的模型利用ELM作为基