© 1999-2048 dssz.net 粤ICP备11031372号
[机器学习] 机器学习中的最优化算法总结
说明:机器学习中的最优化算法总结下图给出了这些算法的分类与它们之间的关系: 接下来我们将按照这张图来展开进行讲解。 费马定理 对于一个可导函数,寻找其极值的统一做法是寻找导数为0的点,即费马定理。微积分中的 这一定理指出,对于可导函数,在极值点处导数必定为0: 对于多元函数,则是梯度为0 导数为0的点称为驻点。需要注意的是,导数为0只是函数取得极值的必要条件而不是充分条 件,它只是疑似极值点。是不是极值,是极大值还是极小值,还需要看更高阶导数。对于 元函数,假设x是驻点 如果 (x)>0,则在该<abacaba> 上传 | 大小:557kb