梯度下降（Gradient Decent） 主要参考资料：台大李宏毅教授的机器学习课程 B站视频 与之前我有讲过的EM算法类似，梯度下降算法同样是一个优化算法。它所要解决的问题是： 求得 θ⋆=arg min⁡L(θ)\theta^{\star}=\argmin L(\theta)θ⋆=argminL(θ) 其中θ\thetaθ是待更新的参数，注意这可以包括多个参数，也就是说θ\thetaθ是一个向量，L(θ)L(\theta)L(θ)是loss function，也就是在优化过程中我们要不断减