无约束优化实践 训练一个神经网络 优化理论实践 用了一周的时间学习了一下最优化理论这门课，为了更深度地理解各种优化方法的理念和算法过程，自己把这些算法应用到实践中是很必要的。为此我设计了和优化算法相关的四个实验项目，在这里和大家分享一下。 无约束优化方法 前馈神经网络 根据链式法则，从输出层直接对误差函数求导得到的误差(这里我们简写为δ)，就可以通过和上面的这些局部导数不断做乘积、并把新的δ传播到上一层，就能计算得到所有参数的导数。通过一阶导数，就能实现基本的梯度优化方法。 训练方