深度学习理论是当下研究的热点之一。最近来自UIUC计算机助理教授Sun Ruoyu撰写一篇深度学习最优化理论和算法的综述论文，共60页257篇文献，概述了神经网络的优化算法和训练理论《Optimization for deep learning: theory and algorithms》，并得到众多大佬的推荐，比如模仿学习带头人加州理工Yisong Yue，欢迎大家阅览，需要一番数学理论功底，方能扛过。

神经网络在诸多应用领域展现了巨大的潜力，成为当前最热门的研究方向之一。神经网络的训练主要通过求解一个优化问题来完成，但这是一个困难的非线性优化问题，传统的优化理论难以直接应用。