1. 梯度爆炸的影响 在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示 损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示 2. 解决梯度爆炸问题的方法 通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内. 算法步骤如下。 首先设置一个梯度阈值：clip_gradient