使用pytorch识别验证码中的数字，验证码为python自带库ImageCaptcha生成的数字验证码。使用LeNeT-5多层神经网络，尝试了学习率退火、激活函数Sigmoid改为ReLU、BN算法归一化等策略，识别精确度大约稳定在90%左右。

在神经网络模型优化的过程中，会遇到许多问题，比如如何设置学习率的问题，我们可通过指数衰减的方式让模型在训练初期快速接近较优解，在训练后期稳定进入最优解区域；针对过拟合问题，通过正则化的方法加以应对；滑动平均模型可以让最终得到的模型在未知数据上表现的更加健壮。 一、学习率的设置 学习率设置既不能过大，也不能过小。TensorFlow提供了一种更加灵活的学习率设置方法——指数衰减法。该方法实现了指数衰减学习率，先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率，使得模型在训

神经网络-学习率策略

ResNeXt：深层神经网络的汇总残差转换 通过， ，，， 加州大学圣地亚哥分校，Facebook AI Research 目录 消息 祝贺ILSVRC 2017年分类挑战赛冠军 。 ResNeXt是其新SENet架构（带有Squeeze-and-Excitation模块的ResNeXt-152（64 x 4d） ）的基础！ 请在新论文中查看图6，以比较ResNeXts和DenseNets。 （ DenseNet cosine是经过DenseNet训练并具有余弦学习率计划的。 ） 介绍 该存储

一、 概念                在神经网络中有许多参数，而超参数就是神经网络训练过程中不变的参数，也就是在训练之前设置好的参数，                而不是训练                得到的参数。比如说，神经网络结构：层数，宽度，激活函数、训练参数：batch_size，学习率，学习率衰减算法。                而超参数搜索就是让机器自己选择合适的超参数的值，以省下我们大量的精力。 二、 搜索策略                超参数的搜索策略一共有以下