今天小编就为大家分享一篇pytorch 固定部分参数训练的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

过拟合、欠拟合及其解决方案 L2范数惩罚项通过惩罚绝对值较大的参数的方法来应对过拟合的 L2正则化是在目标函数中直接加上一个正则项，直接修改了我们的优化目标。权值衰减是在训练的每一步结束的时候，对网络中的参数值直接裁剪一定的比例，优化目标的式子是不变的。在使用朴素的梯度下降法时二者是同一个东西，因为此时L2正则化的正则项对梯度的影响就是每次使得权值衰减一定的比例。但是在使用一些其他优化方法的时候，就不一样了。比如说使用Adam方法时，每个参数的学习率会随着时间变化。这时如果使用L2正则化，正则项

pytorch图像分类竞赛框架 1.更新日志 （2020年5月2日）基础版本上线 2.依赖库 预训练模型 进步 高效网络火炬 顶尖 3.支持功能 pytorch官网模型 复现的部分模型 fp16混合精度训练 贸易协定 固定验证集/随机划分验证集 多种优化器：adam，radam，novograd，sgd，ranger，ralamb，over9000，lookahead，lamb OneCycle训练策略 标签平滑丢失 焦点损失 听觉 4.使用方法 更改config.py中的参数，

原始生成对抗网络Generative Adversarial Networks GAN包含生成器Generator和判别器Discriminator，数据有真实数据groundtruth，还有需要网络生成的“fake”数据，目的是网络生成的fake数据可以“骗过”判别器，让判别器认不出来，就是让判别器分不清进入的数据是真实数据还是fake数据。总的来说是：判别器区分真实数据和fake数据的能力越强越好；生成器生成的数据骗过判别器的能力越强越好，这个是矛盾的，所以只能交替训练网络。 需要搭建生成器

文章目录1.前言2.torch.save(保存模型)3.torch.load整个网络4.torch.load网络参数（只提取参数）5.调用三个函数 1.前言 训练好了一个模型, 我们当然想要保存它, 留到下次要用的时候直接提取直接用，下面我将来讲如何存储训练好的模型参数 2.torch.save(保存模型) 首先，先搭建一个神经网络 import torch from torch import nn import matplotlib.pyplot as plt torch.manual_see