前言 记《手动学深度学习》组队学习第二次打卡 打卡内容 线性回归代码实现（基于Pytorch） 理论复习 线性回归理论部分可参考上一篇博客 线性回归模型从零开始的实现 借助jupyter运行代码，方便清晰展示各环节的输出情况。 1. 导入基础模块 In [ ]: # import packages and modules %matplotlib inline import torch from IPython import display from matplotlib import pyplo

1、卷积神经网络基础： 1.1 二维卷积操作： 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（filter）。卷积核的尺寸通常小于输入数组，卷积核在输入数组上滑动，在每个位置上，卷积核与该位置处的输入子数组按元素相乘并求和，得到输出数组中相应位置的元素。图1展示了一个互相关运算的例子，阴影部分分别是输入的第一个计算区域、核数组以及对应的输出。 其中。卷积核为2:heavy_m

GoogLeNet GoogLeNet由Inception基础块组成。 Inception块相当于一个有4条线路的子网络。它通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度。 可以自定义的超参数是每个层的输出通道数，我们以此来控制模型复杂度。 程序 class Inception(nn.Module): # c1 - c4为每条线路里的层的输出通道数 def __init__(self, in_c, c1, c2, c3, c4)

##一、典型的神经网络结构 （1）传统的多层感知机 （2）卷积神经网络，包括 a. AlexNet 真正让卷积神经网络走进大家视野的网络 b. VGG 用更小的卷积核，在相同的感受野下具有更深的网络结构 c. GoogleNet 不同size的卷积核的Ensemble d. ResNet e. DenseNet (3) 循环/递归神经网络 a. LSTM b. GRU 二、Seq2Seq模型 三、注意力机制 四、过拟合、欠拟合及其解决方案 （1）过拟合、欠拟合的概念 一类是模型无法得到较低的训练