2021-GAIIC-Track1-idea 非常荣幸能够拿到本周周星星，目前线上分数是5折nezha-base模型融合得到，采用pretrian + finetuning，具体细节如下： 预训练 由于数据是脱敏，所以直接从头开始训练bert模型，没有加载已有的预训练模型权重，模型采用的是nezha-base，代码参考； mask方法：采用ngram mask方法，以及动态mask方法，具体可以参考： 预训练代码使用的是tansformers模块自带的，具体可以参考； 预训练参数：lr =

从头开始训练BERT代码，解压密码在https://blog.csdn.net/herosunly/article/details/113937736

布局 标题 上一次更改 维基 Jupyter笔记本 2020/11/15 12:41:21 深度学习 Scikit，学习上的IRIS数据集的感知器，神经网络，Keras。 TensorFlow Implementaion在MNIST数据集。 Softmax，交叉熵损失 使用PyTorch进行梯度计算。 层调试。 验证合并，连接方法。 在文本嵌入上验证Conv1D。 验证Image数据集上的Conv2D。 验证LSTM计算。 器具Seq2Seq学习的执行加法。 器具Seq2Se