本文是我对ALBERT论文的一个总结归纳，如有理解上的偏差、错误欢迎大家指正批评，感谢。
前言
RoBERTa没霸榜几天，这不Google爸爸就又放大招，这次的新模型不再是简单的的升级，而是采用了全新的参数共享机制，反观其他升级版BERT模型，基本都是添加了更多的预训练任务，增大数据量等轻微的改动。这次ALBERT的改进，不仅提升了模型的整体效果再一次拿下来各项榜单的榜首，而且参数量相比BERT来说少了很多。
对于预训练模型来说，提升模型的大小是能对下游任务的效果有一定提升，然而如果进一步提升模
