BORT 论文“ BERT的最佳子体系结构提取”的同伴代码。 Bort是用于BERT架构的架构参数的最佳子集，它是通过对神经架构搜索应用完全多项式时间近似方案（FPTAS）来提取的。 Bort的有效（即不计算嵌入层）大小是原始BERT大型体系结构的5.5％，是净大小的16％。 还可以在288 GPU小时内进行预训练，这是预训练性能最高的BERT参数架构变体RoBERTa-large所需时间的1.2％。 它在CPU上也比基于BERT的速度快7.9倍（比BERT / RoBERTa-large的速