ruGPT3XL，ruGPT3Large，ruGPT3Medium，ruGPT3Small和ruGPT2Large 该存储库包含在一堆庞大的俄语数据集上训练的一堆自回归转换器语言模型。 俄罗斯GPT-3模型（ruGPT3XL，ruGPT3Large，ruGPT3Medium，ruGPT3Small）经过训练，具有2048个序列长度，稀疏且密集的注意块。 我们还提供训练有1024个序列长度的俄罗斯GPT-2大型模型（ruGPT2Large）。 我们建议使用ruGPT2Large或ruGPT3