合成的文本生成具有挑战性，取得成功的不多。最近，一种名为Transformer的新架构允许机器学习模型更好地理解序列数据，比如翻译或摘要。BERT和GPT-2在其核心中都使用 Transformers，在诸如文本分类、翻译和NLI任务中表现出了良好的性能。