minGPT 训练的PyTorch重新实现。 minGPT试图做到小巧，整洁，可解释且具有教育意义，因为大多数当前可用的工具都有些庞大。 GPT不是一个复杂的模型，该实现大约包含300行代码，包括样板代码和完全不必要的自定义因果自我注意模块。 无论如何，所有的事情就是将一个索引序列放入一个转换器块序列中，并且得出下一个索引的概率分布。 其余的复杂性只是通过批处理（跨示例和整个序列长度）而变得很聪明，因此培训是有效的。 minGPT的核心“库”（hah）是两个文件： mingpt/model.