基于转换器的生成式预训练模型（Generative pre-trained transformers, GPT）是一种延伸自转换器架构（Transformer）的自然语言生成模型。它可以进行微调以完成各种自然语言处理任务，例如文本生成、代码生成、视频生成、文本问答、图像生成、论文写作、影视创作、科学实验设计等。基于大量语料数据上训练，以生成类似于人类自然语言的文本。其名称中的“预训练”指的是在大型文本语料库上进行的初始训练过程，其中模型学习预测文章中下一个单词，这为模型在具有限量的任务特定数据的下游任务中表现良好提供了坚实的基础。
2018年6月11日，OpenAI发表了一篇名为《通过生成式预训练提高语言理解能力》（Improving Language Understanding by Generative Pre-Training）的论文，在其中介绍了“基于转换器的生成式预训练模型”（GPT）。当时，表现最好的自然语言生成模型主要依靠大量手动标注数据的监督学习。这种依赖于人类监督学习的开发途径限制了模型在未经精细标注的数据集上的应用；许多语言（例如斯瓦希里语或海地克里奥尔语）也因缺乏能建立起语料库的文本资料而造成实际应用（如翻译和解释）上的困难；此外，训练超大模型相当耗时且开支非常昂贵。
相比之下，GPT提出了一种“半监督（semi-supervised）”（后来普遍改称为“自监督”）的方法——先在没有标号的数据上面训练一个预训练模型，再在少量标号数据上面训练一个分辨的微调模型。
