GPT-2 is a transformers model pretrained on a very large corpus of English data in a self-supervised fashion. This means it was pretrained on the raw texts only, with no humans labelling them in any way (which is why it can use lots of publicly available data) with an automatic process to generate inputs and labels from those texts.

2019年11月5日 · As the final model release of GPT‑2 ⁠ ’s staged release ⁠, we’re releasing the largest version (1.5B parameters) of GPT‑2 along with code and model weights ⁠ to facilitate detection of outputs of GPT‑2 models.

Code and models from the paper "Language Models are Unsupervised Multitask Learners". You can read about GPT-2 and its staged release in our original blog post, 6 month follow-up post, and final post. We have also released a dataset for researchers to study their behaviors.

2023年5月30日 · gpt2模型训练采用的是一种无监督方式，逐一采用当前序列预测下一个分词。 因此，其标签也为输入分词索引序号。 第N个分词提取到的特征与1~N个分词均相关联，并采用该特征预测第N+1个分词索引序号。

gpt2 开源了权重和推理代码，但是没有训练代码和训练细节；gpt3 论文比较详细的说明了各种参数和细节，但是没有开源权重和代码。 所以下面按照 gpt3 的论文中的参数来设置 gpt2。

将无监督学习左右有监督模型的预训练目标，因此叫做生成式预训练（Generative Pre-training，GPT）。 GPT-1的训练分为无监督的预训练和有监督的模型微调，下面进行详细介绍。 GPT-1的无监督预训练是基于语言模型进行训练的，给定一个无标签的序列 \mathcal {U} = \ {u_1, \cdots, u_n\} ，语言模型的优化目标是最大化下面的似然值： L_1 (\mathcal {U}) = \sum_i \log P (u_i | u_ {i-k}, \dots, u_ {i-1}; \Theta) \tag1. 其中 k 是滑动窗口的大小， P 是条件概率， \Theta …

大型 GPT-2 模型（例如 1.5B 参数）可能需要多 GPU 分布式训练，推荐使用 NVIDIA A100 或 V100。 Python 环境（建议使用 3.8 或更高版本）。 安装深度学习框架： PyTorch 或 TensorFlow。 分布式训练工具（如 DeepSpeed 或 Hugging Face's Accelerate）。 数据处理工具： transformers 、 datasets。 2. 数据准备. 从开源数据集获取（如 OpenWebText 或 Common Crawl）。 自行爬取和清洗文本（需注意版权和合规性）。 使用 transformers 的 tokenizer 对 …

GPT-2 is a large transformer-based language model with 1.5 billion parameters, trained on a dataset [1] of 8 million web pages. GPT-2 is trained with a simple objective: predict the next word, given all of the previous words within some text.

2025年3月6日 · GPT-2 （Generative Pre-trained Transformer 2）是 OpenAI 在 2019 年提出的 第二代 GPT 模型，是一个 大规模自回归语言模型，用于 文本生成（NLG）任务。 论文： Language Models are Unsupervised Multitask Learners. GPT-2 以 GPT-1 为基础，通过 扩大模型规模和数据规模，显著提升了 文本生成质量、连贯性和可控性，成为 第一个能够生成高质量长文本的 Transformer 语言模型。 1. GPT-2 的核心思想. GPT-2 主要基于： GPT-2 采用 仅包含解码 …

生成式预训练变换模型2 （英語： Generative Pre-trained Transformer 2，简称 GPT-2）是 OpenAI 于2019年2月创建的 开源 人工智能。 [2][3][4][5] GPT-2能够 翻译 文本、 回答问题 、 总结 段落， [6] 并 生成文本输出。 虽然其输出内容有时 与人类相似， [7] 但在生成长段落时输出内容可能会变得重复或无意义。 [8] GPT-2 是一个 通用学习器，没有经过专门训练来执行任何特定的任务， [6][9] 并且是作为 OpenAI 2018 GPT 模型的“直接扩展”而创建的， [10] 其参数数量和训练数 …