本文摘要：先容“The world’s best economies are directly linked to a culture of encouragement and positive feedback.”你能猜到上面那句话是谁说的吗?这并不是某位总统或首相，固然也不是像Raghuram Rajan那样的顶尖经济学家说出来的。这句话是由我们的机械发生的！是的，你没听错，这是一个在OpenAI的GPT-2框架上训练的自然语言处置惩罚(NLP)模型训练“说出”了这句话。

先容“The world’s best economies are directly linked to a culture of encouragement and positive feedback.”你能猜到上面那句话是谁说的吗?这并不是某位总统或首相，固然也不是像Raghuram Rajan那样的顶尖经济学家说出来的。这句话是由我们的机械发生的！是的，你没听错，这是一个在OpenAI的GPT-2框架上训练的自然语言处置惩罚(NLP)模型训练“说出”了这句话。

所以你现在以为机械学习的状态完全在另一个条理上了吗?在NLP真正的黄金时代，OpenAI的GPT-2改变了我们处置惩罚文本数据的方式。ULMFiT和谷歌的BERT轻松地为NLP喜好者打开了大门，而GPT-2则打破了这一局势，使NLP任务(主要是文本生成)的事情变得越发容易。

在本文中，我们将使用GPT-2构建我们自己的文本生成器。有没有一点小期待呢？让我们开始进入正文。我们将首先直观明白GPT-2，然后直接进入Python构建文本生成模型。

另外，如果你是一个狂热的NLP追随者，我想你会喜欢下面关于NLP最新生长的指南和教程:8个优秀的预训练模型：https://www.analyticsvidhya.com/blog/2019/03/pretrained-models-get-started-nlp/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonTransformers先容：https://www.analyticsvidhya.com/blog/2019/06/understanding-transformers-nlp-state-of-the-art-models/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonPyTorch-Transformers先容:https://www.analyticsvidhya.com/blog/2019/07/pytorch-transformers-nlp-python/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonStanfordNLP先容：https://www.analyticsvidhya.com/blog/2019/02/stanfordnlp-nlp-library-python/?utm_source=blog&utm_medium=openai-gpt2-text-generator-pythonOpenAI的GPT-2框架有什么新特性?自然语言处置惩罚(NLP)在已往的几年里以惊人的速度生长，机械现在能够明白句子背后的语境，当你思考这个问题时，你会发现这是一个真正具有里程碑意义的成就。由OpenAI开发的GPT-2是一个预训练语言模型，我们可以使用它来完成种种NLP任务，好比：文本生成语言翻译建设问答系统等等语言模型（LM）是现代自然语言处置惩罚的重要任务之一。语言模型是预测文档中下一个单词或字符的概率模型。

GPT-2是OpenAI最初的NLP框架GPT的继续者，完整的GPT-2模型有15亿个参数，险些是GPT参数的10倍。正如你可能已经猜到的那样，GPT-2给出了最先进的效果(稍后我们将会看到)。这个预训练的模型包罗了从Reddit的出站链接中收集的800万个网页的数据。

让我们花一分钟来相识一下GPT-2是如何事情的。架构GPT-2的架构是基于谷歌在他们的论文“Attention is all you need”中提出的很是著名的Transformers观点。

Transformers提供了一种基于编码器息争码器的机制来检测输入输出依赖关系。在每个步骤中，模型在生成下一个输出时，将前面生成的符号作为分外的输入使用。除了有更多的参数和Transformers层外，GPT-2只有少量架构修改:模型使用更大的上下文和词汇量在最后一个self-attention块之后，添加了一个分外的normalization层与“building block”类型的残差学习单元类似，将层规范化移动到每个子块的输入。

它在权重层之前应用批量尺度化，这与原来的“bottleneck”类型差别 "GPT-2在种种领域特定的语言建模任务上取得了最先进的结果。我们的模型不是针对任何特定于这些任务的数据举行训练的，而是作为最终测试对它们举行评估,这就是所谓的zero-shot设置。

当对相同的数据集举行评估时，GPT-2的性能优于针对领域特定数据集(如Wikipedia、news、books)训练的模型。" --OpenAI团队训练了四种差别参数的模型，以适应差别的场景:GPT-2能够基于小的输入语句生成整篇文章，这与早期的NLP模型形成了鲜明的对比，早期的NLP模型只能生成下一个单词，或者在一个句子中找到缺失的单词。下面是GPT-2如何与其他类似的NLP模型举行比力: Base model pre-training Downstream tasks Downstream model Fine-tuning GPT Transformer decoder unsupervised m。

本文关键词：OpenAI,的,GPT-2,用,Python,构建,世界上,最,先进,KOK体育app官方入口

本文来源：KOK体育app官方入口-www.cfnjhzs.com