大三学生独自破解逆天AI模型：把撩妹的时间，都用来研究机器学习(2)

使用语言建模作为训练信号，以无监督的方式在大型数据集上训练一个Transformer，然后在更小的监督数据集上微调这个模型，以帮助它解决特定任务。

OpenAI的研究人员表示，在各种特定领域数据集的语言建模测试中，GPT-2都取得了优异的分数。作为一个没有经过任何领域数据专门训练的模型，它的表现，比那些专为特定领域打造的模型还要好。
除了能用于语言建模，GPT-2在问答、阅读理解、摘要生成、翻译等等任务上，无需微调就能取得非常好的成绩。
GPT-2发布后，深度学习之父Hinton献出了他注册Twitter以来的第三次评论：“这应该能让硅谷的独角兽们生成更好的英语了。”
关于这个模型的强大表现，可以参考量子位之前的报道，这里不再赘述。
总之，就是一个字：强。
就是因为强，OpenAI做了一个艰难的决定：不把完整的模型放出来给大家。他们先是放出了不到十分之一规模、1.17亿个参数的小型版本，被吐槽几个月后又放出了3.45亿参数的中型版本。
毫无疑问，GPT-2激发了Connor Leahy同学的好奇心，同时，OpenAI私藏这个模型的决定，也让他非常生气。“信息应该是自由的。”
于是他决定自己动手复现出来。
他不只是因为一时冲动。对于为什么要复现GPT-2，Connor Leahy同学在自己的博客里有长长的思考，其中包括与其害怕AI编造的假新闻，不如积极行动起来，让大家意识到这个问题，勇敢面对然后想办法解决。
当然还有另一个原因，他觉得这么做：
很酷。