文本挖掘实操｜用文本挖掘剖析54万首诗歌，我发现了这些(5)

二字高频词中，较为显眼的是“万里”、“千里”，它们描绘出巨大的空间感，在诗歌中经常跟“宏景”“贬谪”、“思乡”、“闺怨”等主题捆绑在一起。
此外，“明月”、“故人”、“白云”、“功名”、“人间”、“平生”和“相逢”等词汇也是横亘古今的热门用语。

三字高频词中，数字的使用很是常见，如“二三子”、“二十四”、“一樽酒”、“二千石”等。其中，最值得一提的是诗人们用数词对时空的描绘：表达时间跨度的，如“二十年”、“四十年”、“五百年”、“十年前”、“千载后”等；表达空间距离的，如“千里外”、“三百里”、“百尺楼”...古人总是喜欢把自己置身于浩瀚渺茫的时空之中，去思考自己匆匆的人生。正如东坡在《赤壁赋》的感慨：“寄蜉蝣于天地，渺沧海之一粟。哀吾生之须臾，羡长江之无穷！”

在四字高频词中，空间方位的词汇较多，如“南北东西”、“江南江北”、“东西南北”等词。因四字词词长较长，像“人间万事”、“千岩万壑”、“明月清风”、“白云深处”、“相逢一笑”等词就拥有较高的信息量，能够还原大部分的诗歌意境了。
2 训练含纳诗歌词汇语义关联性的词嵌入模型
词嵌入模型可以从海量的诗歌文本中自动学习到字词之间的关联关系，据此可实现字词关联度分析、字词相似度分析、聚类分析等任务。
然而，计算机程序不能直接处理字符串形式的文本数据，所以笔者首当其冲的一个步骤就是将诗歌文本数据分词，之后再“翻译”为计算机可以处理的数据形式，这由一个名为“文本向量化”的操作来实现。