没时间看电影追剧,AI一键让影视变漫画(7)
2022-10-15 来源:旧番剧
本文则提出的一项重要成果,即一种基于情感感知的气泡生成方法,可利用含有情感的视频音频和字幕信息,生成与之相适应的文字气泡形状。
系统根据输入视频对应音频和字幕,分析其中包含的情感
然后生成对应气泡形状
在该系统中,作者采用了三种常见的气泡形状:椭圆形气泡、思想气泡和锯齿状气泡。这三种气泡适用的感情分别为:情绪平静、想法(不说出来)、感情强烈。
对于气泡分类器的训练,团队主要利用一些动漫视频和相应的漫画书,来收集音频情感、字幕情感和气泡类型的数据。
气泡定位与放置
与之前方法类似,本文也采用了发言人检测和唇动检测,来获取说话的人在一帧中的位置,然后将气球放置在其所属的人物附近。