没时间看电影追剧,AI一键让影视变漫画(4)
2022-10-15 来源:旧番剧
关键帧提取
关键帧的选择是尤为重要且难度比较高的一项任务,该团队主要利用时间信息来进行选择。
关键帧选择流程
如上图所示,团队首先利用每个字幕的开始和结束时间将视频分割成多个镜头,这些镜头分两种:对话镜头(有字幕的镜头)和非对话镜头(无字幕的镜头)。
对于对话镜头:
系统会计算之前获得的两个连续帧之间的 GIST 相似度(如果 GIST 相似度较小,则两帧之间差异较大)。
在执行过程中,如果相似度小于预先设置的阈值 1,那么后一帧将被选为关键帧。
如果一组字幕对应的帧都没有被选中,就选取中间一帧作为关键帧。
考虑到一个连续的对话和同一个场景可能对应多个字幕,因此团队会计算之前得到的连续关键帧之间的 GIST 相似度。如果相似度大于设置的阈值 2,就认为它们属于同一个场景。那么,就只保留其中一个关键帧,然后合并字幕。