没时间看电影追剧,AI一键让影视变漫画(8)
2022-10-15 来源:旧番剧
嘴部检测 唇动检测,定位讲话者
具体执行流程为:
首先使用「Dlib」人脸检测 Python 库,来检测一帧中每个人物的嘴部;
然后利用唇动分析,计算连续两帧帧间嘴部区域像素值的均方差,该差值是在当前帧中嘴巴区域周围的搜索区域上计算的,以确定其嘴唇是否有动作;
最后,设置一个阈值来确定某角色是否在说话。
在得到发言者的位置后,将文字气泡放在其附近,并将气泡的尾部指向讲话者的嘴巴。
用四部经典影片,评估系统效果
为测试模型效果,团队输入了 4 部不同影片的共 16 个片段,包括:《泰坦尼克号》、《风声》、《老友记》和《在云端》。
输入视频的持续时间从 2 分钟到 6 分钟不等,每一段剪辑都包含有台词的部分。
对于每个剪辑,团队记录使用该系统生成一本漫画书所消耗的时间,并计算平均消耗的时间,来评估系统性能。