4K版葫芦兄弟，西瓜视频计划修复百部动画片，背后藏着这些AI算法(7)

视频在采集、剪辑、编码、转码、传输、显示等过程中会出现失真，噪声就是信号采集过程中引入的一种普遍失真。降噪成为了增强视频画质和提升清晰度的一种手段。传统视频降噪算法可以分为基于空间域和基于时域的降噪，基于机器学习的视频降噪算法也得到了越来越多的研究，如 2019 年 4 月荷兰代尔夫特理工大学提出的深度盲去噪算法 ViDeNN 等。
对于老电影，由于胶片自身的损伤，背景上一般都会有很多坏点划痕，比如一条条的竖线。去划痕非常有必要。经典解决方法通常分两步走：检测和去除。划痕检测大多采用直线检测方式，找到空间中的竖线、横线，然后利用空间或时间插值把这条线用别的像素给补上去。
但是，相较于常见的视频瑕疵，老片的瑕疵不仅类型复杂而且程度更严重，为此火山引擎结合了传统信号处理和深度学习算法，对噪声和坏点划痕进行有针对性的修复：对于较小的雪花颗粒噪声，使用传统算法进行处理；对于较大的坏点和划痕，使用机器学习算法进行识别和修补。
效果立竿见影，从下图《布谷鸟叫迟了》画面的修复对比效果可以看到，算法强力地修复了瑕疵，并且保留原有纹理不受影响：

然而算法也不是万能的。在实际修复过程中，如果要求算法实现 100% 的处理瑕疵，那么会很容易将一些艺术效果也识别为瑕疵，从而对影片造成了破坏。
因此，在这次老片修复过程中，火山引擎采用了算法处理和人工标注结合的方案，其中算法大概能解决 95% 以上的瑕疵问题，剩余 5% 的瑕疵需要由人工辅助标注。然后告诉算法，再调整算法做二次优化。这样一来，我们既可以比较彻底地消除瑕疵，也能保护影片原有的艺术风格。