作者 主题: 视频超分技术简介及应用  (阅读 918 次)

离线 日月潭

  • 注册用户
  • *
  • 帖子: 17
视频超分技术简介及应用
« 于: 一月 31, 2024, 10:25:13 pm »
一、二为原理简介,认为内容太多,也可以跳过,直接到三的使用介绍。

一、超分技术简介
超分辨率(Super-Resolution, 简称SR),是一种将低分辨率的图像通过算法提升到高分辨率的技术。视频超分辨率Video Super-resolution,也可以简称VSR。
按技术发展路径及时间先后,超分辨率可分为两大类:1、传统超分辨率算法。 2、基于深度学习的超分辨率算法。每一类可以分为几个子类。以传统超分算法中的插值算法为例,比较典型的有Bilinear(双线性)、Bicubic(双三次插值)、Lanczos(兰佐斯)等。微软windows media player播放器采用的是Bicubic算法。本文重点说明的是基于深度学习的超分辨率算法,根据网络模型不同,分为基于卷积神经网络、基于残差网络( ResNet)、基于生成对抗网络(GAN)的算法等;根据训练集的不同,可以分为盲超(blind SR)、非盲超(non-blind SR)等。
二、传统超分与基于深度学习的超分算法的不同
2.1、算法模型完全不同。
以传统插值算法为例,根据邻近像素点"组合"生成新的像素点,比如用邻近两个像素点,各取一部份生成一个新的像素点,完成图像放大,这个过程叫2taps;Bilinear、Bicubic、Lanczos等算法,表示不同的组合(插值)方式。
基于深度学习的超分算法,以前述提到的非盲超(non-blind SR)为例,首先将比如1080P的图片缩小到540P,然后使用训练代码将图像放大到1080P,比较放大后的图像与原生1080P的差异,再用训练代码不断优化,直至生成一个较好的超分模型,可用于图像放大;这个过程,称为深度学习或机器学习,原理上是人工智能的一个分支。使用这种超分算法,新生成的像素点是超分模型根据前述学习,人工智能AI "推理"出的新像素点,和前述插值方法有很大不同。

2.2、资源占用不同
从训练角度,基于深度学习的超分算法训练趋于需要大显存、大算力以至多路显卡,比如V100\A100以及对中共禁运的H100等顶级显卡,使用pytorch等深度学习框架,调用显卡长时间、多轮训练;需要的算力及时间惊人,当然也看模型需要。而传统超分并没有这个过程。
从应用的角度,使用基于深度学习的超分算法一般需要调用显卡资源,对显卡性能要求可能较高。而传统超分性能需求相对较低,CPU可以满足需要;一般应用由于需要兼顾各种性能的CPU及成本考虑,如网页播放器、很多的硬件播放器(如机顶盒等)会使用Bilinear等比较低档的算法,使用Bicubic这类较高档算法的已经算比较"良心"。

2.3、超分效果不同
基于深度学习的超分效果,影响因素比较多,不但和算法模型有关,和训练过程有关,还和选择的训练图集有关,比如采用同样的模型,采用真人训练图集和动漫训练图集,最终超分效果区别就很大;而传统超分只和算法相关,参数一定的情况下,效果也比较固定,也容易区分出用的哪一种插值方法。
传统超分放大后的图像容易出现比较严重的artifacts(模糊、锯齿、光晕等图像瑕疵的统称),一般低倍数放大比较实用;基于深度学习的超分算法放大后的图像比较锐利、细节较好,artifacts控制比较好,高倍数放大(3倍以上)效果也比较好。
但一般图像放大不建议超过8倍。

2.4、图像超分与修复的关系。
超分也可以称为重建,将低分辩率图像重建为高分辩率图像;修复特指对图像中存在的artifacts(模糊、锯齿、光晕等图像瑕疵的统称)的去除过程,本身和是否超分无关。超分与修复是不同的图像处理方向,但也有联系。一般来讲,图像放大容易出现artifacts,所以超分往往自带一些图像修复算法。图像修复,也区分传统和基于深度学习的修复算法。

2.5、按应用领域划分,除了视频超分以外,还有医学超分、天文超分、显微超分等。


三、基于深度学习的超分算法应用

3.1、超分算法应用--RTX SVR。
前述提到,基于深度学习的超分算法需要很大的软硬件资源,实时处理困难,所以普通应用很少见。2023年2月Nvidia推出了 RTX SVR技术,也就是Nvidia的视频超分算法,特点是基于深度学习和N卡的张量核心计算,资源占用比较合理,可以用于实时处理视频的放大。目前来看,效果还是相当不错,后续AMD也会推出类似的技术。本文以N卡为例说明如何运用RTX SVR技术及效果评价。
3.2、RTX SVR技术需要的软硬件条件。
软件条件:操作系统win10/11,chrome/edge(基于 Chromium核心)浏览器并更新到当前最新版本,N卡驱动更新至当前最新版本。
硬件条件:Nvidia RTX 20及以上系列显卡,如RTX2060、RTX3070、RTX4080等,也包括未来的RTX系列显卡。
3.3、如何在网页视频中开启RTX SVR
桌面鼠标右键---NVIDIA控制面板--视频--调整视频图像设置--RTX 视频增强--勾选 Super Resolution,这里可以看到状态为:非活动,质量为自动,如果不是HDR显示器,高动态范围不可选。
这里可以任意打开一个网页视频,调低网页视频分辩率,然后再将视频网页拉大,高于原分辩率,即可启用视频超分。状态为:活动;质量选项,目前驱动设置为自动,也可以选择1-4档手动调节。RTX SVR技术包含超分和修复两项技术,1-4档的含义,为参数强度。1档最低,4档最高,4是调整强度最大,图像最锐利,修复也最多。
技术细节1:前面讲过,超分和修复两项技术本身可以独立存在。只要前面勾选开启Super Resolution,即使图像不放大,也自动对视频有修复功能。
技术细节2:参数强度调节的含义,强度大并不完全代表质量最好,强度大通常表示对原画面破坏也越大;所有的图像修复技术,本质上说都对原画面有破坏作用,仅就修复的目地而言,只是去掉令人不悦的如锯齿、模糊等artifacts;修复强度控制在一定范围内,既可以有效改善观感,又能保持原画面观感,平衡为佳。
技术细节3:参数强度越高,显卡性能要求也越高,1档性能要求最低,4档要求最高。结合技术细节2说明,可以根据自身显卡性能及画面质量调节参数,比如使用2060显卡,显卡性能低,可以开低档参数,避免显卡性能不足反倒造成画面卡顿;如果画质太差,可以开高档参数3或4,加大一些修复强度;放大倍数较大,也可以开高档参数,比如480P放大至1080P,可以考虑开3或4档。
技术细节4:HDR功能,需要支持HDR的显示器,一般市面上常见视频类型是SDR,这项技术是将SDR颜色空间映射到HDR对映的颜色空间,扩大色域空间,增强颜色和对比度等等,需要适配HDR显示器,选用。
3.4、本地播放器开启RTX SVR
时间关系,暂略。

四、超分效果分析。
参考视频:https://www.ganjingworld.com/channel/1frf2ranalr6HfJIkcO3O0A8m1j20c
交响赞美诗 基本就是做了修复,修复片源中存在的部份问题。
《斯德哥尔摩综合症》VCD版本是片源,《斯德哥尔摩综合症》1080P超分版是采用顶级超分算法放大后的版本(4倍超分),效果是超过 RTX SVR技术的。由于视频网站会有二次编码,网页效果打了折扣,实际效果更好一些。可以开启超分功能,将VCD版本放大至1080P,对比超分版效果。
当然不是Nvidia技术不好,超分效果受很多因素影响;即使开启了超分,仍然会有效果不明显,或效果不好的情况,大致有如下原因:
4.1、RTX SVR技术需要实时放大及修复,对显卡性能要求很高,但又要满足大部份显卡能够正常使用,在性能/质量上只能做出妥协,降低一些质量满足实时播放的要求;而《斯德哥尔摩综合症》超分版采用的超分算法,效果更好,但运算时间N倍于视频时长,无法实时播放。
4.2、在2.3这一节中,算法模型和训练数据不同对超分效果的影响。算法模型是决定超分效果的根本,训练集也很重要。简而言之,一般训练超分模型,会选用特定的数据集,就是一堆图片集合;动漫和真实世界的图像有完全不同的特点;即使是真实世界的图像,也有很多种类型,人像和数字的特点就差很多吧;同一个训练模型,很难兼顾所有的图像类型。而基于深度学习的超分算法,是根据训练集学习的经验,来"推理"出新的图像。如果算法模型和训练集并不适合某类图像,效果当然就不好了。没有万能的超分算法,基于深度学习的超分算法现在多如牛毛,各有适合的图像类型。只有合适的才是更好的,即使是看上去"落后"的传统超分算法,如Bilinear、Bicubic、Lanczos等,在某些场合,效果可能也好过现有超分算法。
4.3、和片源视频质量有关。原则:片源视频质量越好,超分效果可能越好;片源视频质量越差,超分效果可能不明显。
4.4、要注意驱动控制面板中是否开启了超分功能。笔记本电脑需要额外设置,Windows--图形设置--自定义应用选项,添加 Chrome 或 Edge 浏览器的路径。右键单击自定义应用程序列表下的浏览器图标,选择“选项”并设置为“高性能”。
4.5、带DRM等版权保护的视频超分无效。
4.6、火狐浏览器默认未开启超分功能。观察驱动面板会发现超分功能处于非活动状态。
打开Firefox浏览器,输入 about:config ,然后点“接受风险并继续”,在弹出的搜索框中输入gfx.webrender.super-resolution.nvidia ,在弹出框双击,将fals状态变为true即可开启超分功能。
有些版本如ESR(延长版)会失效,选用普通版就可以了。

观看网页视频目前推荐Chrome 或 Edge,比较方便。微软Edge 浏览器自带一个超分功能,目前只存在于测试版中,支持其它显卡,但功能有限,暂不推荐使用自带的超分功能。
另,显卡驱动程序注意保持更新,至少2-3月要升级一次,VSR技术也会不断更新。
4.7、超分功能的作用。如果视频只有较低分辩率,如DVD(480P)超分后可能会有接近1080P的效果;翻墙代理速度不佳,只能使用较低分辩率观看视频;有意降低网页视频分辩率,减少翻墙流量。

五、视频网站推荐
5.1神韵作品网站
示例1:竹林烁影
https://www.shenyuncreations.com/zh-CN/video/_video_bc42c133991e4824b6506c291653ba4b/Echoes-of-the-Bamboo-Grove
示例2:历届全世界中国古典舞大赛金奖展示(2023)
https://www.shenyuncreations.com/zh-CN/video/_video_32e562ecd0bc49fe88a64c0c01652310/Classical-Chinese-Dance-Competition-Gold-Medalists-Technique-Showcase(2023)

翻墙后,分别用chrome和火狐浏览器(默认未开启超分)打开链接,分辩率设定为480P,将网页放大到比如1080P,就能看到超分效果了。超分后接近原生1080P的效果,当然片源质量一般不建议低于480P。

5.2、动态网直播
http://dongtaiwang.com/loc/fgtv/ntdhls.php?
5.3、干净世界
https://www.ganjingworld.com/zh-CN
5.4、油管等,略

5.5、质量评价指标
超分效果质量评价包括主观及客观评价。主观评价指标以人眼观看效果为主,客观评价指标包括传统的SSIM/PSNR,分别指结构相似性和峰值信噪比。一个合格的基于深度学习的超分算法,一般来讲,不论客观评价指标还是主观评价指标,都好于传统的超分算法,甚至会大幅领先、效果惊人。
还有一些新兴的评价超分效果的指标,略。






« 最后编辑时间: 二月 11, 2024, 09:37:27 am 作者 日月潭 »

离线 日月潭

  • 注册用户
  • *
  • 帖子: 17
Re: 视频超分技术简介及应用
« 回复 #1 于: 二月 04, 2024, 10:44:22 pm »
修改部份内容描述,增加2.5/5.5 两项说明。
« 最后编辑时间: 二月 04, 2024, 10:56:23 pm 作者 日月潭 »

离线 日月潭

  • 注册用户
  • *
  • 帖子: 17
Re: 视频超分技术简介及应用
« 回复 #2 于: 二月 11, 2024, 09:35:36 am »
4.6增加开启火狐的超分功能说明。