Python圖片視頻超分模型RealBasicVSR的使用教程

第Python圖片視頻超分模型RealBasicVSR的使用教程目錄前言安裝1、虛擬環(huán)境創(chuàng)建2、安裝pytorch3、安裝openmim4、安裝mmcv-full5、安裝mmedit6、安裝scipy7、模型下載使用圖片超分視頻超分壓縮圖片為對(duì)比視頻樣例總結(jié)

前言

很久沒更新這個(gè)專欄了，最近比較忙。前段時(shí)間看到了這個(gè)模型覺著很有意思，弄下來自己玩了玩，但是沒時(shí)間寫文章，一直擱置到現(xiàn)在。

廢話不多說，先上Github地址：RealBasicVSR地址

從給出的效果來看，還是很不錯(cuò)的，左側(cè)是超分后的畫面，右邊是原畫質(zhì)，得到明顯提升。下面我說一下我的安裝過程，還有一些使用中的踩坑，讓大家去測(cè)試項(xiàng)目的時(shí)候可以提前規(guī)避。

安裝

項(xiàng)目拉下來之后，我們先打開README，看看說明。

安裝的步驟不多，但是還是有一些坑的，下面是我的安裝步驟，如果你們自己安裝的有問題的話，可以參考一下我的步驟。

1、虛擬環(huán)境創(chuàng)建

作者沒有給出需要的python版本，這里我用的python3.8

condacreate-nrealpython=3.8

condaactivatereal

2、安裝pytorch

這里本來我以為我現(xiàn)在的最新版本可以跑的，后面發(fā)現(xiàn)不行，所以老老實(shí)實(shí)的按照作者的版本安裝。

condainstallpytorch==1.7.1torchvision==0.8.2torchaudio==0.7.2cudatoolkit=10.1-cpytorch

3、安裝openmim

這里沒什么好說的，裝就完了。

pipinstallopenmim-i/simple

4、安裝mmcv-full

同上

miminstallmmcv-full

5、安裝mmedit

同上

pipinstallmmedit-i/simple

6、安裝scipy

這個(gè)作者沒寫，但是要裝。

pipinstallscipy-i/simple

7、模型下載

嗯，在外網(wǎng)比較難下，我下好了，放到我的百度云盤。

鏈接提取碼：1234

在項(xiàng)目中創(chuàng)建文件夾checkpoints，把下載的文件放進(jìn)去。如下圖

使用

ok，環(huán)境裝好了，我們看看怎么使用。

作者提供了圖片文件夾處理方式和視頻處理方式，我們挨個(gè)測(cè)一下。

圖片超分

我就不準(zhǔn)備用作者提供的demo圖了，我自己找了一張，如下圖。

圖片尺寸

放置目錄如下

執(zhí)行命令如下

pythoninference_realbasicvsr.pyconfigs/realbasicvsr_x4.pycheckpoints/RealBasicVSR_x4.pthdata/demo_001results/demo_001

執(zhí)行結(jié)果

2025-05-0810:57:06,303-mmedit-INFO-loadcheckpointfromtorchvisionpath:torchvision://vgg19

loadcheckpointfromlocalpath:checkpoints/RealBasicVSR_x4.pth

/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445:UserWarning:torch.meshgrid:inanupcomingrelease,itwillberequiredtopasstheindexingargument.(Triggeredinternallyat../aten/src/ATen/native/TensorShape.cpp:2157.)

return_VF.meshgrid(tensors,**kwargs)#type:ignore[attr-defined]

結(jié)果圖如下

可以看出明顯的清楚了很多。

結(jié)果圖尺寸

視頻超分

然后我們看看視頻超分的情況，這部分是有一些坑的，后面會(huì)說到。

首先我準(zhǔn)備了一個(gè)視頻，視頻分別率如下。

可以看到視頻分辨率540p。

執(zhí)行命令如下，里面有作者給出樣例沒有的參數(shù)，我后面注意里面會(huì)解釋。

pythoninference_realbasicvsr.pyconfigs/realbasicvsr_x4.pycheckpoints/RealBasicVSR_x4.pthdata/12345.mp4results/demo_123.mp4--fps=25--max_seq_len=2

執(zhí)行結(jié)果

2025-05-0811:02:01,023-mmedit-INFO-loadcheckpointfromtorchvisionpath:torchvision://vgg19

loadcheckpointfromlocalpath:checkpoints/RealBasicVSR_x4.pth

/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445:UserWarning:torch.meshgrid:inanupcomingrelease,itwillberequiredtopasstheindexingargument.(Triggeredinternallyat../aten/src/ATen/native/TensorShape.cpp:2157.)

return_VF.meshgrid(tensors,**kwargs)#type:ignore[attr-defined]

最終視頻分辨率情況

注意

1、首先，視頻原長(zhǎng)度是2分鐘的，我截取到5s的視頻進(jìn)行超分處理的。不然會(huì)顯存溢出。

2、--max_seq_len=2參數(shù)也是為了避免顯存溢出，總的來看，這個(gè)模型不太適合直接跑視頻，最好的方式還是跑圖片序列，然后最后壓縮圖片為視頻比較好。

壓縮圖片為對(duì)比視頻樣例

作者給了一個(gè)demo程序可以將輸出的圖片壓縮為前后對(duì)比視頻，如下圖說明。

我測(cè)試了一下，代碼這里需要改動(dòng)一下，代碼框出的部分需要把注釋取消。