基于AI 技術(shù)的電影修復(fù)探索與研究

基于AI技術(shù)的電影修復(fù)探索與研究孫天宇，胡偉屹

（1.洛陽師范學(xué)院文學(xué)院，河南洛陽471934；2.學(xué)習(xí)強國學(xué)習(xí)平臺有限責(zé)任公司，北京100000）

0引言

早期電影大多以膠片作為載體。隨著時間的推移，膠片難免會出現(xiàn)劃痕、褪色、收縮、拼接不良或被霉菌弄臟等問題。數(shù)碼時代的影片修復(fù)技術(shù)利用人工智能（ArtificialIntelligence，AI）深度學(xué)習(xí)等技術(shù)將原本存放于膠片中的信息重新傳遞到數(shù)字媒體上，利用降噪、著色、插幀等技術(shù)手段，能夠最大程度地對原有電影的畫質(zhì)和音質(zhì)進行優(yōu)化和改善。

1AI修復(fù)技術(shù)對于經(jīng)典電影的影響

AI人工智能已經(jīng)在出行、安防、文物修復(fù)等現(xiàn)實場景中實現(xiàn)落地。在電影修復(fù)領(lǐng)域，AI人工智能已經(jīng)嶄露頭角。AI修復(fù)技術(shù)大幅提升電影幀數(shù)的同時，也提高了電影的清晰度和著色效果。

百年來留存下來的膠片電影記錄著歷史和時代的變遷，承載著民族的歷史記憶[1]。國產(chǎn)經(jīng)典影片《八千里路云和月》《十字街頭》等既承載著我國一代乃至幾代人的集體記憶，也寄托了人類理想和情感。這些優(yōu)秀國產(chǎn)電影的重映，可以激發(fā)觀眾欣賞懷舊影片的浪潮。國內(nèi)外電影節(jié)也相繼推出電影修復(fù)單元，凸顯出老舊影片修復(fù)版獨特的市場價值。經(jīng)典影片的修復(fù)版不是完全照搬，只單純對分辨率和畫質(zhì)進行修復(fù)提升，更是對經(jīng)典電影的再創(chuàng)作并對蘊含導(dǎo)演思想的新思考。

2AI重構(gòu)低分辨率電影

分辨率是圖像的精密程度，是指圖像所能顯示的像素的多少，像素越多，畫面就越精細。超分辨率是指經(jīng)過銳化和縮放來改善電影細節(jié)，利用AI來分析低分辨率圖形和高分辨率圖像之間的關(guān)聯(lián)，并對低分辨率圖形進行重構(gòu)的過程。早期攝影機錄制視頻格式只能達到標(biāo)清，無法達到更高畫質(zhì)。如今AI處理軟件實現(xiàn)了計算機自動判讀影片中的內(nèi)容，然后對這些內(nèi)容進行重新繪制。

2.1AI連續(xù)性著色

AI電影處理軟件對影片鏡頭像素進行分析，以AI+大數(shù)據(jù)的算法進行研判，從而實現(xiàn)對像素的修復(fù)。這并非簡單地對像素進行銳化，而是先分析像素再進行系統(tǒng)的、連貫性且前后幀連續(xù)性的著色。早期電影除了畫質(zhì)不好問題外，有的鏡頭甚至因為失焦而產(chǎn)生畫面模糊，或是由于快門速度過慢導(dǎo)致人物或者物體運動產(chǎn)生動態(tài)模糊，現(xiàn)在可以通過AI深度學(xué)習(xí)技術(shù)讓老舊電影獲得一定程度上的改善。

2.2AI交錯式掃瞄條紋修復(fù)

AI可以通過去條紋功能進一步提升畫質(zhì)。軟件采用交錯式掃描來去除條紋所導(dǎo)致的畫面割裂，這個功能在早期低分辨率電影上有良好效果。影片渲染并輸出后會產(chǎn)生輕微的色彩偏移，因此需要與剪輯、特效、調(diào)色等軟件結(jié)合使用來調(diào)整修復(fù)后的影片色彩，當(dāng)然工作量也會大幅提升，但相比人工每一幀、每一幅畫面都需要修補而言，AI算法的運用則顯得更加便利。雖然電影可以通過AI算法獲得畫質(zhì)提升，但AI運算要耗費更多的效能，會對設(shè)備的處理器和顯卡造成較大壓力。

3AI插幀讓老電影更加流暢

電影是由一張張連貫的圖片構(gòu)成，24幀（每秒）是人眼所感到畫面流暢的下限。60幀、120幀的高幀率電影，其視覺效果相比大部分24幀電影提升非常明顯[3]。AI技術(shù)采用分析前后幀畫面來計算出中間幀的方法來進行插幀，將30幀插幀到60幀甚至120幀，從而獲得更流暢的體驗。

視頻插幀是基于深度學(xué)習(xí)算法的技術(shù)生成的，比如目前有對播放視頻進行實時補幀的插件。軟件在原始視頻中前后不同的兩個幀之間插入一個由算法模擬兩個幀之間畫面內(nèi)容的運動過程生成的中間幀，并對每一個像素進行計算，同時判斷場景中目標(biāo)有無運動，如果有運動則需要按其運動向量做插補，如果沒有運動卻進行插補，反而會增加整體的模糊程度[2]。

插幀多采用幀采樣、幀混合、光流三種插幀方式。假如電影中出現(xiàn)幀缺失或者速度變化效果不明顯，可以選擇幀采樣的視頻處理方式，這樣對電影整體的影響不明顯。對修復(fù)效果要求高、時間短、特效多的電影進行處理時可以選擇光流法來獲得最大限度的效果提升。如果要處理較長、鏡頭切換頻繁、視覺元素復(fù)雜的電影，可以選擇幀混合方式來產(chǎn)出視頻，這樣得到的畫面不僅流暢，而且對電腦渲染速度更加友好。此外，有些手機、電視為了獲得更好的觀感，會主動對幀率不足的電影通過運動補償?shù)人惴▉聿鍘?，讓原本不夠流暢的電影變得更加順滑，部分計算機上的播放器軟件也能夠通過SVP等視頻插件實現(xiàn)類似的效果。

4AI著色讓老電影更逼真

隨著現(xiàn)代AI圖像處理技術(shù)的高速發(fā)展，人們不僅可以為圖像著色，還可以為黑白老電影進行著色。同時，AI深度學(xué)習(xí)技術(shù)為老舊電影的音頻修復(fù)技術(shù)發(fā)展提供了契機。AI技術(shù)可以消除幾乎任何類型的背景噪聲，如犬吠聲、廚房噪音、音樂、嬰兒啼哭聲、交通以及戶外聲音等。

4.1AI基于深度學(xué)習(xí)技術(shù)的視頻著色技術(shù)

電影彩色化的第一步是先將圖像中的各種內(nèi)含物加以區(qū)分，這樣在對電影進行彩色化時才不至于發(fā)生錯誤，再找出黑白圖像與顏色之間的相對關(guān)系就可以著色了。老照片彩色化最經(jīng)典的模型是視頻圖像處理工具運用大量基于AI深度學(xué)習(xí)的技術(shù)來為圖像和視頻著色。它借助新型的、高效的圖像到圖像的網(wǎng)絡(luò)對抗訓(xùn)練方式復(fù)原影片色彩，同時不會出現(xiàn)電影閃爍等問題。

圖像修復(fù)迭代技術(shù)則主要通過使用期望最大化算法來使修復(fù)圖象的似然性最優(yōu)化。這種AI算法，必須對電影資料退化的過程做出客觀評價，才能進行精確修正。人工智能除了能夠提高修復(fù)后電影的穩(wěn)定性，還能夠?qū)θ藗兛芍筒豢芍氖挛镞M行著色，如衣服的顏色和汽車的顏色，甚至是擁有特殊效果的色彩。

4.2AI建構(gòu)聲音數(shù)據(jù)增強音頻質(zhì)量

電影是一種視聽藝術(shù)，因此聲音修復(fù)也十分重要。由于早期電影大多是單聲道音響，原膠片保留的單聲道聲音與4K超高清畫質(zhì)顯得格格不入。

電影修復(fù)者根據(jù)電影專門制作5.1聲道甚至7.1聲道的環(huán)繞立體聲，為每一個影片增加一系列的效果聲，比如風(fēng)聲、汽笛聲、腳步聲等，盡可能還原鏡頭內(nèi)容所展示的生活狀態(tài)。通過建構(gòu)足夠強大的數(shù)據(jù)庫來處理聲音的失真和退化。雖然AI語音增強擁有較強的降噪能力，但處理后的語音往往會有音質(zhì)下降的問題。更多的研究集中在如何通過改進數(shù)據(jù)生成和增強、探索優(yōu)化目標(biāo)和改進網(wǎng)絡(luò)模型來提高語音質(zhì)量。

5AI修復(fù)電影的局限性

對于黑白電影，若想看清它所記錄的原有社會風(fēng)貌，通常需要用畫筆和顏料為黑白片進行上色。而現(xiàn)在，AI算法能夠讓每個人都可以快速對電影著色。但是AI對老舊電影的著色也存在一定的局限性。

AI算法著色之所以會出現(xiàn)偏差，是因為現(xiàn)有的彩色圖像需要轉(zhuǎn)換為具有一定灰度的圖像并采用算法對其進行重新繪制，而重新著色的圖像與原圖相比會顯得十分暗淡。著色對AI而言更難，這意味著在給定灰度等級的情況下，AI很難分辨應(yīng)該為景物添加何種顏色。比如說女人的衣服可能是藍色的，但也可能是紅色或者其他顏色，灰度像素中沒有信息表明缺少何種顏色。但現(xiàn)有軟件沒有龐大的選色邏輯系統(tǒng)，而是在AI深度學(xué)習(xí)中從最有可能出現(xiàn)的顏色數(shù)據(jù)庫中去挑選AI認為正確的色彩。此外，影片修復(fù)還需考慮電影發(fā)生的地點和時間，人工調(diào)色能夠知道哪種配色方案對照片和視頻更有意義。

國內(nèi)也有針對老舊電影修復(fù)和處理的程序，愛奇藝方面也把AI技術(shù)大規(guī)模、多方面地應(yīng)用在視頻畫質(zhì)的修復(fù)和增強上[4]。愛奇藝視頻增強技術(shù)ZoomAI提供了一個相對完善的老影片增強解決方案，將AI深度學(xué)習(xí)技術(shù)用于圖片和視頻修復(fù)，從而達到提升和改善畫質(zhì)的效果。人工修復(fù)電影會耗時一周甚至幾個月的時間，而利用算法來進行自動修復(fù)，可以大幅縮減人力成本并節(jié)省時間。該技術(shù)可以通過銳化處理來突出電影中人物或者物體的紋理和細節(jié)，此外，還可以通過色彩增強的手段讓鏡頭中的視覺元素色彩對比更加強烈，讓整體的畫面變得十分干凈整潔；借助超分辨率，則可以把老舊視頻的畫質(zhì)從標(biāo)清提升到高清甚至超清，讓影片的觀感得到整體上的飛躍[5]。

6結(jié)語

電影修復(fù)需要技術(shù)和藝術(shù)相融合。在對老舊電影的修復(fù)時，工作人員要充分考慮到影片歷史的藝術(shù)性。電影降噪時要把握降噪的度，保留影片畫面原有的顆粒質(zhì)感的同時也要突出影片的藝術(shù)性。影片調(diào)色過程中也應(yīng)尊重老舊影片本身的色彩特點。改善圖像的色彩、層次感和褪色等問題時，需要