一種基于殘差保持的人臉超分辨率方法

(19)(19)民局(21)(22)(71)申請人大(72)發(fā)明人韓鎮(zhèn)涂沈亞軍(74)專利機構知識事務

(10)申請公布號 (43)人G06T5/50G06K9/62權利要求書4頁說明書9頁附圖1對應位置訓練塊集上分別估計其平滑高頻成分、高頻補償成分。通過這三種高頻信息的線性組合，AA 權利要求 1/4的低分辨率人臉樣本圖像庫Xs；步驟2述的高分辨率人臉樣本圖像庫Ys的圖像和對應的低分辨率人臉樣本圖像庫Xs中的圖像進行用對應圖像具有交疊部分的圖像YsXs中的每一對應圖像；得到x的塊域{xij}，其中，xijx于位置標號i,j)待估計塊；步驟4：取Xs在(i,j)位置上的所有圖像塊，做主成分分析，得到低分辨率圖像基E和對應低分辨率平均臉cmeanYsi,j位置上的所有主成得到高分Eh和對應高chmeanE和Ehcmean和chmean對所述的低分辨率圖像x的在(i,j)位置上的圖像塊xij進行高頻信息重xij的平滑高OFijxij{OFij5Xsi,j)位置Ys(i,j位置上的所有圖像塊，求的標準差投影高頻成分{OSij}；Oij=αOFij+βOSij+γORij+ean根據(jù)權利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步1中所述的獲得經過眼睛和嘴巴位置對齊的高分辨率人臉樣本圖像庫Ys其具體實現(xiàn)包括以下子步驟：根據(jù)權利要求21.3中所述的利用仿射變換的方法把高分辨率人臉樣本圖像庫中的所有圖像中的對應特征點數(shù)計算出平均臉；1.3.2xiyi′是所i個特征點的坐標，xiyi為待對齊2

權利要求 2/4根據(jù)權利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步1中所述的獲得經過眼睛和嘴巴位置對齊的高分辨率人臉樣本圖像庫Ys以及與其一一對應的低分辨率人臉樣本圖像庫XsXs通過8倍下采樣之后加0.02xijOFijXs有圖像塊形成低分辨率圖像塊集C，C由N個p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c 減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下：特征值其余元素全部為零為矩陣的特征值矩陣；均值ean；xij=E×coeff+cmean3 yij=Eh×coeff+

權利要求 3/4圖像基中的表達系數(shù)； coeff=E-1×(x-c yij=Eh×coeff+根據(jù)權利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步5所述xijOSij5.1Xsi,j位置上的所有圖像塊形成低分辨率圖像塊集CYs(i,j)位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像圖像位置規(guī)格為p×p的局部先驗矩陣φ(i,j)的計算方式如下：

m,n=1,2,...,pC(m,n)塊中，橫縱坐標標號為位置(m,n)的所有圖像的像素值，即是一個N維向std為標準差運算符；OSij=(xij-xijORij初步重建結果OMij：OMij=αOFij+βOSij+步驟6.2Xs在(i,j)C，設TR和TM分別每一個圖像塊OMij即最小化下式：4 權利要求 4/4mkij為OMijkwk為mkij6.3xijORij：其中，rkij為mkij5一種基于殘差保持的人臉超分辨率方 [0004]人臉超分辨率問題是一個解無窮的問題，因為一幅低質量圖像可能對應多幅不同2005 包括以下步驟： 一對應的低分辨率人臉樣本圖像庫Xs；[0010]2Ys的圖像和對應的低分辨率人臉樣本圖像Xs中的圖像進行一一分圖像具有交疊部分的圖像塊集來YsXs中的每一對應圖像；[0011]3x2x分塊，得到所述的低分辨率圖像x的塊域訓練xij}，其中，xij表示x處于位置標號為(i,j)的待估計塊； 到高分辨率圖像基Eh和對應高分辨率平均臉chmean并基于圖像基E和Eh以及cmean和ean，OFijxij{OFij 得{xij}的高頻補償成分{ORij}； Oij=αOFij+βOSij+γORij+ean 像x的高分辨率圖像O。 像庫Ys其具體實現(xiàn)包括以下子步驟： 步驟1.1對高分辨率人臉樣本圖像庫中的所有圖像框取相同大小的人臉； 注所述的特征點是有語義的位置包括眼角兩個點鼻尖一個點嘴角兩個點； 本個數(shù)計算出平均臉；[0025]1.3.2xiyiixiyi為待 式解出仿射變換矩陣M； 步驟1.3.3對高分辨率人臉樣本圖像庫的圖像所有坐標點與所述的仿射變換矩陣M相乘得到新的圖像坐標點由此得到對齊之后的高分辨率人臉樣本圖像庫Ys。 作為優(yōu)選步驟1中所述的獲得經過眼睛和嘴巴位置對齊的高分辨率人臉樣本圖像庫Ys以及與其一一對應的低分辨率人臉樣本圖像庫Xs所述的低分辨率人臉樣本圖像庫Xs通 [0031]2Ys和Xs中的每一對所述的圖像塊集的某個塊的位置標號用數(shù)值(l,m)表示l,m)的取值范圍為： [0034]4xijOFij驟：上的所有圖像塊形成低分辨率圖像塊集C，C由N個p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c cmeanC減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下： 應的特征值其余元素全部為零為矩陣的特征值矩陣； 本的均值ean； xijyijcoeff，即xijyij xij=E×coeff+cmean yij=Eh×coeff+辨率圖像基中的表達系數(shù)；coeff=E-1×(x-c yij=Eh×coeff+[0049][0051]5xijOSij；其具體實現(xiàn)包括以下子步驟：位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像塊，則該圖像位置規(guī)格為p×p的局部先驗矩陣φ(i,j)的計算方式如下： 其中 m,n=1,2,...,pC(m,n)準差運算符； OSij=(xij- 步驟： 塊的初步重建結果OMij： OMij=αOFij+βOSij+ [0062]6.2Xs(i,j)CTR和TM分別表示位于(i,j)位置的一一對應的殘差圖像訓練庫圖像塊集和初步結果訓練庫圖像塊集，其中TR=C-TMTR={r1,r2,...,rN}，設TM={m1,m2,...,mN其中TM的獲取過程C一個圖像塊OMij[0063]通過查找中間結果OMij在TM中的K近鄰表達權重輸入塊OMij對應的高頻細節(jié)的表 mkij為OMijkwk為mkij [0073]本發(fā)明提供的基于自適應訓練庫的塊域人臉超分辨率方法，在基于流形的框架內[0074] 包括以下步驟： 一對應的低分辨率人臉樣本圖像庫Xs； 下子步驟： 步驟1.1對高分辨率人臉樣本圖像庫中的所有圖像框取相同大小的人臉； 注所述的特征點是有語義的位置包括眼角兩個點鼻尖一個點嘴角兩個點；本個數(shù)計算出平均臉；[0081]1.3.2xiyiixiyi為待 式解出仿射變換矩陣M； 步驟1.3.3對高分辨率人臉樣本圖像庫的圖像所有坐標點與所述的仿射變換矩陣M相乘得到新的圖像坐標點由此得到對齊之后的高分辨率人臉樣本圖像庫Ys； 低分辨率人臉樣本圖像庫Xs通過8倍下采樣之后加0.02的噪聲到對應的高分辨率人臉樣本圖像庫Ys相同的尺寸而獲得。[0086]2Ys的圖像和對應的低分辨率人臉樣本圖像Xs中的圖像進行一一分圖像具有交疊部分的圖像塊集來YsXs中的每一對應圖像；[0087] 請見圖2對圖像進行分塊的主要依據(jù)是局部流形的思想即人臉圖像是一類特殊的圖像這些圖像具有特定的結構意義比如在某個位置上所有的小塊都是眼睛或者某個位置上都是鼻子也就是說圖像中每一個位置的局部小塊都處于一個特定的局部幾何流形當中。為保證這個局部流形需要將圖像分為若干正方形的小塊。塊的大小需要有合適尺寸若分塊太大則會由于微小的對齊問題引起重影現(xiàn)象若分塊太小會模糊淡化每個小塊的位置特征。此外還需要選擇交疊塊的尺寸。因為如果簡單的將圖像分為不含交疊塊的若干正方形小塊那么這些正方形塊與塊之間會因為不兼容問題出現(xiàn)網格效應。而且人臉圖像并不總是正方形那么交疊塊的尺寸選擇需要注意使得圖像盡可能充分的分塊；[0088] 這里尺寸可以根據(jù)經驗選取適中的大小本實施例用p×p的正方形表示圖像塊交疊塊記為d圖像塊集的某個塊的位置標號用數(shù)值(l,m)表示則(l,m)的取值范圍為：[09] [0091]3x2x分塊，得到所述的低分辨率圖像x的塊域訓練xij}，其中，xij表示x處于位置標號為(i,j)的待估計塊； E對應低分辨率平均臉cmeanYs在(i,j)位置上的所有圖像做主成到高分辨率圖像基Eh和對應高分辨率平均臉chmeanEEh以及cmean和ean，高頻OFij進而獲xijOFij所述的xij的平滑高頻成OFij，其具體實現(xiàn)包括以下子步驟：上的所有圖像塊形成低分辨率圖像塊集C，C由N個p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c ,ij]，則C求得p×p的列向量均值cmeanC減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下： 應的特征值其余元素全部為零為矩陣的特征值矩陣； 本的均值ean xijyijcoeff，即xijyij xij=E×coeff+cmean yij=Eh×coeff+ 辨率圖像基中的表達系數(shù)； coeff=E-1×(x-c yij=Eh×coeff+ [0110]5Xs(i,j)Ys(i,j){xij的標準差投影高頻{OSij獲xij的標準差投影高頻OSij其具體實現(xiàn)包括以下子步5.1Xsi,j)位置上的所有圖像塊形成低分辨率圖像塊集C，Ys在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像塊圖像位置規(guī)p×pφ(i,j) 其中 準差運算符； OSij=(xij- 重建結果OMij：[0117]OMij=αOFij+βOSij+[0119]6.2Xs(i,j)CTR和TM分別表示位于(i,j)位置的一一對應的殘差圖像訓練庫圖像塊集和初步結果訓練庫圖像塊集，其中TR=C-TMTR={r1,r2,...,rN}，設TM={m1,m2,...,mN其中TM的獲取過程C一個圖像塊OMij[0120]通過查找中間結果OMij在TM中的K近鄰表達權重輸入塊OMij對應的高頻細節(jié)的表[0122]mkij為OMijkwk為mkij[0123]6.3xijORij[0124]其中，rkij為mkij對應的殘差塊Oij=αOFij+βOSij+γORij+eanxO