第6講 設(shè)計(jì)實(shí)例

1、2021-7-31 第第 5 5 講講 設(shè)計(jì)舉例設(shè)計(jì)舉例 H. 264H. 264運(yùn)動向量估計(jì)運(yùn)動向量估計(jì) 2021-7-32 目錄目錄 運(yùn)動向量運(yùn)動向量 圖像數(shù)據(jù)塊圖像數(shù)據(jù)塊 設(shè)計(jì)依據(jù)設(shè)計(jì)依據(jù) 總體設(shè)計(jì)總體設(shè)計(jì) 運(yùn)算單元運(yùn)算單元 基本模塊基本模塊 運(yùn)行模式運(yùn)行模式 存儲組織與控制存儲組織與控制 模塊組合方式模塊組合方式 向量產(chǎn)生器及輸出控制向量產(chǎn)生器及輸出控制 2021-7-33 5.1 5.1 運(yùn)動向量運(yùn)動向量 l 相鄰兩幀的視頻圖像是非常相似的，這種現(xiàn)象是基于“運(yùn)動補(bǔ) 償”的編碼方法的基礎(chǔ)。 l 當(dāng)前幀圖像用它與前一幀圖像的差值來編碼，差值越小，編碼 效率越高。 l 一幀圖像可以劃分為若

2、干小塊。通常，塊越大，編碼效率越高， 圖像質(zhì)量越低；塊越小，編碼效率越低，圖像質(zhì)量越高。 l 運(yùn)動估計(jì)：對于當(dāng)前幀中的一個圖像塊（當(dāng)前塊），按某種度 量標(biāo)準(zhǔn)在前一幀圖像中尋找最為相似塊。 l 運(yùn)動向量：與當(dāng)前塊最為相似塊的位置標(biāo)識。 2021-7-34 5.1 5.1 運(yùn)動向量（續(xù)）運(yùn)動向量（續(xù)） l 相似塊在前一幀與當(dāng)前塊相同位置的周圍（搜索窗口）進(jìn)行搜 索而得到。 當(dāng)前幀 當(dāng)前塊 搜索 窗口 相似塊 運(yùn)動 向量 2021-7-35 5.2 5.2 圖像數(shù)據(jù)塊圖像數(shù)據(jù)塊 l H.624中幾種不同大小、不同形狀的圖像數(shù)據(jù)塊 116 16 2816 2168 488 848 884 1644 2

3、021-7-36 l 數(shù)據(jù)塊組合 5.2 5.2 圖像數(shù)據(jù)塊（續(xù)）圖像數(shù)據(jù)塊（續(xù)） l 將全部16個44的數(shù)據(jù)塊加起來。 l 將上面?zhèn)€和下面?zhèn)€44的數(shù)據(jù)塊分別加 起來。 2021-7-37 5.2 5.2 圖像數(shù)據(jù)塊（續(xù)）圖像數(shù)據(jù)塊（續(xù)） l 數(shù)據(jù)塊組合 l 將左邊個和右邊個44的數(shù)據(jù)塊分別加 起來。 l 將上、下、左、右各4個44的數(shù)據(jù)塊分別加 起來。 l 其它類似 2021-7-38 5.3 5.3 設(shè)計(jì)依據(jù)設(shè)計(jì)依據(jù) l 相似度計(jì)算：設(shè)圖像大小為M*N(行列)，搜索窗口大小x方向?yàn)?-p, p-1，y方向?yàn)?q, q-1，其中p=N/2，q=M/2。D(i, j)為向量(i, j) 所對應(yīng)

4、的平均絕對值差（MAE），則 其中第m行的MAE為： 有： 其中r為當(dāng)前塊數(shù)據(jù)，s為搜索區(qū)數(shù)據(jù)。 1 0 1 0 , ),( M m N n jnimnm srjiD 1 0 , ),( N n jnimnmm srjiD 1 0 ),(),( M m m jiDjiD 2021-7-39 5.4 5.4 總體設(shè)計(jì)總體設(shè)計(jì) 主CPU 系統(tǒng)總線 DMA 圖像數(shù)據(jù) 存 儲 器 存儲控制 16個 基本 模塊 求和 向量 產(chǎn)生 系 統(tǒng) 存儲器 2021-7-310 5.5 5.5 運(yùn)算單元運(yùn)算單元 l 絕對值電路 l 當(dāng)|A-B|溢出時，輸出為 +127； l 當(dāng)A-B為正且沒有溢出時， 輸出為A-B

5、； l 當(dāng)A-B為負(fù)且沒有溢出時， 輸出為結(jié)果的絕對值減1。需 要的加1（C0）操作留給后面 的處理單元電路在進(jìn)行級聯(lián) 相加時完成，這樣可以節(jié)省 一級進(jìn)行加法操作的時間。 ADDER A7 A6 A5 A4 A3 A2 A1 A0 B7 B6 B5 B4 B3 B2 B1 B0 1 Co S7 S6 S5 S4 S3 S2 S1 S0 0 Q7 Q6 Q5 Q4 Q3 Q2 Q1 Q0 圖1 絕對值電路 2021-7-311 l 處理單元及行結(jié)構(gòu) 5.5 5.5 運(yùn)算單元（續(xù)）運(yùn)算單元（續(xù)） 圖2 處理單元(a)及行結(jié)構(gòu)(b) (a) reg mux r s1 s2 a-b PEi Adder

6、 (b) PE0PE1PE2PE3 s1s2r MAE有多種實(shí)現(xiàn)的方法。一種經(jīng)典的方法是用一行有N個處理單 元的電路對M行數(shù)據(jù)進(jìn)行串行的行處理，另一種方法是用M行電路 同時對M行數(shù)據(jù)進(jìn)行全并行處理。在本設(shè)計(jì)中，我們除采用了這兩 種方法之外，還采用了界于兩者之間的方法。 2021-7-312 5.6 5.6 基本模塊基本模塊 l 基本模塊 l 一個基本模塊由16個處理單 元排成一個方陣。這些處理單 元按從左到右，從上到下的方 式串聯(lián)起來。圖3是一個4*4基 本模塊內(nèi)部處理單元的連接方 式 。 圖3 4*4基本模塊結(jié)構(gòu) PE00PE01PE02 s1s2r PE10PE11PE12PE13 PE2

7、0PE21PE22PE23 PE30PE31PE32PE33 PE03 l 一個基本模塊除了可被看成 是一個4*4的方陣外，還可以 被看成是一個2*8的矩陣，甚 至是一個1*16的行向量，這取 決于如何加載圖像數(shù)據(jù)s和r。 2021-7-313 5.6 5.6 基本模塊（續(xù)）基本模塊（續(xù)） l 基本模塊運(yùn)行時序：表1表示的是一個4*4的基本模塊，在大小為 7*7的搜索區(qū)間內(nèi)工作時的時序。表中，每一個方格表示一個數(shù)據(jù)， 方格中的數(shù)字代表訪問該數(shù)據(jù)的時刻。紅色數(shù)碼15-30分別對應(yīng) D(0,0)、D(0,1)、D(0,2)、D(0,3)、D(1,0)、D(3,3)完成的時間和 在電路中的位置，它們

8、在第三行最后一個處理單元被產(chǎn)生。 數(shù) 據(jù) 行 列（第一處理單元行）列（第二處理單元行）列（第三處理單元行）列（第四行處理單元） 0123456012345601234560123456 00123456- 1456789 1 0 456789 1 0 - 289 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 89 1 0 1 1 1 2 1 3 1 4 - 3 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 2 1 3 1 4 1

9、5 1 6 1 7 1 8 4- 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 5- 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 0 2 1 2 2 2 3 2 4 2 5 2 6 6- 2 4 2 5 2 6 2 7 2 8 2 9 3 0 表1 4*4基本模塊時序圖 2021-7-314 0123123423453456 00123123423453456 145675678678978910 289101191011121011121311121314

10、 312131415131415161415161715161718 145675678678978910 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 289101191011121011121311121314 312131415131415161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 31213141513141

11、5161415161715161718 416171819171819201819202119202122 520212223212223242223242523242526 624252627252627282627282927282930 2021-7-315 5.6 5.6 基本模塊（續(xù)）基本模塊（續(xù)） l 表2是一個完整的4*4基本模塊的詳細(xì)數(shù)據(jù)流表。表中用不同 顏色表示不同的D(i,j)所對應(yīng)的數(shù)據(jù)，其中右半部分用黑色表示 的數(shù)據(jù)，代表后續(xù)一幀圖像的數(shù)據(jù)，與左半部分的數(shù)據(jù)類似。 2021-7-316 2021-7-317 5.7 5.7 運(yùn)行模式運(yùn)行模式 l 有7種不同的運(yùn)行模式。在

12、任何一種模式下，全部基本模塊同時 并行運(yùn)行。 mode 44mode 42mode 24mode 22mode 21mode 11mode 12 00 01 02 03 10 20 30 11 21 31 12 22 32 13 23 33 圖4 七種不同的運(yùn)行模式 l 一個基本模塊除可看成一個4*4的方陣外，還可看成一個2*8的矩 陣，或是一個1*16的行向量。用8個基本模塊組成1個8*16的模塊時， 每個基本模塊是這個8*16模塊中的1行，8行電路同時運(yùn)行，得到8 個行的MAE，把它們加起來便是整塊圖像的MAE。用8個基本模塊 組成1個16*8的模塊時，每個基本模塊是這個16*8模塊中的2

13、行，等 等。 2021-7-318 5.7 5.7 運(yùn)行模式運(yùn)行模式 l 表3是用4個基本模塊 組合成一個8*8模塊時， 前2行（1個基本模塊） 的工作時序表，電路時 延為15個時鐘周期，共 需要79個周期完成運(yùn)算。 事實(shí)上，在任何模式下， 電路時延均為15個時鐘 周期。時延過后，每個 周期產(chǎn)生一個MAE，共 產(chǎn)生M*N個MAE，總共 需要15+M*N個時鐘周 期完成運(yùn)算任務(wù)。 數(shù) 據(jù) 行 列（第一處理單元行） 0123456789 1 0 1 1 1 2 1 3 14 00123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6

14、 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5

15、5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 數(shù) 據(jù) 行 列（第二處理單元行） 0123456789 1 0 1 1 1 2 1 3 14 189 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 1 22 2 1 6 1 7 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 2 7 2 8 2 9 30 3 2 4 2 5 2 6 2 7 2 8 2 9 3 0 3 1 3 2 3 3 3 4 3

16、 5 3 6 3 7 38 4 3 2 3 3 3 4 3 5 3 6 3 7 3 8 3 9 4 0 4 1 4 2 4 3 4 4 4 5 46 5 4 0 4 1 4 2 4 3 4 4 4 5 4 6 4 7 4 8 4 9 5 0 5 1 5 2 5 3 54 6 4 8 4 9 5 0 5 1 5 2 5 3 5 4 5 5 5 6 5 7 5 8 5 9 6 0 6 1 62 7 5 6 5 7 5 8 5 9 6 0 6 1 6 2 6 3 6 4 6 5 6 6 6 7 6 8 6 9 70 8 6 4 6 5 6 5 6 6 6 7 6 9 7 0 7 1 7 2 7 3

17、7 4 7 5 7 6 7 7 78 表3 4*4基本模塊組合成8*8模塊時的工作時序圖 2021-7-319 5.7 5.7 運(yùn)行模式（續(xù)）運(yùn)行模式（續(xù)） l 表4(a)和表4(b)分別表示在模式mode22下，電路中2個基本模塊內(nèi) 部，前32個時鐘周期所對應(yīng)的數(shù)據(jù)流，這2個基本模塊分別對應(yīng)8*8 模塊的第0、1行和第2、3行，圖中紅色數(shù)據(jù)表示輸出的時間和處理 單元的位置。將4個這樣的基本模塊的輸出全部加起來便可以得到1 個8*8模塊的輸出。 2021-7-320 2021-7-321 2021-7-322 5.8 5.8 存儲組織與控制存儲組織與控制 l 圖5(a)表示模式mode11下的

18、搜索窗口。圖中共有31行、31列，對 應(yīng)1個16*16模塊的搜索窗口。為了方便，我們增加了第31列（用綠 色表示，其中的數(shù)據(jù)無意義）； l 窗口的左半部分為處理單元提供數(shù)據(jù)S1（紅色），右半部分提供 數(shù)據(jù)S2（藍(lán)色，見圖2）； l 左半部和右半部的數(shù)據(jù)分別存儲在2組共32個大小相同的存儲器 里。每個存儲器16個單元，每個單元存儲2個像素的數(shù)據(jù)。以左半 部為例，第0行和第16放在0號存儲器里，第14行和第30行存放在14 號存儲器里，第15行存放在15號存儲器里（這個存儲器中的數(shù)據(jù)較 少）； 2021-7-323 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 第0-15行和第16

19、-30行分別位于相應(yīng)單元的高位部分和低位部分。 這16個存儲器同時分別向16個基本模塊提供數(shù)據(jù)； l 圖中紅色符號（符號的上標(biāo)是基本模塊號，見圖4，下標(biāo)代表搜 索窗口的左半部或右半部）表示的是0時刻左半部分存儲器向基本 模塊提供的數(shù)據(jù)在搜索窗口中的位置； l 每經(jīng)過1個時鐘周期，紅色符號從左到右移動1次。同時，后一個 存儲器（下一行）當(dāng)前讀出的內(nèi)容被寫回到前一個存儲器當(dāng)前的單 元中，而第0號存儲器的低位部分寫回到第15號存儲器的高位部分。 這些操作組合起來，相當(dāng)于剛剛訪問過的數(shù)據(jù)列由下向上移動了一 行。例如，第2個時鐘周期過后，用紅色細(xì)線圍住的數(shù)據(jù)已經(jīng)全部 向上移動了一行（見圖5(a)）。右半

20、部分與左半部分完全類似。 2021-7-324 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） 2021-7-325 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖5(b)所示搜索窗口只有23行，相應(yīng)存儲結(jié)構(gòu)與圖5(a) 完全一樣， 只是第7-15號存儲器中分別只存放了16個像素的數(shù)據(jù)（低位為空）。 2021-7-326 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖6(a)是模式mode22下的寄存器組織示意圖。圖中按列分為4大 塊，32個存儲器被分為4組； l 搜索窗口由左起第0、第1和第3大塊（在圖6(a)的最右邊）組成。 事實(shí)上，第2大塊的

21、數(shù)據(jù)與第1大塊的數(shù)據(jù)完全相同； l 每組前3個（0-2號）存儲器存有32個像素的數(shù)據(jù)，第3號存儲器 存有24個有效數(shù)據(jù)，第4-7號存儲器只存儲16個有效數(shù)據(jù)； l 如模式mode11類似，圖中紅色符號表示的是0時刻左半部分存儲 器向基本模塊提出的數(shù)據(jù)在搜索窗口中的位置。以后，每經(jīng)過1個 時鐘周期，紅色符號從左到右移動1次。同時，后一個存儲器當(dāng)前 讀出的內(nèi)容被寫回到前一個存儲器當(dāng)前的單元中，而第0號存儲器 的低位部分被寫回到第7號存儲器的高位部分。 2021-7-327 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） 2021-7-328 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與

22、控制（續(xù)） l 圖6(b)、圖6(c)與圖6(a)類似，其中圖6(b)中的有效數(shù)據(jù)在圖6所示 的三種模式中最少，圖6(c)最多。 2021-7-329 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） 2021-7-330 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖7(a)是模式mode44下的寄存器組織示意圖。圖中按列分為8個 大塊，每1個大塊由4個存儲器構(gòu)成1個存儲器組； l 搜索窗口由左邊4個大塊和最右邊1個大塊組成。左起第1、2、3 大塊的數(shù)據(jù)與第4、5、6大塊的數(shù)據(jù)分別完全相同； l 每組只有0號存儲器存有28個有效數(shù)據(jù)，其它存儲器均只存儲了 16個有效

23、數(shù)據(jù)。 2021-7-331 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） 2021-7-332 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖7(b)中每組第0號存儲器存有32個有效數(shù)據(jù)，1號存儲器存有28 個有效數(shù)據(jù)，其余的2號、3號存儲器只存儲16個有效數(shù)據(jù)。 2021-7-333 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖8表示在不同工作模式下，如何控制搜索窗口內(nèi)的數(shù)據(jù)在存儲 器中移動。 2021-7-334 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 存儲組織：為了 方便表述，對存儲 器使用了不同的編 號方法，其相

24、互之 間的關(guān)系由表5所 示 。 對應(yīng)搜索窗口左半部（S1）對應(yīng)搜索窗口左半部（S2） DMA 傳送 數(shù)據(jù) 移動 對應(yīng)基 本模塊 DMA 傳送 數(shù)據(jù) 移動 對應(yīng)基 本模塊 00001000 21103110 42205220 63307330 84019401 1051111511 1262113621 1473115731 1680217802 1891219912 201022211022 221132231132 241203251203 261313271313 281423291423 301533311533 表5 各種情況下存儲器的編號方法 2021-7-335 5.8 5.8 存

25、儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l DMA控制：設(shè)想主控CPU采用DMA方式向本設(shè)計(jì)中的存儲器裝 載圖像數(shù)據(jù)（包括參考圖像數(shù)據(jù)和搜索區(qū)圖像數(shù)據(jù)）； l 主CPU把搜索窗口內(nèi)數(shù)據(jù)分為兩部分（在圖5、6、7中為用粗實(shí) 線分開的上下兩塊），并將對應(yīng)行、列的數(shù)據(jù)組裝成一個字，其中 前16行的數(shù)據(jù)位于字的高位，而16行以后的數(shù)據(jù)則位于字的低位； l 裝載順序按圖像塊從左至右、自上而下； l 在某些模式下，一個像素的數(shù)據(jù)可能要存儲在多個不同的存儲器 中。這時，我們將相關(guān)存儲器的“片選”信號通過多路開關(guān)連接在 一起，把相同的數(shù)據(jù)同時一次性地寫入到多個存儲器中。 2021-7-336 5.8 5.8 存儲組織與控制（續(xù)）存儲組織與控制（續(xù)） l 圖9為DMA傳送時的地址控制原理圖。圖中有3個可編程計(jì)數(shù)器，