【ch07】鉸鏈運(yùn)動(dòng)分析及人體姿態(tài)估計(jì)

鉸鏈運(yùn)動(dòng)分析及人體姿態(tài)估計(jì)工業(yè)和信息化部“十二五”規(guī)劃教材計(jì)算機(jī)視覺第七章01人體模型及觀測似然函數(shù)人體模型由10個(gè)主要部分組成，且包含15個(gè)關(guān)節(jié)點(diǎn)，但不同的是本章所采用的模型是三維模型，每個(gè)肢體都用一個(gè)圓臺(tái)來近似。本章所采用的姿態(tài)參數(shù)是15個(gè)關(guān)節(jié)點(diǎn)的三維坐標(biāo)，這樣選擇的優(yōu)點(diǎn)是關(guān)節(jié)點(diǎn)的位置坐標(biāo)比起用于描述肢體姿態(tài)的平移加旋轉(zhuǎn)方式更加直觀。人體模型人體模型及觀測似然函數(shù)圖7.1人體模型。人體模型及觀測似然函數(shù)同時(shí)對(duì)于不同的算法，均可以用統(tǒng)一的方式通過比較關(guān)節(jié)點(diǎn)估計(jì)值與真實(shí)值之間的距離來衡量誤差。但缺點(diǎn)是在通過自由的選擇關(guān)節(jié)點(diǎn)坐標(biāo)來尋找姿態(tài)參數(shù)的過程中，得到的肢體參數(shù)是通過其兩端的關(guān)節(jié)點(diǎn)來確定的。人體模型及觀測似然函數(shù)這意味著：第一，肢體的自旋轉(zhuǎn)是無法通過兩個(gè)肢體端點(diǎn)確定的，但由于模型中選擇的基于圓臺(tái)的表示是選擇對(duì)稱的，因此對(duì)于該模型來說沒有影響；第二，肢體的長度會(huì)在搜索過程中發(fā)生改變。人體模型及觀測似然函數(shù)觀測似然函數(shù)本章在對(duì)模擬退火的粒子濾波算法和非參數(shù)置信傳播算法兩種算法進(jìn)行實(shí)驗(yàn)時(shí)，采用同樣的觀測似然函數(shù)，它們基于圖像邊緣信息和人體外輪廓，主要做法參考相關(guān)文獻(xiàn)，在此處進(jìn)行簡要介紹。人體模型及觀測似然函數(shù)02模擬退火的粒子濾波算法粒子濾波算法模擬退火的粒子濾波算法粒子濾波（ParticleFilter）算法的思想是基于MonteCarlo方法，它是利用粒子集來表示概率，可以用在任何形式的狀態(tài)空間模型中。其核心思想是通過從后驗(yàn)概率中抽取的隨機(jī)狀態(tài)粒子來表示其分布，它是一種順序重要性采樣法（SequentialImportanceSampling）。簡單來說，粒子濾波算法是指通過尋找一組在狀態(tài)空間傳播的隨機(jī)樣本對(duì)概率密度函數(shù)近似，以樣本均值代替積分運(yùn)算，從而獲得狀態(tài)最小方差分布的過程。這里的樣本就是粒子，當(dāng)樣本數(shù)量趨于無窮大時(shí)，可以逼近任何形式的概率密度函數(shù)。模擬退火的粒子濾波算法在計(jì)算機(jī)視覺中，粒子濾波常用于跟蹤問題。因?yàn)閷?duì)于計(jì)算機(jī)視覺問題的模型復(fù)雜性及圖像噪聲千擾，使得其概率分布難以用高斯模型近似，而粒子濾波作為一種非參數(shù)估計(jì)方法適合解決該類問題。模擬退火的粒子濾波算法以上兩個(gè)步驟如圖7.2所示。模擬退火的粒子濾波算法模擬退火算法模擬退火算法的主要目的是避免采樣過程陷入局部極小。在進(jìn)行粒子濾波時(shí)，若初始粒子生成在一個(gè)位于局部極小的錯(cuò)誤解附近，則在后面的迭代中，粒子傾向于始終停留在該局部極小值附近。模擬退火的粒子濾波算法在采用模擬退火算法后，給參數(shù)λ設(shè)定一個(gè)較小的值（在物理學(xué)中，該值為溫度的倒數(shù)，也就是給定一個(gè)較高的起始溫度）。這使得原本陡峭的極小值點(diǎn)變得平滑，便于粒子生成在更廣泛的狀態(tài)空間內(nèi)，同時(shí)能夠探索更多可能的解。模擬退火的粒子濾波算法然后再不斷地增大λ并重復(fù)采樣過程，排除概率較小的局部極小值，直到結(jié)果收斂于全局最優(yōu)解。在退火過程中選取的一系列參數(shù)λ=λμ，…，λ需要同時(shí)兼顧速度性和可靠性。退火參數(shù)增大的速度越慢，結(jié)果收斂至全局最優(yōu)的可能性越大，但也需要更加繁重的計(jì)算量。模擬退火的粒子濾波算法從圖7.3中可以看到，初始的退火目標(biāo)函數(shù)乃是對(duì)原目標(biāo)函數(shù)進(jìn)行了相當(dāng)程度平滑后的形狀，這使得粒子能夠在更廣闊的范圍內(nèi)采樣，從而避免其陷入局部極小。模擬退火的粒子濾波算法模擬退火的粒子濾波03非參數(shù)置信傳播算法非參數(shù)置信傳播算法是一種解決圖模型統(tǒng)計(jì)推斷問題的算法，直到近幾年，該算法才被引入姿態(tài)估計(jì)和跟蹤問題中。非參數(shù)置信傳播算法將離散情況的置信傳播算法擴(kuò)展至連續(xù)變量空間，其主要思想是利用粒子群非參數(shù)化表示算法中的消息和置信度。非參數(shù)置信傳播算法在離散空間中，當(dāng)狀態(tài)的可能取值數(shù)為L時(shí)，b為一個(gè)L維的矢量。其中，每個(gè)維度值都代表該節(jié)點(diǎn)位于相應(yīng)值的后驗(yàn)概率。當(dāng)問題轉(zhuǎn)化到連續(xù)空間時(shí)，b是由概率變?yōu)樵撨B續(xù)空間的一個(gè)概率密度函數(shù)，同理m也是。非參數(shù)置信傳播算法粒子可以直接通過概率采樣或重要性采樣得到，然后用其計(jì)算在該分布上的期望值，如均值或高次均值等。在確定了每個(gè)節(jié)點(diǎn)上的粒子集合S”后，可以通過吉布斯采樣生成符合圖模型上聯(lián)合分布的樣本。非參數(shù)置信傳播算法04人體運(yùn)動(dòng)估計(jì)在原理上，模擬退火的濾波粒子算法與非參數(shù)置信傳播算法的差異如圖7.4所示。人體運(yùn)動(dòng)估計(jì)對(duì)于模擬退火的濾波粒子算法，其姿態(tài)作為一個(gè)整體在時(shí)間軸上為一個(gè)馬爾可夫鏈，即第k幀的姿態(tài)依賴于第k-1幀的姿態(tài)。而對(duì)于非參數(shù)置信傳播算法，每個(gè)部位姿態(tài)在時(shí)間上都依賴于上一幀的姿態(tài)，在空間上與其他相鄰部位有關(guān)。而為了更加深入地探索和驗(yàn)證兩種算法的差異，則需從實(shí)驗(yàn)結(jié)果中觀察。人體運(yùn)動(dòng)估計(jì)在過去的20年中，許多提出的算法都是為了更好地解決人體姿態(tài)估計(jì)及跟蹤問題。在這些算法中，對(duì)于連接體的圖模型表示帶動(dòng)了一系列的研究工作。該模型中各個(gè)肢體部分通過特定的構(gòu)想排列在一起，每個(gè)部分的觀察函數(shù)都通過一個(gè)圖片表示，而部分間的連接函數(shù)通過類似彈簧的勢能函數(shù)表示。人體運(yùn)動(dòng)估計(jì)該算法的獨(dú)到之處在于認(rèn)為當(dāng)人體的主要部位（如頭部、軀干和四肢）投影到圖像上時(shí)，均可以用矩形近似，如圖7.5所示。人體運(yùn)動(dòng)估計(jì)除非參數(shù)置信傳播算法外，同樣存在其他算法求解人體姿態(tài)。如Fischler和Elschlager通過圖模型在訓(xùn)練數(shù)據(jù)中學(xué)習(xí)外觀參數(shù)和空間關(guān)系參數(shù)，然后利用廣義距離變換作為有效估計(jì)最大后驗(yàn)概率的算法。值得一提的是，以上提到的這些算法均利用了訓(xùn)練數(shù)據(jù)或通過手工標(biāo)定給出外觀函數(shù)，而本章所用的外觀函數(shù)僅與邊緣和外輪廓相關(guān)，因此更加具有通用性。人體運(yùn)動(dòng)估計(jì)條件隨機(jī)場（ConditionalRandomFields，CRF）最早由Lafferty等人于2001年提出，其模型思想的主要來源是最大熵模型，解決模型的三個(gè)基本問題用到了HMMS 模型中提到的方法，如Forward-Backward方法和Viterbi方法，而其參數(shù)訓(xùn)練部分有所不同。條件隨機(jī)場理論人體運(yùn)動(dòng)估計(jì)我們可以把條件隨機(jī)場看成一個(gè)無向圖模型或馬爾可夫隨機(jī)場，它是一種用來標(biāo)記和切分序列化數(shù)據(jù)的統(tǒng)計(jì)模型。該模型是在給定需要標(biāo)記的觀察序列的條件下，計(jì)算整個(gè)標(biāo)記序列的聯(lián)合概率，而不是在給定當(dāng)前狀態(tài)條件下，定義下一個(gè)狀態(tài)的分布。人體運(yùn)動(dòng)估計(jì)下面給出一個(gè)例子來說明最大團(tuán)的劃分，如圖7.6所示。人體運(yùn)動(dòng)估計(jì)從理論上講，無向圖G的結(jié)構(gòu)可以是任意的，然而在構(gòu)造模型時(shí)，條件隨機(jī)場采用了最簡單和最重要的一階鏈?zhǔn)浇Y(jié)構(gòu)，如圖7.7所示。人體運(yùn)動(dòng)估計(jì)人體與外觀模型如圖7.1（b）所示，本章所采用的簡化人體模型共包含10個(gè)肢體部位。每個(gè)肢體的姿態(tài)都是圖模型中節(jié)點(diǎn)的隱狀態(tài)。在這個(gè)圖模型中存在著兩種邊緣關(guān)聯(lián)，分別代表時(shí)間上的關(guān)聯(lián)和空間上的關(guān)聯(lián)?？臻g上的關(guān)聯(lián)所表示的是相連肢體在物理上的連接約束，而時(shí)間上的關(guān)聯(lián)是指對(duì)于連續(xù)兩幀來說，同一肢體的位置不會(huì)發(fā)生大的變化。人體運(yùn)動(dòng)估計(jì)圖7.8是檢測出來的人體姿態(tài)的不同關(guān)節(jié)位置示意圖。人體運(yùn)動(dòng)估計(jì)05本章小結(jié)目標(biāo)跟蹤算法屬于目前計(jì)算機(jī)視覺中的研究熱點(diǎn)，各種不同的數(shù)據(jù)集層出不窮。公開的數(shù)據(jù)集如OTB50，OTB100，VOT系列數(shù)據(jù)和UAV數(shù)據(jù)，再加上近期深度學(xué)習(xí)在視覺領(lǐng)域的成功應(yīng)用，使得算法在數(shù)據(jù)集上的性能快速提升。本章小結(jié)一是自上而下的方法，即先對(duì)各個(gè)人體進(jìn)行檢測，再對(duì)每個(gè)個(gè)體進(jìn)行姿態(tài)估計(jì)，也就是說自上而下的多人體姿態(tài)估計(jì)分為個(gè)體檢測及單人姿態(tài)估計(jì)（單人人體關(guān)鍵點(diǎn)檢測）兩部分；二是自下而上的方法，即先對(duì)圖片整體進(jìn)行關(guān)鍵點(diǎn)檢測，再將識(shí)別出的關(guān)鍵點(diǎn)根據(jù)熱力圖、點(diǎn)與點(diǎn)之間連接的概率和圖論知識(shí)，基于PAF（部分親和字段）將關(guān)鍵點(diǎn)連接起來進(jìn)行聚類，即將各關(guān)鍵點(diǎn)分類形成不同個(gè)體。本章小結(jié)目前自上而下方法的代表性算法有G-RMI，CFN，RMPE，MaskR-CNN和CPN，而對(duì)關(guān)鍵點(diǎn)之間的關(guān)系進(jìn)行建模的代表性算法有PAF，AssociativeEmbedding，PartSegmentation和Mid-RangeOffsets，總體而言自上而下方法的效果優(yōu)于自下而上方法，即自上而下方法的各個(gè)算法在MSCOCO數(shù)據(jù)集上運(yùn)行出現(xiàn)最好效果的概率是72.6%，而自下而上方法在MSCOCO數(shù)據(jù)集上運(yùn)行出現(xiàn)最好效果的概率是68.7%。本章小結(jié)并且