最新3D動態(tài)人體模式識別技術(shù)研究

1、將品好文檔.推薦學(xué)習(xí)交涼3D動態(tài)人體模式識別技術(shù)研究3D動態(tài)人體模式識別技術(shù)研究1、項(xiàng)目來源及選題依據(jù)本項(xiàng)目為學(xué)生自選題目項(xiàng)目。木項(xiàng)目屬于計算機(jī)視覺學(xué)科的基礎(chǔ)研究，由本項(xiàng)目組獨(dú)立完成，旨在 研究運(yùn)動物體的模式識別技術(shù)。計算機(jī)視覺既是工程領(lǐng)域也是科學(xué)領(lǐng)域中的一個富有挑戰(zhàn)性的重要研 究方向。計算機(jī)視覺是一門綜合性的學(xué)科，它涉及計算機(jī)科學(xué)、信號 處理、物理學(xué)、應(yīng)用數(shù)學(xué)和統(tǒng)計學(xué)，神經(jīng)生理學(xué)和認(rèn)知科學(xué)等多個學(xué) 科領(lǐng)域，吸引了大批研究者投身其中。一些發(fā)達(dá)國家，如美國把對計 算機(jī)視覺的研究列為對經(jīng)濟(jì)和科學(xué)有廣泛影響的科學(xué)和工程中的重大 基木問題，即所謂的重大挑戰(zhàn)(grand challenge)。目前它在多

2、個工 程領(lǐng)域均有成功的應(yīng)用，是制造業(yè)、檢驗(yàn)、文檔分析、醫(yī)療診斷，和 軍事等領(lǐng)域中各種智能、自主系統(tǒng)中不可分割的一部分。模式識別就是當(dāng)把認(rèn)識對象能夠分類成幾個概念時，將被觀測的模式 與這些概念中的一類進(jìn)行對應(yīng)的處理。這種概念稱為類或者種類。為 實(shí)現(xiàn)模式識別的機(jī)械，首先必須考慮從識別對象測量(提取)出某種 特征量的方法。當(dāng)今信息化時代的快速發(fā)展對計算機(jī)視覺提出了越來越高的要求。三 維模型具有比二維圖像更豐富的信息，利用三維信息是實(shí)現(xiàn)目標(biāo)識別 的另一有效途徑?；谌S數(shù)據(jù)的識別方法，在計算機(jī)視覺領(lǐng)域已經(jīng) 被廣泛研究。有的研究考通過分析三維模型數(shù)據(jù)的分布特征，提出了 整體分離的方法，結(jié)合物體特點(diǎn)，實(shí)現(xiàn)

3、了各區(qū)域的準(zhǔn)確裁減。然而， 在某些識別問題中，信息的提取有時并不一定是在靜態(tài)條件下。因 此，三維動態(tài)識別技術(shù)也應(yīng)運(yùn)而生。動態(tài)識別是相對于靜態(tài)識別提出 的一個新概念，旨在對運(yùn)動物體進(jìn)行三維識別。由于運(yùn)動物體的特征 較靜態(tài)物體更難以捕捉，因而，動態(tài)識別技術(shù)的關(guān)鍵問題就是如何快 速準(zhǔn)確提取運(yùn)動物體的特征并構(gòu)造有效的識別方法，它對提取、重建 和識別算法的快速性和有效性提出了更高的要求。本課題在研究三維人體目標(biāo)的動態(tài)特征的基礎(chǔ)上，旨在建立一個三維 動態(tài)人體模式識別系統(tǒng)，它將完成對一個運(yùn)動的人體進(jìn)行有效識別的 功能。該系統(tǒng)可廣泛應(yīng)用于醫(yī)學(xué)、運(yùn)動員測量分析、軍事目標(biāo)判定、 計算機(jī)圖形學(xué)和計算機(jī)輔助設(shè)計中。另

4、外，該技術(shù)還有較大的推廣空 間，在這個技術(shù)基礎(chǔ)之上，改變被測物體后也可在諸如制造業(yè)和建筑 界等多個領(lǐng)域得到應(yīng)用，如三維機(jī)械系統(tǒng)動態(tài)識別及三維建筑動態(tài)識 別系統(tǒng)等。2、選題過程中已經(jīng)閱讀的文獻(xiàn)資料，以及各項(xiàng)準(zhǔn)備工作（如計算、實(shí) 驗(yàn)等）已完成知識儲備如下：數(shù)學(xué)：空間解析幾何及線性代數(shù)；復(fù)變函數(shù)；數(shù)學(xué)物理方程程序設(shè)計：C+； C#算法理論：計算機(jī)視覺完成第一輪學(xué)習(xí)這個階段里，項(xiàng)目組利用mat lab軟件進(jìn)行了人體輪廓提取的仿真 實(shí)驗(yàn)，初步實(shí)現(xiàn)了人體的輪廓提取功能。另外，針對運(yùn)動的視頻分析 部分，項(xiàng)目組已經(jīng)建立了一個合理的人體剛體模型，為人體運(yùn)動分析 奠定了良好的基礎(chǔ)。3、國內(nèi)外同類課題研究現(xiàn)狀運(yùn)動信

5、息處理始于上世紀(jì)70年代。那時，確定圖像上移動向量的分布（光流），即圖像間的映射關(guān)系是主要的研究課題。雖然在圖像間由 特征的對應(yīng)關(guān)系能夠獲得映射關(guān)系，但在對應(yīng)時需要伴隨著搜索和處 理的大量計算。因此，作為利用圖像間差分計算移動向量的方法，提 出時空梯度法。該方法是在運(yùn)動圖像編碼的研究中發(fā)現(xiàn)的，并由Horn 與Shunk等對其進(jìn)行了公式化。時空梯度法將移動向量進(jìn)行線性約 束，但只憑該約束并不能直接確定移動的向量，還需要其他的一些約 束。針對此又提出其他的各種約束辦法。人體是一個非剛體運(yùn)動模型。但在處理較大幅度的運(yùn)動時，人體往往 可以被近似為一個多節(jié)點(diǎn)的剛體模型。1979年，Ullinan等提出，

6、如果 假設(shè)所研究的対象是剛體，就能夠從圖像間的對應(yīng)關(guān)系恢復(fù)對象物體 的三維結(jié)構(gòu)和三維運(yùn)動。很長時間以來，針對人體的運(yùn)動分析都是建 立人體剛體模型進(jìn)行估計，具體說來就是通過安裝在人體關(guān)節(jié)處的光 點(diǎn)的運(yùn)動，對人體的結(jié)構(gòu)和運(yùn)動進(jìn)行估計。然而，由于人體結(jié)構(gòu)較為 復(fù)雜，即便采取自下而上的處理方法也是很困難的。因此，大多采用 預(yù)先假定人體模型知識的自下而上的處理方法，難點(diǎn)主要體現(xiàn)在下面 兩點(diǎn)：（1）不易提取有效的圖像測量特征；（2）人體的姿勢是一個 高維空間，基于全局搜索和匹配的方法計算量太大。近年來，研究者分別從人體模型、圖像特征以及搜索策略等角度討論 了基于視頻的三維人體運(yùn)動跟蹤問題。D M Gavr

7、ila與L S Davis等 人利用多個已定的攝像機(jī)對全身運(yùn)動進(jìn)行跟蹤。他們使用距離圖來匹 配模型與邊界特征，并采用分解搜索空間的方法進(jìn)行姿態(tài)估計。 Deutscher J, Blake, A, Reid I等人釆用例子濾波算法在多攝像機(jī)下實(shí) 現(xiàn)對人體三維運(yùn)動的跟蹤，并使用模擬退火算法來減少對粒子數(shù)目的 需求。C Bregler J Malik等人釆用類似Lucas&Kanade光流估計的 方法來跟蹤身體各個部分。C Sminchisescu與B Triggs提出使用 Covariance Scaled Sampling結(jié)合局部優(yōu)化的方法從單視頻中跟蹤人 體運(yùn)動。這些算法在可控環(huán)境下實(shí)

8、現(xiàn)了簡單的人體三維運(yùn)動的跟蹤。 但是它們存在的共有問題是：（1）假設(shè)簡單背景或者人穿著緊身衣；（2）無法實(shí)現(xiàn)自動初始化和自動從錯誤中恢復(fù)；（3）無法處理錯誤 累積以及光照變化等環(huán)境因素的影響；（4）計算復(fù)雜度較高。進(jìn)入20世紀(jì)90年代，有人提出了將時空梯度法和人體的機(jī)器人模型相 結(jié)合的動作估計法，以及通過模型的逐次匹配的人體姿勢估計法等一 系列方法，希望能夠?qū)⑵渥鳛樾碌倪\(yùn)動捕獲的人體運(yùn)動圖像分析技 術(shù)。對于動態(tài)圖像的分析以及最后識別運(yùn)動目標(biāo)，日前主要通過兩個途徑來 實(shí)現(xiàn)。一種途徑是模仿人眼成像及識別物體的機(jī)理，讓計算機(jī)從獲得 的二維連續(xù)圖像序列中提煉出運(yùn)動目標(biāo)，并從中重構(gòu)出三維物體的可 視部分

9、以達(dá)到識別物體的目的。雖然在這一方面的研究取得了一些進(jìn) 展，但是由于其它方面的研究滯后以及計算機(jī)的固有缺陷（例如，計算 機(jī)系統(tǒng)普遍地釆用二維邏輯，而人眼成像及識別物體不僅僅是二維 的），使得通過這一途徑完全還原及識別運(yùn)動目標(biāo)的研究進(jìn)展緩慢。另 一途徑是圖像法識別運(yùn)動目標(biāo)。圖像法識別運(yùn)動參數(shù)的基本原理是將 物體用成像頭（紅外或可見光等）攝入后形成的圖像信號序列送入計算 機(jī)，經(jīng)過對圖像的預(yù)處理、特征提取、目標(biāo)識別后，在連續(xù)圖像序列 中進(jìn)行特征點(diǎn)匹配，進(jìn)而解出目標(biāo)物體的運(yùn)動參數(shù)，實(shí)現(xiàn)對目標(biāo)物體 的搜索、識別和跟蹤。一旦完成對目標(biāo)及其運(yùn)動參數(shù)的識別，就可以 由伺服機(jī)構(gòu)完成下一步的決策和處理。圖像法識別

10、是從輸入圖像和目 標(biāo)物體兩個方面入手，通過對輸入圖像序列的處理，使其與目標(biāo)樣本 庫中的圖像進(jìn)行匹配，以達(dá)到識別目標(biāo)的目的。該方法也存在著缺 陷，比如，樣本庫可能非常大，不利于實(shí)時跟蹤和處理。4、詳細(xì)闡述所選課題的目的和意義計算機(jī)視覺主要的訣竅在于從圖像或圖像序列中獲取對世界的描述。 毫無疑問，這是很有使用價值的。攝取圖像通常不帶破壞性，是安全 的。它又是一件不費(fèi)力的事，現(xiàn)在的成木也不昂貴。用戶希望從圖像 中獲取的描述對不同的應(yīng)用可能性相差很大。例如，一種稱為從運(yùn)動 求取結(jié)構(gòu)的技術(shù)可以從圖像序列中獲取所見物體的描述以及攝像機(jī)的 運(yùn)動規(guī)律。娛樂產(chǎn)業(yè)中人們利用這種技術(shù)來構(gòu)造建筑物的三維模型， 此時人

11、們關(guān)注結(jié)構(gòu)而忽略運(yùn)動信息。這些模型可以應(yīng)用到實(shí)際建筑物 無法使用的場合，如火災(zāi)、爆炸等場合。只要利用數(shù)量很少的一組照 片就可以構(gòu)造出好的、簡單準(zhǔn)確的、令人信服的模型。而用這種技術(shù) 來控制移動機(jī)器人時，人們一般關(guān)注運(yùn)動，而將結(jié)構(gòu)舍棄。這是因 為，一般僅知道機(jī)器人工作的某些方面。而并不知道機(jī)器人在這個區(qū) 域的準(zhǔn)確位置。可以從固定在機(jī)器人上攝像機(jī)的運(yùn)動信息中確定機(jī)器 人的位置。計算機(jī)視覺還有許多其他方面的重要應(yīng)用，其中之一是醫(yī)學(xué)圖像的處 理與理解。人們可以設(shè)計軟件系統(tǒng)來增強(qiáng)圖像，或鑒別重要的現(xiàn)象或 事件，或通過成像獲得可視化信息。另一種應(yīng)用是：檢驗(yàn)人們對物體 拍攝的圖像，以便確定它們是否符合規(guī)定。第

12、三種應(yīng)用是衛(wèi)星圖像的 理解。這既可用于軍事目的，如編制程序來確定進(jìn)來有沒有與軍事有 關(guān)的現(xiàn)象在給定的地區(qū)內(nèi)發(fā)生，或估計轟炸所引起的損害，也可運(yùn)用 于民用的目的。第四個應(yīng)用是對收集的圖片加以組織與結(jié)構(gòu)化。和其他計算機(jī)視覺技術(shù)一樣，三維人體動態(tài)識別技術(shù)也廣泛用于制造 業(yè)、醫(yī)學(xué)工程、檢驗(yàn)、文檔等多個領(lǐng)域。另外，該項(xiàng)目中間生成的三 維重建模型可作為計算機(jī)圖形學(xué)三維人體模型二次開發(fā)素材，動態(tài)特 征捕捉也為3D圖像處理帶來方便，可以說帶來了一種新的三維動畫設(shè) 計手段。而在識別檢測領(lǐng)域，醫(yī)學(xué)三維識別系統(tǒng)可以看做這項(xiàng)技術(shù)在 這個領(lǐng)域中的推廣。最后還可以在加強(qiáng)快速捕捉檢測技術(shù)的情況下作 為電子警察系統(tǒng)中的交通肇

13、事檢測?？傊?，這個技術(shù)的研究具備廣泛 的前景，擁有很大的實(shí)用價值。5、根據(jù)選題所要完成的工作和預(yù)期成果及成果形式所要完成的論文工作：1、理論工作(1) 獲得攝像機(jī)內(nèi)外參數(shù)為獲得真實(shí)的三維場景與視頻序列的映射關(guān)系正確，必須首先求解出 攝像機(jī)的內(nèi)外參數(shù)，實(shí)現(xiàn)攝像機(jī)自定標(biāo)。另外，為提高準(zhǔn)確性，也利 用了真實(shí)場景中已存直線、平面的特殊的位置關(guān)系作為約束條件，估 計單應(yīng)性矩陣。(2) 人體檢測算法針對視頻圖像的噪聲和背景問題，經(jīng)過定標(biāo)的攝像機(jī)系統(tǒng)應(yīng)可以完成 對人體的檢測，通過背景差等方法抽出身體圖像，使用一個矩形框?qū)?其標(biāo)定。這個算法中應(yīng)該包含比例分割、部位確定和模型區(qū)域匹配功 能。(3) 運(yùn)動跟蹤算法

14、為定量把握人的動作，引入表示身體結(jié)構(gòu)與位置/姿勢的模型。對于從 圖像中所抽出的身體圖像，通過匹配身體結(jié)構(gòu)模型來決定位置與姿 勢。從連續(xù)圖像間的變化可以推斷位置/姿勢的變化。(4) 運(yùn)動識別算法作為動作的識別方法，可釆耿隱馬爾科夫模型和運(yùn)動動作進(jìn)行識別的 研究，同時也提出了對模式識別方法擴(kuò)展后得到的一些方法。然而， 由于運(yùn)動圖像的信息量大，對捕捉特征要求高，故多釆取跟蹤方法。 一般而言，對于線性系統(tǒng)，總能通過推理的方式實(shí)現(xiàn)運(yùn)動分析，例如 線性動態(tài)模型的卡爾曼濾波方法。2、系統(tǒng)實(shí)現(xiàn)（1）利用視頻實(shí)現(xiàn)人體檢測，在復(fù)雜背景中分離人體及人體區(qū)域 匹配（2）建立人體模型，本項(xiàng)目釆取多關(guān)節(jié)的剛體模型，配合蒙

15、皮骨 骼動畫實(shí)現(xiàn)運(yùn)動捕捉（3）以XNA和托管Direct 3D作為開發(fā)工具，實(shí)現(xiàn)運(yùn)動動畫計算 機(jī)模擬（4）運(yùn)用matlab進(jìn)行模式識別研究并在系統(tǒng)中實(shí)現(xiàn)模式識別功 能（5）實(shí)現(xiàn)遠(yuǎn)程控制云臺的碩件平臺及其軟件控制木課題最終成果如下：建立一個運(yùn)動識別系統(tǒng)，該系統(tǒng)可以對人體進(jìn)行跟蹤檢測，并有效識別待測人體項(xiàng)目完成后發(fā)表核心期刊水平以上論文一篇，內(nèi)容具體涉及本項(xiàng)目的 實(shí)施過程中遇到的各種問題及解決方案，以及項(xiàng)目的更進(jìn)一步的發(fā)展 展望和項(xiàng)目意義。同時，擬申請專利一項(xiàng)。6、擬釆用的研究方案和要解決的關(guān)鍵技術(shù)問題（一）項(xiàng)目內(nèi)容及具體方案（1）基本工作原理木系統(tǒng)總體思路為，首先通過雙目視覺系統(tǒng)釆集兩個二維視頻

16、流，在 經(jīng)過簡單預(yù)處理后，對優(yōu)化后的二維視頻流進(jìn)行特征判定。特征判定 后將這些特征數(shù)據(jù)對比與標(biāo)準(zhǔn)人體模型在系統(tǒng)中重建一個三維動態(tài)人 體模型，通過識別其預(yù)先存在與否決定輸出匹配信息或繼續(xù)學(xué)習(xí)，最 后完成整個系統(tǒng)功能。本系統(tǒng)工作框圖見下：（2）工作功能概述信息釆集系統(tǒng)：圖像方面，本項(xiàng)目釆用多點(diǎn)視覺系統(tǒng)，將一個三維實(shí) 體投影到多個攝像機(jī)當(dāng)中，后期處理為三維立體模型。另外，面對一 個新的待學(xué)習(xí)人體，還需輸入個人基本信息作為識別依據(jù)。預(yù)處理：將采集的二維圖像組或視頻流經(jīng)過噪聲消除、邊緣處理和歸 一化處理。這樣的二維視頻處理有助于篩選人體圖景，為后續(xù)操作做 好準(zhǔn)備三維標(biāo)準(zhǔn)人體模型：數(shù)據(jù)庫中按照成年男女分別

17、建立兩個標(biāo)準(zhǔn)人體模 型。該模型包含后續(xù)的靜態(tài)特征和動態(tài)特征。靜態(tài)特征：即個人外形輪廓、身高、體型等與個人當(dāng)前運(yùn)動狀態(tài)無關(guān) 的變量。這個特征的提取有動態(tài)釆集和靜態(tài)釆集兩種，分別對應(yīng)于視 頻或圖片輸入。動態(tài)特征：即一個人的姿勢特征。動態(tài)特征含義廣泛，本項(xiàng)目針對走 路、站立、坐姿三種基本姿勢分別建立三個動態(tài)特征標(biāo)準(zhǔn)動作姿勢 庫，判斷和識別時也僅僅針對這三個特征進(jìn)行匹配識別。靜態(tài)特征捕捉：本系統(tǒng)利用多攝像頭及其幾何位置恢復(fù)三維空間坐 標(biāo)。具體說來，三維空間中一個點(diǎn)會在每個攝像頭所在平面留下投 影，利用這些投影及相關(guān)數(shù)據(jù)可恢復(fù)空間坐標(biāo)信息，并重建三維靜態(tài) 僅供學(xué)習(xí)與交潦.如冇侵權(quán)請聯(lián)系網(wǎng)站刪除謝謝9將品

18、好文檔.推薦學(xué)習(xí)交涼曲面。這些曲面貼在標(biāo)準(zhǔn)人體模型中達(dá)到重建三維靜態(tài)人體模型目 的。動態(tài)特征捕捉：將人體按照關(guān)節(jié)劃分為多個多邊形區(qū)域，在攝像中跟 蹤每個區(qū)域的變化情況，去掉無關(guān)數(shù)據(jù)后作為這個人的動態(tài)特征并在 標(biāo)準(zhǔn)動態(tài)特征的基礎(chǔ)上修改相應(yīng)的值，最終獲得個人的動態(tài)特征捕 捉。三維重建：綜合兩個部分的三維模型特征，系統(tǒng)將實(shí)現(xiàn)一個人的完整三維重建，這樣的三維模型包括一個人的外形特征、走路常見姿態(tài)、 站姿和坐姿的常見形態(tài)。完成后這些數(shù)據(jù)存入緩存?zhèn)溆?。?shù)據(jù)管理：木項(xiàng)目需要對個人靜態(tài)特征、動態(tài)特征和基木信息進(jìn)行有 效管理，建立支持動態(tài)三維模型的存儲、查找、調(diào)用、修改等操作的 數(shù)據(jù)庫。匹配識別：將待測物體重建完畢后，搜索三維模型庫，找到可匹配的 模型后返回此人個人基本信息，如姓名等。若找不到匹配目標(biāo)，則可 確定此人未被預(yù)先學(xué)習(xí)過，要求輸入個人信息后存入數(shù)據(jù)庫中。(二)技術(shù)路線(1)身體圖像的抽取由于在差分圖像里除人體輪廓外還有因噪聲二產(chǎn)生的各種區(qū)域， 需要區(qū)分。小的噪聲可以通過預(yù)先對圖像實(shí)施平滑處理，對差分圖像 反復(fù)實(shí)施縮小與擴(kuò)大來消除，通過以上操作來抽出身體圖像。之后， 從中找出頭與手腳等的身體各部位。這里，直接利用皮膚顏色找到臉 和手的位置。在身體站立時，直接利用比例關(guān)系確定各部位位置。（2）身