基于AI的虛擬主播設(shè)計 課件 第8章

基于AI的虛擬主播設(shè)計第8章AI虛擬主播的動作實現(xiàn)基于單目攝像頭的動作實現(xiàn)基于動作捕捉設(shè)備的動作實現(xiàn)動作捕捉技術(shù)目錄/說課流程TeachingProcess8.18.28.3動作捕捉技術(shù)8.1動作捕捉技術(shù)結(jié)構(gòu)目錄8.1.1什么是動作捕捉技術(shù)本章將從動作捕捉是什么、有哪些類型、目前流行的動作捕捉方案以及動作捕捉技術(shù)的應(yīng)用向讀者全方位介紹動作捕捉技術(shù)，以便讀者可以更好地了解與學(xué)習(xí)。8.1.28.1.38.1.4動作捕捉技術(shù)的分類動作捕捉方案介紹動作捕捉技術(shù)的應(yīng)用8.1.1什么是動作捕捉技術(shù)動作捕捉是利用外部設(shè)別對真實世界中人或者其他物體的姿態(tài)或是運動軌跡變化進(jìn)行準(zhǔn)確的測量、捕捉以及記錄的技術(shù)，并且將所記錄的運動軌跡數(shù)據(jù)進(jìn)行處理后，可重新在虛擬化的三維空間中進(jìn)行新的動作軌跡賦予。簡單來說，動作捕捉技術(shù)就是一種用來記錄動作，并將其轉(zhuǎn)化為數(shù)字模式的技術(shù)。該技術(shù)所包含的內(nèi)容涉及真實空間中的物體定位、方向測定、尺寸測量等，以此更精準(zhǔn)地獲取人或物體的運動軌跡，以便在計算機(jī)中進(jìn)行數(shù)字化處理。當(dāng)然，該技術(shù)的實現(xiàn)也少不了相應(yīng)的傳感器設(shè)備，也就是我們常說的動作捕捉設(shè)備。將傳感器固定在人或物體的關(guān)鍵動作捕捉部位上，以此實現(xiàn)運動軌跡數(shù)據(jù)的過程記錄。而后，通過計算機(jī)對記錄的運動軌跡記錄進(jìn)行處理，完成在虛擬三維空間中的模型動作實現(xiàn)。應(yīng)用動作捕捉技術(shù)對采集的人或物體運動數(shù)據(jù)進(jìn)行記錄和還原的方式，我們稱之為運動捕捉系統(tǒng)。運動捕捉系統(tǒng)通常由硬件和軟件兩部分組成。硬件設(shè)備包括傳感器設(shè)備、信號捕捉設(shè)備、數(shù)據(jù)傳輸設(shè)備等；軟件設(shè)備則包括空間標(biāo)定、動作捕捉、數(shù)據(jù)處理以及3D模型映射模塊等功能模塊。動作捕捉是一個較為寬泛的概念，它不僅不限定捕捉的對象，比如人、物體，而且還可以對其他生物或是人體的局部信息進(jìn)行捕捉，就比如我們在第四章技術(shù)篇所提到的人物面部表情捕捉，還有對人體手指動作的運動捕捉。8.1.1什么是動作捕捉技術(shù)8.1.2動作捕捉技術(shù)的分類自20世紀(jì)70年代動作捕捉技術(shù)誕生以來，不斷發(fā)展的科學(xué)技術(shù)，促進(jìn)其發(fā)展逐漸成熟，從最初的機(jī)械式、聲學(xué)式、電磁式，逐步發(fā)展出當(dāng)前主流的光學(xué)式、慣性式、視覺式，詳細(xì)分類如圖所示。123機(jī)械式動作捕捉技術(shù)作為最早出現(xiàn)的動作捕捉技術(shù)，它依靠機(jī)械裝置實現(xiàn)物體運動軌跡的跟蹤與測量。機(jī)械式動作捕捉設(shè)備由多個關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動的關(guān)節(jié)中裝有點位計或者角度傳感器，以此獲得人體各部位的運動量，實現(xiàn)對人體的運動捕捉。機(jī)械式動作捕捉設(shè)備被稱為“可調(diào)節(jié)姿態(tài)的數(shù)學(xué)模型”，這是因為使用者可以根據(jù)需要調(diào)節(jié)裝置并鎖定，因此裝置可以模擬人體姿態(tài)，也可以對其他動物或物體進(jìn)行模仿。機(jī)械式運動捕捉設(shè)備的實現(xiàn)原理是什么呢？以人體為例，在人體驅(qū)動裝置運動時，系統(tǒng)可以根據(jù)裝置中可轉(zhuǎn)動關(guān)節(jié)的角傳感器進(jìn)行角度變化的測量，結(jié)合剛性連桿長度，就可以得出桿件末端點在三維空間中的位置和運動軌跡。實際上，裝置上任何一點的運動軌跡都可以由此進(jìn)行求解；而裝置中的剛性連桿也可以換成可變化長度的伸縮桿，置換后的伸縮桿也可以通過位移傳感器測量其變化的長度。機(jī)械式運動捕捉具有成本低廉，捕捉范圍大，可以進(jìn)行實時數(shù)據(jù)測量，數(shù)據(jù)的捕捉相對簡單，并且可以對多個演員進(jìn)行同時捕捉等優(yōu)勢。但也存在硬件笨重，使用不方便，設(shè)備對人體運動有一定限制，且較難用于連續(xù)動作的實時捕捉等缺陷。機(jī)械式動作捕捉技術(shù)機(jī)械式動作捕捉技術(shù)12聲學(xué)式動作捕捉裝置由發(fā)生器、接受器和處理單元組成。發(fā)送器是一個固定的超聲波發(fā)生器，接受器一般由呈三角排列的三個超聲探頭組成。動作捕捉實現(xiàn)是通過測量聲波從發(fā)生器到接收器的時間差或者相位差，以此確定接收器的位置和方向并進(jìn)行計算。此類裝置的成本較低，但對于運動的捕捉有較大延遲和滯后性，且實時性較差，精度較低。裝置使用時，聲源發(fā)生器與接收器之間不能有大的遮擋物體，且噪聲和多次反射等因素對設(shè)備干擾性較大。由于聲波在空氣中的傳播速度與氣壓、濕度、溫度有關(guān)，因此在算法設(shè)計中，需要此進(jìn)行相應(yīng)的補償計算。聲學(xué)式動作捕捉技術(shù)123電磁式動作捕捉設(shè)備一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成，傳輸方式分為有線傳輸與無線傳輸。發(fā)射源為按照一定的時空規(guī)律分布的電磁場，接收傳感器置于人體的關(guān)鍵位置，數(shù)量通常為10至20個之間，并隨著電磁場中的人體運動，通過有線或無線的方式與數(shù)據(jù)處理單元相連。因為每個傳感器使用不同的頻率進(jìn)行數(shù)據(jù)傳輸，所以不存在無法分辨?zhèn)鞲衅鞯膯栴}。電磁式運動捕捉技術(shù)的優(yōu)勢在于其記錄信息為六維信息，不僅可以獲得空間位置，而且能得到相應(yīng)的方向信息，這一優(yōu)勢對于一些特定場景有較高的應(yīng)用價值。其次是傳輸速度快、實時性好。最后是操作較為簡便，技術(shù)較成熟，且成本相對低廉。但它的缺點是對于環(huán)境要求十分嚴(yán)格，在使用場地附近不能有任何金屬物品，否則會造成電磁場的畸變，從而影響測量的精度。電磁式運動捕捉的無線傳輸方式與聲學(xué)式動作捕捉的介質(zhì)傳輸過程相同，都會受到環(huán)境的干擾；而電磁式運動捕捉的有線傳輸方式，應(yīng)用電纜進(jìn)行數(shù)據(jù)信息傳輸，則會限制人體的活動范圍，并且不適用于復(fù)雜的人體運動進(jìn)行動作捕捉。電磁式動作捕捉技術(shù)光學(xué)式動作捕捉技術(shù)光學(xué)式動作捕捉通過對目標(biāo)人體上所附著的特定光點（Marker點）的監(jiān)視和跟蹤來完成人體運動捕捉的任務(wù)。目前常見的光學(xué)式動作捕捉大多基于計算機(jī)視覺原理。光學(xué)式動作捕捉技術(shù)實現(xiàn)需要在使用者身體粘貼Marker點，通過調(diào)整鏡頭參數(shù)，使鏡頭屏蔽服飾、皮膚等無關(guān)因素，只進(jìn)行Marker點的捕捉。對于空間中的一個Marker點，只要它能同時被兩部相機(jī)所捕捉，則根據(jù)同一時刻兩部相機(jī)所拍攝的圖像和相機(jī)參數(shù)，就可以確定該點在這一時刻空間中的位置，從而實現(xiàn)三維空間的坐標(biāo)重建。如果想還原姿態(tài)，則需要保證至少有三個不在同一平面的Marker點能夠被相機(jī)鏡頭所捕捉和還原。而當(dāng)相機(jī)以足夠高的速率進(jìn)行連續(xù)拍攝時，通過解析圖像序列就可以得到該Marker點的運動軌跡，從而實現(xiàn)運動捕捉。12被動式光學(xué)動作捕捉系統(tǒng)，也稱反射式光學(xué)動作捕捉系統(tǒng)，其Marker點通常是一種高亮反射式反光球，粘貼于人體各主要關(guān)節(jié)部位，由動作捕捉相機(jī)上發(fā)出的LED紅外光，經(jīng)反光球反射至動作捕捉相機(jī)中，從而實現(xiàn)Marker點的檢測與空間定位。其優(yōu)點是技術(shù)成熟穩(wěn)定，采樣率高、動作捕捉準(zhǔn)確，表演和使用靈活快捷，空間定位精度誤差小于亞毫米級別，識別輸入延遲低于2.9-5毫秒以下；并且無運動方式限制，可以在不依靠更多外接設(shè)備的前提下，僅靠增加Marker點數(shù)量而讓捕捉需求靈活化。為解決被動式光學(xué)捕捉系統(tǒng)Marker點的遮擋問題，主動式光學(xué)動作捕捉系統(tǒng)中的Marker點由主動發(fā)射光線的LED（發(fā)光二極管）組成。主動發(fā)光的Marker點可直接將光線發(fā)送到攝影機(jī)，實現(xiàn)Marker點的檢測與空間定位。其主要優(yōu)點是采用高亮LED發(fā)光設(shè)備，LED受脈沖信號控制明暗，以此對LED進(jìn)行時域編碼識別，識別效果好，有較高的跟蹤準(zhǔn)確率；減少光線路線距離，從而擴(kuò)大動作的捕捉范圍；以及系統(tǒng)的剛體結(jié)構(gòu)不容易損壞，耐用性強。但LED剛體需要進(jìn)行持續(xù)充電，并且在運動復(fù)雜時，不同部位的Marker可能會出現(xiàn)混淆，而產(chǎn)生錯誤，因此不適用于一些需要超高幀率的高速運動捕捉、大范圍覆蓋的環(huán)境中。光學(xué)式動作捕捉技術(shù)12慣性動作捕捉系統(tǒng)由姿態(tài)傳感器、信號發(fā)生器、接收器和數(shù)據(jù)處理軟件組成。姿態(tài)傳感器中集成慣性傳感器、重力傳感器、加速度計、磁感應(yīng)計、微陀螺儀等相關(guān)儀器設(shè)備，以此獲得人體相應(yīng)部位的姿態(tài)信息。該裝置的使用原理是通過固定于人體各主要肢體的相應(yīng)部位的姿態(tài)傳感器，在使用者穿戴好設(shè)備進(jìn)行運動時，可以獲得其對應(yīng)骨骼的加速度、角速度等原始信息，應(yīng)用傳感器融合算法處理得到與人體生物力學(xué)模型一致的骨骼位置和姿態(tài)；將所獲取的融合姿態(tài)信號使用藍(lán)牙等無線傳輸設(shè)備傳送至數(shù)據(jù)處理系統(tǒng)中，結(jié)合骨骼的長度信息和骨骼層級連接關(guān)系，進(jìn)行運動解算，計算出各關(guān)節(jié)點的空間位置信息。其主要優(yōu)勢為精度較高，操作方便，便于攜帶，可以滿足多人同時捕捉的需求，且不會被干擾，應(yīng)用較為廣泛。但也存在著一些不足：裝置中的磁力計使用，對捕捉范圍內(nèi)的磁場環(huán)境有較高要求；由傳感器融合算法所得到的人體位移具有一定的漂移誤差；除此之外，裝置中融合了較多傳感器設(shè)備，會對使用者自身的質(zhì)量等特性產(chǎn)生影響。慣性式動作捕捉技術(shù)12視覺式動作捕捉技術(shù)是通過彩色或者深度攝像頭對使用者的運動軌跡進(jìn)行圖像拍攝，無需使用者在身上穿戴任何設(shè)備，通過提取人物輪廓以及人體骨架，即可實現(xiàn)人體運動的動作捕捉。視覺式動作捕捉最大的優(yōu)勢就是對使用者的無干涉性，無需使用者進(jìn)行任何相應(yīng)的配合，只需在攝像頭前進(jìn)行自己的運動即可。其缺點包括應(yīng)用算法復(fù)雜性高、對位置姿勢還原性較低、并且在攝像頭與捕捉對象之間不能有任何障礙物進(jìn)行遮擋。視覺式動作捕捉技術(shù)ABC光學(xué)動作捕捉方案慣性動作捕捉方案基于計算機(jī)視覺的動作捕捉方案8.1.3動作捕捉方案介紹通過上一小節(jié)的介紹，相信大家對動作捕捉技術(shù)有了系統(tǒng)的認(rèn)知，本小節(jié)主要進(jìn)行目前主流的動作捕捉方案介紹。光學(xué)動作捕捉方案光學(xué)動作捕捉通過在演員身上粘貼能夠反射紅外光的Marker點，攝像機(jī)通過反光來捕捉這些Marker點的位置變換，從而完成對演員的動作捕捉。光學(xué)動作捕捉系統(tǒng)因為其高精度，常作為位姿還原的“黃金標(biāo)準(zhǔn)”，但在實際使用時，需要對捕捉范圍內(nèi)的遮擋物、反光物進(jìn)行清理，因此常用于室內(nèi)場景下的單人捕捉。目前，光學(xué)動作捕捉方案可以通過較高幀率的捕捉，實現(xiàn)毫米級的誤差精度，完成對人物動作最為精細(xì)的還原。但這類動作捕捉方案對環(huán)境背景要求較高，同時對技術(shù)的要求也很高，不過限制其推廣的更大因素還是高昂的價格，目前光學(xué)動作捕捉系統(tǒng)除用于實驗室內(nèi)的體姿校準(zhǔn)外，在工業(yè)領(lǐng)域主要用于電影制作。光學(xué)動作捕捉的開發(fā)廠商包括Optitrack、Vicon、度量公司等。慣性動作捕捉方案慣性動作捕捉主要基于慣性測量單元（InertialMeasurementUnit，IMU）實現(xiàn)對人體動作的捕捉，即把集成了加速度計、陀螺儀和磁力計的IMU綁在人體的特定骨骼節(jié)點上，通過算法對測量數(shù)值進(jìn)行計算，從而完成人體的動作捕捉。這類慣性動作捕捉方案價格相對低廉且精度較低，會隨著使用時間的增加而產(chǎn)生累積誤差，從而發(fā)生位置漂移。并且這類捕捉方案的實現(xiàn)需要大量復(fù)雜的硬件設(shè)備和嚴(yán)格的影棚環(huán)境。采用該技術(shù)進(jìn)行動作捕捉系統(tǒng)開發(fā)的廠商主要是美國的3Dsuit、荷蘭的Xsens和中國的諾亦騰。基于計算機(jī)視覺的動作捕捉方案基于計算機(jī)視覺的動作捕捉方案是通過采集人體運動信息并計算深度信息來完成對人體動作的捕捉，是近年來興起的技術(shù)。此類方案因其簡單、易用、低價，已成為目前應(yīng)用較為廣泛、且使用頻率較高的動作捕捉方案。12該方案通過Track設(shè)備與IK算法相結(jié)合，可對模擬出人物的動作姿態(tài)。這種動作捕捉方案在一些消費級的產(chǎn)品上運用較多，在動作捕捉方案中，可以實現(xiàn)搭建屬于自己的動作捕捉設(shè)備方案，因此頗受硬核技術(shù)流玩家們的喜愛該方案通過借助設(shè)備自帶的攝像頭，如iPhone手機(jī)中搭載的深感攝像頭，可以實現(xiàn)人物的面部捕捉功能，并且通過深度學(xué)習(xí)，訓(xùn)練相關(guān)算法，增加其深度信息，實現(xiàn)2D圖像到3D圖像的轉(zhuǎn)換，該方案的應(yīng)用可以讓使用者擁有一個活靈活現(xiàn)的虛擬形象。此類方案對人體動作捕捉的實現(xiàn)，大部分依靠軟件層的相關(guān)算法，對硬件的性能要求較低，以此具有較為廣泛的應(yīng)用空間。該方案中所使用的的代表性設(shè)備有Leap公司所生產(chǎn)的LeapMotion體感控制器、Microsoft所生產(chǎn)的Kinect深度攝像頭以及Intel所生產(chǎn)的Realsense深度攝像頭。基于計算機(jī)視覺的動作捕捉方案Track設(shè)備+IK算法的動作捕捉方案以人工智能為核心的動作捕捉方案8.1.4動作捕捉技術(shù)的應(yīng)用應(yīng)用動作捕捉技術(shù)所采集到的信息可以廣泛應(yīng)用于電影制作、游戲、虛擬現(xiàn)實開發(fā)、人體工程學(xué)研究、模擬訓(xùn)練、生物力學(xué)等諸多領(lǐng)域，因此這項技術(shù)擁有比較廣泛的市場前景和價值。本小節(jié)主要介紹動作捕捉技術(shù)在影視領(lǐng)域的應(yīng)用。在數(shù)字時代，動作捕捉技術(shù)的出現(xiàn)為電影制作開辟了創(chuàng)作新模式。動作捕捉技術(shù)被廣泛應(yīng)用于數(shù)字電影特效和3D影片制作中。目前常用的技術(shù)為光學(xué)式動作捕捉技術(shù)。實現(xiàn)將表演者的表情、動作、手勢等復(fù)現(xiàn)與電影角色身上，完美實現(xiàn)真人表演的復(fù)制，完成表演從實物化到數(shù)字化的轉(zhuǎn)變。動作捕捉技術(shù)的加入，將電影領(lǐng)域的發(fā)展推向新的維度?；趧幼鞑蹲皆O(shè)備的動作實現(xiàn)8.28.2.1技術(shù)路線概述8.2.2基于動作捕捉設(shè)備的動作實現(xiàn)8.2章節(jié)目錄模型設(shè)計作為動作實現(xiàn)的基礎(chǔ)，首先進(jìn)行人臉建模，獲得三維人臉模型，而后在DAZstudio中進(jìn)行模型真人化人臉形變模型導(dǎo)入與面部貼圖，實現(xiàn)真人版3D模型的開發(fā)。動作捕捉設(shè)備的應(yīng)用是關(guān)鍵，進(jìn)行AI虛擬主播的動作實現(xiàn)，通過使用者穿戴相應(yīng)動作捕捉設(shè)備，對使用者的動作信息進(jìn)行捕捉，轉(zhuǎn)化為動作數(shù)據(jù)傳輸，應(yīng)用動作捕捉系統(tǒng)進(jìn)行相關(guān)數(shù)據(jù)處理，這樣就可以得到一個完整的動作過程。使用Maya軟件進(jìn)行融合是對3D真人模型與動作數(shù)據(jù)的整合操作，導(dǎo)入操作與口型動畫相似，在Maya中載入3D真人模型，導(dǎo)入處理好的運動數(shù)據(jù)，進(jìn)行3D模型與運動數(shù)據(jù)的擬合，最終實現(xiàn)基于動作捕捉設(shè)備的AI虛擬主播動作開發(fā)。8.2.1技術(shù)路線概述動作實現(xiàn)12動作捕捉設(shè)備選擇

AI虛擬主播的動作實現(xiàn)8.2.2基于動作捕捉設(shè)備的動作實現(xiàn)動作捕捉設(shè)備選擇基于動作捕捉設(shè)備的AI虛擬主播動作實現(xiàn)選用的動作捕捉設(shè)備為VIRDYNVDSuit全身動作捕捉設(shè)備，該設(shè)備是慣性式動作捕捉設(shè)備。選用該設(shè)備有以下優(yōu)勢：（1）性價比高，性能優(yōu)越相較于光學(xué)式動作捕捉設(shè)備，該設(shè)備性價比高，且操作簡便，可進(jìn)行大范圍的動作捕捉，且環(huán)境適應(yīng)性強。該設(shè)備使用全自主核心研發(fā)算法，充分應(yīng)用并發(fā)揮設(shè)備硬件性能；設(shè)備出廠即進(jìn)行深度校準(zhǔn)，保證設(shè)備的最優(yōu)性能。（2）穩(wěn)定性強設(shè)備應(yīng)用的核心算法，精細(xì)化完善了溫度、磁場等環(huán)境因素所造成的精度的影響，同時解決了溫漂、磁場突變等可能出現(xiàn)的問題，穩(wěn)定性強。（3）實時驅(qū)動設(shè)備為實時驅(qū)動，實現(xiàn)了毫秒級響應(yīng)，增強了系統(tǒng)的流暢性，提升用戶的使用體驗。（4）設(shè)備輕便，不受限制該設(shè)備僅有0.8kg，首先在質(zhì)量上不會對人體運動流暢度產(chǎn)生影響，且不會因為重量增加使用者負(fù)重，而影響使用者運動；其次，輕便化的質(zhì)量可以提升人體運動的流暢性，使運動不受限制。（5）支持多平臺應(yīng)用該設(shè)備支持Unit3D、UE4、3DMAX、Maya等應(yīng)用的開發(fā)，并且支持多種數(shù)據(jù)格式的導(dǎo)出，如FBX、QUA、BVH等。AI虛擬主播的動作實現(xiàn)VIRDYNVDSuit動作捕捉設(shè)備具有27個人體感應(yīng)點，可以360度全范圍進(jìn)行動作捕捉，包含加速度計、陀螺儀以及磁力計等相應(yīng)傳感器，且數(shù)據(jù)幀率包含60HZ、72HZ、80HZ、96HZ。慣性動作捕捉設(shè)備的加入，不但大大提升了3D人物動作的制作效率，而且降低了后期處理的難度。首先，使用者進(jìn)行動作捕捉設(shè)備的穿戴，穿戴完成后，開始進(jìn)行動作數(shù)據(jù)的采集；采集之前，首先做了幾組動作進(jìn)行數(shù)據(jù)采集精準(zhǔn)度的測試，測試完成后，進(jìn)行人體動作數(shù)據(jù)的采集；完成采集后，傳輸運動數(shù)據(jù)，并應(yīng)用設(shè)備核心算法進(jìn)行數(shù)據(jù)處理，并導(dǎo)出相關(guān)數(shù)據(jù)；與第6章口型動作導(dǎo)入相似，在此就不過多贅述；完成數(shù)據(jù)導(dǎo)入后，可以看到模型做出與動作捕捉時，人體進(jìn)行的相應(yīng)動作，完成AI虛擬主播動作實現(xiàn)。AI虛擬主播的動作實現(xiàn)基于單目攝像頭的動作實現(xiàn)8.38.3.1技術(shù)路線概述8.3.2核心技術(shù)介紹8.3.3基于單目攝像頭的動作實現(xiàn)8.3章節(jié)目錄模型設(shè)計與算法研究是基礎(chǔ)準(zhǔn)備，Python整合與Maya融合是實現(xiàn)手段。模型是虛擬主播動作的具象表現(xiàn)，涉及了模型制作的相關(guān)知識；算法是虛擬主播動作的內(nèi)在靈魂，涵蓋了具體的核心方法；Python整合是虛擬主播動作的外部工具，調(diào)用了攝像頭，實現(xiàn)了動作捕捉，完成了數(shù)據(jù)導(dǎo)出；Maya融合是虛擬主播動作的整合工具，將攝像頭捕捉到的數(shù)據(jù)賦予模型，完成了用戶端的展示，達(dá)成了動作要求。8.3.1技術(shù)路線概述020103Python基礎(chǔ)及安裝OpenCV基礎(chǔ)及安裝MediaPipe基礎(chǔ)及安裝8.3.2核心技術(shù)介紹Python基礎(chǔ)及安裝Python，是一種廣泛使用的解釋型、高級編程、通用型編程語言。Python是完全面向?qū)ο蟮恼Z言。函數(shù)、模塊、數(shù)字、字符串都是對象。并且完全支持繼承、重載、派生、多重繼承，有益于增強源代碼的復(fù)用性。對于Python的安裝，作者建議讀者使用Anaconda進(jìn)行包管理。Anaconda是一個用于科學(xué)計算的Python發(fā)行版，支持Linux,Mac,Windows,包含了眾多流行的科學(xué)計算、數(shù)據(jù)分析的Python包。安裝了Anaconda，你就擁有了任意版本的Python和各種包，使用Anaconda，在同一個系統(tǒng)上維護(hù)不同的項目環(huán)境也很方便。Anaconda的安裝也十分便捷，只需要訪問Anaconda的官方網(wǎng)站/就可以對其進(jìn)行下載與安裝。安裝完Anaconda并搭建好相應(yīng)Python環(huán)境后，讀者就可以對Python進(jìn)行深入的學(xué)習(xí)與研究了。OpenCV的全稱是OpenSourceComputerVisionLibrary，它是一個開源的計算機(jī)視庫，可以運行在Linux、Windows、Android和MacOS操作系統(tǒng)上，基于C++語言進(jìn)行編寫，當(dāng)然它也可在其他平臺使用，如Java，Python。OpenCV實現(xiàn)了圖像處理和計算機(jī)視覺方面的很多通用算法，內(nèi)部實現(xiàn)是通過模塊組合來完成，每個模塊都能可以實現(xiàn)相應(yīng)的一部分功能。OpenCV的應(yīng)用領(lǐng)域非常廣泛，包括圖像拼接、圖像降噪、產(chǎn)品質(zhì)檢、人機(jī)交互、人臉識別、動作識別、動作跟蹤、無人駕駛等。OpenCV還提供了機(jī)器學(xué)習(xí)模塊，你可以使用正態(tài)貝葉斯、K最近鄰、支持向量機(jī)、決策樹、隨機(jī)森林、人工神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法。在Windows上編譯OpenCV中與攝像輸入有關(guān)部分時，需要DirectShowSDK中的一些基類。該SDK可以從預(yù)先編譯的MicrosoftPlatformSDK的子目錄獲得，讀者也可以在Python中進(jìn)行安裝。OpenCV-Python利用了“Numpy”這是一個高度優(yōu)化的庫，用于使用MATLAB樣式的語法進(jìn)行數(shù)值運算。所有OpenCV數(shù)組結(jié)構(gòu)都與Numpy數(shù)組相互轉(zhuǎn)換。這也使與使用Numpy的其他庫（例如SciPy和Matplotlib）的集成變得更加容易。在已經(jīng)搭建好Python環(huán)境的條件下，使用pipinstallopencv-python命令即可完成對于OpenCV-Python的安裝。OpenCV基礎(chǔ)及安裝MediaPipe基礎(chǔ)及安裝MediaPipe是一款由Google開發(fā)并開源的數(shù)據(jù)流處理機(jī)器學(xué)習(xí)應(yīng)用開發(fā)框架。它是一個基于圖的數(shù)據(jù)處理管線，用于構(gòu)建使用了多種形式的數(shù)據(jù)源，如視頻、音頻、傳感器數(shù)據(jù)以及任何時間序列數(shù)據(jù)。與Google的另一開源框架TensorFlow比較時，它自身更兼具輕量性的優(yōu)點，它提供端到端的加速，對與硬件設(shè)備的要求不高，方便在普通硬件中使用；它只需一次構(gòu)建，即可隨處部署，統(tǒng)一的解決方案適用于Android、iOS、桌面/云、Web和IoT；它是即用型解決方案，有著頂尖的機(jī)器學(xué)習(xí)解決方案；它也是免費與開源的，是Apache2.0下的框架和解決方案，完全可擴(kuò)展和可定制。MediaPipe基礎(chǔ)及安裝使用MediaPipe，可以將機(jī)器學(xué)習(xí)任務(wù)構(gòu)建為一個圖形的模塊表示的數(shù)據(jù)流管道，可以包括推理模型和流媒體處理功能。開發(fā)者可以使用它輕松快速地將現(xiàn)有的或新的機(jī)器學(xué)習(xí)模型組合到以圖表示的原型中，并將其跨平臺實現(xiàn)。MediaPipe實現(xiàn)了豐富的機(jī)器學(xué)習(xí)解決方案，包括并不限于人臉檢測、面部網(wǎng)格，虹膜標(biāo)記、手部檢測、姿態(tài)標(biāo)記、整體預(yù)測、頭發(fā)分割、物體檢測、盒子追蹤、即時運動追蹤、3D物體檢測和特征匹配等方案。MediaPipe里還有邊數(shù)據(jù)包(Sidepackets),輸入策略(Inputpolicies)，運行時行為(Runtimebehavior)等等概念，由于實現(xiàn)時不涉及相關(guān)知識，在這里不再進(jìn)行介紹，有興趣的讀者可以查看官方文檔進(jìn)行更加深入的學(xué)習(xí)與實踐。MediaPipe在Python中的安裝也十分方便，在搭建好Anaconda相關(guān)環(huán)境后，使用pipinstallmediapipe命令就可以安裝成功。OpenCV模塊實現(xiàn)MediaPipe模塊實現(xiàn)系統(tǒng)整合預(yù)期效果8.3.3基于單目攝像頭的動作實現(xiàn)OpenCV模塊實現(xiàn)我們使用OpenCV主要完成操作單目攝像頭的功能，打開攝像頭、讀取視頻流并保存到本地，運行代碼后我們就可以調(diào)用單目攝像頭實現(xiàn)獲取、保存視頻流的功能了。MediaPipe模塊實現(xiàn)MediaPipe模塊是實現(xiàn)動作捕捉的關(guān)鍵，我們依托其內(nèi)部的豐富解決方案極大的加快了實現(xiàn)進(jìn)程。我們使用的是MediaPipePose解決方案，它是一種用于高保真人體姿態(tài)跟蹤的機(jī)器學(xué)習(xí)解決方案。MediaPipePose的核心是檢測器，他會先在幀內(nèi)定位姿勢感興趣區(qū)域(ROI)，隨后使用ROI裁剪幀作為輸入來預(yù)測ROI內(nèi)的姿勢標(biāo)志和分割掩碼，接著在姿態(tài)檢測模型中進(jìn)行預(yù)測跟蹤，從而實現(xiàn)動作的檢測目的。