DB21∕T 3469-2021 適合教室內(nèi)姿態(tài)估計的標(biāo)注規(guī)范

I 2 2 2 3 3 3 7 26 26 26 31A.1人體輪廓標(biāo)注示例 31A.2人體關(guān)鍵點標(biāo)注示例 33A.3手部和頭部標(biāo)注示例 34A.4桌面標(biāo)注示例 35 36 37I2適合教室內(nèi)姿態(tài)估計的標(biāo)注規(guī)范本文件規(guī)定了教室環(huán)境中人體以及桌面、門窗等物體的視頻圖像本文件適用于采用計算機技術(shù)自動識別教室內(nèi)人體、物體和人體姿態(tài)等3攝像頭背立面backelevationof攝像頭非背立面non-backelevationo4教室內(nèi)人體標(biāo)注要求4.1通則4.2人體輪廓標(biāo)注要求4.2.1基本要求4.2.2人體輪廓無遮擋標(biāo)注4圖1無遮擋人體輪廓標(biāo)注(1)圖2無遮擋人體輪廓標(biāo)注(2)4.2.3人體輪廓互遮擋標(biāo)注互遮擋是指由于多個人體目標(biāo)在圖像中部分重疊，導(dǎo)致待標(biāo)注的人體目標(biāo)部分不可見，這種情況下只需對可見的人體部分進行標(biāo)注。特別規(guī)定：標(biāo)注時應(yīng)將衣服包含在人體輪廓線內(nèi)；應(yīng)將凸出的頭發(fā)或飾品排除在輪廓外，保持頭部輪廓盡量平滑并將其擬合成圓弧形。標(biāo)注樣式如圖3、圖4和5所示。5圖3互遮擋人體輪廓標(biāo)注(1)圖4互遮擋人體輪廓標(biāo)注(2)圖5互遮擋人體輪廓標(biāo)注(3)4.2.4人體輪廓它遮擋標(biāo)注它遮擋是指桌子、試卷或者其他物體遮擋了待標(biāo)注的人體目標(biāo)。當(dāng)人體圖像被遮擋的面積較大，無法通過人體結(jié)構(gòu)特征推測被遮擋人體部位的位置時，應(yīng)只需標(biāo)注可見的人體部分，標(biāo)注樣式如圖6-7所示。當(dāng)遮擋物比較細小不影響人體的可見性時，應(yīng)將其忽略。標(biāo)注樣式如圖8、圖9所示，圖中的窗框和桌腿遮擋了待標(biāo)注人體目標(biāo)的胳膊和腿，但是可以通過人體連通性完整的標(biāo)注出這些部位的輪廓。標(biāo)注時人手中的紙、包等物品不屬于人體輪廓，標(biāo)注樣式如圖10所示，圖中考生手中的紙張在標(biāo)注時應(yīng)被排除在人體輪廓之外。圖6它遮擋人體輪廓標(biāo)注(1)圖7它遮擋人體輪廓標(biāo)注(2)6圖8它遮擋人體輪廓標(biāo)注(3)7圖9它遮擋人體輪廓標(biāo)注(4)圖10它遮擋人體輪廓標(biāo)注(5)4.3人體關(guān)鍵點標(biāo)注要求4.3.1基本要求關(guān)鍵點是人體圖像中比較明顯的標(biāo)記點或關(guān)節(jié)點。標(biāo)注過程中應(yīng)明確人體的各個關(guān)鍵點的位置和該點的可見度。關(guān)鍵點(x,y)為圖像中的二維坐標(biāo)，可見度v∈{0,1,2}。其中，可見度v=0表示這個關(guān)鍵點不可見且不可預(yù)測，無法標(biāo)注，此時x=y=0;可見度v=1表示這個關(guān)鍵點不可見，但是可以通過預(yù)測標(biāo)注，(x,y)取關(guān)鍵點的預(yù)測坐標(biāo)值；可見度v=2表示該關(guān)鍵點可見可標(biāo)注，(x,y)取關(guān)鍵點的實際坐標(biāo)值。本文件共設(shè)置了17個需標(biāo)注的關(guān)鍵點，并約定了其在圖像中標(biāo)注的顏色，如表1所示：8RGB10020034500607089009right-ear圖11人體關(guān)鍵點示意圖圖12教室中真人標(biāo)注4.3.2鼻子關(guān)鍵點標(biāo)注位置應(yīng)為鼻子的幾何中心點。鼻子部位完全可見或部分可見時，關(guān)鍵點可見，可見度值應(yīng)為2。完全可見的標(biāo)注樣式如圖13和14所示；部分可見的標(biāo)注樣式如圖15所示，圖中鼻子被口罩部分遮擋但基本可見，標(biāo)注時可以根據(jù)口罩和鼻子的位置，推測出關(guān)鍵點的位置。圖13鼻子關(guān)鍵點可見標(biāo)注(1)圖14鼻子關(guān)鍵點可見標(biāo)注(2)圖15鼻子關(guān)鍵點可見標(biāo)注(3)4.3.2.3鼻子關(guān)鍵點可預(yù)測鼻子關(guān)鍵點可預(yù)測是指鼻子在圖像中不是明顯可見但可預(yù)測出其位置，關(guān)鍵點的可見度值為1。本文件按以下三種情況對鼻子關(guān)鍵點的位置進行預(yù)測：a)人體面部可見但鼻子部位完全被遮擋，此時將關(guān)鍵點標(biāo)注在遮擋物的適當(dāng)位置上，標(biāo)注樣式如圖16所示；b)人體面部部分可見，此時將關(guān)鍵點標(biāo)注在面部中心偏下位置，標(biāo)注樣式如圖17所示；c)人體面部完全不可見，此時需推測面部平面位置并根據(jù)頭部朝向確定鼻子關(guān)鍵點的位置，標(biāo)注樣式如圖18所示。圖中人物臉部被完全遮擋，標(biāo)注時首先根據(jù)坐姿推測出臉部平面的位置，再通過脖子與頭部中心的位置推測頭部的轉(zhuǎn)向情況，完成關(guān)鍵點的標(biāo)注。圖16鼻子關(guān)鍵點可預(yù)測標(biāo)注(1)圖17鼻子關(guān)鍵點可預(yù)測標(biāo)注(2)圖18鼻子關(guān)鍵點可預(yù)測標(biāo)注(3)11鼻子位置不可預(yù)測時關(guān)鍵點無需標(biāo)注，關(guān)鍵點的可見度值為0。鼻子關(guān)a)由于攝像頭像素過低導(dǎo)致無法看清楚人臉的轉(zhuǎn)向情況，無法預(yù)測關(guān)鍵點的位置，標(biāo)注樣式如圖19所示；b)人體被遮擋導(dǎo)致鼻子不在所標(biāo)注的輪廓線內(nèi)，關(guān)鍵點無需預(yù)測，c)鼻子處于攝像頭背立面，關(guān)鍵點不可預(yù)測，標(biāo)注樣式如圖21所示。圖19鼻子關(guān)鍵點無法預(yù)測標(biāo)注圖20鼻子關(guān)鍵點不在輪廓線內(nèi)標(biāo)注圖21鼻子關(guān)鍵點處于攝像頭背立面標(biāo)注頭部主要包括左眼、右眼、左耳和右耳4個關(guān)鍵點，標(biāo)注位置為各個眼睛和耳朵完全可見或部分可見情況下，可依次標(biāo)出可見關(guān)鍵點，關(guān)鍵點的可見度值為2。圖22中的男生左右眼和左右耳清晰可見，可直接標(biāo)注；圖23中男生左右眼眉可見，左右眼關(guān)鍵點標(biāo)在眼眉圖22頭部關(guān)鍵點可見標(biāo)注(1)圖23頭部關(guān)鍵點可見標(biāo)注(2)過低導(dǎo)致關(guān)鍵點無法從圖像中清晰看到時，可以根據(jù)其他部位或者參照物(如眼鏡、口罩等)估計出該關(guān)鍵點的位置。圖24、圖25中，人物佩戴了眼鏡，可將眼鏡作為參照物推測出眼睛關(guān)鍵點位置；圖26圖24頭部關(guān)鍵點可預(yù)測標(biāo)注(1)圖25頭部關(guān)鍵點可預(yù)測標(biāo)注(2)圖26頭部關(guān)鍵點可預(yù)測標(biāo)注(3)a)由于攝像頭像素過低無法看清楚人臉的d)關(guān)鍵點處于攝像頭背立面。圖27頭部關(guān)鍵點不可預(yù)測標(biāo)注(1)圖29頭部關(guān)鍵點不可預(yù)測標(biāo)注(3)圖28頭部關(guān)鍵點不可預(yù)測標(biāo)注(2)圖30頭部關(guān)鍵點不可預(yù)測標(biāo)注(4)圖31肩部關(guān)鍵點可見標(biāo)注部進行預(yù)測，預(yù)測獲得關(guān)鍵點可見度值為1。標(biāo)注樣式如圖32、圖33所示。圖中只能看到左(右)肩的關(guān)鍵點，可以按如下方法進行預(yù)測：如果右(左)肘可見，首先找到右(左)肘的位置，根據(jù)右(左)肘位置沿著上臂向上繪制一條直線，然后在左(右)肩部與脖子中心繪制一條直線(特別提示：可以通方向調(diào)整),兩條線的相交點即為預(yù)測的右(左)肩部的關(guān)鍵點。圖32肩部關(guān)鍵點可預(yù)測標(biāo)注(1)圖33肩部關(guān)鍵點可預(yù)測標(biāo)注(2)法找到兩條符合上一節(jié)要求的直線，這兩種情況下關(guān)鍵點的可見度值為0。肩34、圖35所示。圖34肩部關(guān)鍵點不可預(yù)測標(biāo)注(1)圖35肩部關(guān)鍵點不可預(yù)測標(biāo)注(2)4.3.5肘部關(guān)鍵點4.3.5.1基本要求肘部在圖像中完全可見時可直接在關(guān)節(jié)中心點標(biāo)注，關(guān)鍵點的可見度值為2。肘部關(guān)節(jié)都可見的標(biāo)圖36肘部關(guān)鍵點可見標(biāo)注(1)圖37肘部關(guān)鍵點可見標(biāo)注(2)4.3.5.3肘部關(guān)鍵點可預(yù)測肘部關(guān)鍵點可預(yù)測是指肘部被完全遮擋，但是可通過相鄰部位推測其位置，關(guān)鍵點的可見度值為1。圖38中人物的右肘不可見，但可以根據(jù)右臂的方向和位置進行推測。圖39中，右肘被左手遮擋，可根據(jù)人體結(jié)構(gòu)推測出其位置；左肘被外套遮擋，可根據(jù)左手臂的方向和位置推測出左肘關(guān)鍵點的位置。圖38肘部關(guān)鍵點可預(yù)測標(biāo)注(1)DB21/T3469—2021圖39肘部關(guān)鍵點可預(yù)測注(2)4.3.5.4肘部關(guān)鍵點不可預(yù)測肘部關(guān)鍵點不可預(yù)測是指肘部完全被遮擋且無法推測出具體位置，這種情況關(guān)鍵點的可見度值為0。4.3.6腕部關(guān)鍵點4.3.6.1基本要求腕部包括左腕和右腕兩個關(guān)鍵點，關(guān)鍵點標(biāo)注位置為腕部中心點。4.3.6.2腕部關(guān)鍵點可見當(dāng)腕部在圖像中完全可見時可直接進行標(biāo)注，也可以通過手部推測出手腕的位置，可見度值為2。特別規(guī)定：手表對手腕的遮擋可以忽略，此時關(guān)鍵點的狀態(tài)為可見。腕部可見標(biāo)注樣式如圖40所示。圖40腕部關(guān)鍵點可見標(biāo)注點的可見度值為1。腕部可預(yù)測標(biāo)注樣式如圖41所示，圖中右腕的位置可根據(jù)右手及右肘的位置進行圖41腕部關(guān)鍵點可預(yù)測標(biāo)注2,標(biāo)注樣式如圖42、圖43所示。圖42髖部關(guān)鍵點可見標(biāo)注(1)圖43髖部關(guān)鍵點可見標(biāo)注(2)4.3.7.3髖部關(guān)鍵點可預(yù)測髖部關(guān)鍵點可預(yù)測是指髖部完全被遮擋或無法看清身體部位明顯分界線，可以通過其他可見的身體部位推測出髖部關(guān)鍵點的位置，關(guān)鍵點的可見度值為1,標(biāo)注樣式如圖44所示，圖中左髖部被左臂遮擋，可以通過可見的右髖位置以及腹部方位來推測關(guān)鍵點的位置。圖45中未見明顯分界線，可以通過其他可見的身體部位推測出髖部關(guān)鍵點的位置。圖44髖部關(guān)鍵點可預(yù)測標(biāo)注(1)圖45髖部關(guān)鍵點可預(yù)測標(biāo)注(2)髖部關(guān)鍵點不可預(yù)測是指髖部完全被遮擋且無法推測出具體位置，關(guān)鍵點的可見度值為0。4.3.8膝部關(guān)鍵點膝部關(guān)鍵點包括左膝和右膝兩個關(guān)鍵點，關(guān)鍵點標(biāo)注位置為膝部中心點，即大小腿4.3.8.2膝部關(guān)鍵點可見圖46膝部關(guān)鍵點可見標(biāo)注4.3.8.3膝部關(guān)鍵點可預(yù)測膝部關(guān)鍵點可預(yù)測是指關(guān)鍵點被完全遮擋或身體部位分界線不是清晰可見，但可通過其他可見的身體部位推測出其位置，關(guān)鍵點的可見度值為1。標(biāo)注樣式如圖47所示，圖中膝部不可見，膝部以下的部位可見，則可以根據(jù)小腿的位置推測出膝關(guān)節(jié)所在的位置。圖47膝部關(guān)鍵點可預(yù)測標(biāo)注4.3.8.4膝部關(guān)鍵點不可預(yù)測膝部關(guān)鍵點不可預(yù)測是指膝部完全被遮擋且無法推測出具體位置，關(guān)鍵點的可見度值為0。4.3.9踝部關(guān)鍵點4.3.9.1基本要求踝部關(guān)鍵點包括左踝和右踝兩個關(guān)鍵點，關(guān)鍵點標(biāo)注位置為踝部中心點，即小腿和腳部分界線的中心點。下面分別從可見、可預(yù)測和不可預(yù)測三種情況給出標(biāo)注樣式。4.3.9.2踝部關(guān)鍵點可見踝部關(guān)鍵點可見是指踝部在圖像中完全可見，在部位分界線中心點進行標(biāo)注即可，關(guān)鍵點的可見度值為2,標(biāo)注樣式如圖48、圖49所示。圖48踝部關(guān)鍵點可見標(biāo)注(1)圖49踝部關(guān)鍵點可見標(biāo)注(2)4.3.9.3踝部關(guān)鍵點可預(yù)測踝關(guān)節(jié)可預(yù)測是指關(guān)鍵點被遮擋或身體部位分界線不是清晰可見，可根據(jù)腿部或腳部的位置和方向預(yù)測出踝關(guān)節(jié)的位置，關(guān)鍵點的可見度值為1。標(biāo)注樣式如圖50所示，圖中踝部關(guān)鍵點不可見，但可通過腿部與腳部位置推測出關(guān)鍵點所在位置。圖50踝部關(guān)鍵點可預(yù)測標(biāo)注4.4.1基本要求圖51手部頭部無遮擋標(biāo)注圖52所示，圖中左手不可見，但可根據(jù)可見的部位信息推測其位置。圖52手部頭部有遮擋可標(biāo)注行標(biāo)注，標(biāo)注樣式如圖53所示，圖中頭部和右手可見，左手在桌面以下無需標(biāo)注。圖53手部頭部有遮擋不可標(biāo)注5.2.2桌面無遮擋標(biāo)注無遮擋表示要標(biāo)注的桌面未被明顯遮擋或部分遮擋但可預(yù)測，標(biāo)注四個桌角的平行四邊形閉環(huán)，可直接標(biāo)注；圖56中僅有一個桌角圖54桌面無遮擋標(biāo)注(1)圖55桌面無遮擋標(biāo)注(2)圖56桌面無遮擋標(biāo)注(3)27DB21/T3469-20215.2.3桌面它遮擋標(biāo)注它遮擋是指桌面被其他人或物體遮擋(試卷除外),當(dāng)遮擋面積較大時，標(biāo)注桌面的可見部分即可。若桌子被其他人或物體遮擋分成多個可見部分則標(biāo)注面積最大的可見連通部分?？忌淖烂姹黄渌矬w遮擋的標(biāo)注樣式如圖57-59所示。圖57桌面它遮擋標(biāo)注(1)圖58桌面它遮擋標(biāo)注(2)