汽車智能座艙系統(tǒng)與應(yīng)用 課件 5-2 實(shí)現(xiàn)數(shù)據(jù)的采集與標(biāo)注

能力模塊五

掌握智能座艙中數(shù)據(jù)采集與處理技術(shù)的應(yīng)用任務(wù)二

實(shí)現(xiàn)數(shù)據(jù)的采集與標(biāo)注身為智能座艙工程師實(shí)習(xí)生的你采集到了一批數(shù)據(jù)，可是主管卻告訴你說這一批數(shù)據(jù)并不能直接使用，還需要進(jìn)行數(shù)據(jù)標(biāo)注才行，你查閱相關(guān)資料決定使用標(biāo)注框標(biāo)注法，對(duì)采集到的數(shù)據(jù)進(jìn)行標(biāo)注。任務(wù)引入Tasktointroduce01數(shù)據(jù)標(biāo)注概述02數(shù)據(jù)采集與管理認(rèn)知目錄

CONTENTS03數(shù)據(jù)標(biāo)注方法認(rèn)知數(shù)據(jù)標(biāo)注概述PART0101數(shù)據(jù)標(biāo)注概述數(shù)據(jù)標(biāo)注(DataAnnotations)是指對(duì)收集到的、未處理的原始數(shù)據(jù)或初級(jí)數(shù)據(jù)，包括語音、圖像、文本、視頻等類型的數(shù)據(jù)進(jìn)行加工處理，并轉(zhuǎn)換為機(jī)器可識(shí)別信息的過程。01數(shù)據(jù)標(biāo)注概述

數(shù)據(jù)標(biāo)注主要是根據(jù)用戶或企業(yè)的需求，采用工程化的方法，對(duì)圖像、聲音、文字、視頻等對(duì)象進(jìn)行不同方式的標(biāo)注，從而為人工智能算法提供大量的訓(xùn)練數(shù)據(jù)以供機(jī)器學(xué)習(xí)使用。

常見的數(shù)據(jù)標(biāo)注工具如下：工具名稱簡(jiǎn)介標(biāo)注形狀導(dǎo)出數(shù)據(jù)格式LabelImg著名的圖像數(shù)據(jù)標(biāo)注工具矩形XMLPraat語音聲學(xué)軟件跨平臺(tái)，多功能語音學(xué)專業(yè)軟件語音TextGriddoccano開源文本標(biāo)注工具，提供了文本分類、序列標(biāo)記以及序列到序列任務(wù)的標(biāo)注功能文本txt數(shù)據(jù)采集與管理認(rèn)知PART02

數(shù)據(jù)采集是人工智能數(shù)據(jù)工廠中生產(chǎn)數(shù)據(jù)的第一關(guān)。02數(shù)據(jù)采集與管理認(rèn)知數(shù)據(jù)采集人工智能領(lǐng)域必須對(duì)采集的數(shù)據(jù)進(jìn)行準(zhǔn)確把關(guān)，才能有效提高后續(xù)質(zhì)量。當(dāng)前通用的手機(jī)端采集語音、圖像，專用的遠(yuǎn)程語音設(shè)備采集，無人車平臺(tái)采集等，這些采集平臺(tái)和工具缺乏智能化，采集的數(shù)據(jù)依靠后期人工進(jìn)行質(zhì)檢，工作量大，采集成本高。02數(shù)據(jù)采集與管理認(rèn)知智能座艙主要涉及：圖像和聲音兩種數(shù)據(jù)集。

在采集硬件上我們需要攝像頭和麥克風(fēng)，攝像頭我們需要確定工作環(huán)境、安位置、參數(shù)配置（分辨率、數(shù)據(jù)傳輸接口、可視角度范圍等），麥克風(fēng)我們需要確定采樣率、采集聲道、安裝位置等。

在實(shí)際采集環(huán)境中，為了保證數(shù)據(jù)采集的穩(wěn)定性以及持續(xù)性。會(huì)將攝像頭以及麥克風(fēng)單獨(dú)連接到一個(gè)工控機(jī)或者方便攜帶的計(jì)算機(jī)。座艙數(shù)據(jù)采集環(huán)境搭建02數(shù)據(jù)采集與管理認(rèn)知

除了工控機(jī)，車機(jī)也可以用來進(jìn)行采集，特別是結(jié)合實(shí)際車規(guī)級(jí)的硬件環(huán)境，需要選擇對(duì)應(yīng)的車機(jī)。座艙數(shù)據(jù)采集環(huán)境搭建

有效的數(shù)據(jù)管理可以在實(shí)際使用中減少一些數(shù)據(jù)“浪費(fèi)”，避免一些重復(fù)采集，也能讓數(shù)據(jù)有一個(gè)“安全屋”。

一、數(shù)據(jù)存儲(chǔ)02數(shù)據(jù)采集與管理認(rèn)知數(shù)據(jù)管理對(duì)于數(shù)據(jù)存儲(chǔ)，我們可以利用移動(dòng)硬盤、網(wǎng)絡(luò)附屬存儲(chǔ)（NetworkAttachedStorage，NAS）以及數(shù)據(jù)服務(wù)器。這三類設(shè)備在移動(dòng)屬性以及容量大小上能夠互相補(bǔ)充，在實(shí)際管理中經(jīng)常使用。

二、采集記錄

這一部分，需要根據(jù)項(xiàng)目需求進(jìn)行設(shè)計(jì)。02數(shù)據(jù)采集與管理認(rèn)知數(shù)據(jù)管理采集時(shí)間采集類型采集時(shí)段采集數(shù)量采集地點(diǎn)文件格式其他20221208打電話數(shù)據(jù)白天100張臺(tái)架jpg

數(shù)據(jù)標(biāo)注方法認(rèn)知PART0303數(shù)據(jù)標(biāo)注方法認(rèn)知數(shù)據(jù)標(biāo)注方式包括人工標(biāo)注、半自動(dòng)標(biāo)注、自動(dòng)標(biāo)注、眾包等，在標(biāo)注前，我們需要完成以下準(zhǔn)備工作：(1)分析數(shù)據(jù)：明確機(jī)器學(xué)習(xí)和模型訓(xùn)練過程中所需的標(biāo)注數(shù)據(jù)類型、量級(jí)、用途及應(yīng)用場(chǎng)景等。(2)整理數(shù)據(jù)：明確數(shù)據(jù)與標(biāo)簽文件存放的目錄結(jié)構(gòu)。(3)明確命名規(guī)則：應(yīng)明確數(shù)據(jù)與標(biāo)簽文件的命名方式，命名規(guī)則應(yīng)避免數(shù)據(jù)更新迭代時(shí)的重名。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法標(biāo)注框標(biāo)注是一種對(duì)目標(biāo)對(duì)象進(jìn)行標(biāo)注的簡(jiǎn)單處理方式，常用于標(biāo)注自動(dòng)駕駛下的人、車、物等。根據(jù)提供的數(shù)據(jù)質(zhì)量和數(shù)量，在標(biāo)注框標(biāo)注的幫助下，使機(jī)器學(xué)習(xí)模型通過訓(xùn)練能夠識(shí)別出所需的目標(biāo)對(duì)象。在人臉識(shí)別系統(tǒng)中，也需要通過標(biāo)注框?qū)⑷四樀奈恢么_定下來再進(jìn)行下一步的人臉識(shí)別。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法一、軟件安裝

對(duì)標(biāo)注工具壓縮包windows_v1.8.0.zip解壓縮后，相同目錄下出現(xiàn)名為windows_v1.8.0的文件夾。如下圖所示，直接運(yùn)行文件夾內(nèi)labelImg.exe后會(huì)出現(xiàn)命令行窗口，軟件主界面自動(dòng)出現(xiàn)（首次運(yùn)行時(shí)可能需要等待片刻）。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法

二、軟件使用 1.圖片導(dǎo)入

批量導(dǎo)入，將所有需要標(biāo)注的一組圖片存放在同一個(gè)文件夾下，然后點(diǎn)擊軟件左側(cè)工具欄的“OpenDir”按鈕，選擇圖片組所在的文件夾，導(dǎo)入成功后，軟件界面如圖所示。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法點(diǎn)擊“CreateRectBox”，此時(shí)鼠標(biāo)指針會(huì)變?yōu)槭譅?，然后在圖片中所要標(biāo)注的目標(biāo)區(qū)域直接框選即可，在自動(dòng)彈出的對(duì)話框中選擇目標(biāo)類型，如果列表中沒有所需的類型名，則可以直接輸入。 2.數(shù)據(jù)標(biāo)注

右側(cè)工具欄中的“FileList”分區(qū)可以查看目前所顯示圖片的文件名，標(biāo)注時(shí)通常按照文件名從上到下的順序依次標(biāo)注。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法

如果當(dāng)前需要標(biāo)注的圖片中，某一類型的目標(biāo)數(shù)量很多，可先在右側(cè)工具欄的“Usedefaultlabel”后面輸入該類型標(biāo)簽的名稱，并點(diǎn)選該選項(xiàng)，如圖所示。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法3.修改標(biāo)注內(nèi)容

將鼠標(biāo)放置在目標(biāo)框的綠色小圓點(diǎn)上，該點(diǎn)會(huì)變?yōu)榧t色方形點(diǎn)，此時(shí)可以直接用鼠標(biāo)拖動(dòng)來修改目標(biāo)框大小。03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法

若需要修改目標(biāo)的類型標(biāo)簽，先點(diǎn)擊所需修正的區(qū)域，此時(shí)該區(qū)域?qū)⒏采w有藍(lán)色，然后點(diǎn)擊右上角的“EditLabel”進(jìn)行類型名稱的修改。區(qū)域顯示為藍(lán)色時(shí)，也可用鼠標(biāo)左鍵拖動(dòng)實(shí)現(xiàn)標(biāo)注矩形框位置的調(diào)整（不改變矩形框的大?。?3數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法

如需要?jiǎng)h除某個(gè)目標(biāo)的標(biāo)注矩形框，先點(diǎn)擊選取該矩形框，然后再點(diǎn)擊左側(cè)工具欄的“DeleteRectBox”（或在目標(biāo)標(biāo)注矩形框處點(diǎn)擊右鍵來選擇該項(xiàng)）03數(shù)據(jù)標(biāo)注方法認(rèn)知標(biāo)注框標(biāo)注方法4.標(biāo)簽導(dǎo)出

首先確定軟件的左側(cè)工具欄中，是否顯示為所需要導(dǎo)出的格式，PascalVOC格式（對(duì)應(yīng)為.xml文件）和YOLO格式（對(duì)應(yīng)為.txt）。在當(dāng)前圖片中的所有目標(biāo)矩形框已經(jīng)標(biāo)注完成后，點(diǎn)擊右上角File，選擇Saveas，保存在要求的路徑下（文件名一定不要改），文件名無需更改默認(rèn)即可。03數(shù)據(jù)標(biāo)注方法認(rèn)知三、注意事項(xiàng)

標(biāo)注框標(biāo)注方法

每張圖片標(biāo)注完成后，請(qǐng)記得及時(shí)保存（即標(biāo)簽結(jié)果導(dǎo)出），然后可用“NextImage”/“PrevImage”來選擇進(jìn)行下一張/前一張圖片的標(biāo)注。03數(shù)據(jù)標(biāo)注方法認(rèn)知三、注意事項(xiàng)

標(biāo)注框標(biāo)注方法

如果所需要標(biāo)注的內(nèi)容較小或需要高精度標(biāo)注，可以使用上側(cè)工具欄中的“View”–“ZoomIn”放大圖片。03數(shù)據(jù)標(biāo)注方法認(rèn)知四、抽煙行為標(biāo)注

創(chuàng)建JPEGImages文件夾，將需要標(biāo)注的照片放入其中。創(chuàng)建Annotations文件夾，將標(biāo)注完成的圖片標(biāo)簽.xml格式的文件夾放入其中。標(biāo)注框標(biāo)注方法03數(shù)據(jù)標(biāo)注方法認(rèn)知四、抽