項目2 口罩識別系統(tǒng)

《口罩識別系統(tǒng)》教學(xué)設(shè)計課題：口罩識別系統(tǒng)授課對象：中職一年級課型：新授課課時：2~3課時教材分析：結(jié)構(gòu)內(nèi)容：本節(jié)課選自《人工智能通識》的項目四。本節(jié)課的主要內(nèi)容是實現(xiàn)一個口罩識別的應(yīng)用，一共有4個任務(wù)：任務(wù)1圖像標注工具的使用，學(xué)生需要根據(jù)實訓(xùn)任務(wù)書安裝并熟練使用標注工具labelimg；任務(wù)2使用任務(wù)1中下載好的標注工具對口罩圖片進行標注。任務(wù)3是對口罩識別模型的訓(xùn)練和讀取預(yù)訓(xùn)練模型，學(xué)生需要理解口罩識別的流程。任務(wù)4調(diào)用訓(xùn)練好的模型進行口罩識別，學(xué)生需要掌握模型測試的過程。地位作用：大數(shù)據(jù)和人工智能帶給社會的變化是無比巨大的，在新冠疫情的沖擊下，人工智能算法可以幫助社會進行口罩識別，為我們節(jié)省了大量的人力和物力，本節(jié)課的學(xué)習(xí)將帶領(lǐng)學(xué)生實現(xiàn)一個人工智能項目——口罩識別，該項目講解了從數(shù)據(jù)標注、數(shù)據(jù)處理、模型訓(xùn)練到模型測試整個流程，使同學(xué)們能夠應(yīng)對在解決真實企業(yè)項目過程中遇到的各種問題。學(xué)情分析學(xué)習(xí)心理特征：本節(jié)課的授課對象為中職一年級學(xué)生該階段的學(xué)生學(xué)習(xí)自制力較差，上課注意力易被分散，因此在上課過程中，應(yīng)該采用講練結(jié)合的方式，讓學(xué)生能夠在實踐中學(xué)習(xí)和鞏固課程內(nèi)容。同時本節(jié)課動手操作的任務(wù)比較多，因此需要循序漸進，需要以相應(yīng)的任務(wù)為依托，需要小組的合作，需要教師的引導(dǎo)，以便學(xué)生在此過程中可以得到實時的反饋；另外由于中職一年級的學(xué)生水平各不相同，因此教師在學(xué)生操作過程中應(yīng)該實時觀察，引導(dǎo)并鼓勵基礎(chǔ)較差的學(xué)生完成練習(xí)。知識基礎(chǔ)：中職一年級學(xué)生已經(jīng)可以獨立安裝實訓(xùn)需要的環(huán)境和熟悉人工智能項目的一般流程，數(shù)據(jù)標注是一個新的知識點，可以讓同學(xué)動手實操數(shù)據(jù)的標注，使學(xué)生理解數(shù)據(jù)的重要，理解標簽與特征的含義。教學(xué)目標知識與技能目標：了解神經(jīng)網(wǎng)絡(luò)模型了解神經(jīng)網(wǎng)絡(luò)模型熟悉人工智能應(yīng)用的實現(xiàn)流程具備圖像標注的能力具備基于Torch框架實現(xiàn)目標檢測模型的訓(xùn)練與預(yù)測的能力過程與方法：根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書，自主進行標注工具labelimg的安裝并認識該工具。根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書，對口罩圖片進行標注根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書和老師的引領(lǐng)下，完成口罩識別預(yù)訓(xùn)練模型的加載，并嘗試自己訓(xùn)練該模型根據(jù)教師發(fā)布的實訓(xùn)任務(wù)書和老師的帶領(lǐng)下，讀取測試圖片，調(diào)用口罩識別模塊，保存并顯示檢測結(jié)果。情感態(tài)度與價值觀：能夠體會到人工智能技術(shù)的奇妙和給生活帶來的樂趣。通過小組合作的方式，培養(yǎng)學(xué)生的主動參與的意識，強化自身的責任感，以及增強自己的合作能力。教學(xué)重難點教學(xué)重點：1、能夠使用數(shù)據(jù)標注工具2、能夠加載預(yù)訓(xùn)練模型和訓(xùn)練模型3、能夠調(diào)用口罩識別模塊測試新的圖片教學(xué)難點：1、能夠加載預(yù)訓(xùn)練模型和訓(xùn)練模型教學(xué)方法教法：任務(wù)驅(qū)動法、練習(xí)法學(xué)法：自主學(xué)習(xí)法、小組合作學(xué)習(xí)法教學(xué)準備教學(xué)環(huán)境：多媒體網(wǎng)絡(luò)計算機房教學(xué)資源：多媒體網(wǎng)絡(luò)計算機，派Lab平臺，PPT課件，微課教學(xué)過程教學(xué)內(nèi)容及過程時間分配設(shè)計意圖一、創(chuàng)設(shè)情景【教師活動】小派是某小區(qū)物業(yè)的一名工作人員，在工作過程中，他發(fā)現(xiàn)很多居民進出小區(qū)時不按照防疫規(guī)范戴口罩。對此，他非?？鄲?，于是他想，如果有一個自動檢測大家戴沒戴口罩的系統(tǒng)就好了，讓機器來識別和提醒，節(jié)約人力又能解決問題。本任務(wù)將基于Torch1.9.0實現(xiàn)對人臉是否佩戴口罩的自動檢測。先到右側(cè)實訓(xùn)演示體驗一下吧！2分鐘該環(huán)節(jié)通過創(chuàng)設(shè)一個生活中真實存在的情景，讓學(xué)生了解口罩識別的應(yīng)用場景。二、任務(wù)分析【教師活動】小派需要咱們幫助他實現(xiàn)對人臉是否佩戴口罩的自動檢測。咱們應(yīng)該怎么做呢？首先我們需要對如何開展該任務(wù)進行分析（該過程可以讓學(xué)生進行小組討論回答）預(yù)設(shè)：首先討論一下口罩識別的應(yīng)用場景，接著了解建立口罩識別模型的步驟?！緦W(xué)生活動】小組展開討論各小組發(fā)表自己的任務(wù)分析結(jié)果【教師活動】對各小組的討論結(jié)果進行評價，最后進行小結(jié)，得出最后的任務(wù)分析結(jié)果：子任務(wù)一：圖像標注工具的使用子任務(wù)二：對口罩圖片進行標注子任務(wù)三：進行口罩識別模型的訓(xùn)練子任務(wù)四：使用訓(xùn)練好的口罩識別模型進行新的圖片的測試3分鐘該環(huán)節(jié)主要是對本節(jié)課的任務(wù)的一個討論分析，在該過程中，讓每個學(xué)生對接下來要完成的任務(wù)進行分析和討論，讓學(xué)生成為課堂的主體，提高學(xué)生的參與感，提升學(xué)生的自主思考能力。三、新知學(xué)習(xí)任務(wù)一：圖像標注工具的使用【教師活動】通過前面幾個項目的學(xué)習(xí)，同學(xué)們應(yīng)該了解了人工智能數(shù)據(jù)集的特征與標簽的含義。那如何對一張圖片進行標簽信息的處理呢，我們?nèi)搜劭磮D片，可以立馬知道這張圖片中是否有佩戴口罩，但是計算機是沒辦法像人眼一下識別出來，所以我們需要告訴計算機哪里是口罩，這個就是圖像標注。人工智能項目一般都會有數(shù)據(jù)標注的工作，前面雖然我們經(jīng)歷，這是因為提前就把數(shù)據(jù)標注的工具做好了。針對不同任務(wù)，如圖像分類、圖像分割、圖像識別等，圖像標注工具有很多，下面我們以labelImg為例，熟悉工具的常規(guī)使用。首先我們下載該標注工具，點擊左側(cè)文件夾圖標，進入“data-sets”文件夾，選中“l(fā)abelImg.exe”，并右鍵選擇“下載”，保存到本地。大家下載后，雙擊exe文件，就可以看面界面了。請同學(xué)們進行下載并安裝。【學(xué)生活動】學(xué)生動手操作【教師活動】現(xiàn)在我們就來使用它，點擊左側(cè)工具欄中的“Open”，可以選擇本機中任一張圖片，也可點擊“OpenDir”打開本機中存放圖片的文件夾。如選擇磁盤中某路徑下的“samples”文件夾。打開后，可以看到左上角紅框表示當前加載的圖片，中間顯示的就是“1.jpg”對應(yīng)的圖像，右下角紅框是“samples”文件夾中的所有圖片的“Filelist”。假設(shè)我們的任務(wù)是訓(xùn)練一個目標檢測模型，現(xiàn)在我們要將圖片中出現(xiàn)的各種人和物打上標簽。點擊左側(cè)工具欄的“CreateRectBox”,用來在圖片中畫標注框，下面我們把口罩框出，并打上“mask”標簽。我們再把圖片中的書框出，打上標簽，可以看到右側(cè)紅框是該圖片中已經(jīng)被框出內(nèi)容的標簽名。如果想要刪除步驟4中畫出的某個標注框，可以先選中圖片中的這個標注框，然后能看到左側(cè)工具欄中“DeleteRectBox”由灰色不可點狀態(tài)變成了黑色可點擊狀態(tài)，這時點擊它，被選中的標注框就被刪除了。如果圖片中有相同的物體，那么標注時就可以使用復(fù)制功能，復(fù)制圖片中已畫好的標注框，然后將其拖動到未標注的物體上。點擊左側(cè)工具欄中的“Save”，可以選擇保存的路徑，在該路徑下將生成一個xml文件，且xml文件的名字是和被標注圖片的名稱一樣。可以通過以下方式查看xml的標注結(jié)果?！皃ath”：表示當前xml標注結(jié)果對應(yīng)的圖片路徑；“object”：表示圖片中被標注的對象，有幾個標注框就會有幾個object，每一個object中包含了該標注對象的類別標簽“name”以及在圖片中的位置信息。【預(yù)設(shè)】教師演示數(shù)據(jù)標注過程【學(xué)生活動】學(xué)生實操，對一張圖片進行數(shù)據(jù)標注20分鐘在該環(huán)節(jié)中，教師演示數(shù)據(jù)標注的過程，讓學(xué)生提前對數(shù)據(jù)有個認知。任務(wù)二：口罩數(shù)據(jù)的標注剛剛我們已經(jīng)學(xué)會了如何使用labelimg工具，現(xiàn)在為了訓(xùn)練一個基于神經(jīng)網(wǎng)絡(luò)的口罩識別模型，我們需要制作一批帶標注的人臉圖像數(shù)據(jù)。對任意一張出現(xiàn)人臉的圖片，將人臉框出，并打上標簽。如果人臉沒帶口罩，標簽為“nomask”，如果帶了口罩，人臉標簽為“mask”。為了便于批量標注，我們將保存圖像的文件夾打開，然后逐張圖像進行標注即可。如下圖所示的文件夾，你也可以點擊左側(cè)文件夾圖標，進入“data-sets”下載該文件夾對應(yīng)的壓縮包。使用“CreateRectBox”，在口罩上畫一個矩形框，并填寫label為“mask”；使用“save”功能生成一個標注結(jié)果xml文件，并保存到磁盤目錄中，默認是存放在被標注圖片的同級目錄中后綴為xml的同名文件。點擊“NextImage”，就可以打開該文件夾下的下一張圖片。按照同樣的標注方法，對兩張人臉進行標注并保存：沒帶口罩，標記為“nomask”；帶了口罩，標記為“mask”;請同學(xué)們選擇兩張圖片，一張帶口罩的和一張不帶口罩，進行標注?！緦W(xué)生活動】學(xué)生通過實訓(xùn)任務(wù)書或者派Lab平臺上的實訓(xùn)指南，進行數(shù)據(jù)的標注【教師活動】對學(xué)生的操作做一些指導(dǎo)，及時解決學(xué)生在采集過程中遇到的問題。15分鐘在該環(huán)節(jié)中，通過演示法向同學(xué)們展示了口罩數(shù)據(jù)標注的全過程，然后讓學(xué)生自己實踐，模仿訓(xùn)練，加強學(xué)生的動手操作能力。任務(wù)三：進行口罩識別模型的訓(xùn)練【教師活動】剛剛同學(xué)們已經(jīng)成功的完成了數(shù)據(jù)的標注了，那現(xiàn)在我們來進行口罩識別模型的訓(xùn)練。實現(xiàn)口罩識別模型使用的是目標檢測中的YOLO模型。目標檢測是計算機視覺中比較常見的任務(wù)，它用來找到圖片中的某些物體，，除了識別這些物體的種類，同時標出這些物體的位置。YOLO就是一種可以實現(xiàn)目標檢測的模型，它的全稱是youonlylookonce。YOLO使用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特征來檢測圖像中的物體。本任務(wù)將基于YOLO實現(xiàn)口罩識別。同學(xué)們只需要掌握YOLO模型的作用就可以了。因為關(guān)于YOLO模型的結(jié)構(gòu)已經(jīng)封裝在了train.py文件中，我們直接調(diào)用就可以的。下面請同學(xué)們打開派lab，打開項目4中的任務(wù)3，我們通過6個步驟完成本任務(wù)。第一步和第二步：是約定俗成的解壓資源文件和導(dǎo)包的操作。點擊左側(cè)文件夾圖標，進入“data-sets”，可以看到壓縮包“MaskDetect.zip”，包含了該項目的數(shù)據(jù)集以及封裝好的代碼庫，使用下面的命令將其解壓到當前目錄中。該項目實現(xiàn)的源碼都封裝在“train.py”中，可以使用下面的命令將其導(dǎo)入環(huán)境中，在后續(xù)的步驟中可以調(diào)用它內(nèi)部的方法。第三步：處理xml標注數(shù)據(jù)，在任務(wù)2中，我們標注了一批人臉戴與不戴口罩的數(shù)據(jù)，標注結(jié)果均是xml文件，下面我們要對其做進一步的處理，提取有用信息。調(diào)用“process_xml”方法，配置好圖像路徑、標注文件的路徑、以及結(jié)果保存路徑即可。這里先處理訓(xùn)練集再處理驗證集。第四步，讀取數(shù)據(jù)集，從train包中調(diào)用process_traindata()函數(shù)，根據(jù)以上步驟的文件路徑，將數(shù)據(jù)集劃分為訓(xùn)練與測試。請同學(xué)們按照實訓(xùn)任務(wù)書，完成數(shù)據(jù)的讀取?！緦W(xué)生活動】參考實訓(xùn)任務(wù)書或派Lab平臺上的實訓(xùn)指南，完成數(shù)據(jù)的讀取?！窘處熁顒印康谖宀剑河捎趶念^訓(xùn)練一個好模型需要時間較久，我們提前預(yù)訓(xùn)練了一個口罩識別模型"./model_data/yolov4_maskdetect_weights1.pth"，我們可以使用標注的數(shù)據(jù)在此模型上繼續(xù)迭代，得到一個效果更好的模型。調(diào)用“l(fā)oad_premodel”函數(shù)，配置好模型路徑、類別標簽文件路徑即可。運行結(jié)果中顯示“Finished!”加載完成。請同學(xué)們思考一下，預(yù)訓(xùn)練模型對于整個模型構(gòu)建有什么意義？【預(yù)設(shè)】預(yù)訓(xùn)練模型是提前訓(xùn)練好的模型，是性能比較穩(wěn)定的模型。使用預(yù)訓(xùn)練模型來測試新的數(shù)據(jù)，不僅可以節(jié)約時間，還能獲得穩(wěn)定的準確率。有時一些任務(wù)也是通過對預(yù)訓(xùn)練模型的微調(diào)完成模型的構(gòu)建?！緦W(xué)生活動】學(xué)生動手實操，并思考回答問題【教師活動】第六步：如果需要從頭訓(xùn)練一個口罩識別模型，請同學(xué)們思考需要哪些參數(shù)，這些參數(shù)各自代表什。要構(gòu)建一個人工智能應(yīng)用，一般需要標注好的數(shù)據(jù)、模型結(jié)構(gòu)，關(guān)于模型結(jié)構(gòu)，讀取數(shù)據(jù)都封裝在train.py文件中，我們調(diào)用train_model方法，，配置好訓(xùn)練集、驗證集、迭代次數(shù)、學(xué)習(xí)率、模型結(jié)構(gòu)等參數(shù)即可。注：使用cpu環(huán)境訓(xùn)練時，把Batch_size設(shè)小一點，否則容易報出超出內(nèi)存的錯誤。同學(xué)們在私底下可以將迭代設(shè)置的大一些，知道損失函數(shù)收斂了或者到達一定的迭代次數(shù)，就訓(xùn)練好了。訓(xùn)練完得到的是最好的模型的權(quán)重，我們再調(diào)用“save_model”方法，配置好得到的模型權(quán)重，模型保存的地址和名稱即可?！緦W(xué)生活動】學(xué)生動手實操，并思考回答問題30分鐘在該環(huán)節(jié)中，教師通過演示、任務(wù)驅(qū)動方法，演示法帶領(lǐng)學(xué)生熟悉模型訓(xùn)練的流程，任務(wù)驅(qū)動法引導(dǎo)學(xué)生進行舉一反三，鞏固舊知識，并在練習(xí)中發(fā)展問題，解決問題。任務(wù)四：使用訓(xùn)練好的口罩識別模型進行新的圖片的測試【教師活動】在上一個任務(wù)中，我們進行了模型的訓(xùn)練，得到的是一個訓(xùn)練好的最優(yōu)的模型，在本任務(wù)中，就使用這個模型對一張新的圖片進行測試。在開始實訓(xùn)之前，確認一下當前環(huán)境中是否已經(jīng)安裝了torch1.7.1，如果在任務(wù)3中已經(jīng)安裝，且實訓(xùn)環(huán)境沒有關(guān)閉，可以直接開始任務(wù)4的實訓(xùn)；否則，重新安裝torch包：!pipinstalltorch==1.7.1。第一步：解壓資源文件和導(dǎo)入一些包和封裝好的函數(shù)。第二步：我們準備模型，順利完成了任務(wù)3的同學(xué)，可以將自己的模型通過下面的方式上傳到本任務(wù)的數(shù)據(jù)路徑下；任務(wù)3中訓(xùn)練的模型我們上傳到了網(wǎng)盤，如果完成了任務(wù)3的同學(xué)可以不用下載，如果沒有完成任務(wù)3的同學(xué)，可以去下載使用。模型地址如下：鏈接：/s/11djm79ak78I_Udz4AcoS_g提取碼：xkv8注意：無論是自己的模型還是下載的模型，都需要將模型上傳到該項目環(huán)境中。方法如下：點擊左側(cè)文件夾圖標，進入“model_data”,點擊上傳按鈕，找到本地的模型，等待上傳完成即可。請同學(xué)動手實操，將模型上傳至本任務(wù)中?！緦W(xué)生活動】學(xué)生動手實操?！窘處熁顒印楷F(xiàn)在我們對預(yù)訓(xùn)練模型進行測試，先讀取測試圖片，定義圖片路徑，然后用Image.open模塊打開文件，模型測試方法封裝在yolo.py文件中，先實例化一個YOLO類，然后對yolo調(diào)用detect_image函數(shù)，進行口罩識別，返回的是一個帶標簽的圖片，帶了口罩的圖片會框出人臉部分，并標注“mask”和置信度，沒帶口罩的圖片同樣會框出人臉，但是標注“nomask”和置信度。接下來就可以對這張圖片進行保存和顯示。請同學(xué)們自己上傳一張圖片進行測試吧。【學(xué)生活動】學(xué)生動手實操?！窘處熁顒印縿倓偼瑢W(xué)們完成的非常好。我們可以批量展示測試效果，大家打開派lab，執(zhí)行步驟7的代碼。在界面的右邊將出現(xiàn)一個交互面板，這里可設(shè)置一個圖片目錄，以“face_mask_datasetes/val_mask/images/”為例，你可以任意選擇該目錄中的圖像進行測試。

另外，如果你想要用自己的圖片測試，可以將圖片上傳到這個目錄下（重新設(shè)置一個目錄也可以，但要將下面代碼中的參數(shù)path_image修改