深度學習 實驗指導書 實驗2：基于ViT的CIFAR10圖像分類實驗指導書_第1頁
深度學習 實驗指導書 實驗2：基于ViT的CIFAR10圖像分類實驗指導書_第2頁
深度學習 實驗指導書 實驗2：基于ViT的CIFAR10圖像分類實驗指導書_第3頁
深度學習 實驗指導書 實驗2：基于ViT的CIFAR10圖像分類實驗指導書_第4頁
深度學習 實驗指導書 實驗2：基于ViT的CIFAR10圖像分類實驗指導書_第5頁
已閱讀5頁，還剩3頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

實驗二：基于ViT的CIFAR10圖像分類一、實驗目的學習如何使用深度學習框架來實現和訓練一個ViT模型，以及ViT中的Attention機制。進一步掌握使用深度學習框架完成任務的具體流程：如讀取數據、構造網絡、訓練模型和測試模型等。二、實驗要求基于Python語言和任意一種深度學習框架（實驗指導書中使用PyTorch框架進行介紹），從零開始一步步完成數據讀取、網絡構建、模型訓練和模型測試等過程，最終實現一個可以完成基于ViT的CIFAR10圖像分類任務的程序。在CIFAR10數據集上進行訓練和評估，實現測試集準確率達到90%以上。按照規(guī)定時間在課程網站上提交實驗報告，代碼和PPT。三、實驗原理ViT相關概念和原理參考《深度學習》課程講授內容，VIT首次將Transformer模型運用到計算機視覺領域并且取得了不錯的分類效果，模型架構圖如圖1所示。從圖1可以看出VIT只用了Transformer模型的編碼器部分，并未涉及解碼器。ViT架構由三部分組成：（1）圖像特征嵌入模塊；（2）Transformer編碼器模塊；（3）MLP分類模塊。ViT的組成模塊詳細介紹如下：圖1ViT的架構（1）圖像特征嵌入模塊：標準的ViT模型對圖像的輸入尺寸有要求，必須為224*224，圖像輸入之后首先是需要進行Patch分塊，一般設置Patch的尺寸為16*16，那么一共能生成(224/16)*(224/16)=196個Patch塊。（2）Transformer編碼器模塊：主要由LayerNorm層、多頭注意力機制、MLP模塊、殘差連接這5個部分組成。其中多頭注意力如圖2所示。圖2多頭注意力（3）MLP模塊：由兩個全連接層加上Dropout層實現。四、實驗所需工具和數據集數據集CIFAR-10（CanadianInstituteforAdvancedResearch-10）是一個常用的計算機視覺數據集，由60000張32*32像素的彩色圖片組成，分為10個類別，每個類別有6000張圖片。這個數據集包含飛機、汽車、鳥類、貓、鹿、狗、青蛙、馬、船和卡車等類別。其中，訓練集包含50000張圖片，測試集包含10000張圖片。CIFAR-10是一個用于測試圖像分類算法性能的標準基準數據集之一，由于圖像尺寸小且類別豐富，因此在計算資源有限的情況下，它通常用于快速驗證和原型設計。下載地址：/~kriz/cifar.html實驗環(huán)境一臺電腦Python3.XPyTorch深度學習框架五、實驗步驟和方法下載數據集和數據預處理構建模型：包括A

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論