阿里云機器實現(xiàn)深度學(xué)習(xí)_第1頁
阿里云機器實現(xiàn)深度學(xué)習(xí)_第2頁
阿里云機器實現(xiàn)深度學(xué)習(xí)_第3頁
阿里云機器實現(xiàn)深度學(xué)習(xí)_第4頁
阿里云機器實現(xiàn)深度學(xué)習(xí)_第5頁
已閱讀5頁,還剩10頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

1、 阿里云機器實現(xiàn)深度學(xué)習(xí)背景隨著互聯(lián)網(wǎng)的發(fā)展,產(chǎn)生了大量的圖片以及語音數(shù)據(jù),如何對這部分非結(jié)構(gòu)化數(shù)據(jù)行之有效的利用起來,一直是困擾數(shù)據(jù)挖掘工程師的一到難題。首先,解決非結(jié)構(gòu)化數(shù)據(jù)常常要使用深度學(xué)習(xí)算法,上手門檻高。其次,對于這部分數(shù)據(jù)的處理,往往需要依賴GPU計算引擎,計算資源代價大。本文將介紹一種利用深度學(xué)習(xí)實現(xiàn)的圖片識別案例,這種功能可以服用到圖片的檢黃、人臉識別、物體檢測等各個領(lǐng)域。下面嘗試通過阿里云機器學(xué)習(xí)平臺產(chǎn)品,利用深度學(xué)習(xí)框架Tensorflow,快速的搭架圖像識別的預(yù)測模型,整個流程只需要半小時,就可以實現(xiàn)對下面這幅圖片的識別,系統(tǒng)會返回結(jié)果“鳥”:二、數(shù)據(jù)集介紹本案例數(shù)據(jù)集及

2、相關(guān)代碼下載地址:/document_detail/51800.html?spm=5176.doc50654.6.564.mS4bn9使用CIFAR-10數(shù)據(jù)集,這份數(shù)據(jù)是一份對包含6萬張像素為32*32的彩色圖片,這6萬張圖片被分成10個類別,分別是飛機、汽車、鳥、毛、鹿、狗、青蛙、馬、船、卡車。數(shù)據(jù)集截圖:數(shù)據(jù)源在使用過程中被拆分成兩個部分,其中5萬張用于訓(xùn)練,1萬張用于測試。其中5萬張訓(xùn)練數(shù)據(jù)又被拆分成5個data_batch,1萬張測試數(shù)據(jù)組成test_batch。最終數(shù)據(jù)源如圖:三、數(shù)據(jù)探索流程下面我們一步一步講解下如何將實驗在阿里云機器學(xué)習(xí)平臺跑通,首先需要開通阿里云機器學(xué)習(xí)產(chǎn)品的

3、GPU使用權(quán)限,并且開通OSS,用于存儲數(shù)據(jù)。機器學(xué)習(xí):/product/learn?spm=a21gt.99266.416540.112.IOG7OUOSS:/product/oss?spm=a2c0j.103967.416540.50.KkZyBu1.數(shù)據(jù)源準備第一步,進入OSS對象存儲,將本案例使用的相關(guān)數(shù)據(jù)和代碼放到OSS的bucket路徑下。首先建立OSS的bucket,然后我建立了aohai_test文件夾,并在這個目錄下建立如下4個文件夾目錄:每個文件夾的作用如下: check_point:用來存放實驗生成的模型 cifar-10-batches-py:用來存放訓(xùn)練數(shù)據(jù)以及預(yù)測集

4、數(shù)據(jù),對應(yīng)的是下載下來的數(shù)據(jù)源cifar-10-batcher-py文件和預(yù)測集bird_mount_bluebird.jpg文件 predict_code:用來存放訓(xùn)練數(shù)據(jù),也就是cifar_pai.py train_code:用來存放cifar_predict_pai.py本案例數(shù)據(jù)集及相關(guān)代碼下載地址:/document_detail/51800.html?spm=5176.doc50654.6.564.mS4bn92.配置OSS訪問授權(quán)現(xiàn)在我們已經(jīng)把數(shù)據(jù)和訓(xùn)練需要的代碼放入OSS,下面要配置機器學(xué)習(xí)對OSS的訪問,進入阿里云機器學(xué)習(xí),在“設(shè)置”按鈕的彈出頁面,配置OSS的訪問授權(quán)。如圖

5、:3.模型訓(xùn)練從左邊的組件框中拖拽“讀OSS Bucket”以及“Tensorflow”組件鏈接,并且在“Tensorflow”的配置項中進行相關(guān)設(shè)置。Python代碼文件:OSS中的cifar_pai.py數(shù)據(jù)源目錄:OSS中的cifar-10-batches-py文件夾輸出目錄:OSS中的check_point文件夾點擊運行,實驗開始訓(xùn)練,可以針對底層的GPU資源靈活調(diào)節(jié),除了界面端的設(shè)置,需要在代碼中也有相應(yīng)的支持,代碼編寫符合Tensorflow的多卡規(guī)范。4.模型訓(xùn)練代碼解析這里針對cifar_pai.py文件中的關(guān)鍵代碼講解:(1)構(gòu)建CNN圖片訓(xùn)練模型(2)訓(xùn)練生成模型model

6、.tfl5.查看訓(xùn)練過程中的日志訓(xùn)練過程中,右鍵“Tensorflow”組件,點擊查看日志。點擊打開logview連接,按照如下鏈路操作,打開ODPS Tasks下面的Algo Task,雙擊Tensorflow Task,點擊StdOut,可以看到模型訓(xùn)練的日志被實時的打印出來:隨著實驗的進行,會不斷打出日志出來,對于關(guān)鍵的信息也可以利用print函數(shù)在代碼中打印,結(jié)果會顯示在這里。在本案例中,可以通過acc查看模型訓(xùn)練的準確度。6.結(jié)果預(yù)測再拖拽一個“Tensorflow”組件用于預(yù)測, Python代碼文件:OSS中的cifar_predict_pai.py 數(shù)據(jù)源目錄:OSS中的cifar-10-batches-py文件夾,用來讀取bird_mount_bluebird.jpg文件 輸出目錄:讀取OSS中的check_point文件夾下模型訓(xùn)練生成的model.tfl模型文件預(yù)測的圖片是存儲在checkpoint文件夾下的圖:結(jié)果見日志:7.預(yù)測代碼數(shù)據(jù)部分預(yù)測代碼解析:首先讀入圖片“bird_bullocks_oriole.jpg”,將圖片調(diào)整為像素32*32的大小,然后帶入model.predic

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論