版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
1、 阿里云機器實現(xiàn)深度學(xué)習(xí)背景隨著互聯(lián)網(wǎng)的發(fā)展,產(chǎn)生了大量的圖片以及語音數(shù)據(jù),如何對這部分非結(jié)構(gòu)化數(shù)據(jù)行之有效的利用起來,一直是困擾數(shù)據(jù)挖掘工程師的一到難題。首先,解決非結(jié)構(gòu)化數(shù)據(jù)常常要使用深度學(xué)習(xí)算法,上手門檻高。其次,對于這部分數(shù)據(jù)的處理,往往需要依賴GPU計算引擎,計算資源代價大。本文將介紹一種利用深度學(xué)習(xí)實現(xiàn)的圖片識別案例,這種功能可以服用到圖片的檢黃、人臉識別、物體檢測等各個領(lǐng)域。下面嘗試通過阿里云機器學(xué)習(xí)平臺產(chǎn)品,利用深度學(xué)習(xí)框架Tensorflow,快速的搭架圖像識別的預(yù)測模型,整個流程只需要半小時,就可以實現(xiàn)對下面這幅圖片的識別,系統(tǒng)會返回結(jié)果“鳥”:二、數(shù)據(jù)集介紹本案例數(shù)據(jù)集及
2、相關(guān)代碼下載地址:/document_detail/51800.html?spm=5176.doc50654.6.564.mS4bn9使用CIFAR-10數(shù)據(jù)集,這份數(shù)據(jù)是一份對包含6萬張像素為32*32的彩色圖片,這6萬張圖片被分成10個類別,分別是飛機、汽車、鳥、毛、鹿、狗、青蛙、馬、船、卡車。數(shù)據(jù)集截圖:數(shù)據(jù)源在使用過程中被拆分成兩個部分,其中5萬張用于訓(xùn)練,1萬張用于測試。其中5萬張訓(xùn)練數(shù)據(jù)又被拆分成5個data_batch,1萬張測試數(shù)據(jù)組成test_batch。最終數(shù)據(jù)源如圖:三、數(shù)據(jù)探索流程下面我們一步一步講解下如何將實驗在阿里云機器學(xué)習(xí)平臺跑通,首先需要開通阿里云機器學(xué)習(xí)產(chǎn)品的
3、GPU使用權(quán)限,并且開通OSS,用于存儲數(shù)據(jù)。機器學(xué)習(xí):/product/learn?spm=a21gt.99266.416540.112.IOG7OUOSS:/product/oss?spm=a2c0j.103967.416540.50.KkZyBu1.數(shù)據(jù)源準備第一步,進入OSS對象存儲,將本案例使用的相關(guān)數(shù)據(jù)和代碼放到OSS的bucket路徑下。首先建立OSS的bucket,然后我建立了aohai_test文件夾,并在這個目錄下建立如下4個文件夾目錄:每個文件夾的作用如下: check_point:用來存放實驗生成的模型 cifar-10-batches-py:用來存放訓(xùn)練數(shù)據(jù)以及預(yù)測集
4、數(shù)據(jù),對應(yīng)的是下載下來的數(shù)據(jù)源cifar-10-batcher-py文件和預(yù)測集bird_mount_bluebird.jpg文件 predict_code:用來存放訓(xùn)練數(shù)據(jù),也就是cifar_pai.py train_code:用來存放cifar_predict_pai.py本案例數(shù)據(jù)集及相關(guān)代碼下載地址:/document_detail/51800.html?spm=5176.doc50654.6.564.mS4bn92.配置OSS訪問授權(quán)現(xiàn)在我們已經(jīng)把數(shù)據(jù)和訓(xùn)練需要的代碼放入OSS,下面要配置機器學(xué)習(xí)對OSS的訪問,進入阿里云機器學(xué)習(xí),在“設(shè)置”按鈕的彈出頁面,配置OSS的訪問授權(quán)。如圖
5、:3.模型訓(xùn)練從左邊的組件框中拖拽“讀OSS Bucket”以及“Tensorflow”組件鏈接,并且在“Tensorflow”的配置項中進行相關(guān)設(shè)置。Python代碼文件:OSS中的cifar_pai.py數(shù)據(jù)源目錄:OSS中的cifar-10-batches-py文件夾輸出目錄:OSS中的check_point文件夾點擊運行,實驗開始訓(xùn)練,可以針對底層的GPU資源靈活調(diào)節(jié),除了界面端的設(shè)置,需要在代碼中也有相應(yīng)的支持,代碼編寫符合Tensorflow的多卡規(guī)范。4.模型訓(xùn)練代碼解析這里針對cifar_pai.py文件中的關(guān)鍵代碼講解:(1)構(gòu)建CNN圖片訓(xùn)練模型(2)訓(xùn)練生成模型model
6、.tfl5.查看訓(xùn)練過程中的日志訓(xùn)練過程中,右鍵“Tensorflow”組件,點擊查看日志。點擊打開logview連接,按照如下鏈路操作,打開ODPS Tasks下面的Algo Task,雙擊Tensorflow Task,點擊StdOut,可以看到模型訓(xùn)練的日志被實時的打印出來:隨著實驗的進行,會不斷打出日志出來,對于關(guān)鍵的信息也可以利用print函數(shù)在代碼中打印,結(jié)果會顯示在這里。在本案例中,可以通過acc查看模型訓(xùn)練的準確度。6.結(jié)果預(yù)測再拖拽一個“Tensorflow”組件用于預(yù)測, Python代碼文件:OSS中的cifar_predict_pai.py 數(shù)據(jù)源目錄:OSS中的cifar-10-batches-py文件夾,用來讀取bird_mount_bluebird.jpg文件 輸出目錄:讀取OSS中的check_point文件夾下模型訓(xùn)練生成的model.tfl模型文件預(yù)測的圖片是存儲在checkpoint文件夾下的圖:結(jié)果見日志:7.預(yù)測代碼數(shù)據(jù)部分預(yù)測代碼解析:首先讀入圖片“bird_bullocks_oriole.jpg”,將圖片調(diào)整為像素32*32的大小,然后帶入model.predic
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024校服生產(chǎn)與校園文化衫銷售及售后維護服務(wù)合同2篇
- 2車輛租賃公司和個人之間的租車協(xié)議2024
- 2024物業(yè)寵物托管中心與寵物服務(wù)商合同
- 2024年網(wǎng)絡(luò)安全技術(shù)合作合同協(xié)議3篇
- 2024標準化房產(chǎn)居間業(yè)務(wù)協(xié)議一
- 2024年網(wǎng)絡(luò)游戲開發(fā)與運營合同:虛擬物品與玩家權(quán)益保護
- 鄭州師范學(xué)院《素描表現(xiàn)》2023-2024學(xué)年第一學(xué)期期末試卷
- 浙江旅游職業(yè)學(xué)院《專業(yè)外語(秘書)》2023-2024學(xué)年第一學(xué)期期末試卷
- 中南大學(xué)《生化工程》2023-2024學(xué)年第一學(xué)期期末試卷
- 《保護性拆除》課件
- 網(wǎng)站建設(shè)合同范本8篇
- 污水站安全培訓(xùn)
- 山東省濟寧市2023-2024學(xué)年高一上學(xué)期1月期末物理試題(解析版)
- 宜賓天原5萬噸氯化法鈦白粉環(huán)評報告
- 教育機構(gòu)年度總結(jié)和來年規(guī)劃
- 2024年工廠股權(quán)轉(zhuǎn)讓盡職調(diào)查報告3篇
- 2025年上半年河南鄭州滎陽市招聘第二批政務(wù)輔助人員211人筆試重點基礎(chǔ)提升(共500題)附帶答案詳解
- 山東省濟南市歷城區(qū)2024-2025學(xué)年七年級上學(xué)期期末數(shù)學(xué)模擬試題(無答案)
- 醫(yī)療器械考試題及答案
- 初三家長會數(shù)學(xué)老師發(fā)言稿
- 投資計劃書模板計劃方案
評論
0/150
提交評論