工業(yè)機(jī)器人應(yīng)用技術(shù)（第三版）課件 6.2　人工智能技術(shù)

第六篇拓展篇——人工智能與智能機(jī)器人任務(wù)二人工智能技術(shù)第六篇拓展篇——人工智能與智能機(jī)器人1.了解語音識(shí)別技術(shù)2.了解機(jī)器人視覺技術(shù)3.了解深度學(xué)習(xí)6.2人工智能技術(shù)6.2.1語音識(shí)別技術(shù)與機(jī)器進(jìn)行語音交流，讓機(jī)器明白你說什么，這是人們長(zhǎng)期以來夢(mèng)寐以求的事情。自動(dòng)語音識(shí)別技術(shù)ASR(AutomaticSpeechRecognition)就是讓機(jī)器通過識(shí)別和理解過程把語音信號(hào)轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)。近二十年來，語音識(shí)別技術(shù)取得顯著進(jìn)步，開始從實(shí)驗(yàn)室走向市場(chǎng)。人們預(yù)計(jì)，未來10年內(nèi)，語音識(shí)別技術(shù)將進(jìn)入工業(yè)、家電、通信、汽車電子、醫(yī)療、家庭服務(wù)、消費(fèi)電子產(chǎn)品等各個(gè)領(lǐng)域。語音識(shí)別的最大優(yōu)勢(shì)在于使得人機(jī)用戶界面更加自然和容易使用。6.2人工智能技術(shù)1.手機(jī)應(yīng)用語音輸入將語音實(shí)時(shí)識(shí)別為文字，適用于語音聊天、語音輸入、語音搜索、語音下單、語音指令、語音問答等多種場(chǎng)景。2.機(jī)器人對(duì)話通過語音識(shí)別實(shí)現(xiàn)人機(jī)對(duì)話。將語音對(duì)話實(shí)時(shí)識(shí)別為文字，實(shí)現(xiàn)自然流暢的人機(jī)對(duì)話。6.2人工智能技術(shù)3.語音內(nèi)容分析將音頻內(nèi)容識(shí)別為文字進(jìn)行返回，從中提取關(guān)鍵信息，對(duì)內(nèi)容進(jìn)行追蹤、處理及打標(biāo)簽等操作。4.實(shí)時(shí)語音轉(zhuǎn)寫可將會(huì)議記錄、筆記、總結(jié)、音視頻直播內(nèi)容等音頻實(shí)時(shí)轉(zhuǎn)寫為文字，進(jìn)行內(nèi)容記錄、實(shí)時(shí)展示。6.2人工智能技術(shù)任務(wù)實(shí)施使用Python實(shí)現(xiàn)以下語音識(shí)別功能：對(duì)著電腦說一段10S鐘內(nèi)的語言，進(jìn)行錄音，并將聲音上傳到百度智能云進(jìn)行識(shí)別，將識(shí)別結(jié)果返回。百度智能云語音識(shí)別開發(fā)的過程如圖6-15所示。6.2人工智能技術(shù)圖6-15百度智能云語音開發(fā)過程本任務(wù)需要用到的python模塊有：PyAudio（錄音接口）、wave（打開錄音文件并設(shè)置音頻參數(shù)）、requests（GET/POST）。1.創(chuàng)建百度智能云語言應(yīng)用登錄百度智能云/，注冊(cè)賬號(hào)，如有賬號(hào)可以直接登錄，在應(yīng)用列表中，創(chuàng)建一個(gè)語言技術(shù)的應(yīng)用。應(yīng)用的名稱自定義，可設(shè)為“語音識(shí)別”。6.2人工智能技術(shù)圖6-16登錄百度智能云圖6-17創(chuàng)建百度智能云語音技術(shù)應(yīng)用創(chuàng)建應(yīng)用完成后，獲取該應(yīng)用的APIkey和SecretKey6.2人工智能技術(shù)圖6-18應(yīng)用創(chuàng)建完成2.錄音功能實(shí)現(xiàn)百度智能云支持的語音格式包含pcm（不壓縮）、wav（不壓縮，pcm編碼）、amr（壓縮格式）。推薦使用pcm格式（采樣率16000，編碼：16bit位的單聲道），如使用其他格式百度智能云端會(huì)將非pcm格式，轉(zhuǎn)為pcm格式，因此使用wav、amr會(huì)有額外的轉(zhuǎn)換耗時(shí)。實(shí)現(xiàn)錄音功能的具體python代碼如下。6.2人工智能技術(shù)importwavefrompyaudioimportPyAudio,paInt16framerate=16000#采樣率num_samples=2000#采樣點(diǎn)channels=1#聲道sampwidth=2#采樣寬度2bytesFILEPATH='speech.wav'6.2人工智能技術(shù)defsave_wave_file(filepath,data):wf=wave.open(filepath,'wb')wf.setnchannels(channels)wf.setsampwidth(sampwidth)wf.setframerate(framerate)wf.writeframes(b''.join(data))6.2人工智能技術(shù)wf.close()#錄音defmy_record():pa=PyAudio()#打開一個(gè)新的音頻streamstream=pa.open(format=paInt16,channels=channels,rate=framerate,input=True,frames_per_buffer=num_samples)my_buf=[]#存放錄音數(shù)據(jù)6.2人工智能技術(shù)t=time.time()print('正在錄音...')whiletime.time()<t+9:#設(shè)置錄音時(shí)間（10秒）

#循環(huán)read，每次read2000framesstring_audio_data=stream.read(num_samples)my_buf.append(string_audio_data)print('錄音結(jié)束.')save_wave_file(FILEPATH,my_buf)stream.close()6.2人工智能技術(shù)3.獲取百度語音識(shí)別服務(wù)通過文檔組裝url獲取token，以JSON格式POST到百度語音識(shí)別服務(wù)器，獲得返回結(jié)果。具體代碼如下。importrequestsimportbase64#百度語音要求對(duì)本地語音二進(jìn)制數(shù)據(jù)進(jìn)行base64編碼#組裝url獲取token6.2人工智能技術(shù)base_url="/oauth/2.0/token?grant_type=client_credentials&client_id=%s&client_secret=%s"APIKey="U6sTWixskuPvbBUSHtNnMCVL"SecretKey="Crv0kw*******R00****"HOST=base_url%(APIKey,SecretKey)defgetToken(host):res=requests.post(host)returnres.json()['access_token']6.2人工智能技術(shù)#傳入語音二進(jìn)制數(shù)據(jù)，token#dev_pid為百度語音識(shí)別提供的幾種語言選擇defspeech2text(speech_data,token,dev_pid=1537):FORMAT='wav'RATE='16000'CHANNEL=1CUID='********'SPEECH=base64.b64encode(speech_data).decode('utf-8')6.2人工智能技術(shù)data={'format':FORMAT,'rate':RATE,'channel':CHANNEL,'cuid':CUID,'len':len(speech_data),'speech':SPEECH,'token':token,'dev_pid':dev_pid }6.2人工智能技術(shù)url='/server_api'headers={'Content-Type':'application/json'}#r=requests.post(url,data=json.dumps(data),headers=headers)print('正在識(shí)別...')r=requests.post(url,json=data,headers=headers)Result=r.json()if'result'inResult:returnResult['result'][0]else:returnResult6.2人工智能技術(shù)完整程序，見ASR-demo.py，使用中文普通話錄音后返回文字如圖6-19如下。讀者可下載程序，在百度智能云創(chuàng)建應(yīng)用，修改程序中APIKey和SecretKey，運(yùn)行程序后進(jìn)行錄音并識(shí)別。6.2人工智能技術(shù)圖6-19語音識(shí)別結(jié)果6.2.2機(jī)器視覺技術(shù)機(jī)器視覺作為人工智能的一個(gè)分支既是機(jī)遇也是挑戰(zhàn)，工業(yè)機(jī)器人賦予“慧眼”的機(jī)器視覺，大大提升了工業(yè)機(jī)器人效率。在智能制造過程中，機(jī)器視覺主要用計(jì)算機(jī)，來模擬人的視覺功能，也就是要把客觀事物的圖像信息提取、處理并理解，最終用于實(shí)際檢測(cè)、測(cè)量和控制。目前，日漸成熟的圖像識(shí)別技術(shù)已經(jīng)被應(yīng)用在各個(gè)行業(yè)各個(gè)領(lǐng)域，如網(wǎng)絡(luò)搜索、智能家居、電商購物、農(nóng)林業(yè)、金融、安防、醫(yī)療等。6.2人工智能技術(shù)在智能家居領(lǐng)域，可實(shí)現(xiàn)在門口安裝了攝像頭，當(dāng)有物體出現(xiàn)在攝像頭范圍內(nèi)的時(shí)候，攝像頭自動(dòng)拍攝圖像進(jìn)行識(shí)別，如果發(fā)現(xiàn)是可疑的人或物體，就可以及時(shí)報(bào)警給戶主。如果圖像和主人的面部匹配，則會(huì)主動(dòng)為主人開門，如圖6-20所示。該技術(shù)也普遍應(yīng)用于安防系統(tǒng)。6.2人工智能技術(shù)圖6-20智能家居將圖像識(shí)別技術(shù)應(yīng)用到醫(yī)療領(lǐng)域，可以更精準(zhǔn)更快速地分辨X光片、MRI和CT掃描圖片，上至診斷預(yù)防癌癥，下至加速發(fā)現(xiàn)治病救命的新藥。一個(gè)放射科醫(yī)生一生可能會(huì)看上萬張掃描圖像，但是，一臺(tái)計(jì)算機(jī)可能會(huì)看上千萬張，如圖6-21所示。6.2人工智能技術(shù)圖6-21機(jī)器人分析X光片機(jī)器視覺針對(duì)瑕疵檢測(cè)，也是人工智能的一大“場(chǎng)景”，是人工智能在工業(yè)場(chǎng)景的一大落地應(yīng)用。經(jīng)視覺準(zhǔn)確分析定位后引導(dǎo)動(dòng)作，避免了產(chǎn)品傳送中的偏差，增強(qiáng)了不同產(chǎn)品的生產(chǎn)適應(yīng)性，同時(shí)大幅提升產(chǎn)品的加工精度。此外，機(jī)器視覺還能檢測(cè)成品的精度，免除人工抽檢帶來的低效、誤差與漏檢。6.2人工智能技術(shù)圖6-22視覺分揀任務(wù)實(shí)施使用在線識(shí)圖搜索，上傳圖片至百度識(shí)圖搜索進(jìn)行識(shí)別。1.準(zhǔn)備好需要識(shí)別的圖片。準(zhǔn)備好如圖6-23所示的機(jī)械手圖片。2.打開百度識(shí)圖搜索，如圖6-24所示。6.2人工智能技術(shù)圖6-23機(jī)械手圖片圖6-24百度識(shí)圖3.上傳圖片并識(shí)圖上傳機(jī)械手的圖片，根據(jù)該圖像特征匹配到“可能是越疆魔術(shù)師機(jī)械臂”，并提供相似圖片以供參考，如圖6-25所示。6.2人工智能技術(shù)圖6-25百度識(shí)圖結(jié)果6.2.3深度學(xué)習(xí)技術(shù)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的必經(jīng)路徑。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，含多個(gè)隱藏層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。研究深度學(xué)習(xí)的動(dòng)機(jī)在于建立模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本等。6.2人工智能技術(shù)典型的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork)、DBN和堆棧自編碼網(wǎng)絡(luò)(stackedauto-encodernetwork)模型等。1.卷積神經(jīng)網(wǎng)絡(luò)模型在無監(jiān)督預(yù)訓(xùn)練出現(xiàn)之前，訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)通常非常困難，而其中一個(gè)特例是卷積神經(jīng)網(wǎng)絡(luò)。6.2人工智能技術(shù)圖6-26卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)受視覺系統(tǒng)的結(jié)構(gòu)啟發(fā)而產(chǎn)生。第一個(gè)卷積神經(jīng)網(wǎng)絡(luò)計(jì)算模型是在Fukushima(D的神經(jīng)認(rèn)知機(jī)中提出的，基于神經(jīng)元之間的局部連接和分層組織圖像轉(zhuǎn)換，將有相同參數(shù)的神經(jīng)元應(yīng)用于前一層神經(jīng)網(wǎng)絡(luò)的不同位置，得到一種平移不變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)形式。后來，LeCun等人在該思想的基礎(chǔ)上，用誤差梯度設(shè)計(jì)并訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，在一些模式識(shí)別任務(wù)上得到優(yōu)越的性能。至今，基于卷積神經(jīng)網(wǎng)絡(luò)的模式識(shí)別系統(tǒng)是最好的實(shí)現(xiàn)系統(tǒng)之一，尤其在手寫體字符識(shí)別任務(wù)上表現(xiàn)出非凡的性能。6.2人工智能技術(shù)2.深度信任網(wǎng)絡(luò)模型DBN可以解釋為貝葉斯概率生成模型，由多層隨機(jī)隱變量組成，上面的兩層具有無向?qū)ΨQ連接，下面的層得到來自上一層的自頂向下的有向連接，最底層單元的狀態(tài)為可見輸入數(shù)據(jù)向量。DBN由若2F結(jié)構(gòu)單元堆棧組成，結(jié)構(gòu)單元通常為RBM（RestIlctedBoltzmannMachine，受限玻爾茲曼機(jī)）。堆棧中每個(gè)RBM單元的可視層神經(jīng)元數(shù)量等于前一RBM單元的隱層神經(jīng)元數(shù)量。根據(jù)深度學(xué)習(xí)機(jī)制，采用輸入樣例訓(xùn)練第一層RBM單元，并利用其輸出訓(xùn)練第二層RBM模型，將RBM模型進(jìn)行堆棧通過增加層來改善模型性能。在無監(jiān)督預(yù)訓(xùn)練過程中，DBN編碼輸入到頂層RBM后，解碼頂層的狀態(tài)到最底層的單元，實(shí)現(xiàn)輸入的重構(gòu)。RBM作為DBN的結(jié)構(gòu)單元，與每一層DBN共享參數(shù)。6.2人工智能技術(shù)3.堆棧自編碼網(wǎng)絡(luò)模型堆棧自編碼網(wǎng)絡(luò)的結(jié)構(gòu)與DBN類似，由若干結(jié)構(gòu)單元堆棧組成，不同之處在于其結(jié)構(gòu)單元為自編碼模型(auto-en-coder)而不是RBM。自編碼模型是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò)，第一層稱為編碼層