智慧型服務(wù)機(jī)器人的語(yǔ)音交互技術(shù)

智慧型服務(wù)機(jī)器人的

語(yǔ)音交互技術(shù)第三屆北京國(guó)際服務(wù)機(jī)器人大會(huì)李曉東中國(guó)科學(xué)院聲學(xué)研究所IACAS大綱引言機(jī)器人語(yǔ)音交互問(wèn)題機(jī)器聽(tīng)覺(jué)技術(shù)進(jìn)展結(jié)束語(yǔ)引言近年來(lái)，由于計(jì)算技術(shù)、通信技術(shù)、傳感器技術(shù)的快速發(fā)展，自動(dòng)控制、模式識(shí)別等理論的突破，人工智能、機(jī)器人技術(shù)得到一定程度的普及；機(jī)器人時(shí)代的到來(lái)…….各種預(yù)言、產(chǎn)業(yè)前瞻，甚至倫理討論而在現(xiàn)實(shí)中，機(jī)器人是：引言引言近年來(lái)，出現(xiàn)不少“智慧型”服務(wù)機(jī)器人：引言——問(wèn)題和挑戰(zhàn)對(duì)人類(lèi)大腦的感知、理解機(jī)制知之不足，缺少突破；基于大數(shù)據(jù)、深度學(xué)習(xí)的計(jì)算機(jī)智能是：即無(wú)意識(shí)（non-sentient）的智能，專(zhuān)注于某項(xiàng)特定任務(wù)；對(duì)應(yīng)的有“strongAI”，或稱(chēng)“Artificialgeneralintelligence”……..weakAI引言——問(wèn)題和挑戰(zhàn)各類(lèi)傳感器、制動(dòng)器可以做到非常精準(zhǔn)，但與生物傳感器相比，天壤之別…….引言——語(yǔ)音交互聽(tīng)和說(shuō)是人類(lèi)最自然的交流方式，也是最好的人機(jī)交互方式引言——機(jī)器人聽(tīng)覺(jué)（Robot

Audition）基于快速發(fā)展的物理感知、計(jì)算和通信技術(shù)，實(shí)現(xiàn)一般環(huán)境中機(jī)器與人的自然語(yǔ)音/音頻信息交互。在復(fù)雜聲學(xué)環(huán)境，區(qū)分了解聲學(xué)事件；去除環(huán)境噪聲、混響干擾，實(shí)現(xiàn)遠(yuǎn)距離聲目標(biāo)的信號(hào)獲?。粚?duì)單個(gè)或多個(gè)聲信號(hào)的處理和感知，直至識(shí)別、理解；對(duì)話(huà)、交互……..機(jī)器人聽(tīng)覺(jué)研究典型人形機(jī)器人的聲學(xué)配置頭頂部4個(gè)傳聲器頭部雙耳處安裝揚(yáng)聲器機(jī)器人聽(tīng)覺(jué)研究一些關(guān)鍵技術(shù)：回聲抵消（Acoustic

Echo

Cancellation）自噪聲抑制（Ego

Noise

Suppression）語(yǔ)音增強(qiáng)（Speech

Enhancement）單通道多通道（陣列）其它聲學(xué)感知技術(shù)回聲抵消（Acoustic

Echo

Cancellation）：當(dāng)機(jī)器人說(shuō)話(huà)時(shí)，聲音會(huì)同時(shí)傳送給其“耳朵”，影響對(duì)目標(biāo)聲音拾取。機(jī)器人聽(tīng)覺(jué)研究進(jìn)展回音抵消回音抵消立體聲聲學(xué)回聲抵消（SAEC）多通道回聲抵消濾波器失調(diào)嚴(yán)重雙通道信號(hào)間強(qiáng)相關(guān)性能評(píng)價(jià)濾波器失調(diào)性能全頻帶性能去相關(guān)性能自噪聲抑制（Ego

NoiseSuppression）:當(dāng)機(jī)器人運(yùn)動(dòng)時(shí)，各種驅(qū)動(dòng)電機(jī)的噪聲會(huì)傳送給其“耳朵”，影響對(duì)目標(biāo)聲音拾取。機(jī)器人聽(tīng)覺(jué)研究進(jìn)展自噪聲抑制采集自噪聲數(shù)據(jù)，訓(xùn)練形成“字典”；在應(yīng)用中對(duì)照“字典”，消除自噪聲成分。自噪聲抑制自噪聲抑制效果：提高PESQ得分，從<1.5提高至>2.5；噪聲抑制量>20dB；顯著提高語(yǔ)音識(shí)別正確率。示例：在很多環(huán)境中，存在干擾噪聲和房間混響，需要通過(guò)語(yǔ)音增強(qiáng)技術(shù)加以改善。單通道語(yǔ)音增強(qiáng)多通道語(yǔ)音增強(qiáng)——傳聲器陣列其它物理感知方法語(yǔ)音增強(qiáng)語(yǔ)音增強(qiáng)單通道語(yǔ)音增強(qiáng)：非平穩(wěn)噪聲背景下的語(yǔ)音增強(qiáng)技術(shù)瞬態(tài)噪聲消除語(yǔ)音增強(qiáng)語(yǔ)音增強(qiáng)存在問(wèn)題：只對(duì)某些類(lèi)型的瞬態(tài)噪聲有效不能完全消除瞬態(tài)噪聲，存在殘留瞬態(tài)噪聲檢測(cè)瞬態(tài)噪聲特性學(xué)習(xí)瞬態(tài)噪聲抑制去除含有瞬態(tài)噪聲的幀瞬態(tài)噪聲檢測(cè)語(yǔ)音重建語(yǔ)音增強(qiáng)客觀測(cè)試結(jié)果對(duì)比：

降噪量提高：完全消除了瞬態(tài)噪聲PESQ提高：對(duì)語(yǔ)音質(zhì)量大幅改善語(yǔ)音增強(qiáng)傳聲器陣列通過(guò)多個(gè)傳聲器拾取空間聲場(chǎng)信息，實(shí)現(xiàn)：空間濾波——波束形成增強(qiáng)目標(biāo)語(yǔ)音信號(hào)，去除干擾、混響多聲源定位、分離……傳聲器陣列頂部有7micarray，用于語(yǔ)音增強(qiáng)研究進(jìn)展—傳聲器陣列基于矢量傳聲器的陣列技術(shù)聲場(chǎng)是矢量場(chǎng)，而普通傳聲器所測(cè)聲壓是標(biāo)量矢量傳聲器可獲取聲場(chǎng)質(zhì)點(diǎn)振速傳感方式頻率特性基于矢量傳聲器的GSC算法基于矢量傳聲器的GSC算法(a)(c)(d)(b)(a)原始語(yǔ)音信號(hào)；(b)聲壓傳聲器輸出信號(hào)；(c)SC濾波器輸出信號(hào)；(d)GSC系統(tǒng)輸出信號(hào)。運(yùn)動(dòng)、柔性陣列利用機(jī)器人的運(yùn)動(dòng)特點(diǎn)，包括身體移動(dòng)、頭部轉(zhuǎn)動(dòng)，得到更多的聲學(xué)目標(biāo)信息；傳聲器可以布放在機(jī)器人各個(gè)位置，如手臂上，形成孔徑、形狀可變的陣列，根據(jù)需求進(jìn)行調(diào)整；音、視頻技術(shù)的融合，借助視頻信息輔助獲取聲信息機(jī)器人聽(tīng)覺(jué)的差距雙耳與人頭模型3D聽(tīng)覺(jué)3D聽(tīng)覺(jué)Elevation[deg]Angularstep[deg]Numberofpoints－40572－30572－20572－105720572105722057230572405725057260103670152480301290－－1total793其它物理感知技術(shù)激光測(cè)振技術(shù)激光測(cè)振技術(shù)其它物理感知技術(shù)激光測(cè)聲技術(shù)其它物理感知技術(shù)高速攝影技術(shù)總結(jié)與展望語(yǔ)音交互是人機(jī)