讓電腦聽(tīng)話課件

1、讓電腦聽(tīng)話報(bào)告組別；電腦組小組成員：林育丞 、許耕敏 、施智翔 、吳泰羽指導(dǎo)老師：郭人豪老師 讓電腦聽(tīng)話報(bào)告組別；電腦組報(bào)告大綱導(dǎo)論研究目的名詞解釋及相關(guān)知識(shí)探討研究過(guò)程研究結(jié)論報(bào)告大綱導(dǎo)論導(dǎo)論 語(yǔ)音辨識(shí)的應(yīng)用範(fàn)圍很廣，例如語(yǔ)音輸入與聲紋之身份辨識(shí)即是，語(yǔ)音輸入的最大好處是它非常合乎人的自然行為習(xí)慣，對(duì)於不習(xí)慣使用鍵盤輸入電腦資料的人，特別是中文輸入，有了語(yǔ)音輸入的方法之後，就不必辛苦地學(xué)習(xí)各種中文輸入法來(lái)迎合電腦。 導(dǎo)論 語(yǔ)音辨識(shí)的應(yīng)用範(fàn)圍很廣，例如語(yǔ)音輸入與聲紋之身份辨識(shí)即研究目的 研讀相關(guān)資料，使我們能了解電腦如何儲(chǔ)存聲音及辨識(shí)聲音，並透過(guò)實(shí)際操作了解語(yǔ)音辨識(shí)的過(guò)程。 研究目的 研讀相關(guān)

2、資料，使我們能了解電腦如何儲(chǔ)存聲音及辨識(shí)聲名詞解釋及相關(guān)知識(shí)探討 聲音的本質(zhì)聲音數(shù)位化取樣頻率解析度消除靜音 音框 語(yǔ)音辨識(shí)的原理語(yǔ)音辨識(shí)的方法名詞解釋及相關(guān)知識(shí)探討 聲音的本質(zhì)聲音的本質(zhì)聲音，是泛指任何我們耳朵所能聽(tīng)見(jiàn)的聲音。 任何聲音都以波的形式表示，而聲音訊號(hào)的波形，可在不同的時(shí)間區(qū)段上找到不同的週期。非固定式訊號(hào)。聲音的本質(zhì)聲音，是泛指任何我們耳朵所能聽(tīng)見(jiàn)的聲音。 數(shù)位化透過(guò)麥克風(fēng)我們把聲音傳到電腦裡面，這中間的過(guò)程稱為數(shù)位化。原來(lái)連續(xù)的訊號(hào)，經(jīng)過(guò)數(shù)位化的處理，變成一種不連續(xù)的訊號(hào)。數(shù)位化透過(guò)麥克風(fēng)我們把聲音傳到電腦裡面，這中間的過(guò)程稱為數(shù)位取樣頻率定義：每分鐘取樣的次數(shù)。取樣的頻率越

3、高，所需的儲(chǔ)存記憶體就越大，這會(huì)導(dǎo)致辨識(shí)的時(shí)間過(guò)長(zhǎng)，因此本研究中取樣皆以8000HZ(每分鐘8000次)為基準(zhǔn)，這樣就不會(huì)花太多時(shí)間在辨識(shí)也不會(huì)讓聲音失真。取樣頻率定義：每分鐘取樣的次數(shù)。取樣失真所得的聲音取樣值便不能代表原來(lái)訊號(hào)。取樣頻率需大於兩倍聲音頻率，否則會(huì)造成取樣失真。對(duì)語(yǔ)音訊號(hào)取樣時(shí)，語(yǔ)音最高頻率不會(huì)超過(guò)4000Hz，所以取樣頻率定在 8000Hz以上，就保證取樣失真不發(fā)生。取樣失真所得的聲音取樣值便不能代表原來(lái)訊號(hào)。取樣頻率需大於兩解析度定義：每個(gè)取樣點(diǎn)用多少bit(位元，一個(gè)0或1稱為1個(gè)bit。)來(lái)表示聲音。經(jīng)過(guò)電腦取樣後，聲音檔案就出現(xiàn)了頻率(HZ)及(BIT)兩個(gè)單位HZ

4、=1分鐘取樣的次數(shù) BIT=每次取樣所用的值大小解析度定義：每個(gè)取樣點(diǎn)用多少bit(位元，一個(gè)0或1稱為1個(gè)消除靜音為何要消除靜音?如何消除靜音? 能量量測(cè)法: 1.找出所有音框能量總和的平均值，設(shè)定為門檻值 2.以門檻值來(lái)區(qū)分有聲或無(wú)聲區(qū)域 3.刪除無(wú)聲區(qū)域 消除靜音為何要消除靜音?音框音框是語(yǔ)音處理的最小單位大小沒(méi)有一定標(biāo)準(zhǔn)，使用者自訂一個(gè)音框可以計(jì)算出一個(gè)語(yǔ)音特徵值音框音框是語(yǔ)音處理的最小單位為何要取音框（frame）處理語(yǔ)音訊號(hào)這種不固定週期式的訊號(hào)時(shí)，最好先將其分段處理，把每一段當(dāng)成一個(gè)固定的訊號(hào)，而這一小段部份就被稱為“音框”。為何要取音框（frame）處理語(yǔ)音訊號(hào)這種不固定週期式

5、的訊號(hào)如何取音框如何取音框語(yǔ)音辨識(shí)的原理步驟如下：類比到數(shù)位的轉(zhuǎn)換 聲音樣本與測(cè)試樣本進(jìn)行比對(duì)工作 找出最相似的語(yǔ)音輸出結(jié)果語(yǔ)音辨識(shí)的原理步驟如下：語(yǔ)音辨識(shí)的方法相似度比較法 測(cè)試樣本參照樣本集輸入比對(duì)找出最相似辨識(shí)結(jié)果範(fàn)例：輸入測(cè)試樣本；2參照樣本集：1、2、320比對(duì)後找出最相似結(jié)果:2範(fàn)例：輸入測(cè)試樣本；a參照樣本集：1、2、320比對(duì)後找出最相似結(jié)果:2語(yǔ)音辨識(shí)的方法相似度比較法 測(cè)試樣本參照樣本集輸入找出最相似如何計(jì)算相似度設(shè)待測(cè)音框?yàn)閍1、a2、a3an， (n=音框數(shù))設(shè)參照音框?yàn)閎1、b2、b3bn， (n=音框數(shù))語(yǔ)音相似度=a1與b1的相似度 + a2與b2的相似度 + +

6、an與bn的相似度音框相似度的計(jì)算則需使用到多變數(shù)的高思機(jī)率密度函數(shù)，因其中數(shù)學(xué)理論過(guò)於深?yuàn)W，超過(guò)國(guó)中生所能理解的程度，所以我們僅使用不予以探討 如何計(jì)算相似度設(shè)待測(cè)音框?yàn)閍1、a2、a3an， (n=音研究過(guò)程 提出問(wèn)題提出假設(shè)及驗(yàn)證假設(shè)的方法錄製聲音語(yǔ)音處理去除靜音調(diào)整聲音格式(8000HZ、16bit及單聲道) 訓(xùn)練對(duì)照組，取得聲音特徵值進(jìn)行待測(cè)聲音與對(duì)照組的語(yǔ)音辨識(shí)數(shù)據(jù)分析及驗(yàn)證假設(shè)研究過(guò)程 提出問(wèn)題問(wèn)題與假設(shè)如何判斷電腦辨別聲音成功？假設(shè)存在有一門檻值來(lái)判別是否為辨識(shí)成功是否能正確辨別同性別及不同性別的聲音(以正常語(yǔ)調(diào))?假設(shè)同性別聲音的相似度會(huì)較高是否能正確辨別不同年紀(jì)(不分男女)

7、的聲音?假設(shè)同年齡的相似度會(huì)較高問(wèn)題與假設(shè)如何判斷電腦辨別聲音成功？錄製聲音名單陳品軒徐靖洋鍾博全馮育瑋王俊立15歲男15歲男15歲男15歲男15歲男董子瑜呂孟錡柳科竹黃冠維吳俊毅15歲男15歲男15歲男15歲男15歲男吳家成歐光哲吳旻軒李采臻王思亭15歲男15歲男15歲男15歲女15歲女李穎俐吳家瑩盧奐蓁伍曼妮黃婉婷15歲女15歲女15歲女15歲女15歲女屈于翔顏大凱郭人豪林勁曄黃俞菁15歲女30歲男30歲男30歲男30歲女朱芳儀王佳慧張雲(yún)雄李龍輝翁秋蘭30歲女30歲女50歲男50歲男40歲女張帶金40歲女錄製聲音名單陳品軒徐靖洋鍾博全馮育瑋王俊立15歲男15歲男1如何判斷電腦辨別聲音成功？

8、假設(shè)：訂定辨別的語(yǔ)音(NO)後錄製足夠的聲音樣本進(jìn)行語(yǔ)音處理(靜音及儲(chǔ)存格式)取得判別成功門檻相似度超過(guò)門檻值則代表此聲音與對(duì)照聲音同，反之則否如何判斷電腦辨別聲音成功？假設(shè)：對(duì)照組聲音名單姓名陳品軒徐靖洋鍾博全李采臻王思亭李穎俐聲音編號(hào)15-1-115-1-215-1-315-2-115-2-215-2-3姓名顏大凱郭人豪林勁曄黃俞菁朱芳儀王佳慧聲音編號(hào)30-1-130-1-230-1-330-2-130-2-230-2-3姓名張雲(yún)雄李龍輝翁秋蘭張帶金聲音編號(hào)50-1-150-1-250-2-150-2-2編碼方法：年齡-性別-編號(hào)對(duì)照組聲音名單姓名陳品軒徐靖洋鍾博全李采臻王思亭李穎俐聲音編

9、語(yǔ)音處理步驟如下：去除靜音調(diào)整聲音格式(8000HZ、16bit及單聲道) 語(yǔ)音處理步驟如下：訓(xùn)練對(duì)照組，取得特徵值1.選擇聲音2.加入聲音3.開(kāi)始訓(xùn)練4.訓(xùn)練完成， 取得特徵參數(shù)訓(xùn)練對(duì)照組，取得特徵值1.選擇聲音2.加入聲音3.開(kāi)始訓(xùn)練4對(duì)照組訓(xùn)練結(jié)果對(duì)照組訓(xùn)練完畢後，我們會(huì)取得16組的特徵參數(shù)接下來(lái)將16組聲音(NO)與對(duì)照組作語(yǔ)音辨識(shí)，使用VB程式計(jì)算其相似度對(duì)照組訓(xùn)練結(jié)果對(duì)照組訓(xùn)練完畢後，我們會(huì)取得16組的特徵參數(shù)語(yǔ)音辨識(shí)1.將對(duì)照組讀入2.開(kāi)始辨識(shí)語(yǔ)音辨識(shí)1.將對(duì)照組讀入2.開(kāi)始辨識(shí)如何判斷電腦辨別聲音成功？驗(yàn)證：16組語(yǔ)音與對(duì)照組相似度，如下表如何判斷電腦辨別聲音成功？驗(yàn)證：如何判

10、斷電腦辨別聲音成功？失敗的原因分析聲音大小不一有的聲音唸?zhí)?改善做法利用GoldenWave將音量統(tǒng)一為0db，並且更替唸?zhí)斓穆曇糁匦卤孀R(shí) (db，分貝，為聲音的音量，0db並非無(wú)音量，且可使雜音影響最小)如何判斷電腦辨別聲音成功？失敗的原因分析如何判斷電腦辨別聲音成功？重新取得對(duì)照組相似度：門檻值定為836如何判斷電腦辨別聲音成功？重新取得對(duì)照組相似度：門檻值定為8如何判斷電腦辨別聲音成功？以作為待測(cè)聲音取得跟的相似度：很明顯的發(fā)現(xiàn)很多組相似度都超過(guò)了門檻值，與假設(shè)不合如何判斷電腦辨別聲音成功？以作為待測(cè)聲音如何判斷電腦辨別聲音成功？檢討失敗原因討論後的結(jié)果是：或許不該用相似度最低值來(lái)當(dāng)

11、做辨別成功門檻值，應(yīng)該以相似度平均值的最低值 (平均最低值為1983)來(lái)作為辨別門檻會(huì)較為可信 如何判斷電腦辨別聲音成功？檢討失敗原因如何判斷電腦辨別聲音成功？驗(yàn)證：三組相似度平均值的確皆小於1983結(jié)論：電腦可以成功辨別不同聲音如何判斷電腦辨別聲音成功？驗(yàn)證：是否能正確辨別男女的聲音?(黃同性別比對(duì)分?jǐn)?shù)，灰異性別比對(duì)分?jǐn)?shù)) 是否能正確辨別男女的聲音?(黃同性別比對(duì)分?jǐn)?shù)，灰異性別比是否能正確辨別同性別及不同性別的聲音?分析以上數(shù)據(jù)，可以明顯發(fā)現(xiàn)，同性別的相似度平均值高於不同性別的相似度平均值高，由此證明電腦能正確辨別同性別及不同性別的聲音(以正常語(yǔ)調(diào))。是否能正確辨別同性別及不同性別的聲音?是否能正確辨別不同年紀(jì)的聲音?根據(jù)下表數(shù)據(jù)可得知：15歲組不合乎假設(shè)，同年齡層的相似度為最低。各組分?jǐn)?shù)十分接近因此得知電腦無(wú)法正確辨別不同年紀(jì)(不分男女)的聲音。 是否能正確辨別不同年紀(jì)的聲音?根據(jù)下表數(shù)據(jù)可得知：研究結(jié)論1.發(fā)現(xiàn)聲音音量會(huì)影響到相似度辨識(shí)結(jié)果 Example： 30-2-1 原音量太大聲 造成分?jǐn)?shù)都是負(fù)數(shù)，因此減低音量 得到分?jǐn)?shù)749為正常2.聲音唸?zhí)祀娔X無(wú)法辨識(shí)3