語音信息處理及相關(guān)的語言信息處理

語音信息處理及相關(guān)的語言信息處理第1頁，共39頁，2023年，2月20日，星期日語音信息處理

及相關(guān)的語言信息處理語音信息處理是人機(jī)交互的重要組成部分。主要包括語音合成和語音識別。語音合成是將文字轉(zhuǎn)換成語音；語音識別是將識別語音轉(zhuǎn)寫成文字。2第2頁，共39頁，2023年，2月20日，星期日演示ChineseTTVSVoicemasker3第3頁，共39頁，2023年，2月20日，星期日什么是語音合成?

語音合成就是讓計算機(jī)象人那樣講話。語音合成的研究目標(biāo)是：可懂、清晰、自然、具有表現(xiàn)力。某人問你：你愿意和我一起去看電影嗎？你的回答可能是：“是的，我很高興和你一起去看電影?！保隙ǎ吲d）“抱歉，我不能和你一起去看電影，因為我要去開會?！保o可奈何）“不去，還是你自己去看吧?！保ǚ穸ǎ┤藗冇谜Z言進(jìn)行交流時，用聲音來表達(dá)事實，也表達(dá)意向、情感。計算機(jī)也應(yīng)該像人那樣講話。4第4頁，共39頁，2023年，2月20日，星期日語音合成系統(tǒng)的發(fā)展講話機(jī)（Wolfgang

）1791年1990年代數(shù)據(jù)驅(qū)動拼接合成（Festival）1980年代規(guī)則驅(qū)動共振峰合成（DecTalk）合成語音可懂與清晰目前高表現(xiàn)力的語音合成合成語音自然且表現(xiàn)豐富高表現(xiàn)力的合成可懂度、清晰度高自然度較好，語調(diào)平緩表現(xiàn)力（情感、風(fēng)格、個性化）欠佳自然語音計算機(jī)生成語音合成算法韻律表現(xiàn)5第5頁，共39頁，2023年，2月20日，星期日文語轉(zhuǎn)換（TTS）是語音合成技術(shù)的延伸，它能把計算機(jī)內(nèi)的文本轉(zhuǎn)換成連續(xù)自然的語聲流。TextToSpeechsynthesisinvolvesthecomputationofaspeechsignalfrominputtext.文字-語音轉(zhuǎn)換（TextToSpeech）6第6頁，共39頁，2023年，2月20日，星期日什么是語音識別?語音識別就是讓計算機(jī)聽懂人的講話。語音識別的研究目標(biāo)是：聽懂連續(xù)自然、非特定人。7第7頁，共39頁，2023年，2月20日，星期日語音信息處理

及相關(guān)的語言信息處理語音是語言的外殼，文字是語言的轉(zhuǎn)寫。韻律、語法和語義均為語言信息處理的內(nèi)容。它們相互聯(lián)系、相互制約，共同構(gòu)成語言理解的基礎(chǔ)。然而對上述語言信息的分析和研究是獨(dú)立展開的。介紹語音信息處理的基本組成和原理，特別關(guān)注語音信息處理中與文字相關(guān)的問題。8第8頁，共39頁，2023年，2月20日，星期日預(yù)處理語言學(xué)處理波形拼接合成語音學(xué)處理文本語音語音數(shù)據(jù)庫TTS的系統(tǒng)結(jié)構(gòu)文本分析韻律生成語音合成9第9頁，共39頁，2023年，2月20日，星期日

TTS的系統(tǒng)結(jié)構(gòu)文本分析合成算法基元選取10第10頁，共39頁，2023年，2月20日，星期日文本分析模塊流程語句切分文本規(guī)范化符號處理數(shù)字處理詞典分詞合并韻律詞合并韻律短語變音處理參數(shù)生成12號的天氣的確好。12號的天氣的確好/。十二號的天氣的確好十二/m號/q的/u天氣/n的確/d好/a十二號的天氣/的確好shi2er4hao4de5|tian1qi4/di2que4hao3//讀音韻律信息文本11第11頁，共39頁，2023年，2月20日，星期日文本分析模塊流程語句切分文本規(guī)范化符號處理數(shù)字處理詞典分詞根據(jù)回車、換行、或其他設(shè)置的分句符號進(jìn)行句子的切分。后續(xù)的處理針對當(dāng)前得到的句子12第12頁，共39頁，2023年，2月20日，星期日文本分析模塊流程語句切分文本規(guī)范化符號處理數(shù)字處理詞典分詞將語句切分成一個一個的片段Piece，每個Piece具有相同的類別，如：數(shù)字、符號、英文字母串(Letter)、漢字等等患者｜1．15萬人，｜并且｜每年｜又以｜1500例的｜速度｜快速｜大幅｜增加。13第13頁，共39頁，2023年，2月20日，星期日文本分析模塊流程語句切分文本規(guī)范化符號處理數(shù)字處理詞典分詞進(jìn)行相關(guān)標(biāo)點(diǎn)符號的處理數(shù)字中‘,’的處理12.3、166.111.68.142km、T等量詞的處理年份1998/07/20、97-10-10、1999.07.05等等時間23:05:03、比值－5℃、電話中BP機(jī)呼號、區(qū)號、轉(zhuǎn)分機(jī)等等、－5、80－100、減號等14第14頁，共39頁，2023年，2月20日，星期日文本分析模塊流程語句切分文本規(guī)范化符號處理數(shù)字處理詞典分詞數(shù)字讀法的處理比如年份、公元、日期、電話、電報等等15第15頁，共39頁，2023年，2月20日，星期日文本分析模塊流程詞典分詞分詞，標(biāo)記詞性合并韻律詞合并韻律短語變音處理參數(shù)生成分詞不準(zhǔn)確｜許多｜年輕｜人手｜牽｜五彩的｜氣球｜合影｜留念。分詞單位太大自民黨｜領(lǐng)導(dǎo)人｜日里諾斯基｜1946年｜4月｜出生。發(fā)展中國家語法詞與韻律詞不等同我買了八本書。16第16頁，共39頁，2023年，2月20日，星期日文本分析模塊流程詞典分詞合并韻律詞合并韻律短語變音處理參數(shù)生成17第17頁，共39頁，2023年，2月20日，星期日廣義的定義：廣義地說,韻律結(jié)構(gòu)應(yīng)當(dāng)包括重音、節(jié)奏和語調(diào)三個方面的結(jié)構(gòu)。例如重音的位置分布及其等級差異，韻律邊界的位置分布及其等級差異，語調(diào)的基本骨架及其跟聲調(diào)和重音的關(guān)系。

主要討論韻律切分問題。包括韻律詞的組成與韻律短語切分等等，也就是說話時組詞斷句的模式，它屬于語音的節(jié)奏方面的問題。

漢語的韻律結(jié)構(gòu)的定義18第18頁，共39頁，2023年，2月20日，星期日韻律成分從小到大依次是莫拉、音節(jié)、音步、音系詞（phonologicalword）、附著語素詞組、音系短語（phonologicalphrase)、語調(diào)短語和韻律語句。一個較小的韻律成分包含在一個更大的韻律成分中。漢語的韻律成分19第19頁，共39頁，2023年，2月20日，星期日漢語的韻律成分

LevelTags012345BreakReducedsyllabicboundaryNormalsyllabicboundaryProsodicword(PW)Prosodicphrase(PPh)Breathgroup(BG)Prosodicgroup(PG)EmphasisReducedNormalmoderatestrong****SpeechRateveryslowslownormalquickveryquick**Volumeverylowlownormalhighveryhigh**Pitchverylowlownormalhighveryhigh**Rangeverysmallsmallnormallargeverylarge**20第20頁，共39頁，2023年，2月20日，星期日我永遠(yuǎn)忘不了<B3/25ms>一張對日抗戰(zhàn)時的新聞?wù)掌?lt;B3/507ms>轟炸後的廢墟焦土上，<B3/272ms>一個衣不蔽體、<B3/384ms>滿身塵土灰煙的幼兒<B3/100ms>坐在地上<B3/75ms>無助的大哭著。<B5/1110ms>那是一再令我熱淚盈眶的鏡頭。<B3/507ms>新聞攝影中的戰(zhàn)爭傳真<B3/276ms>已不能只稱是照片了。<B5/802ms>口語語音的例子幾處停頓？這句話是否結(jié)束？臺灣：鄭秋豫教授21第21頁，共39頁，2023年，2月20日，星期日韻律層級結(jié)構(gòu)：韻律詞（prosodicword）:一般為三個音節(jié)以下的語法詞或詞組，內(nèi)部不出現(xiàn)節(jié)奏邊界

韻律短語（Prosodicphrase）：由一個或幾個韻律詞組成，具有相對穩(wěn)定的短語語調(diào)模式和短語重音配置模式語調(diào)短語（intonationphrase):長于韻律短語。在語法上相當(dāng)于較短的句子或較長的短語，韻律短語之間有音高重設(shè)漢語的韻律結(jié)構(gòu)的定義22第22頁，共39頁，2023年，2月20日，星期日三層韻律層級結(jié)構(gòu)圖U：語調(diào)短語，PP：韻律短語，PW：韻律詞相應(yīng)的語法結(jié)構(gòu)圖S：句子，NP：名詞短語，VP：動詞短語韻律結(jié)構(gòu)是無遞歸的：韻律詞的邊界一般是語法詞的邊界，而韻律短語的邊界一般是韻律詞的邊界韻律詞、韻律短語、語調(diào)短語分別處于不同的層級上，一般沒有嵌套關(guān)系的存在平均長度滿足，Len(韻律詞)<Len(韻律短語)<Len(語調(diào)短語)語法結(jié)構(gòu)相對復(fù)雜：短語類型之間存在嵌套的包含關(guān)系，比如NP內(nèi)部可以有更小的NP等

漢語的韻律結(jié)構(gòu)與語法結(jié)構(gòu)圖23第23頁，共39頁，2023年，2月20日，星期日“語法詞”--從句法學(xué)的角度定義；詞典詞的長度為1--13個漢字“韻律詞”--從韻律學(xué)的角度來定義。韻律詞一般是三音節(jié)以下的語法詞或詞組，屬于一個音步的結(jié)構(gòu)。韻律短語一般是四—九音節(jié)。如假定所有的語法詞邊界都是韻律詞邊界，正確率為42.99%；如果都是韻律短語邊界，正確率僅為19.20%。韻律與句法24第24頁，共39頁，2023年，2月20日，星期日句法支配韻律:韻律邊界以句法結(jié)構(gòu)為基礎(chǔ)；韻律邊界層次總是傾向于同句法結(jié)構(gòu)的層次保持某種程度的一致；句法邊界不是設(shè)置韻律邊界的必要條件。韻律與句法句法和韻律間有密切的聯(lián)系和制約關(guān)系?！稘h語韻律句法學(xué)》馮勝利25第25頁，共39頁，2023年，2月20日，星期日句法獨(dú)立于語音！但是：“一衣/帶水”（一條如衣帶一樣寬的河水）“而立/之年”（“而”是連詞）“種植花”提拔高，澆灌花，閱讀報，修改正，獲得罪，超越軌“鞠了一個躬”“被攻”——〉“被禍害”（是韻律的產(chǎn)物）韻律與句法《漢語韻律句法學(xué)》馮勝利26第26頁，共39頁，2023年，2月20日，星期日韻律制約句法:韻律打亂句法原有的成分結(jié)構(gòu)：“我被/老板/訓(xùn)了”

韻律可使一些非法句法合法化；韻律可制約一些合法的句法變成非法；“種植/花草”可以說，“種花草”也同樣合法。

韻律可在句法不能運(yùn)作的禁區(qū)發(fā)生效力；語流中語音分段首先服從韻律分界：狗咬/呂洞賓。呂洞賓/吃飯韻律與句法27第27頁，共39頁，2023年，2月20日，星期日韻律規(guī)則：相對輕重原則（一對輕重的組合體）音步二分法（必須至少有兩個成分組成）音步的單核原則音節(jié)的輕重對立詞匯的虛實與輕重韻律規(guī)則之間的協(xié)作與沖突：

韻律成分與節(jié)奏28第28頁，共39頁，2023年，2月20日，星期日輕重音可以消除歧義劉英要煎餅。(jian1bing3：指“把餅煎一煎”/jiang1bing5：指一種食品)他一個早晨就寫了三封信。（“就”輕讀時指效率高，能寫三封信/“就”重讀時指效率低，只寫了三封信）韻律與句法29第29頁，共39頁，2023年，2月20日，星期日基于句法信息的韻律成分界定

選取更有效的句法特征則成為提高韻律成分界定正確率的重要保證。在實驗中我們選取了詞性、詞語、詞長、詞頻及句子長度等一些句法信息作為界定韻律成分的特征。

30第30頁，共39頁，2023年，2月20日，星期日韻律結(jié)構(gòu)預(yù)測實際是一個分類問題：句子，令表示和的邊界類型：{語法分詞邊界、韻律詞邊界、韻律短語邊界}。

針對韻律詞和韻律短語分別設(shè)計統(tǒng)計模型。綜合所有特征的，計算出作為某類邊界的總的概率頻度值F，根據(jù)一定的原則及F的大小判斷它屬于的邊界類型。

統(tǒng)計計算出每個特征取值的概率頻度，基于概率頻度的統(tǒng)計模型算法四個步驟：特征提取1.詞法特征：語法詞,詞頻…2.語法特征：詞性…3.長度及位置特征：詞長,句中的位置…樣本訓(xùn)練構(gòu)建概率頻度統(tǒng)計模型鄭敏31第31頁，共39頁，2023年，2月20日，星期日實驗數(shù)據(jù)的準(zhǔn)備 語料庫I是實驗室已有的標(biāo)準(zhǔn)語料庫，共3167個句子，文本來自新聞、小說、散文等各個方面，由專業(yè)播音員用正常語速朗讀。兩名有經(jīng)驗的標(biāo)注人員通過聽錄音和參照錄音文本標(biāo)上兩級韻律邊界信息，標(biāo)注的一致率達(dá)到98.5%。該語料覆蓋了漢語所有的有調(diào)音節(jié)和詞性，總共有56446個漢字，37669個語法詞。16194個韻律詞邊界和7231個韻律短語邊界。

語料庫I語料庫II 文本全部來自人民日報，語料庫總共包含5403個長句，17859個子句，總共有130265個漢字，52106個語法詞，27917個韻律詞邊界和18148個韻律短語邊界。32第32頁，共39頁，2023年，2月20日，星期日韻律結(jié)構(gòu)預(yù)測的綜合評價參數(shù)人工標(biāo)注的類型預(yù)測得到的類型LWPWPPLWC00C01C02PWC10C11C12PPC20C21C22C12：人工標(biāo)注類型為PW，被預(yù)測為PP的數(shù)目

韻律結(jié)構(gòu)預(yù)測的分類混淆矩陣

語法詞預(yù)測的正確率：

語法詞預(yù)測的召回率：

韻律詞預(yù)測的正確率：

韻律詞預(yù)測的召回率：

韻律短語預(yù)測的召回率：

韻律短語預(yù)測的正確率：

綜合評價參數(shù)：

韻律預(yù)測的綜合參數(shù)：

33第33頁，共39頁，2023年，2月20日，星期日三種算法的實驗結(jié)果比較

我們將C4.5歸納學(xué)習(xí)、TBL轉(zhuǎn)換規(guī)則學(xué)習(xí)算法和基于概率頻度的統(tǒng)計模型三種方法進(jìn)行了比較實驗。在這三種算法中提取了類似的詞性、詞語、詞長、詞頻等特征，在相同的語料庫I和II上作了兩組比較實驗。實驗中選取語料庫的前2/3作為訓(xùn)練數(shù)據(jù)，后1/3作為測試數(shù)據(jù)。

算法APWRPWMPWAPPRPPMPPC4.50.8220.8140.8180.8290.7120.766TBL0.8480.7820.8140.6130.8510.713統(tǒng)計模型0.9170.8810.8990.8520.8370.844表1統(tǒng)計模型、C4.5和TBL三種算法在語料庫I上的比較結(jié)果算法APWRPWMPWAPPRPPMPPC4.50.8080.7760.7920.7210.6840.702TBL0.8230.7940.8080.6370.7220.677統(tǒng)計模型0.8950.8330.8630.8390.7800.808表2統(tǒng)計模型、C4.5和TBL三種算法在語料庫II上的比較結(jié)果34第34頁，共39頁，2023年，2月20日，星期日文本分析模塊流程變調(diào)：老虎，555，5599輕聲：多音字重音？詞典分詞合并韻律詞合并韻律短語變音處理參數(shù)生成35第35頁，共39頁，2023年，2月20日，星期日多音字現(xiàn)象存在多音字，多音詞形式上相同，但具有不同語法，語義功能的詞。250萬字語料，多音字占8.95％舉例如下：1.我們種了茄子動詞，zhong42.一種新的算法量詞，zhong33.你真有種 名詞，zhong34.各種各樣 包含在詞的內(nèi)部，zhong35.種小明剛剛畢業(yè) 作為姓氏，chong2（Xin,2001）主要利用了