《語音識別技術》課程教學大綱

《語音識別技術》教學大綱課程名稱：語音識別技術課程編號：F062092382英文名稱：Speechrecognitiontechnology學時：40學時 學分：2.5學分開課學期：第7學期適用專業(yè)：數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)課程類別：理論課+實驗課課程性質(zhì)：專業(yè)方向與拓展課先修課程：Python程序設計、時間序列分析一、課程的性質(zhì)及任務《語音識別技術》課程是數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)學生的專業(yè)方向與拓展課，本課程主要介紹語音信號處理的基本理論、方法和相關的應用領域，并介紹目前的研究現(xiàn)狀和學科發(fā)展的趨勢。通過本課程的學習，使學生較好地掌握語音信號處理的基本內(nèi)容和基本方法，并在一定程度上能利用信號處理的的思想、方法解決一些簡單的模式識別和人工智能問題。依據(jù)河北工程大學數(shù)據(jù)科學與大數(shù)據(jù)技術專業(yè)培養(yǎng)計劃，本課程需要培養(yǎng)學生的能力是：能夠?qū)?shù)據(jù)科學與大數(shù)據(jù)技術相關知識用于大數(shù)據(jù)工程問題解決方案的比較與綜合（畢業(yè)要求指標1.4）能夠針對大數(shù)據(jù)特定的任務需求，完成大數(shù)據(jù)系統(tǒng)、模塊的設計與開發(fā)（畢業(yè)要求指標3.2）掌握基本的大數(shù)據(jù)開發(fā)環(huán)境的配置和應用，熟練掌握軟件開發(fā)語言，并能夠運用集成開發(fā)環(huán)境進行復雜程序設計（畢業(yè)要求指標5.1）二、課程目標與要求2.1課程目標1.

PAGE16PAGE152.2課程目標與畢業(yè)要求對應關系畢業(yè)要求123畢業(yè)要求二級指標畢業(yè)要求●1-4能夠?qū)?shù)據(jù)科學與大數(shù)據(jù)技術相關知識用于大數(shù)據(jù)工程問題的解決方案。1.具有扎實的數(shù)學與自然科學知識和工程基礎，系統(tǒng)地掌握數(shù)據(jù)科學與大數(shù)據(jù)技術領域的基本理論、基礎知識，并綜合運用所學知識解決復雜工程問題?！?-2. 能夠針對大數(shù)據(jù)特定的任務需求，完成大數(shù)據(jù)系統(tǒng)、模塊的設計與開發(fā)。3.能夠設計出大數(shù)據(jù)應用領域的復雜工程問題的解決方案，具有數(shù)據(jù)采集、處理、分析、挖掘的能力，并能夠在設計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識，考慮社會、健康、安全、法律、文化以及環(huán)境等多維度協(xié)同發(fā)展因素?！?-3具備使用大數(shù)據(jù)平臺以及軟件對復雜工程問題進行仿真的能力，理解其使用要求、運用范圍和局限性。5.能夠針對大數(shù)據(jù)應用領域的復雜工程問題，開發(fā)、選擇與使用恰當?shù)募夹g、資源、現(xiàn)代信息技術工具，包括對大數(shù)據(jù)應用領域的復雜工程問題的預測與仿真，并能夠理解其局限性。2.3課程目標與培養(yǎng)環(huán)節(jié)對應矩陣序號課程目標理論教學課內(nèi)實驗課后作業(yè)1掌握語音識別技術的基本概念和基本理論，熟悉語音識別技術的經(jīng)典方法，培養(yǎng)學生解決計算機領域復雜工程問題所需專業(yè)基礎知識。HL2能夠運用計算思維分析問題和解決問題，針對計算機領域復雜工程問題，分析并抽象出語音識別技術中的問題。HML3能夠綜合運用語音識別技術的基本理論和設計方法，針對計算機領域復雜工程問題研究和設計可行的解決方案，并能對解決方案進行分析和論證。HHM注：H表示該能力的在此環(huán)節(jié)重點培養(yǎng)；M表示該能力在此環(huán)節(jié)有應用要求；L表示該能力在此環(huán)節(jié)有所涉及。并行程序設計原理課程教學大綱PAGE2PAGE12.4目標達成度的評價課程目標1主要通過理論教學環(huán)節(jié)進行培養(yǎng)，在課內(nèi)實驗有所涉及。主要通過課堂測試和期末考試中概念性、原理性題目進行考核。目標達成綜合以上內(nèi)容進行評價。課程目標2主要通過理論教學環(huán)節(jié)進行培養(yǎng)，在課內(nèi)實驗有應用要求，課后作業(yè)有所涉及。主要通過課堂測試，課后作業(yè)和期末考試中各種語音識別技術題目進行考核，在實驗中體現(xiàn)為能熟悉語音識別技術的基本理論和設計方法。目標達成綜合以上內(nèi)容進行評價。課程目標3主要通過課內(nèi)實驗進行培養(yǎng)，在課后作業(yè)有應用要求。主要通過布置計算機領域復雜工程問題應用案例題目進行考核，在實驗報告中體現(xiàn)為能給出符合要求的語音識別結(jié)論。在課后作業(yè)中體現(xiàn)為基于語音識別技術，綜合運用各種語音識別技術能力；目標達成綜合以上內(nèi)容進行評價。三、教學方法及手段理論教學以課堂講授為主，上機實驗為輔并結(jié)合課堂討論、案例分析、師生互動等教學方法展開教學；理論教學強調(diào)將各種語音識別技術與實際項目案例的實際情況緊密聯(lián)系，面向知識的實際應用；本課程教材力求內(nèi)容新穎，采用多樣化的方式進行教學，讓學生在理論與實踐相結(jié)合的基礎上，對課程所要求的實際操作能力有進一步的提高。充分利用多媒體等現(xiàn)代化教學手段，整體優(yōu)化教學過程和教學內(nèi)容，調(diào)動學生學習積極性；布置實際操作任務給學生上機操作并及時指導。課程強調(diào)學生的自主學習，強調(diào)通過自學的方式消化、吸收課程的龐大知識量，并在此基礎上舉一反三、靈活應用。四、課程的基本內(nèi)容與教學要求第一章語音信號處理基礎[教學目的與要求]：理解和掌握語音處理的方法和應用，學習語音信號的特征和聽覺的特征，對語音識別技術能夠解決的問題有初步的認識。[本章主要內(nèi)容]：1.1什么是語音信號處理1.2語音處理的應用1.3語音的基本特征及簡化的數(shù)字模型[本章重點]：語音的基本特征。語音處理應用。[本章難點]：語音簡化的數(shù)字模型第二章語音信號的時域分析[教學目的與要求]：理解語音信號的時域分析和語音自相關分析。掌握基音周期估計方法。[本章主要內(nèi)容]：2.1基音周期估計2.2掌握短時自相關分析[本章重點]：1.短時自相關分析2.基音周期估計。[本章難點]：三角和的概念。第三章語音信號的變換域分析[教學目的與要求]：了解語音信號的頻域分析和意義，掌握語音信號的同態(tài)處理和非線性處理。[本章主要內(nèi)容]：3.1語音信號的頻域分析—傅立葉變換；3.2語音信號的非線性處理；3.3語音信號的同態(tài)處理。[本章重點]：1.語音信號的頻域分析2.語音信號的同態(tài)處理。[本章難點]：頻域分析—傅立葉變換第四章語音信號線性預測分析[教學目的與要求]：了解LP分析的基本原理，掌握語音信號的LSP分析方法，了解線譜對分析。[本章主要內(nèi)容]：4.1LP分析4.2LSP分析4.3線譜對分析[本章重點]：LP分析的基本原理。[本章難點]：線譜對分析及其他語音參數(shù)第五章矢量量化[教學目的與要求]：了解無記憶矢量量化器與有記憶矢量量化器的方法，掌握全搜索算法。[本章主要內(nèi)容]：5.1.特征矢量與失真測度5.2.全搜索算法5.3.失真測度[本章重點]：無記憶矢量量化器。[本章難點]：波形矢量量化與分離均值矢量量化第六章語音編碼[教學目的與要求]：掌握波形編碼的幾種方法，了解混合激勵線性預測，理解參數(shù)編碼與混合編碼。[本章主要內(nèi)容]：6.1波形編碼6.2參數(shù)編碼6.3混合編碼6.4編碼質(zhì)量的餓評估[本章重點]：波形編碼的幾種方法。[本章難點]：混合激勵線性預測。第七章語音識別[教學目的與要求]：掌握HMM的基本問題，了解HMM的相似度的比較，理解人工神經(jīng)網(wǎng)絡。[本章主要內(nèi)容]：7.1HMM概念7.2HMM相關內(nèi)容。[本章重點]：HMM的基本問題。[本章難點]：隱馬爾可夫模型。第八章語音合成[教學目的與要求]：掌握語音生成的幾種方法，了解共振峰合成法，理解波形拼接合成法。[本章主要內(nèi)容]：8.1語音合成的方法8.2共振峰合成法8.3波形拼接合成法[本章重點]：語音生成的幾種方法[本章難點]：信號子空間的概念。第九章語音增強[教學目的與要求]：掌握語音生成模型的增強算法，了解語音增強的新發(fā)展，理解信號子空間的概念。[本章主要內(nèi)容]：9.1語音增強的方法9.2語音增強的新發(fā)展[本章重點]：語音生成模型的增強算法。[本章難點]：信號子空間的概念。五、課內(nèi)實驗5.1本課程實驗教學的地位和作用語音識別技術實驗是鞏固和擴展課程理論知識的必要環(huán)節(jié)。通過實驗教學，使學生掌握語音信息處理的基本方法。了解語音信息處理的實際過程，并具有分析、整理實驗數(shù)據(jù)和編寫實驗報告的能力。5.2教學基本要求通過實驗預習及設計，理解語音識別技術的基本原理，要求學生通過實驗環(huán)節(jié)運用專業(yè)理論知識與技能，利用TLAB軟件方正工具，通過實驗使學生掌握語音信號的特點和處理的實際過程，掌握語音信號特征提取有關工程算法，并通過對實驗數(shù)據(jù)和結(jié)果的解析得到正確的結(jié)論，并具有分析、整理實驗數(shù)據(jù)和編寫實驗報告的能力，有助于提高學生的實際動手能力和分析解決問題的能力。5.3實驗內(nèi)容及要求大綱基本內(nèi)容包括四個實驗項目，在8個學時內(nèi)完成。實驗一語音信號的預處理實驗目的：(1)掌握趨勢項、直流項的方法。(2)掌握語音信號預加重的原理及方法。(3)掌握語音信號預濾波的目的和方法。(4)編程實現(xiàn)上述方法，并測試。實驗設備：計算機（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)測試TLAB的去線性趨勢函數(shù)detrend的作用：(2)設計低通濾波器：(3)編寫預加重函數(shù)。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗二語音分幀與加窗實驗目的：(1)了解語音信號分幀與加窗的重要性和必要性。(2)掌握常用的窗函數(shù)和加窗分幀處理的原理。(3)能編程實現(xiàn)分幀函數(shù)，并恢復。實驗設備：計算機（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：根據(jù)語音分幀的思想，編寫分幀函數(shù)；(2)編程實現(xiàn)矩形窗，漢明窗和漢寧窗。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗三線性預測分析實驗目的：(1)了解線性預測分析在語音信號處理中的重要性和必要性。(2)掌握線性預測分析的基本思想。(3)掌握TLAB進行線性預測分析的流程。實驗設備：計算機（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)根據(jù)萊文遜-杜賓自相關發(fā)求線性預測系數(shù)的原理，編寫TLAB函數(shù)，并與TLAB自帶的LPC函數(shù)進行比較；(2)編寫求取LPC預測系數(shù)的復頻譜函數(shù)，并與FFT頻譜進行對比。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。實驗四共振峰估計實驗實驗目的：(1)了解共振峰估計的意義。(2)了解共振峰估計預處理的方法與意義。(3)掌握基于倒譜法和線性預測法的共振峰檢測原理。(4)編寫基于倒譜法和線性預測法的共振峰檢測函數(shù)，并仿真驗證。實驗設備：計算機（安裝好TLAB軟件）實驗內(nèi)容及步驟：內(nèi)容：(1)根據(jù)基于倒譜法的共振峰估計原理，編寫基于倒譜法的共振峰估計的TLAB函數(shù)，并仿真：(2)根據(jù)基于LPC內(nèi)插法的共振峰估計原理，編寫基于LPC的共振峰估計的TLAB函數(shù)，并仿真。步驟：(1)運行TLAB,新建m文件，編寫m程序。(2)編譯并調(diào)試程序，觀察仿真效果圖。5.4教學文件及教學形式教學文件：《語音信號處理實驗教程》。教學形式主要包括：預習、課堂指導與實驗操作、撰寫實驗報告。實驗報告學生自擬。實驗報告包括：實驗目的、編程語言，描述方法原理，詳細敘述編程步驟，要有完整的數(shù)據(jù)和編程、圖表表示的實驗結(jié)果，以理論聯(lián)系實際為出發(fā)點，調(diào)整參數(shù)并分析與實際數(shù)據(jù)之間的誤差，總結(jié)實驗中出現(xiàn)的問題及解決方法。5.5實驗項目及學時分配序號實驗項目實驗學時實驗類型實驗類別實驗性質(zhì)1語音信號的預處理2驗證性專業(yè)必修2語音分幀與加密2驗證性專業(yè)必修3線性預測分析2綜合性專業(yè)必修4共振峰估計實驗2綜合性專業(yè)必修5.6本課程實驗用到的場地和儀器大數(shù)據(jù)實驗中心機房、多功能多媒體設備、智慧黑板。六、課程學時分配教學課次教學內(nèi)容教學環(huán)節(jié)與計劃時數(shù)教學環(huán)節(jié)計劃時數(shù)1緒論理論課22語音信號處理基礎理論課23語音信號的時域分析--語音信號的時域分析，語音自相關分析，理論課2４語音信號的時域分析--基音周期估計理論課25語音信號的頻域分析—傅立葉變換理論課26語音信號的非線性處理理論課27語音信號的同態(tài)處理理論課28語音信號的線性預測--LP分析理論課29語音信號的線性預測--線譜對分析理論課210矢量量化理論課211波形編碼方法理論課212參數(shù)編碼與混合編碼理論課213語音識別-HMM的基本問題理論課214HMM相似度的比較理論課215語音合成理論課216語音增強理論課217實驗1數(shù)據(jù)預處理實驗課218實驗2分類模型：決策樹和KNN分類實驗實驗課219實驗3分類模型：貝葉斯分類器和支持向量機實驗課220實驗4關聯(lián)規(guī)則實驗課2注：實驗課由任課教師負責協(xié)調(diào)安排時間。七、課程考核與成績評定7.1考核方式考核環(huán)節(jié)包括課程學習過程考核和期末考核，其中課程過程考核占總成績的40%，分別由課堂表現(xiàn)、課后作業(yè)、實驗情況進行評定；期末考核占總成績的60%。各環(huán)節(jié)的比重如下?？己谁h(huán)節(jié)比重合計過程考核（平時成績）課堂表現(xiàn)10%40%作業(yè)10%實驗20%期末考核（課程論文）大作業(yè)的報告30%60%答辯30%總計100%100%7.2考核內(nèi)容及要求本課程為考查課?？己藘?nèi)容及分值分配如下?？己朔绞娇己藘?nèi)容分值課程目標總分值期末考核60%語音信號的時域分析5~10目標1100分語音信號的時域分析5~10目標1語音信號的非線性處理10~15目標1語音信號的同態(tài)處理5~10目標1,2語音信號的線性預測10～20目標1,2矢量量化10～15目標1,2波形編碼方法5～10目標1,2語音合成2~5目標2,3語音增強2～5目標2,3過程考核40%課堂表現(xiàn)課堂測試、出勤情況10目標1,210分課后作業(yè)作業(yè)完成情況10目標1,210分實驗實驗出勤、實驗表現(xiàn)及實驗報告20目標2,320分7.3成績評定1.課堂表現(xiàn)課堂表現(xiàn)總分10分，由課堂測試與課堂出勤情況評定。其中，課堂測試滿分6分，以客觀題（填空、選擇、判斷）為主，每學期隨堂測試15~20次，每次測試1~2道題目，每答錯一道題目扣0.5分（直到扣滿6分為止）；課堂出勤滿分4分，缺勤一次扣1分，遲到或請假扣0.5分。2.課后作業(yè)課后作業(yè)總分10分，由作業(yè)完成情況評定。每學期布置作業(yè)5次，每次作業(yè)占2分，評分標準如下；評分標準分值標準描述課后作業(yè)3能夠按時認真完成作業(yè)、作業(yè)態(tài)度認真、書寫清楚、分析計算正確。2能夠按時完成作業(yè)、作業(yè)態(tài)度較好、書寫較清楚、分析計算基本正確1能夠按時完成作業(yè)、作業(yè)態(tài)度一般、書寫不清楚、分析計算錯誤較多0不交作業(yè)或作業(yè)態(tài)度不認真、抄襲他人作業(yè)3.實驗成績實驗成績占所學課程的20%，即20分。根據(jù)學生的實驗表現(xiàn)及實驗報告結(jié)果，進行綜合評定。具體評分標準如下表所示。評分標準分值標準描述實驗表現(xiàn)（10）10無遲到、早退現(xiàn)象，態(tài)度端正，與同組同學配合認真完成編寫及調(diào)試程序，運行結(jié)束后，按要求整理實驗報告。8有遲到、早退現(xiàn)象或編程過程不夠認真。6有遲到、早退現(xiàn)象且編程過程不認真。4有遲到、早退現(xiàn)象，編程過程不動手，渾水摸魚。0曠課實驗報告（10）10有完整正確的程序，過程敘述內(nèi)容完整，正確分析數(shù)據(jù)，圖形繪制清晰合理，結(jié)論正確，書寫認真。8有相應程序，過程敘述內(nèi)容較完整，正確分析實驗數(shù)據(jù)，圖形繪制清晰較合理，結(jié)論正確，書寫較認真。6過程敘述內(nèi)容較完整，分析數(shù)據(jù)有較少錯誤，圖形