人工智能數(shù)據(jù)標注實戰(zhàn)教程 課件 第五章 語音標注項目

第五章

語音標注項目任務(wù)一

自動語音識別標注任務(wù)內(nèi)容概括“猶勝相逢不相識，形容變盡語音存?！?---蘇軾內(nèi)容概括知識背景典型應(yīng)用場景實踐標注操作1.知識背景語音識別商業(yè)化目前在算力、算法和數(shù)據(jù)方面基本達到了階段性成熟，語音識別技術(shù)的發(fā)展離不開大量標注語音數(shù)據(jù)來訓(xùn)練模型，對智能語音行業(yè)來說，優(yōu)質(zhì)的語音識別標注數(shù)據(jù)是不可缺少的2.典型應(yīng)用場景游戲娛樂字幕生成語音指令社交聊天會議紀要體育運動我國科大訊飛公司作為冬奧會的“翻譯官”3.實踐標注操作（1）準備數(shù)據(jù)

來自一首歌曲《我和我的祖國》，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項目3.實踐標注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標簽頁，選擇“UploadFiles”，在彈出框中選擇準備好的據(jù)文件，進行導(dǎo)入3.實踐標注操作（4）選擇模板切換到“LabelingSetup”選項卡，指定項目模板類型為“AutomaticSpeechRecognition”3.實踐標注操作（5）開始標注單擊“Play”按鈕，邊聽邊將聲音信息在轉(zhuǎn)寫框中（ProvideTranscription）轉(zhuǎn)寫為文字信息，反復(fù)播放直至完成所有聲音內(nèi)容的轉(zhuǎn)寫。3.實踐標注操作（6）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標：（1）明確自動語音識別標注相關(guān)概念（2）明確自動語音識別標注方法思政目標：（1）中國科技創(chuàng)新的力量（2）中國古代人文情懷第五章

語音標注項目任務(wù)二說話人語音分割標注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實踐標注操作1.知識背景語音識別技術(shù)由于語音信號在背景噪聲、信道條件等方面的差異性，在進行語音識別之前必須經(jīng)過多項語音前端技術(shù)進行預(yù)處理以提高語音識別的性能。其中，說話人分割技術(shù)就是一種重要的語音前端處理技術(shù)，它可以用來解決“什么時候誰在說話”的問題。2.典型應(yīng)用場景客服中心電話會議內(nèi)容紀要智能音箱電話營銷3.實踐標注操作（1）準備數(shù)據(jù)節(jié)選自著名相聲大師侯寶林與郭啟儒的一段相聲，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項目3.實踐標注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標簽頁，選擇“UploadFiles”，在彈出框中選擇準備好的數(shù)據(jù)文件，進行導(dǎo)入3.實踐標注操作（4）選擇模板切換到“LabelingSetup”選項卡，指定項目模板類型為“SpeakerSegmentation”3.實踐標注操作（5）維護標簽通過“Addlabelnames”文本框填入新增標簽并單擊“Add”按鈕保存；通過Labels列表項的刪除按鈕刪除無用標簽。3.實踐標注操作（6）開始標注首先選擇標簽，然后在音頻數(shù)據(jù)中通過鼠標劃定與標簽對應(yīng)的說話人說話片段范圍。循環(huán)上述操作直到完成數(shù)據(jù)的所有標記。如果某一次標注不準確，在波形圖單擊對應(yīng)該次標注的音頻片段，在標注界面右上側(cè)區(qū)域，點擊刪除按鈕，刪去本次標注3.實踐標注操作（6）開始標注3.實踐標注操作（6）開始標注3.實踐標注操作（7）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標：（1）明確說話人語音分割標注相關(guān)概念（2）明確說話人語音分割標注方法思政目標：（1）工匠精神（2）中國科技力量第五章

語音標注項目任務(wù)三聲音事件檢測標注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實踐標注操作1.知識背景聲音事件檢測（SoundEventDetection，SED）就是檢測連續(xù)的音頻流之中有無出現(xiàn)目標聲音事件。它可以對聲音數(shù)據(jù)進行分類與檢測，并將檢測結(jié)果作為是否執(zhí)行某種操作的判斷標準。如果說語音識別是將人類語音翻譯為機器能聽懂的語言，那么聲音事件檢測就是將環(huán)境聲音翻譯為機器可以理解的聲音2.典型應(yīng)用場景安全監(jiān)控生物檢測異常監(jiān)測情景感知3.實踐標注操作（1）準備數(shù)據(jù)準備一段聲音，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”

按鈕創(chuàng)建項目3.實踐標注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標簽頁，選擇“UploadFiles”，在彈出框中選擇準備好的數(shù)據(jù)文件，進行導(dǎo)入3.實踐標注操作（4）選擇模板切換到“LabelingSetup”選項卡，指定項目模板類型為“SoundEventDetection”3.實踐標注操作（5）維護標簽通過“Addlabelnames”文本框填入新增標簽并單擊“Add”按鈕保存；通過Labels列表項的刪除按鈕刪除無用標簽。3.實踐標注操作（6）開始標注首先選擇標簽，然后在音頻數(shù)據(jù)中通過鼠標劃定與標簽對應(yīng)的事件發(fā)生片段范圍，如果某一次標注不準確，在波形圖中單擊對應(yīng)該次標注的音頻片段，在標注界面右上側(cè)區(qū)域，點擊刪除按鈕，刪去本次標注，循環(huán)上述操作直到完成數(shù)據(jù)的所有標記。3.實踐標注操作（7）導(dǎo)出結(jié)果單擊“Export”按鈕，在彈出菜單中選擇導(dǎo)出格式并保存。小結(jié)知識目標：（1）明確聲音事件檢測標注相關(guān)概念（2）明確聲音事件檢測標注方法思政目標：（1）創(chuàng)新精神（2）工匠精神第五章

語音標注項目任務(wù)四語音意圖分類標注任務(wù)內(nèi)容概括知識背景典型應(yīng)用場景實踐標注操作1.知識背景語音對話交流中的用戶意圖理解是人機自然、和諧交互的重要前提。缺少這一前提，就很容易導(dǎo)致“答非所問”的情況發(fā)生。語音意圖分類核心問題在于如何理解用戶在互聯(lián)網(wǎng)環(huán)境下的話語意圖以及如何根據(jù)話語意圖生成讓用戶更為滿意的反饋結(jié)果，并在此基礎(chǔ)上提升語音生成的表現(xiàn)力。2.典型應(yīng)用場景游戲娛樂智能客服智能家居3.實踐標注操作（1）準備數(shù)據(jù)來自音頻數(shù)據(jù)是一段來自小米公司智能語音助手小愛同學(xué)的智能服務(wù)演示，格式為mp3音頻文件（2）創(chuàng)建工程開啟label-studio。在啟動頁選擇單擊“createproject”按鈕創(chuàng)建項目3.實踐標注操作（3）導(dǎo)入數(shù)據(jù)選擇“DataImport”標簽頁，選擇“UploadFiles”，在彈出框中選擇準備好的據(jù)文件，進行導(dǎo)入3.實踐標注操作（4）選擇模板切換到“LabelingSetup”選項卡，指定項目模板類型為“IntentClassification”3.實踐標注操作（5）維護標簽通過“Addlabelnames”文本框填入新增標簽，通過Labels列表項的刪除按鈕刪除無用標簽。Choices列表表示在當前項目意圖分類的種類。通過“Addchoices”選項框填入新增選項通過Choices選項的刪除按鈕刪除無用選項3.實踐標注操作（6）開始標注首先選擇標簽，然后在音頻數(shù)據(jù)中通過鼠標劃定與標簽對應(yīng)的人機交