091016-cslt介紹ppt - 清華大學(xué)信息技術(shù)研究院語(yǔ)音和語(yǔ)言技術(shù)中心

清華大學(xué) 信息技術(shù)研究院 師資力量 輔助教學(xué) 研究方向 歷史沿革 中心定位 機(jī)構(gòu)組成 近期的科研成果 歷史沿革 1979年，計(jì)算機(jī)科學(xué)與技術(shù)系 語(yǔ)音實(shí)驗(yàn)室 1999年，智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室語(yǔ)音技術(shù)中心 1986年，電子工程系 語(yǔ)音實(shí)驗(yàn)室 994年，電子工程系 語(yǔ)音芯片研發(fā)組 003年，清華信息科學(xué)技術(shù)國(guó)家實(shí)驗(yàn)室 計(jì)算機(jī)與人工智能研究部 2007年 2003年，信息技術(shù)研究院 4 中心定位 面向應(yīng)用 推進(jìn)創(chuàng)新 突出重點(diǎn) 厚積薄發(fā) 5 機(jī)構(gòu)組成 語(yǔ)音識(shí)別實(shí)驗(yàn)室聲紋識(shí)別實(shí)驗(yàn)室語(yǔ)音芯片實(shí)驗(yàn)室智能搜索實(shí)驗(yàn)室語(yǔ)言理解實(shí)驗(yàn)室資源與標(biāo)準(zhǔn)實(shí)驗(yàn)室金融工程研究所主 任科 研 副 主 任 教 學(xué) 副 主 任 行 政 副 主 任顧 問 委 員 會(huì)主 任 助 理信息無(wú)障礙實(shí)驗(yàn)室信息無(wú)障礙研究中心6 師資力量 首席科學(xué)家 張 中國(guó)科學(xué)院院士 主任 鄭 方 研究員 副主任 徐明星 副教授、 夏云慶 副研究員 主任助理 鄔曉鈞 博士 教師隊(duì)伍 教授 /研究員 /博導(dǎo)： 1名 副教授 /副研究員： 6名 講師 /助理研究員： 2名 7 顧問委員會(huì) ( 方棣棠 (清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 ) 吳文虎 (清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系 ) 劉潤(rùn)生 (清華大學(xué)電子工程系 ) 客座研究員 香港科技大學(xué) ) 8 輔助教學(xué) 本科生課程： 信號(hào)處理原理 、 數(shù)學(xué)與工程應(yīng)用 、 程序設(shè)計(jì)基礎(chǔ) 、 C程序設(shè)計(jì)與訓(xùn)練 研究生課程： 語(yǔ)音數(shù)字信號(hào)處理 、 語(yǔ)音信號(hào)處理 、 自然語(yǔ)言處理 （英文授課）、 概率圖模型理論與應(yīng)用 指導(dǎo)清華大學(xué) 9 已培養(yǎng) (88名 )： 博士后： 3名 博士生： 22名 碩士生： 63名 正在培養(yǎng) (32名 )： 博士生： 11名 碩士生： 21名 10 近期學(xué)生的各類獲獎(jiǎng) 優(yōu)秀 /優(yōu)良畢業(yè)生 (牟曉隆 1996 & 1998, 武健 1998); 系學(xué)術(shù)新秀 (武健 2000); 最佳學(xué)生論文獎(jiǎng) (曹文曉 009，鮑煥軍 007，張欣研和吳根清 001，王帆 000，牟曉隆和徐明星 998); 微軟學(xué)者獎(jiǎng)學(xué)金 (宋戰(zhàn)江 1999); 優(yōu)秀畢業(yè)設(shè)計(jì)獎(jiǎng) (張欣研 2001); 清華 (劉智博 2006); 11 研究方向 共同特征聲學(xué)模型語(yǔ)言模型語(yǔ)音識(shí)別音字”的轉(zhuǎn)換文本挖掘語(yǔ)義計(jì)算智能搜索語(yǔ)言處理字意”的轉(zhuǎn)換個(gè) 性 特 征聲 紋 辨 認(rèn)聲 紋 確 認(rèn)聲 紋 識(shí) 別 V P R 這 是 誰(shuí) 的 聲 音 ?12 語(yǔ)音識(shí)別、音頻處理與嵌入式系統(tǒng) 聲紋辨認(rèn)和確認(rèn) 自然語(yǔ)言處理 標(biāo)準(zhǔn)化與資源建設(shè) 13 語(yǔ)音識(shí)別、音頻處理與嵌入式系統(tǒng) 大詞匯連續(xù)語(yǔ)音識(shí)別技術(shù) 帶方言背景的語(yǔ)音識(shí)別技術(shù) 隨意發(fā)音的語(yǔ)音識(shí)別技術(shù) 音頻檢索 嵌入式語(yǔ)音識(shí)別技術(shù) 14 大詞匯連續(xù)語(yǔ)音識(shí)別技術(shù) 非特定人大詞匯連續(xù)語(yǔ)音識(shí)別技術(shù)最具挑戰(zhàn)性 以聽寫機(jī)應(yīng)用研究為背景，應(yīng)用前景廣闊 研究?jī)?nèi)容涵蓋了聲學(xué)模型和語(yǔ)言模型，體現(xiàn)綜合研究實(shí)力 積累了 1,000多小時(shí)的語(yǔ)音庫(kù) 研制成功基于中文拼音理解的語(yǔ)言模型 研制成功了聽寫機(jī)原型系統(tǒng)，實(shí)現(xiàn)了將普通話朗讀的語(yǔ)音轉(zhuǎn)變?yōu)槲谋緝?nèi)容 15 帶方言背景的語(yǔ)音識(shí)別技術(shù) 面向中國(guó)方言眾多但以普通話為主要交流語(yǔ)言的需求；是語(yǔ)音識(shí)別產(chǎn)業(yè)化應(yīng)用必須解決的核心問題之一； 方言背景（不是方言）的普通話識(shí)別為重點(diǎn)研究方向； 構(gòu)建一個(gè)能同時(shí)支持多種口音 /方言背景和普通話輸入的識(shí)別器， 通過(guò)相應(yīng)的開發(fā)數(shù)據(jù)和方法，可方便地?cái)U(kuò)展到其他語(yǔ)言或方言 此項(xiàng)目部分得到美國(guó) 。 16 隨意發(fā)音的語(yǔ)音識(shí)別技術(shù) 近年的研究重點(diǎn)和熱點(diǎn)； 面向產(chǎn)業(yè)應(yīng)用和用戶的實(shí)際需求 以對(duì)話語(yǔ)音、電話交互語(yǔ)音、講座語(yǔ)音等為重點(diǎn)研究方向； 相對(duì)于傳統(tǒng)的朗讀語(yǔ)音識(shí)別，難度更大，挑戰(zhàn)更高 需要聯(lián)合聲學(xué)層，字典層，語(yǔ)言模型層，識(shí)別器層和超音段特征層綜合進(jìn)行處理 HU 并得到美國(guó) 17 音頻檢索 基于內(nèi)容的音頻檢索 使用關(guān)鍵詞語(yǔ)音識(shí)別技術(shù)，在語(yǔ)音流中檢索包含關(guān)鍵詞的音頻內(nèi)容 基于音頻片斷的音頻檢索 同源音頻檢索 非同源音頻檢索 在研項(xiàng)目 廣播電臺(tái)音頻資源庫(kù)管理系統(tǒng) 18 嵌入式語(yǔ)音識(shí)別技術(shù) 基于連接詞的語(yǔ)音識(shí)別技術(shù)已經(jīng)相對(duì)成熟 識(shí)別率可以達(dá)到 99%以上 程序容易移植到遷入式系統(tǒng) 對(duì)計(jì)算能力和硬件內(nèi)存資源要求不高，成本低 開發(fā)成功專用的語(yǔ)音識(shí)別集成電路芯片 低功耗語(yǔ)音處理專用 開發(fā)研制成功嵌入式語(yǔ)音識(shí)別系統(tǒng) 基于 基于 19 各類語(yǔ)音識(shí)別軟件 1998，漢語(yǔ)語(yǔ)音聽寫機(jī) 1999，關(guān)鍵詞識(shí)別和 語(yǔ)音命令 20 語(yǔ)言學(xué)習(xí)軟件 1997，大嘴英語(yǔ) 1998，隨心所欲說(shuō)英語(yǔ) 1999，漢語(yǔ)學(xué)習(xí) 21 嵌入式系統(tǒng) 1997，快譯通 2005， 2003，嵌入式語(yǔ)音識(shí)別芯片 22 聲紋辨認(rèn)和確認(rèn) 聲紋識(shí)別的應(yīng)用領(lǐng)域 聲紋辨認(rèn) ( 聲紋確認(rèn) ( 11 聲紋識(shí)別的特點(diǎn) 網(wǎng)絡(luò)應(yīng)用所特有的不可接觸的特點(diǎn)，以及聲紋特征容易被獲?。ㄉ踔量赡苁俏ㄒ豢色@取的）、其采集易被用戶接受、所需設(shè)備成本低廉、語(yǔ)音可蘊(yùn)涵說(shuō)話人真實(shí)意圖等特點(diǎn)， 使其可以廣泛地應(yīng)用于公共安全、國(guó)防安全、反恐防恐、出入境控制、金融交易、電子商務(wù)，以及個(gè)性化服務(wù)等領(lǐng)域。 聲紋識(shí)別研究重點(diǎn) 噪音魯棒性、跨信道魯棒性、多說(shuō)話人魯棒性、短語(yǔ)音魯棒性、防假冒魯棒性、情感魯棒性等。 23 功能強(qiáng)大的 24 2004，公安部鑒定 2008，北京市科技計(jì)劃項(xiàng)目 25 由刑警學(xué)院、得意公司（ 語(yǔ)音技術(shù)中心（ 合承擔(dān)的“司法語(yǔ)音自動(dòng)分析和鑒別系統(tǒng)的研制”，于2004年 5月 29日通過(guò)了公安部科技成果鑒定會(huì)，該項(xiàng)技術(shù)“ 是一項(xiàng)創(chuàng)新的、國(guó)內(nèi)領(lǐng)先的研究成果 ”。 用聲紋識(shí)別身份認(rèn)證系統(tǒng)引擎的研制”項(xiàng)目 2005年被北京市科委批準(zhǔn)列入北京市科技計(jì)劃項(xiàng)目，并于 2008年 2月28日通過(guò)了驗(yàn)收?！?該課題完成了任務(wù)書中規(guī)定的各項(xiàng)考核指標(biāo)，創(chuàng)新性強(qiáng)，達(dá)到了國(guó)際先進(jìn)水平，具有廣泛的應(yīng)用前景 ?！?26 2006，鸚鵡學(xué)舌 2007，聲紋護(hù)照 27 自然語(yǔ)言處理 研究?jī)?nèi)容： 面向中文信息處理的核心技術(shù)探索和基礎(chǔ)資源開發(fā)，逐步建成支撐漢語(yǔ)文本自動(dòng)分析和內(nèi)容理解的語(yǔ)言資源和計(jì)算處理 平臺(tái)。 面向大規(guī)模 取統(tǒng)計(jì)和淺層語(yǔ)言分析相結(jié)合的機(jī)器學(xué)習(xí)方法，研制基于語(yǔ)義概念的智能信息檢索系統(tǒng)。 現(xiàn)有的國(guó)家項(xiàng)目： 融合多種語(yǔ)言資源的漢語(yǔ)語(yǔ)義內(nèi)容計(jì)算研究， 國(guó)家 863計(jì)劃(2007 2008年 2010年； 搭配驅(qū)動(dòng)意見挖掘， 國(guó)家自然科學(xué)基金 (60703051)， 2008年2010年。 28 文本挖掘 研究?jī)?nèi)容： 文本內(nèi)涵分析 ：文本內(nèi)涵特征提取和向量空間表示，基于機(jī)器學(xué)習(xí)的文本內(nèi)涵分析 博客文本挖掘 ：文本主題挖掘，文本情感挖掘，文本觀點(diǎn)傾向性挖掘 博客輿情分析 ：博客熱點(diǎn)話題跟蹤，博客敏感信息檢測(cè)，博客情感檢測(cè)，博客網(wǎng)絡(luò)輿情分析，博客社會(huì)網(wǎng)絡(luò)分析 應(yīng)用成果： 數(shù)碼產(chǎn)品和服務(wù)業(yè)評(píng)價(jià)挖掘和搜索 音樂智能搜索和推薦 博客輿情分析和博客社會(huì)網(wǎng)絡(luò)挖掘 29 智能搜索 研究?jī)?nèi)容： 基于自然語(yǔ)言理解技術(shù) ，集成了基于主題森林的對(duì)話管理技術(shù)，文本自動(dòng)分析、分類和索引技術(shù)，用戶輸入容錯(cuò)理解技術(shù) 集成化開發(fā)環(huán)境 ，使得開發(fā)人員可以快速、方便地開發(fā)面向 “垂直搜索 /智能信息檢索 ”的系統(tǒng) 應(yīng)用成果： 在旅游、酒店、票務(wù)、招聘、租房、歌曲、汽車、金融以及電子產(chǎn)品等領(lǐng)域提供快速、準(zhǔn)確地智能信息檢索服務(wù) 30 語(yǔ)義計(jì)算 漢語(yǔ)句子的句法塊自動(dòng)分析工具 可針對(duì)經(jīng)過(guò)切分和詞性標(biāo)注處理的漢語(yǔ)句子，自動(dòng)分析出其中雙層次的句法塊邊界和句法標(biāo)記信息 漢語(yǔ)句子的事件目標(biāo)動(dòng)詞自動(dòng)義項(xiàng)排歧工具 可自動(dòng)確定這些目標(biāo)動(dòng)詞反映的客觀事件內(nèi)容和相應(yīng)的語(yǔ)義角色框架信息 漢語(yǔ)句子的語(yǔ)義塊自動(dòng)識(shí)別工具 根據(jù)上面確定的事件目標(biāo)動(dòng)詞語(yǔ)義框架信息，分析確定與該目標(biāo)動(dòng)詞相關(guān)聯(lián)的各個(gè)句法塊的語(yǔ)義角色標(biāo)記，得到句子的完整事件內(nèi)容描述 漢語(yǔ)段落的事件關(guān)系網(wǎng)絡(luò)分析工具 利用上面工具識(shí)別出的各個(gè)句子的事件內(nèi)容描述，進(jìn)行基于情境網(wǎng)絡(luò)和語(yǔ)義公理的知識(shí)推理，建立段落中各個(gè)事件及其描述單元之間的內(nèi)在聯(lián)系，形成局部事件關(guān)系網(wǎng)絡(luò)，據(jù)此可以完成對(duì)段落中描述的各個(gè)事件內(nèi)容的初步理解 31 對(duì)話系統(tǒng) 1999，校園導(dǎo)航 2002，航班訂票 2004，對(duì)話系統(tǒng)集成開發(fā)環(huán)境 32 領(lǐng)域、多模態(tài) 2009，搜多多綜合智能信息服務(wù)平臺(tái)（已在廣州全面上線） 33 文本挖掘系統(tǒng) 2006，電子產(chǎn)品評(píng)價(jià)搜索 2008，歌曲搜索與推薦 34 標(biāo)準(zhǔn)化與資源建設(shè) 關(guān)注語(yǔ)音和語(yǔ)言技術(shù)領(lǐng)域的標(biāo)準(zhǔn)化動(dòng)態(tài)，積極參與并推動(dòng)相關(guān)標(biāo)準(zhǔn)的制修訂與實(shí)施。 作為中文語(yǔ)音交互技術(shù)標(biāo)準(zhǔn)工作組成員，負(fù)責(zé)制定原國(guó)家信產(chǎn)部 自動(dòng)聲紋識(shí)別（說(shuō)話人識(shí)別）技術(shù)規(guī)范 行業(yè)標(biāo)準(zhǔn)，并已頒布；參與語(yǔ)音識(shí)別和語(yǔ)音合成標(biāo)準(zhǔn)的制定。 負(fù)責(zé)全國(guó)安全防范報(bào)警系統(tǒng)標(biāo)準(zhǔn)化技術(shù)委員會(huì)人體生物特征識(shí)別應(yīng)用分技術(shù)委員會(huì)（ 關(guān)生物特征識(shí)別應(yīng)用標(biāo)準(zhǔn)的制修訂工作。 語(yǔ)音標(biāo)準(zhǔn)工作組研討會(huì)在清華召開 35 建設(shè)并管理多種語(yǔ)音和語(yǔ)言資源，為語(yǔ)音技術(shù)和語(yǔ)言技術(shù) 的研發(fā)提供支持。 發(fā)起建立了國(guó)際中文語(yǔ)言資源聯(lián)盟（ )，與國(guó)內(nèi)外知名大學(xué)、研究機(jī)構(gòu)、企業(yè)等完成了面向語(yǔ)音和語(yǔ)言、音頻和視頻等數(shù)據(jù)庫(kù)資源，提供數(shù)據(jù)資源，創(chuàng)造數(shù)據(jù)資源的共享平臺(tái)，促進(jìn)中文語(yǔ)音語(yǔ)言技術(shù)的發(fā)展。 與美國(guó)約翰霍普金斯大學(xué)合作，建立了全球第一套完成的中文自發(fā)式語(yǔ)音數(shù)據(jù)庫(kù)和標(biāo)注系統(tǒng)，及面向語(yǔ)音應(yīng)用的漢語(yǔ)吳方言語(yǔ)音、文本和字典資源。 36 由 自動(dòng)聲紋識(shí)別（說(shuō)話人識(shí)別）技術(shù)規(guī)范 標(biāo)準(zhǔn)，已于 2008年 3月 10日正式頒布， 11380這是我國(guó)第一個(gè)關(guān)于“聲紋識(shí)別”的標(biāo)準(zhǔn) 。