手語研究的方向與現(xiàn)狀

4/4手語研究的方向與現(xiàn)狀手語研究的方向與現(xiàn)狀

手語研究的方向與現(xiàn)狀

提高計(jì)算機(jī)對(duì)人類語言的理解水平；（3）利用手勢(shì)控制VR中的智能化；（4）機(jī)器人的示范學(xué)習(xí)；（5）虛擬現(xiàn)實(shí)系統(tǒng)中的多模式接口等。

從手語輸入設(shè)備來看，手語識(shí)別系統(tǒng)主要分為基于數(shù)據(jù)手套的識(shí)別和基于視覺（圖像）的手語識(shí)別系統(tǒng)。基于數(shù)據(jù)手套的手語識(shí)別系統(tǒng)，是利用數(shù)據(jù)手套和位置跟蹤測(cè)量手勢(shì)在空間運(yùn)動(dòng)的軌跡和時(shí)序信息。這種方法的優(yōu)點(diǎn)是系統(tǒng)的識(shí)別率高。缺點(diǎn)是打手語的人要穿戴復(fù)雜的數(shù)據(jù)手套和位置跟蹤器，并且輸入設(shè)備比較昂貴。利用數(shù)據(jù)手套等典型傳感設(shè)備的方法，臺(tái)灣大學(xué)的Liang等人利用單個(gè)VPL數(shù)據(jù)手套作為手語輸入設(shè)備，可識(shí)別臺(tái)灣手語課本中的250個(gè)基本詞條，識(shí)別率為90.5%。CMU的ChristopherLee和Xu在1995年完成了一個(gè)操縱機(jī)器人的手勢(shì)控制系統(tǒng)。Kadous用PowerGloves作為手語輸入設(shè)備，識(shí)別有95個(gè)孤立詞構(gòu)成的詞匯集，正確率為80%。基于視覺的手勢(shì)識(shí)別是利用攝像機(jī)采集手勢(shì)信息，并進(jìn)行識(shí)別。該方法的優(yōu)點(diǎn)是輸入設(shè)備比較便宜，但識(shí)別率比較底，實(shí)時(shí)性較差，特別是很難用于大詞匯量的手語錄的識(shí)別。在基于視覺的方法方面，具有代表性的研究成果包括：1991年富士通實(shí)驗(yàn)室完成了對(duì)46個(gè)手語符號(hào)的識(shí)別工作。Davis和Shah將戴上指間具有高亮標(biāo)記的視覺手套的手勢(shì)作為系統(tǒng)的輸入，可識(shí)別7種手勢(shì)。Starner等在對(duì)美國(guó)手語中帶有詞性的40個(gè)詞匯隨機(jī)組成短句子識(shí)別率達(dá)到99.2%。Grobel和Assam從視頻錄像中是取特征，采用HMM技術(shù)識(shí)別262個(gè)孤立詞，正確率為91.3%。此外，Vogler與Metaxas將兩種方法結(jié)合用于美國(guó)手語識(shí)別，交互采用一個(gè)位置跟蹤器及三個(gè)互相垂直的攝像機(jī)作為手勢(shì)輸入設(shè)備，完成了53個(gè)孤立詞的識(shí)別，識(shí)別率為89.9%。

從識(shí)別技術(shù)來看，以往手語識(shí)別系統(tǒng)主要采用基于人工神經(jīng)網(wǎng)絡(luò)（ANN）及基于隱Markov模型（HMM）等方法。神經(jīng)網(wǎng)絡(luò)方法具有分類特性及抗干擾性，然而由于其處理時(shí)間序列的能力不強(qiáng)，目前廣泛用于靜態(tài)手勢(shì)的識(shí)別。著名的Fels的GloveTalk系統(tǒng)采用神經(jīng)網(wǎng)絡(luò)方法作為識(shí)別技術(shù)。對(duì)于分析區(qū)間內(nèi)的手語信號(hào)，通常采取HMM方法進(jìn)行模型化。HMM是眾周知并廣泛使用的統(tǒng)計(jì)方法，一般拓?fù)浣Y(jié)構(gòu)下的HMM具有非常強(qiáng)的’描述手語信號(hào)的時(shí)空變化能力，在動(dòng)態(tài)手勢(shì)識(shí)別領(lǐng)域一直占有主導(dǎo)地址，如卡內(nèi)基·梅隆大學(xué)的美國(guó)手語識(shí)別系統(tǒng)及臺(tái)灣大學(xué)的臺(tái)

灣手語識(shí)別系統(tǒng)等均采用HMM作為系統(tǒng)的識(shí)別技術(shù)。另外，Grobel與Assam利用HMM識(shí)別由戴有色手套的用戶通過攝像機(jī)輸入的262個(gè)孤立手語詞，正確率為91.3%。然而正是由于HMM拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致這種模型在分析手語信號(hào)時(shí)過于復(fù)雜，使得HMM訓(xùn)練和識(shí)別計(jì)算量過大。尤其是在連續(xù)的HMM中，由于需要計(jì)算大量的狀態(tài)概率密度，需要估計(jì)的參數(shù)個(gè)數(shù)較多，使得訓(xùn)練及識(shí)別的速度相對(duì)較慢。因而以往手語識(shí)別系統(tǒng)所采用的HMM一般為離散HMM。

在我國(guó)，哈爾濱工業(yè)大學(xué)的吳江琴、高文等給出了ANN與HMM的混合方法作為手語的訓(xùn)練識(shí)別方法，以增加識(shí)別方法的分類特性和減少模型的估計(jì)參數(shù)的個(gè)數(shù)。將ANN-HMM混合方法應(yīng)用于有18個(gè)傳感器的CyberGlove型號(hào)數(shù)據(jù)手套的中國(guó)手語識(shí)別系統(tǒng)中，孤立詞識(shí)別率為90%，簡(jiǎn)單語句級(jí)識(shí)別率為92%。接下來高文等又選取Cyberglove型號(hào)數(shù)據(jù)手套作為手語輸入設(shè)備，并采用了DGMM（dynamicGaussianmixturemodel）作為系統(tǒng)的識(shí)別技術(shù)，即利用一個(gè)隨時(shí)間變化的具有M個(gè)分量的混合GaussianN-元混合密度來模型化手語信號(hào)，可識(shí)別中國(guó)手語字典中274個(gè)詞條，識(shí)別率為98.2%。與基于HMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與HMM模型的識(shí)別精度相當(dāng)，其訓(xùn)練和識(shí)別速度比HMM的訓(xùn)練與識(shí)別速度有明顯的改善。他們?yōu)榱诉M(jìn)一步提高識(shí)別速度，識(shí)別模塊中選取了多層識(shí)別器，可識(shí)別中國(guó)手語字典中的274個(gè)詞條，識(shí)別率為97.4%。與基于單個(gè)DGMM的識(shí)別系統(tǒng)比較，這種模型的識(shí)別精度與單個(gè)DGMM模型的識(shí)別精度基本相同，但其識(shí)別速度比單個(gè)DGMM的識(shí)別速度有明顯的提高。2000年在國(guó)際上他們首次實(shí)現(xiàn)了5000詞以上的連續(xù)中國(guó)手語識(shí)別系統(tǒng)。另外，清華大學(xué)祝遠(yuǎn)新、徐光等給出了一種基于視覺的動(dòng)態(tài)孤立手勢(shì)識(shí)別技術(shù)，借助于圖像運(yùn)動(dòng)的變階參數(shù)模型

和魯棒回歸分析，提出一種基于運(yùn)動(dòng)分割的圖像運(yùn)動(dòng)估計(jì)方法?；趫D像運(yùn)動(dòng)參數(shù)，構(gòu)造了兩種表現(xiàn)變化模型分別作為手勢(shì)的表現(xiàn)特征，利用最大最小優(yōu)化算法來創(chuàng)建手勢(shì)參考模板，并利用基于模板的分類技術(shù)進(jìn)行識(shí)別。對(duì)12種手勢(shì)的識(shí)別率超過90%。在進(jìn)一步研究中，他們又給出了有關(guān)連續(xù)動(dòng)態(tài)手勢(shì)的識(shí)別，融合手勢(shì)運(yùn)動(dòng)信息和皮膚顏色信息，進(jìn)行復(fù)雜背景下的手勢(shì)分割；通過結(jié)合手勢(shì)的時(shí)序信息、運(yùn)動(dòng)表現(xiàn)及形狀表現(xiàn)，提出動(dòng)態(tài)手勢(shì)的時(shí)空表現(xiàn)模型，并提出基于顏

色、運(yùn)行以及形狀等多模式信息的分層融合策略抽取時(shí)空表觀模型的參數(shù)。最后，提出動(dòng)態(tài)時(shí)空規(guī)整算法用于手勢(shì)識(shí)別。對(duì)12種手勢(shì)，平均識(shí)別率高達(dá)97%。

盡管已經(jīng)實(shí)現(xiàn)了一些手語識(shí)別系統(tǒng)，但中國(guó)手語識(shí)別仍然面臨許多挑占性課題，如手勢(shì)不變特征的提取、手勢(shì)之間的過度模型、手語識(shí)別的最小識(shí)別基于、自動(dòng)分割識(shí)別基元、詞匯量可擴(kuò)展的識(shí)別方法、手語識(shí)別的輔助信息、非特定人的手語識(shí)別問題、混合手指語和手勢(shì)語的手語識(shí)別以及中國(guó)手勢(shì)語語法等。

手語的合成是使聾啞人理解正常語言表達(dá)的最有效手段，在手語合成中涉及以下幾個(gè)方面的問題：本文輸入部分、文本切分部分、文本的分析與手語碼轉(zhuǎn)換、手語庫(kù)的建立與基于手語詞的手語合成和手語的顯示。

文本輸入部分的功能是編輯輸入漢語句子。文本的切分將句子分成詞，標(biāo)點(diǎn)符合單獨(dú)成詞。系統(tǒng)的分詞過程首先采用最大匹配發(fā)切分，然后利用第一步分詞結(jié)果通過查找詞條的歧義標(biāo)志位調(diào)用詞規(guī)則，進(jìn)而進(jìn)行歧義校正。文本分析與手語碼轉(zhuǎn)換是手語合成的重要部分。雖然中國(guó)手語是參考漢語制定的，但是兩種語言的差別主要體現(xiàn)在四個(gè)方面：語言表達(dá)形態(tài)、基本詞匯、句子結(jié)構(gòu)和構(gòu)詞方法。在語言表達(dá)形態(tài)上：漢語是靠語音/聽覺交際的有聲語言。中國(guó)手語是一種靠動(dòng)作/視覺交際的可視化語言。在基本詞匯上：漢語的詞匯大約有近五萬多個(gè)字組成，總的詞匯量可達(dá)十萬多個(gè)。中國(guó)手語的詞匯僅由3330個(gè)手勢(shì)語組成。中國(guó)手語的手勢(shì)詞語與漢語的詞語不完全存在一一對(duì)應(yīng)的關(guān)系。在句子的語法結(jié)構(gòu)上：手語句子與漢語句子的詞序有所不同，此外還省略了日常語言的某些詞如量詞。因此從漢語轉(zhuǎn)換到中國(guó)手語，主要解決的基本詞匯上的差別，同時(shí)考慮部分詞匯的差別。手語詞庫(kù)記錄了每個(gè)手語詞的手語運(yùn)動(dòng)信息，是手語合成的重要基礎(chǔ)。建立手語詞庫(kù)不僅工作量大，而且其質(zhì)量也直接影響合成手語的結(jié)果。目前建立手語詞庫(kù)的方法有兩種：運(yùn)動(dòng)跟蹤方法和手工編輯方法。也有人綜合使用這兩種方式。運(yùn)動(dòng)跟蹤的方法是對(duì)腕關(guān)節(jié)及各手指關(guān)節(jié)的運(yùn)動(dòng)由數(shù)據(jù)手套獲取，肩關(guān)節(jié)與肘關(guān)節(jié)的運(yùn)動(dòng)由位置跟蹤傳感器獲取。而手工的方法是通過手工實(shí)驗(yàn)來獲取手勢(shì)的參數(shù)。手語是一種可視語言，合成的手語只有顯示出來，觀察者才能“讀”取

手語的信息與意義。手語的合成與顯示的實(shí)現(xiàn)的方法是：在VRML中有一部分是專門用于描述三維人體模型H-Anim標(biāo)準(zhǔn)，根據(jù)此標(biāo)準(zhǔn)對(duì)虛擬人的定義，一個(gè)虛人有47關(guān)節(jié)96個(gè)自由度，只要確定這96個(gè)自由度的角度值，應(yīng)用運(yùn)動(dòng)學(xué)的方法和計(jì)算機(jī)圖形學(xué)的方法，就可以計(jì)算出虛擬人每個(gè)肢體的位置和方向，由此確定虛擬人的一個(gè)姿態(tài)。一個(gè)手語運(yùn)動(dòng)是一個(gè)人體手勢(shì)的序列，按照預(yù)定的時(shí)間間隔連續(xù)顯示一個(gè)手語運(yùn)動(dòng)中的每一個(gè)手勢(shì)，既可以生成對(duì)應(yīng)的手語運(yùn)動(dòng)。

當(dāng)今，網(wǎng)絡(luò)通訊已經(jīng)成為一種重要的通訊手段。研究啞語通訊，使聾啞人更好地融入網(wǎng)絡(luò)社會(huì)，感受科技的進(jìn)步，更好地為他們服務(wù)并且方便了他們的生活。而手語作為一種動(dòng)作語言，從廣義上講，它的應(yīng)用不僅僅局限于聾啞人之間，聾啞人與非聾啞人之間，以及異語種間健常人的交流都可能應(yīng)用到動(dòng)作語言。從這個(gè)意義上，研究啞語的表達(dá)與通訊，具有更加廣泛的社會(huì)意義和實(shí)際應(yīng)用前景。

更實(shí)現(xiàn)手語的網(wǎng)絡(luò)通訊，必須采用一種恰當(dāng)?shù)募夹g(shù)，它既能完成手語圖像動(dòng)畫表示，它既能完成手語圖像的三維動(dòng)畫表示，產(chǎn)生的數(shù)據(jù)、文件應(yīng)該盡可能地短小，且便于壓縮，以利于網(wǎng)絡(luò)傳輸，提高網(wǎng)絡(luò)傳輸速度，避免網(wǎng)絡(luò)擁塞，實(shí)現(xiàn)實(shí)時(shí)反應(yīng)?？梢允褂萌S動(dòng)畫技術(shù)來實(shí)現(xiàn)手語動(dòng)畫，但一般的三維動(dòng)畫技術(shù)形成的圖像雖然可能滿足生動(dòng)逼真的要求，卻不適合網(wǎng)絡(luò)應(yīng)用。因?yàn)樗鼈冇糜趫D像和動(dòng)畫的文件格式是基于像素的，大小和行為都是固定的，為了得到特體的三維印象，至少需要兩幅圖解，這使傳輸量巨大且不能實(shí)現(xiàn)交互。同時(shí)，基于HTTP、HTML標(biāo)準(zhǔn)的只能表示和傳遞二維信息，不能滿足對(duì)三維環(huán)境和三維顯像具有特定要求的應(yīng)用需求。鑒于這種應(yīng)用的特殊要求，提出采用VRML技術(shù)。VRML（VirtualRealityModelingLanguage）是一種可以在上操作的三維圖形可視化工具，VRML2.0發(fā)布于1996年8月，它能夠靈活有效的方式，將二維、三維圖形和動(dòng)畫、影片、聲響和音樂等多種效果調(diào)和在一起，形成一個(gè)綜合性的單一媒體，在環(huán)球網(wǎng)上創(chuàng)建動(dòng)態(tài)世界。VRML本身不是一種傳統(tǒng)的編程語言，它是一種建模語言，有它自己的文件格式，人們可以用它描述三維場(chǎng)景。它不但能滿足圖像質(zhì)量的要求，而且存儲(chǔ)和傳輸?shù)闹皇俏锢淼娜S坐標(biāo)，圖像本身是在本地生成的，這就大大減少了網(wǎng)絡(luò)傳輸量，也便于進(jìn)行交互操作。同時(shí)，使用VRML技術(shù)生成的

文件格式是ASCII碼，能被有效地壓縮，這就進(jìn)一步減輕了網(wǎng)絡(luò)壓力，提高了傳輸效率，能夠?qū)崿F(xiàn)手語圖像在網(wǎng)絡(luò)上高速傳輸。

另外，日本北海道大學(xué)的青木由直教授是研究手語通訊的倡導(dǎo)者，他通過建立一個(gè)不同語言的手語翻譯字典在Internet實(shí)現(xiàn)了日語和韓語的手語的聊天系統(tǒng)，進(jìn)一步又研究了日本與中國(guó)的手語變換，手語手成的二維及三維動(dòng)畫，以及帶有面部表情和嘴唇形狀的日語和韓語的手語聊天系統(tǒng)等。

人手的組成是一個(gè)非常復(fù)雜的結(jié)構(gòu)。手是由骨頭，連接骨頭的韌帶，作為拉力動(dòng)力服務(wù)的肌肉，運(yùn)動(dòng)時(shí)連接肌肉與骨頭的腱，以及覆蓋著保護(hù)的軟組織和皮膚。骨頭通過關(guān)節(jié)連接起來并且不能改變大小，肌肉產(chǎn)生扭矩和關(guān)節(jié)通過拉力運(yùn)動(dòng)都存在一塊或更多的肌肉群為其服務(wù)。因此，手的運(yùn)動(dòng)極其復(fù)雜的。由于真實(shí)手的生理特點(diǎn)，手的運(yùn)動(dòng)受到一些限制和約束。分析手的運(yùn)動(dòng)約束，就可以更好研究虛擬三維人手的運(yùn)動(dòng)。這樣一來就可以在有關(guān)手的動(dòng)畫片中避免一些不真實(shí)的動(dòng)作，使其更加擬人化。

手的運(yùn)動(dòng)約束主要體現(xiàn)在關(guān)節(jié)的運(yùn)動(dòng)的約束上。有以下四種情況：（1）關(guān)節(jié)角度限制和運(yùn)動(dòng)類型的約束。第二到第五手指的

第三關(guān)節(jié)的運(yùn)動(dòng)僅能彎圣誕節(jié)/伸直或一方向運(yùn)動(dòng)，并且第一和第二關(guān)節(jié)也僅能在同一方向上彎曲/伸真。因此，第二到第五手指的四個(gè)手指在同一平面。（2）指骨之間的關(guān)節(jié)彎曲的約束。對(duì)人的手指運(yùn)動(dòng)來說，在沒有外力作用下，不可能存在第一關(guān)節(jié)彎曲而第二關(guān)節(jié)不彎曲的情況。經(jīng)研究發(fā)現(xiàn)，第一關(guān)節(jié)彎曲的角度大約是第二關(guān)節(jié)彎曲角度的2/3。（3）掌骨與手之間的彎曲的約束。當(dāng)?shù)谌齻€(gè)關(guān)節(jié)彎曲時(shí)大約角度是90°，而對(duì)于第二個(gè)手指卻少于90°，第三到第五個(gè)手指彎曲的角度超過90°。這是因?yàn)楠?dú)立的一個(gè)手指的彎曲要受到指狀組合型韌帶的限制，這樣一個(gè)手指的彎曲可能導(dǎo)致其它附近的