一種多要點交互桌面系統(tǒng)交互技術

一種多要點交互桌面系統(tǒng)交互技術

隨著普通計算、人工智能和計算機科學的協(xié)同設計技術的發(fā)展，以傳統(tǒng)的桌為隱喻的多接觸數(shù)字交互界面出現(xiàn)了。這種數(shù)字設備消除了鼠鍵盤的限制，可以直觀地自然地操作數(shù)字內容，并與日常桌面操作相對應。它在教育、醫(yī)療、設計、軍事、娛樂和其他領域有廣闊的應用前景。交互桌面使用自然的多指手勢作為其主要的交互方式.對現(xiàn)有交互桌面手勢交互技術進行總結可發(fā)現(xiàn),目前,交互桌面上使用的多為單手多指手勢如多指放大、縮小、拖動,或者雙手對稱手勢如雙手放縮、旋轉等,雙手非對稱交互用得很少.然而,文獻研究表明,在日常生活中,單手行為和雙手對稱行為數(shù)量較少,雙手非對稱行為是人們使用最多,也是最自然的行為.在文獻[4,5]中,雙手非對稱交互技術的使用也間接地說明了交互桌面上使用雙手非對稱交互的自然性和直觀性.此外,文獻中還指出,雙手非對稱交互中,左右手之間的分工會對任務的完成產生很大的影響.對于交互桌面,使其支持雙手非對稱交互的一個關鍵點為區(qū)分用戶的左右手,為觸點提供左右手信息,在此基礎上才可為左右手分配不同的任務.然而,目前主流的交互桌面系統(tǒng)只能提供手指觸點的位置和形狀信息,觸點的左右手歸屬信息通常均需憑借額外的硬件設備[8uf02d10],或者會對用戶的交互有所限制,如使用某只手交互之前必須同時使用5個手指進行手指注冊.本文從交互桌面的交互特征出發(fā),以Nielsen的手勢設計原則為指導,提出了交互桌面手-臂系統(tǒng)三角形模型,并定義了交互桌面用戶雙手交互的手勢空間,以此為基礎,提出了多觸點交互桌面同手觸點聚類方法及左右手識別方法.該方法基于人機工效學原理,無需借助輔助的硬件設備,可在用戶自然交互輸入的起始時刻提取單個或者多個手指的左右手信息.本文的主要貢獻如下:其一,提出了適用于交互桌面交互的手-臂系統(tǒng)三角形模型;其二,提出了一種交互桌面同手觸點聚類方法;其三,提出了一種交互桌面左右手識別方法;其四,對多觸點跟蹤包MTDriver進行擴展,實現(xiàn)了可發(fā)送觸點左右手信息的EMTDriver;其五,設計了一系列基于左右手信息的交互桌面雙手非對稱交互技術.1單手開發(fā)方法基于計算機視覺方式的交互桌面,由于成本低廉、實現(xiàn)簡單,已成為目前構建交互桌面的主流方式.其實現(xiàn)原理主要有FTIR技術、DI技術、LLP技術等.此類系統(tǒng)能夠捕獲用戶輸入的觸點斑點信息,并通過觸點檢測跟蹤等處理,提供觸點位置、觸摸面積等信息,但通常不包括觸點左右手歸屬信息.Diamondtouch采用電容傳感的方式檢測用戶輸入,而且通過把人和座椅連接到傳感回路中,可判斷某一輸入來源于哪位用戶,但只提供用戶身份信息并不包括具體的左右手信息.獲取交互桌面觸點手的信息可進一步增強交互桌面系統(tǒng)的交互能力,這已經引起了研究人員的極大興趣.Benko等人使用肌肉傳感器感知用戶當前手指的運動,使用該方法可提取單個手的手指信息,如當前點為食指或者中指,但不能判斷當前點的左右手歸屬.Marquardt等人使用fiduciary-taggedglove可識別用戶手各部分的信息,如指尖、手掌、手背、手的側面,區(qū)別同一用戶的不同手以及多個用戶的手.Dohse等人通過在交互桌面上方添加攝像頭來跟蹤用戶的手,將觸點檢測和手跟蹤的結果相結合來獲取觸點所屬手信息.類似地,Wilson等人在桌面頂部添加深度相機,利用深度相機獲取手指觸點所屬用戶、用戶手臂及用戶手的信息.Murugappan等人也利用桌面頂部深度相機獲取觸點手歸屬、手的左右手手性以及手姿勢等信息.這些方法雖然可以提供用戶左右手信息,但需要額外的硬件設備,一方面增加了系統(tǒng)的成本,另一方面也增加了系統(tǒng)的復雜度.提取手信息也有一些基于軟件的方法.Dang等人利用手指觸點距離、方向和運動信息來區(qū)分當前輸入觸點是來自于同手還是不同手.本文利用的觸點信息與該方法相類似,但本文在觸點信息的基礎上還添加了用戶的行為習慣和人體工學約束信息,這使得本文算法不僅可以判斷觸點是否來自于同手,而且可以判斷該手是左手還是右手.Franks等人利用人手解剖學特征構建了人手的經驗模型,并構造了決策樹分類器來區(qū)分用戶的左右手.Au等人提出了一種交互桌面手指注冊方法,用戶將某只手的所有手指放置在交互桌面上任意位置即可完成手指注冊,系統(tǒng)首先根據(jù)手指觸點中心點與手心連線之間的夾角判斷大拇指,在此基礎上即可判斷每一手指觸點對應的手指名稱,也可判斷該手是左手還是右手.該方法要求用戶在操作之前使用某只手的所有手指操作進行注冊.本文方法沒有這一約束,用戶可與系統(tǒng)自然地進行交互.Micire等人的方法在用戶將手置于界面上時即可檢測當前手是左手還是右手,但其方法也要求手的5個手指同時操作.在文獻中,Wang等人提出可利用手指觸點方向角信息推測觸點手、用戶身份等信息.受此文思想的啟發(fā),本文基于手的解剖結構特征對交互桌面上用戶雙手操作時左右手手指觸點方向角具有的不同特點進行分析,并提出一種不需輔助硬件設備的觸點左右手識別方法.2多次健全的用戶功能現(xiàn)有基于軟件的觸點左右手識別方法其識別原理主要是利用了用戶手大拇指的特殊性,根據(jù)大拇指的位置判斷觸點的手性.這類方法的不足之處在于要求用戶手的5個手指同時輸入,這在很大程度上限制了用戶的交互.為了去除對用戶的這一限制,本文提出手-臂系統(tǒng)三角形模型來判斷手指觸點的左右手手性.該方法對用戶使用手指個數(shù)沒有限制,可識別用戶在自然舒適情況下操作的任意多個手指的左右手手性.Nielsen指出,基于用戶的手勢設計應遵循4條核心的指導原則:容易操作和記憶、直觀性、與具體功能有相關性并應滿足人體工學設計.由于人手解剖結構的約束,人的手腕及手指只能在一定范圍內活動,如果手勢設計得不合理,會使手負擔過重而受到傷害.Nielsen給出手勢設計中應考慮的6條人體工學原理:避免機體處于極限位置、盡可能地使肌肉處于放松狀態(tài)、盡可能地使機體處于其極限狀態(tài)的中間位置、避免機體動作的重復、避免保持某姿勢不動、避免使關節(jié)受力.與交互桌面交互相關的手腕運動包括伸展或者屈曲、繞尺骨或者橈骨偏離,如圖1所示.Wobbrock針對交互桌面上的27個常用命令進行用戶研究并統(tǒng)計得出執(zhí)行這些命令用戶習慣使用的手勢,如右手食指Tap手勢可用于選擇單個對象.對Wobbrock定義的27種常用手勢進行觀察,可總結出用戶在交互桌面上操作習慣使用的手指配置關系有:1)大部分手勢由1個、2個、3個或者5個手指完成;3)2個手指的操作由大拇指-食指或者食指-中指完成;4)3個手指的操作由大拇指-食指-中指或者食指-中指-無名指完成;5)4個手指的操作由大拇指-食指-中指-無名指或者食指-中指-無名指-小指完成.在Vennelakanti對多指交互的用戶行為習慣的研究中也有類似的結論.考慮雙手非對稱交互的情況,雙手十指可能的組合共有(1+2+2+2+1)×2+(1+2+2+2+1)2=80種.用戶使用上述手指組合可以做靜態(tài)手姿勢、動態(tài)手姿勢、帶軌跡的靜態(tài)或者動態(tài)手姿勢.自然多指手勢交互是交互桌面上最主要的輸入方式,為了避免用戶長時間操作造成的不適,在設計手勢的時候,對于靜態(tài)手姿勢與動態(tài)手姿勢,應盡可能地避免手腕繞橈骨和尺骨偏離使手腕處于中性位置;對于帶軌跡的靜態(tài)或者動態(tài)手姿勢,應盡可能地在軌跡最初輸入的時候使用戶手腕處于自然伸直狀態(tài).從圖1可以看出,當用戶手處于橈骨和尺骨的中性位置時:在用戶四指(大拇指除外)并攏的情況下,四指的方向與手腕的方向保持一致;在四指自然張開的情況下,中指的方向與手腕的方向基本保持一致.當用戶單個手指操作時,使用的通常為食指,手指方向與前臂方向幾乎一致;當單手多手指同時操作時,四指方向角的均值與中指的方向角也非常接近,所以,用戶四指的方向角可近似地使用前臂方向來表示.對于用戶雙手均可及的操作區(qū)域中的某一位置,用戶既可以用左手操作,也可以用右手操作,但使用不同的手其前臂方向會有明顯差異,這一差異不會因用戶身體扭動或者手臂的伸長、縮短而改變.用戶身體、前臂、手(不包括大拇指)三者可抽象為如圖2所示的三角形模型,通過該三角形模型,可明顯看出左右手在操作時的差異.該三角形由用戶手、前臂、前臂延長線、兩肩連線的延長線組成,隨著身體的扭動,該三角形也會隨之旋轉,如圖2中虛線三角形所示.圖中長虛線為用戶身體中心位置對應的屏幕位置與屏幕中被操作對象的連線.由圖2可知,對于屏幕中同一被操作對象,使用左手操作,其左前臂方向總是小于基準角度(長虛線與X軸的夾角),也即手指觸點方向角小于基準角度;同理,使用右手操作,其產生的觸點的方向角總是大于基準角度.由此,可根據(jù)觸點角度判斷觸點左右手的歸屬.該三角形模型對于用戶單個手指操作和單手多個手指操作均是適用的.在單手多個手指操作的情況下,可以求取多個手指觸點方向角的均值,使用這個平均角度與長虛線的角度進行比較.為了明確手指方向角的含義,建立如圖3所示的坐標系,X軸與用戶所在的那一邊平行,手指方向角為手指觸點擬合橢圓長軸延長線與X軸正向所成的夾角q,其取值范圍為(0°~180°).對于每一個手指觸點,均可使用四元組Finger={center,θ,a,isLeft}描述,其中,center為觸點擬合橢圓的中心點(x,y),θ為手指方向角,uf061為觸點所在位置的基準角度,isLeft為觸點的左右手手性.接下來將具體論述左右手區(qū)分方法.3多觸發(fā)接口界面的配置方法3.1基于摩擦接觸的旋轉軸線接多觸點交互桌面左右手區(qū)分方法流程如圖4所示.區(qū)分過程主要包括3大步:原始圖像預處理、觸點聚類及左右手判定.預處理過程主要用于計算后續(xù)手指聚類所需的基本信息,包括對原始圖像進行一系列圖像處理,計算手指觸點方向角以及輔助數(shù)據(jù)模型互斥矩陣、距離矩陣的初始化.觸點聚類過程主要用于將屬于不同手的觸點分類,雖然雙手交互過程中用戶手指的使用具有很大靈活性,但由于人手解剖結構的約束,其可能性空間大為減少.本文按照觸點兩兩之間的距離分情況討論,針對每一距離閾值范圍定義相應的判定條件,如同手手指兩者之間的距離不可能大于某一閾值、同手相鄰較近的兩手指觸點方向角角度差不可能大于某一閾值等,根據(jù)這些條件判定兩觸點屬于同手還是不同手,以此為據(jù)更新互斥矩陣直至將所有觸點均分類.最后,根據(jù)觸點所在位置以及手-臂系統(tǒng)三角形模型判定觸點左右手.下面將詳細介紹上述3個步驟.3.2極值點檢測流程觸點左右手歸屬判定的一個重要依據(jù)是手指觸點方向角,觸點方向角獲取的準確度會直接影響判定效果預處理過程的關鍵在于計算正確的觸點方向角.一般的計算方法是對圖像進行二值化,在輪廓提取的基礎上做橢圓擬合,但由于交互桌面上的紅外光照射不均勻,手指個數(shù)較多時會出現(xiàn)相鄰觸點遮擋現(xiàn)象,此時,將二值化閾值設置過大會產生多個小碎片區(qū)域,也即1個手指觸點被檢測為多個手指;將二值化閾值設置過小會產生一個大的粘連區(qū)域及多個手指觸點被檢測為1個手指,故使用二值化方法檢測觸摸手指的準確度很低.本文基于文獻中檢測極值點的思想對圖像中的觸點區(qū)域進行檢測.方法流程如圖5所示.首先,對原始圖像做背景去除、高通濾波、圖像增強處理;然后遍歷圖像的前景像素,前景像素值大于八鄰域的像素點即為一個極值點,然后以極值點為中心檢測觸摸區(qū)域;對檢測的觸摸區(qū)域逐一作橢圓擬合,考慮到交互桌面交互的實時性要求,此處橢圓擬合所用方法為計算待擬合輪廓的輪廓線上相鄰最遠的兩點連線作為擬合橢圓的長軸,短軸長度為長軸長度的一半,擬合橢圓長軸與X軸正向的夾角即為相應手指觸點的手指方向角.文獻中通過構建區(qū)域樹使用基于跟蹤的方法解決觸摸碎片和觸點粘連的問題,由于本文左右手區(qū)分方法旨在用戶初始輸入的時刻即可給出觸點的左右手信息,故僅利用了檢測到新增手指的幀圖像,對連通且較小的區(qū)域直接融合,連通且較大的區(qū)域則作為兩個手指觸點區(qū)域,經過多次測試選取經驗閾值150像素.圖6為部分區(qū)域檢測結果,黑白圖為圖像增強后的效果,對應的灰度圖為區(qū)域檢測結果,圖6(a)為觸點遮擋較嚴重情況下的區(qū)域檢測效果,圖6(b)為手指觸點斷裂情況下的區(qū)域檢測效果,圖6(c)為觸點粘連情況下的區(qū)域檢測結果.3.3消除含分布q的圍巖結構,確定接觸范圍利用上述三角形模型,可準確地識別四指的左右手手性,但由于大拇指的特殊性,給左右手區(qū)分帶來了很大難度.為此,當同時輸入的觸點個數(shù)大于1時,首先需要將屬于同一只手的觸點進行聚類,然后再利用三角形模型做左右手識別.觸點聚類過程根據(jù)觸點兩兩之間距離的不同,分3種情況依次進行處理.觸點聚類使用的3個距離閾值分別為:同手相鄰兩指(不包括大拇指)最大距離Dadj,同手大拇指與食指最大距離Dthumb,同手手指最大距離Dmax.此處3個閾值的取值分別是:Dadj為30,Dthumb為60,Dmax為75,單位均為像素.聚類過程依次分dij>Dmax,dij<Dadj,Dadj<dij<Dmax這3種情況來處理.判定1:若兩觸點距離dij>Dmax,則Fi與Fj屬于不同手.這一判定條件可以有效地判定兩手相距較遠的情況;對兩手相距較近且手指個數(shù)較多的情況,可以確定部分觸點之間的關系.在如圖7(a)、圖7(b)所示雙手相距較遠的情況下使用判定1可有效判定觸點間同手或者不同手關系;在如圖7(c)、圖7(d)所示雙手相距較近的情況下,通?？膳卸ㄊ种?與手指9、手指10不同手,手指6與手指4、手指5不同手.判定2:若兩觸點距離dij<Dadj,則判斷Fi與Fj方向角的差值θij:若θij<θadj,則Fi與Fj屬于同手;若θij≥θadj,則Fi與Fj屬于不同手,其中,θadj為同手相鄰兩指(大拇指除外)之間方向角的最大值,取經驗閾值40uf0b0.在該距離閾值范圍內的兩觸點有兩種情況:一種是同手相鄰兩指,如圖8中觸點1、觸點2;另一種是不同手相距較近兩指,如圖8中觸點1、觸點3.判定2可有效判定兩手相距較近情況下除大拇指外手指間的關系,如圖7(d)所示,可判定手指2~手指5與手指7~手指10相互之間的關系.在該距離閾值內,若大拇指與食指相距較近,兩者之間距離也在該閾值范圍內,則也可以使用判定2進行判定.若這一步仍不能將所有手指分類,則需做下一步的判定.判定3:兩觸點距離dij處于閾值范圍Dadj<dij<Dmax.在該閾值范圍內,兩觸點的可能情況如圖9所示,其中,圖9(a)、圖9(b)為單手操作,其余為雙手操作,L表示左手觸點,R表示右手觸點.判定方法為:首先,計算兩觸點方向角延長線交點,若有上交點即為圖9(c)所示情況,Fi與Fj屬于不同手;其次,計算兩觸點方向角的差值θij,若θij<θadj則為圖9(d)所示情況,Fi與Fj有一個為大拇指,另一個為另一手的食指,應屬于不同手;然后,若Dthumb<di,j<Dmax則為圖9(e)、圖9(f)所示情況,則Fi與Fj屬于不同的手;最后,對于兩點距離Dmin<di,j<Dthumb且尚未分類的手指觸點,可能為圖9(a)、圖9(b)、圖9(e)、圖9(f)這4種情況,僅利用觸點靜態(tài)信息無法判斷觸點的左右手歸屬因Fi與Fj為同手食指與大拇指的概率較大,故判定Fi與Fj為同手,在后續(xù)的算法改進中可添加觸點的時域特征來做進一步的判斷.上述3步判定按順序依次進行,每一步判定的結果均保存在互斥矩陣中.互斥矩陣初始化后只做一次賦值也即以首次判定結果為準,每次判定結束后按照互斥矩陣對觸點做一次分類,若不能將所有手指分類,則進入下一步判定,觸點分類初始化后也只做一次賦值.3.4貿易摩擦型觸點聚類將屬于同手的觸點歸為一類,左右手判定將識別某類是左手觸點還是右手觸點.判斷當前分類的個數(shù),若有兩類,則選取觸點個數(shù)較少的一類做判斷,另一類的手性可隨之確定,具體識別方法如下:首先,根據(jù)該類觸點重心所在交互桌面位置作初步判斷.用戶雙手在大幅面交互桌面上的操作范圍受限于手臂長度.中華人民共和國電力行業(yè)標準(DL/T575.3uf02d1999)對控制中心用戶坐姿狀態(tài)時人手可及范圍與操作區(qū)域進行了詳細劃分,如圖10所示.這一劃分對于交互桌面同樣適用.用戶在交互桌面上操作時,其左右手分別可及范圍是有限的,桌面上的某些區(qū)域只有左手可及為左手操作區(qū),某些區(qū)域只有右手可及為右手操作區(qū),某些區(qū)域雙手均可及為雙手操作區(qū).可首先根據(jù)觸點位置判斷觸點左右手歸屬,若觸點在左手操作區(qū)則屬于左手,若觸點在右手操作區(qū)則屬于右手,若觸點在雙手操作區(qū)則需做進一步判斷.若該類觸點個數(shù)大于1,則可計算該類觸點重心,根據(jù)重心所在區(qū)域判斷該類觸點手性,如果重心位于雙手操作區(qū)則做下一步的判斷.其次,對處于雙手交互區(qū)的觸點類,根據(jù)該類觸點的個數(shù)分情況做判斷.觸點個數(shù)若為1,則該觸點為食指,根據(jù)三角形模型判斷該點手性;若為2,則為食指與大拇指或者食指與中指,判斷兩觸點中心點之間距離,若距離Dmin<di,j<Dthumb,則此兩點為食指與大拇指,作兩觸點中心點連線,若兩觸點擬合橢圓長軸延長線交點位于該連線的右側則該類觸點屬于右手,反之屬于左手,若距離di,j<Dmin,則為食指與中指,計算兩觸點方向角的均值,利用三角形模型判斷;若大于2,按照手指觸點的方向角排序,去除方向角最大及最小的點(排除可能存在的大拇指及小拇指對判定結果的影響),計算其余觸點方向角的均值,并利用三角形模型進行判斷.圖11展示了輸入為1~10個手指觸點時分組及左右手識別的部分實驗結果,每組結果的左邊為原始圖像,右邊為識別結果.其中,分組結果用字母和數(shù)字表示,大寫字母表示未分類,小寫字母為一組,數(shù)字為一組;左右手識別結果用不同擬合形狀表示,矩形表示左手觸點、橢圓表示右手觸點.1個手指輸入時,如圖11(a)、圖11(b),觸點無分組信息但仍可提供左右手識別信息;本文方法可識別1~10個任意個數(shù)的手指輸入;可支持單手操作、雙手對稱及不對稱操作;支持雙手的自然交叉操作,如圖11(o)所示.4多點本機組我們將本文左右手區(qū)分方法集成到MTDriver工具包中.MTDriver是一個基于視覺原理的多觸點交互桌面多點檢測跟蹤工具包,通過處理原始輸入的視頻流,向應用程序發(fā)送觸點的添加、更新、移除等信息.擴展后的MTDriver可以向應用程序實時發(fā)送帶有觸點左右手信息的觸點數(shù)據(jù).利用該左右手信息可輔助多指手勢識別,也可設計雙手非對稱交互技術.4.1添加新增橫向到式的操作將左右手區(qū)分方法集成到MTDriver工具包后,EMTDriver(extendedMTDriver)的數(shù)據(jù)流程如圖12所示,橙色部分為新擴展部分.視頻幀經背景去除、圖像增強、高通濾波等一系列圖像處理后,對輸出圖像做區(qū)域檢測、觸點跟蹤.對一幀圖像跟蹤結束后,若此幀圖像有新增手指觸點,則調用左右手區(qū)分方法對本幀圖像進一步處理以提取新增觸點左右手信息,該左右手信息通過觸點跟蹤傳遞給下一幀更新的點.此處需要注意的是,雖然是對同一視頻幀進行處理,但觸點跟蹤所得手指觸點與左右手區(qū)分算法所得手指觸點的觸點中心并沒有完全重合,有時會有微小的偏差,需要對兩個處理結果做最近鄰觸點配對.發(fā)送的觸摸事件中添加觸點左右手信息,TUIO觸點模型中也需要添加觸點左右手信息.EMTDriver集成效果如圖13所示,其中,圖13(a)為EMTDriver跟蹤識別效果,矩形表示左手,橢圓表示右手;圖13(b)為基于TUIO客戶端開發(fā)的多點觸摸應用程序,該程序可繪制當前輸入觸點的軌跡及左右手信息,其中,空心圓表示左手,實心圓表示右手,圓點表示手指當前位置,線段表示手指劃過的軌跡.由于EMTDriver基于多觸點信息發(fā)送通用協(xié)議TUIO,所以基于TUIO協(xié)議的多觸點應用程序可以很方便地使用EMTDriver提供的左右手信息,而且EMTDriver的使用不會對現(xiàn)有多觸點應用程序造成任何影響.4.2實際交互中的應用Guiard在文獻中指出,雙手非對稱行為是人們日常生活中使用最多也是最自然的行為.本文方法獲取的用戶左右手信息相當于拓寬了多觸點交互桌面的輸入帶寬,可以用來實現(xiàn)更為自然、直觀的多觸點交互桌面交互技術.下面將舉例說明左右手信息在交互桌面中的應用.例1:文本輸入控制.通常在多觸點交互過程中,當需要文本輸入時,需要使用菜單顯式地調用虛擬鍵盤,并且將虛擬鍵盤的輸入方式通過按鈕顯式地轉化為手寫輸入.從日常生活和工作中可以看到,人們在需要書寫的時候,總是左手按紙右手執(zhí)筆寫字.以此為啟示,在特定上下文中,可以將左手多指輸入信息作為文本輸入的起始條件,然后,系統(tǒng)切換到文本輸入狀態(tài),然后,右手使用手指進行手寫輸入.例2:三維交互控制.對三維空間中物體的控制需要6DOF,分別為繞空間坐標系3個坐標軸的旋轉[Ψ,θ,Ф]以及在3個坐標軸上的位移[dx,dy,dz].交互桌面多指(手指個數(shù)不小于2)輸入為3DOF,即[dx,dy]及繞Z軸的旋轉[Ф].在區(qū)分左右手、使用雙手多指輸入(每只手使用的手指個數(shù)不小于2)的情況下,可以提供6DOF的輸入,問題的關鍵在于:如何對左右手進行分工,才能使3D交互控制自然而直接.通常情況下,人們總是習慣左手把持、旋轉物體,并使用右手指點物體;在左手把持物體時,右手旋轉物體,如擰螺絲或者擰瓶蓋,順時針可使物體上移、逆時針可使物體下移.受此啟發(fā),可以使用左手控制3D物體的旋轉操作,右手控制3D物體的平移操作.具體而言,可使用左手的上下操作控制角度Ψ即繞X軸的旋轉,使用左手的左右操作控制角度θ即繞Y軸的旋轉,使用左手的旋轉操作控制角度Ф即繞Z軸的旋轉,使用右手的左右操作控制dx即X軸的平移,使用右手的上下操作控制dy即Y軸的平移,使用右手的旋轉操作控制dz即Z軸的平移.如圖14所示,圖中箭頭方向表示手指的移動方向.例3:浮動工具條的控制.目前,交互桌面上的工具條存在以下一些問題:①工具條的圖形界面通常都要占用較大的屏幕空間,尤其是在交互桌面環(huán)境下,由于有“胖手指”的問題,通常將界面控件設計得比較大;②基于視覺的交互桌面,由于硬件原理的限制,在桌面靠近邊緣的位置進行輸入的時候會出現(xiàn)輸入不準確的情況.可以以畫家的“調色板”為隱喻,將工具條設計為可浮動的,左手控制工具條的位置,右手選取當前上下文所需命令,如圖15所示.5角形模型實驗實驗評估內容包括:用戶自然操作情況下手指觸點聚類結果的正確率、聚類基礎上左右手識別的正確率以及觸點左右手識別的正確率.實驗使用的多觸點交互桌面基于LLP(laserlightplaneillumination)技術,其長、寬、高分別為140cm,104cm,90cm.軟件平臺的配置為MicrosoftWindowsXPProfessional版本2002ServicePack3.實驗邀請了12名研究生(6男6女,均習慣用右手)參與,年齡為23歲~29歲.用戶任務為逐一完成本文第2節(jié)中定義的80個手勢,用戶手做好手勢后,以自然舒適的方式將手置于交互桌面上,實驗人員使用flycap軟件以圖像方式保存用戶輸入,同時使用相機拍攝用戶雙手實際操作情況,用于后期與識別結果做參照.拍照完成后,用戶抬手,換做另一手勢.每一手勢重復3遍,其中有1遍實驗人員會提醒用戶雙手相距近一點,其余2遍無特殊提示,用戶根據(jù)直覺進行輸入.在實驗1中,本文選用圖像方式保存用戶輸入,用戶每次輸入均需放手、抬手,通過用戶手的多次放置,可模擬用戶在實際交互操作中雙手初始輸入時的情況,實驗結果可間接驗證三角形模型的可靠性.實驗中,我們總計獲取了12×80×3=2880張手指觸點圖片,其中有7張圖片由于用戶手指輸入方向過于垂直,產生的觸點接近于圓,故將其去除,還剩2873張圖片,共15505個觸點,分類正確的點的個數(shù)總計14759個,分類正確率為95.2%.在分類正確基礎上,左右手識別正確的觸點個數(shù)為14165個,識別率為96%.本文方法左右手識別的平均識別率為91.4%,與文獻中給出的基于特征的區(qū)分方法的識別率80%相比有明顯的提高.圖16了給出本文方法在觸點個數(shù)為1~10時觸點分類正確率、分類正確情況下的左右手識別率以及相應觸點個數(shù)下的左右手識別率.本文方法在觸點個數(shù)為1時,左右手識別率為97.2%,與文獻中給出的方法相比,不僅能夠識別單個觸點情況下的觸點手性,而且具有較高的準確率,在觸點個數(shù)為1情況下的正確率也反映了手-臂系統(tǒng)三角形模型的可靠性;當觸點個數(shù)為2時,觸點分類正確率最低,觸點聚類正確率為90%、左右手識別率為86.4%;此后,隨著觸點個數(shù)的增加,觸點聚類與左右手識別正確率均呈上升趨勢,在觸點個數(shù)為10的情況下,觸點聚類正確率達98.9%,左右手區(qū)分正確率達98.3%.當手指個數(shù)較少(1~4個)時,觸點分類可利用的信息較少,判定結果主要受觸點方向角準確度的影響.單個觸點情況下,由于不存在觸點遮擋、粘連等問題,手指方向角正確率較高,因此,1個手指輸入時的識別率較高.2個觸點情況下,實驗中導致分類錯的主要原因為有的用戶在輸入食指-中指組成的手勢時,習慣于將兩手指相距很近甚至并攏,導致出現(xiàn)觸點粘連方向角計算錯誤;在方法設計過程中考慮到的將一手食指誤識為另一手大拇指的錯誤情況在本實驗中并沒有出現(xiàn),一個可能的原因是這種姿勢并不自然,出現(xiàn)的概率很小.隨著手指個數(shù)的增加,分類準確率也相應地增加.當手