虛擬現(xiàn)實(shí)中人機(jī)交互技術(shù)進(jìn)展

虛擬現(xiàn)實(shí)中人機(jī)交互技術(shù)進(jìn)展

潘志庚杭州師范大學(xué)數(shù)字媒體與人機(jī)交互研究中心

電話子郵件:ZGPAN@CAD.ZJU.EDUxQQ:“秀水清山”:443922077 微信:圖行天下(443922077)MSN:zhigengpan@gmailx微博:圖行天下(2370191992)"教授難當(dāng)還要當(dāng)"博客:/u/1250780752

自我介紹關(guān)于自己貌不若潘安，而志存高遠(yuǎn)夢成華羅庚才可比張薔，且明心靜性不似柯以敏關(guān)于數(shù)字媒體與人機(jī)交互研究中心

研究內(nèi)容：圖形圖像聲音動畫幾何信號都能處理媒體娛樂光照特征文化信息皆可計(jì)算中心定位：研究與應(yīng)用并重，創(chuàng)新和轉(zhuǎn)化優(yōu)先2一虛擬現(xiàn)實(shí)與人機(jī)交互生活虛擬化，談天說地真假難分酷似現(xiàn)實(shí)生活交互人性化，指手劃腳聲情并茂盡在虛擬環(huán)境

注解：真假難分（VR）、指手劃腳聲情并茂（HCI）城市規(guī)劃(西游記樂園)培訓(xùn)和教育（ELVIS項(xiàng)目）游戲和娛樂虛擬商店和虛擬產(chǎn)品展示虛擬現(xiàn)實(shí)應(yīng)用系統(tǒng)虛擬體育仿真虛擬旅游和虛擬劇場數(shù)字文化遺產(chǎn)電子試衣

虛擬現(xiàn)實(shí)的應(yīng)用5典型案例

1）數(shù)字奧運(yùn)博物館*數(shù)據(jù)采集*模型構(gòu)造*動畫生成*交互式漫游*寓教于樂62）航海模擬系統(tǒng)獲獎(jiǎng):國家科學(xué)技術(shù)進(jìn)步二等獎(jiǎng)(2008)

完成人:金一丞,尹勇,潘志庚,任鴻翔等10人3）漫游京杭大運(yùn)河運(yùn)河概況：運(yùn)河的形成和開鑿歷史，相關(guān)科學(xué)知識沿線風(fēng)景：運(yùn)河沿線的風(fēng)土人情，歷史典故，名勝古跡漫游體驗(yàn)：漕運(yùn)模擬和體驗(yàn)；船閘系統(tǒng)模擬和體驗(yàn)；運(yùn)河上的虛擬駕駛；全景圖漫游體驗(yàn)。

基于照片的動畫演示4）網(wǎng)上上海世博會獲獎(jiǎng):上海市科學(xué)技術(shù)進(jìn)步一等獎(jiǎng)(2011)

完成單位:上海世博局,浙江大學(xué)等單位一、立項(xiàng)依據(jù)(2)

頭交互

腿部交互表情交互手交互任天堂Wii2006年11月2010年6月微軟Kinect2013年2月LeapMotion2013年初MYO臂環(huán)MITSpaceTop3D2012年10月體感交互(一)虛擬環(huán)境中的人機(jī)交互（1）交互的手段

身體部件（人體，手[指點(diǎn)]，腳，頭，眼球，表情/情感，姿勢）耳朵[聽覺，一般聲音/空間聲]，手

交互設(shè)備三維鼠標(biāo)，筆，觸覺設(shè)備

（2）交互的種類

*二維/三維人機(jī)交互*可觸摸式/非可觸摸式交互*自然/非自然交互

虛擬生物實(shí)驗(yàn)室

虛擬生物實(shí)驗(yàn)室（我們的例子==》）

基于標(biāo)記的交互

我們的實(shí)例系統(tǒng)

*虛擬保齡球游藝機(jī)*虛擬乒乓球球*虛擬網(wǎng)球系統(tǒng)*虛擬網(wǎng)絡(luò)馬拉松實(shí)例系統(tǒng)*虛擬網(wǎng)絡(luò)馬拉松[浙江大學(xué)+南京大學(xué)+國家體科所](二)基于手勢的自然交互2.1“點(diǎn)-線-面”交互模式2.2實(shí)時(shí)多線索手勢跟蹤

互動清明上河圖演示

指尖位置手指方向手掌平面簡單手勢

[環(huán)境配置

]2.1“點(diǎn)-線-面”交互模式

Demo交互圖例(1)3DWriting

ARChess

Rotationcontrol

Orientation19Application：游戲

交互圖例(2)Application：Control3DPlane20演示demo21(三)智能人機(jī)交互

（1）智能人機(jī)交互需求*自動識別用戶的動作和位置*使用自然的交互方式*推斷用戶的交互意圖

（2）如何實(shí)現(xiàn)智能性

*注冊問題:無標(biāo)記注冊*識別人的常用動作*深度檢測/位置感知(結(jié)合3D相機(jī))*意圖分析:對交互者的行為和意圖進(jìn)行理解(基于語義的場景建模)

22（3）基于AVATAR的交互*虛擬化身（AVATAR）*AVATAR的個(gè)性化*AVATAR的表情和姿勢*多個(gè)AVATAR的交互（5）智能交互和導(dǎo)航的例子

1）虛擬商場EasyMall智能導(dǎo)購：對以下信息進(jìn)行分析推理（簡單的DATAMINING）：*用戶注冊信息*以往的購買數(shù)據(jù)庫*購買行為2）數(shù)字奧運(yùn)博物館/網(wǎng)上世博會*基于語義的場景建模*智能導(dǎo)航：**利用場景的語義**以往的瀏覽行為**用戶的位置/逗留時(shí)間

附錄:受資助的相關(guān)項(xiàng)目國家自然科學(xué)基金重點(diǎn)項(xiàng)目，“遠(yuǎn)程沉浸式虛擬奧運(yùn)博物館關(guān)鍵技術(shù)”(60533080)，2006-2009國家科技支撐計(jì)劃子項(xiàng),《漫游運(yùn)河》科學(xué)體驗(yàn)區(qū)建設(shè),2006-2007上海市科委世博項(xiàng)目“虛擬環(huán)境中智能交互和導(dǎo)航技術(shù)研究”，（08dz0580208），2008-2009歐盟科技合作項(xiàng)目，“基于虛擬人物的電子學(xué)習(xí)環(huán)境”(ASI/B7-301/97/0126-84)，2003-2004INTEL大學(xué)合作項(xiàng)目，“基于視覺的3D人機(jī)交互和虛擬人技術(shù)”，2008-2009

科技部科技支撐計(jì)劃（世博）“網(wǎng)上世博會的關(guān)鍵技術(shù)研究，2009-2010863高科技重點(diǎn)項(xiàng)目，“數(shù)字礦山關(guān)鍵技術(shù)”，2009-2011國家自然科學(xué)基金項(xiàng)目，“虛擬環(huán)境中的3D交互技術(shù)研究”，2012-2015企事業(yè)單位委托科技項(xiàng)目,《竇娥冤》增強(qiáng)現(xiàn)實(shí)系統(tǒng),2007-2009

學(xué)術(shù)廣告：期刊/會議信息期刊：（1）InternationalJournalofVR（）（2）TransactionsonEdutainment(Springer)相關(guān)會議：(3)全國第九屆數(shù)字博物館與文化遺產(chǎn)數(shù)字化會議(杭州,2013年9月6-8日)(4)ACMSIGGRAPHVRCAI2013（2012年11月，香港）(5)數(shù)字媒體與動畫游戲高級研討班（2013年9月6-10日，Hangzhou）

招聘廣告：人員需求信息*招聘虛擬現(xiàn)實(shí)/數(shù)字媒體/人機(jī)交互/仿真/電子/自動化等方面的博士或副教授職稱以上人才（海外優(yōu)先）*待遇（目前國內(nèi)高校最優(yōu)厚）

人才類型項(xiàng)目費(fèi)（萬）安家費(fèi)（萬）年薪（萬）

高端 院士/國家千人計(jì)劃級300-500500-800>50

人才

長江/杰青/中科院百人級150-360300-500>40

（以上二類人才可申請2000-5000萬的平臺建設(shè)費(fèi)【攀登工程，上不封頂】）

---------------------------------------------------------------------------------------------

高層次錢江教授（省級特聘）150156>20

人才

學(xué)科帶頭人6085

學(xué)術(shù)帶頭人3054

優(yōu)秀博士（博士后）1533

博士（博士后）5