VR技術(shù)在移動(dòng)學(xué)習(xí)中的應(yīng)用現(xiàn)狀

匯報(bào)人：嘉炬VR技術(shù)在移動(dòng)學(xué)習(xí)中的應(yīng)用現(xiàn)狀

2021/5/91虛擬現(xiàn)實(shí)（VirtualReality）是利用電腦模擬產(chǎn)生一個(gè)三維空間的虛擬世界，給使用者提供關(guān)于視覺(jué)、聽覺(jué)、觸覺(jué)等感官的模擬，讓使用者如同身歷其境一般，可以及時(shí)、沒(méi)有限制地觀察三維空間內(nèi)的事物。移動(dòng)學(xué)習(xí)是基于一定的無(wú)線通信網(wǎng)絡(luò)設(shè)備及技術(shù)，依托移動(dòng)客戶端在任何時(shí)間、任何地點(diǎn)開展的一種學(xué)習(xí)方式。

一、虛擬現(xiàn)實(shí)（VR）與移動(dòng)學(xué)習(xí)簡(jiǎn)介2021/5/92移動(dòng)學(xué)習(xí)發(fā)展對(duì)如今教學(xué)與學(xué)習(xí)模式的變革提供了可能，同時(shí)，也對(duì)教學(xué)的理論與技術(shù)等方面提出了挑戰(zhàn)。就目前而言，對(duì)于移動(dòng)學(xué)習(xí)的探索我們更多的還是僅停留在理論上的構(gòu)想與簡(jiǎn)單的實(shí)踐操作。受如今技術(shù)等因素的限制，移動(dòng)學(xué)習(xí)在通信網(wǎng)絡(luò)帶寬、移動(dòng)學(xué)習(xí)資源開發(fā)等方面都存在著很大的不足。人們?cè)隗w驗(yàn)移動(dòng)學(xué)習(xí)所帶來(lái)的方便快捷的同時(shí)，其學(xué)習(xí)中交互性的缺失等問(wèn)題也暴漏無(wú)疑。利用虛擬現(xiàn)實(shí)技術(shù)能夠彌補(bǔ)移動(dòng)學(xué)習(xí)中的交互性的缺失！二、移動(dòng)學(xué)習(xí)發(fā)展現(xiàn)狀2021/5/934G網(wǎng)絡(luò)通訊時(shí)代的到來(lái)以及虛擬現(xiàn)實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)的日益結(jié)合，都為虛擬化移動(dòng)學(xué)習(xí)模式的成型提供了可能性。在現(xiàn)有的移動(dòng)學(xué)習(xí)網(wǎng)絡(luò)中我們嘗試引入虛擬現(xiàn)實(shí)相關(guān)技術(shù)，從而形成了一種基于移動(dòng)虛擬現(xiàn)實(shí)場(chǎng)景進(jìn)行學(xué)習(xí)的模式。三、基于虛擬現(xiàn)實(shí)的移動(dòng)學(xué)習(xí)模式2021/5/94整個(gè)移動(dòng)學(xué)習(xí)過(guò)程都是在虛擬現(xiàn)實(shí)網(wǎng)絡(luò)環(huán)境的基礎(chǔ)上，各個(gè)移動(dòng)學(xué)習(xí)端或固定端通過(guò)無(wú)線通信網(wǎng)絡(luò)實(shí)現(xiàn)數(shù)據(jù)傳輸,從而實(shí)現(xiàn)移動(dòng)式虛擬現(xiàn)實(shí)交互。在此學(xué)習(xí)模式下，每個(gè)學(xué)習(xí)者利用移動(dòng)學(xué)習(xí)設(shè)備，通過(guò)虛擬現(xiàn)實(shí)端口與虛擬網(wǎng)絡(luò)進(jìn)行連接，在虛擬網(wǎng)絡(luò)中，各個(gè)學(xué)習(xí)者通過(guò)角色定位確定學(xué)習(xí)形式（自主化學(xué)習(xí)、協(xié)作化學(xué)習(xí)等），創(chuàng)設(shè)學(xué)習(xí)場(chǎng)景，然后把這種虛擬交互場(chǎng)景數(shù)據(jù)經(jīng)過(guò)壓縮后通過(guò)無(wú)線通信網(wǎng)絡(luò)傳送到移動(dòng)學(xué)習(xí)端。學(xué)習(xí)者在移動(dòng)學(xué)習(xí)端就可以下載虛擬場(chǎng)景，利用一定的交互工具（如頭盔式三維立體顯示器）完成與其它學(xué)習(xí)者的交互，這種交互包括視覺(jué)、聽覺(jué)、觸覺(jué)等多種形式。各個(gè)移動(dòng)學(xué)習(xí)端、固定端以及移動(dòng)資源之間都可以相互交換數(shù)據(jù)從而實(shí)現(xiàn)虛擬現(xiàn)實(shí)之外的交流與合作。移動(dòng)資源移動(dòng)學(xué)習(xí)端虛擬現(xiàn)實(shí)網(wǎng)絡(luò)（角色定位）固定學(xué)習(xí)端無(wú)線通信網(wǎng)絡(luò)移動(dòng)管理系統(tǒng)自主化學(xué)習(xí)協(xié)作學(xué)習(xí)基于虛擬現(xiàn)實(shí)網(wǎng)絡(luò)的移動(dòng)學(xué)習(xí)模式圖2021/5/95(1)移動(dòng)學(xué)習(xí)端(或固定學(xué)習(xí)端)是移動(dòng)學(xué)習(xí)模型的終端，其物理載體可以是移動(dòng)手機(jī)、PAD、筆記本或者其他移動(dòng)設(shè)備。在一定的網(wǎng)絡(luò)通信支持下，學(xué)習(xí)者利用移動(dòng)設(shè)備隨時(shí)隨地通過(guò)虛擬網(wǎng)絡(luò)接口進(jìn)入到虛擬學(xué)習(xí)教室，通過(guò)虛擬網(wǎng)絡(luò)的角色定位來(lái)虛擬完成各種形式的學(xué)習(xí)。(2)移動(dòng)資源是為實(shí)現(xiàn)移動(dòng)學(xué)習(xí)而專門設(shè)計(jì)開發(fā)的一種學(xué)習(xí)資源。由于移動(dòng)學(xué)習(xí)具有移動(dòng)性、分散性等特點(diǎn)，其學(xué)習(xí)資源也勢(shì)必將具有零碎性等特點(diǎn)。另外，虛擬現(xiàn)實(shí)技術(shù)的引入，也要求去開發(fā)一種適用于虛擬現(xiàn)實(shí)教學(xué)的3D移動(dòng)學(xué)習(xí)資源。同時(shí)，由于手機(jī)等移動(dòng)端設(shè)備不同，其資源的兼容性等方面也要做相應(yīng)的考慮。三、基于虛擬現(xiàn)實(shí)的移動(dòng)學(xué)習(xí)模式2021/5/96(3)虛擬現(xiàn)實(shí)網(wǎng)絡(luò)是虛擬現(xiàn)實(shí)技術(shù)與網(wǎng)絡(luò)技術(shù)相互結(jié)合而產(chǎn)生的，它是整個(gè)虛擬移動(dòng)學(xué)習(xí)的中心和平臺(tái)，所有的移動(dòng)學(xué)習(xí)過(guò)程都是基于虛擬現(xiàn)實(shí)網(wǎng)絡(luò)完成的。相對(duì)于移動(dòng)終端的移動(dòng)性，虛擬現(xiàn)實(shí)網(wǎng)絡(luò)相對(duì)固定。虛擬現(xiàn)實(shí)網(wǎng)絡(luò)中主要有大量的虛擬學(xué)習(xí)資源及場(chǎng)景構(gòu)成，同時(shí)具有實(shí)時(shí)三維虛擬場(chǎng)景的渲染等數(shù)據(jù)處理系統(tǒng)。虛擬現(xiàn)實(shí)網(wǎng)絡(luò)主要提供虛擬學(xué)習(xí)的教學(xué)，同時(shí)與各個(gè)移動(dòng)學(xué)習(xí)終端以及固定端實(shí)現(xiàn)數(shù)據(jù)交換及處理，從而實(shí)現(xiàn)各個(gè)學(xué)習(xí)者之間的交互。(4)移動(dòng)學(xué)習(xí)管理系統(tǒng)主要來(lái)實(shí)現(xiàn)整個(gè)移動(dòng)學(xué)習(xí)網(wǎng)絡(luò)的數(shù)據(jù)管理、知識(shí)管理等功能。如今面向?qū)ο髷?shù)據(jù)庫(kù)等技術(shù)的提出也為基于虛擬現(xiàn)實(shí)的移動(dòng)學(xué)習(xí)提供了技術(shù)上的可能。基于虛擬現(xiàn)實(shí)技術(shù)的移動(dòng)學(xué)習(xí)模式具有共享的虛擬工作空間、偽真實(shí)的行為真實(shí)感、實(shí)時(shí)交互等特征，其工作模式能夠體現(xiàn)分布式虛擬現(xiàn)實(shí)技術(shù)(DVR)與移動(dòng)學(xué)習(xí)的優(yōu)點(diǎn)。三、基于虛擬現(xiàn)實(shí)的移動(dòng)學(xué)習(xí)模式2021/5/97盡管虛擬化移動(dòng)學(xué)習(xí)模式大大改善了移動(dòng)學(xué)習(xí)中缺乏交互的問(wèn)題，但因技術(shù)條件的制約，還需要相關(guān)科學(xué)工作者做大量的工作。首先，在理論上，由于移動(dòng)學(xué)習(xí)是當(dāng)今教育發(fā)展的一個(gè)新熱點(diǎn)從出現(xiàn)至今不過(guò)短短數(shù)年，沒(méi)有形成相對(duì)完整的移動(dòng)學(xué)習(xí)理論體系，而移動(dòng)學(xué)習(xí)在其學(xué)習(xí)方式上也會(huì)對(duì)傳統(tǒng)教學(xué)中教師地位提出了巨大的挑戰(zhàn)，當(dāng)今教師需要隨著時(shí)代變遷，適時(shí)的轉(zhuǎn)變自己的教學(xué)觀念，摸索出一條適用于移動(dòng)學(xué)習(xí)的教學(xué)理論。四、實(shí)現(xiàn)虛擬化移動(dòng)學(xué)習(xí)的關(guān)鍵技術(shù)及存在的問(wèn)題2021/5/98其次，在實(shí)踐領(lǐng)域，移動(dòng)學(xué)習(xí)還處于起步階段，尤其是我國(guó)對(duì)移動(dòng)學(xué)習(xí)的嘗試還比較匱乏。除了解決無(wú)線數(shù)據(jù)通信、終端軟件開發(fā)等移動(dòng)學(xué)習(xí)常見問(wèn)題外，還必須解決虛擬現(xiàn)實(shí)技術(shù)與無(wú)線通信技術(shù)的融合問(wèn)題，以及在虛擬現(xiàn)實(shí)系統(tǒng)中涉及到的關(guān)鍵技術(shù)，包括動(dòng)態(tài)環(huán)境建模技術(shù)、實(shí)時(shí)三維圖形生成技術(shù)、立體顯示技術(shù)和多功能交互技術(shù)等，而移動(dòng)虛擬學(xué)習(xí)資源以及虛擬數(shù)據(jù)壓縮及移動(dòng)端設(shè)備格式兼容等問(wèn)題都將是必須解決的難題。四、實(shí)現(xiàn)虛擬化移動(dòng)學(xué)習(xí)的關(guān)鍵技術(shù)及存在的問(wèn)題2021/5/992016年CES（InternationalConsumerElectronicsShow）官方提供的數(shù)據(jù)顯示，相比去年，今年的游戲和虛擬現(xiàn)實(shí)展區(qū)總面積擴(kuò)大了77%。虛擬現(xiàn)實(shí)被很多業(yè)內(nèi)人士認(rèn)為是下一個(gè)時(shí)代的交互方式。目前，VR交互仍在探索和研究中，與各種高科技的結(jié)合，將會(huì)使VR交互產(chǎn)生無(wú)限可能。VR不會(huì)存在一種通用的交互手段，它的交互要比平面圖形交互擁有更加豐富的形式。五、虛擬現(xiàn)實(shí)的九種交互方式及現(xiàn)狀2021/5/910①用“眼球追蹤”實(shí)現(xiàn)交互眼球追蹤技術(shù)被大部分VR從業(yè)者認(rèn)為將成為解決虛擬現(xiàn)實(shí)頭盔眩暈問(wèn)題的一個(gè)重要技術(shù)突破。Oculus創(chuàng)始人帕爾默?拉奇曾稱眼球追蹤技術(shù)為“VR的心臟”，因?yàn)樗鼘?duì)于人眼位置的檢測(cè)，能夠?yàn)楫?dāng)前所處視角提供最佳的3D效果，使VR頭顯呈現(xiàn)出的圖像更自然，延遲更小，這都能大大增加可玩性。同時(shí)，由于眼球追蹤技術(shù)可以獲知人眼的真實(shí)注視點(diǎn)，從而得到虛擬物體上視點(diǎn)位置的景深。但是，盡管眾多公司都在研究眼球追蹤技術(shù)，但仍然沒(méi)有一家的解決方案令人滿意。就目前來(lái)說(shuō)，眼球追蹤技術(shù)雖然在VR上有一些限制，但可行性還是比較高的，比如外接電源、將VR的結(jié)構(gòu)設(shè)計(jì)做的更大等。但更大的挑戰(zhàn)在與通過(guò)調(diào)整圖像來(lái)適應(yīng)眼球的移動(dòng)，這些圖像調(diào)整的算法目前來(lái)說(shuō)都是空白的。2021/5/911②用“動(dòng)作捕捉”實(shí)現(xiàn)交互動(dòng)作捕捉系統(tǒng)是能讓用戶獲得完全的沉浸感，真正“進(jìn)入”虛擬世界。專門針對(duì)VR的動(dòng)捕系統(tǒng)，目前市面上不多。市面上的動(dòng)作捕捉設(shè)備只會(huì)在特定超重度的場(chǎng)景中使用，因?yàn)槠溆泄逃械囊子眯蚤T檻，需要用戶花費(fèi)比較長(zhǎng)的時(shí)間穿戴和校準(zhǔn)才能夠使用。相比之下，Kinect這樣的光學(xué)設(shè)備在某些對(duì)于精度要求不高的場(chǎng)景可能也會(huì)被應(yīng)用。全身動(dòng)捕在很多場(chǎng)合并不是必須的，而它交互設(shè)計(jì)的一大痛點(diǎn)是沒(méi)有反饋，用戶很難感覺(jué)到自己的操作是有效的。2021/5/912③用“肌電模擬”實(shí)現(xiàn)交互利用肌肉電刺激來(lái)模擬真實(shí)感覺(jué)需要克服的問(wèn)題有很多，因?yàn)樯窠?jīng)通道是一個(gè)精巧而復(fù)雜的結(jié)構(gòu)，從外部皮膚刺激是不太可能的。目前的生物技術(shù)水平無(wú)法利用肌肉電刺激來(lái)高度模擬實(shí)際感覺(jué)。即使采用這種方式，能實(shí)現(xiàn)的也是比較粗糙的感覺(jué)，這種感覺(jué)對(duì)于追求沉浸感的VR也沒(méi)有太多用處。有一個(gè)VR拳擊設(shè)備Impacto用肌電模擬實(shí)現(xiàn)交互。具體來(lái)說(shuō)，Impacto設(shè)備一部分是震動(dòng)馬達(dá)，能產(chǎn)生震動(dòng)感，這個(gè)在游戲手柄中可以體驗(yàn)到；另外一部分，是肌肉電刺激系統(tǒng)，通過(guò)電流刺激肌肉收縮運(yùn)動(dòng)。兩者的結(jié)合，讓人誤以為自己擊中了游戲中的對(duì)手，因?yàn)檫@個(gè)設(shè)備會(huì)在恰當(dāng)?shù)臅r(shí)候產(chǎn)生類似真正拳擊的“沖擊感”。2021/5/913④用“觸覺(jué)反饋”實(shí)現(xiàn)交互觸覺(jué)反饋主要是按鈕和震動(dòng)反饋，大多通過(guò)虛擬現(xiàn)實(shí)手柄實(shí)現(xiàn)，這樣高度特化/簡(jiǎn)化的交互設(shè)備的優(yōu)勢(shì)顯然是能夠非常自如地在諸如游戲等應(yīng)用中使用，但是它無(wú)法適應(yīng)更加廣泛的應(yīng)用場(chǎng)景。目前三大VR頭顯廠商Oculus、索尼、HTCValve都不約而同的采用了虛擬現(xiàn)實(shí)手柄作為標(biāo)準(zhǔn)的交互模式：兩手分立、6個(gè)自由度空間跟蹤，帶按鈕和震動(dòng)反饋的手柄。這樣的設(shè)備顯然是用來(lái)進(jìn)行一些高度特化的游戲類應(yīng)用的，這也可以視作一種商業(yè)策略，因?yàn)槠湓缙谙M(fèi)者應(yīng)該基本是游戲玩家。2021/5/914⑤用“語(yǔ)音”實(shí)現(xiàn)交互一般而言，VR用戶不會(huì)理會(huì)視覺(jué)中心的指示文字，而是環(huán)顧四周不斷發(fā)現(xiàn)和探索。由于一些圖形上的指示會(huì)干擾到他們?cè)赩R中的沉浸感，所以最好的方法就是使用語(yǔ)音，這樣就和正在觀察的周圍世界互不干擾。這時(shí)如果用戶和VR世界進(jìn)行語(yǔ)音交互，會(huì)更加自然，而且它是無(wú)處不在無(wú)時(shí)不有的，用戶不需要移動(dòng)頭部和尋找它們，在任何方位任何角落都能和他們交流。2021/5/915⑥用“方向追蹤”實(shí)現(xiàn)交互方向追蹤可用來(lái)控制用戶在VR中的前進(jìn)方向。不過(guò)，如果用方向追蹤可能很多情況下都會(huì)空間受限，追蹤調(diào)整方向的話很可能會(huì)有轉(zhuǎn)不過(guò)去的情況。交互設(shè)計(jì)師給出了解決方案——用戶按下鼠標(biāo)右鍵則可以讓方向回到原始的正視方向或者叫做重置當(dāng)前凝視的方向，或者可以通過(guò)搖桿調(diào)整方向，或按下按鈕回到初始位置。但問(wèn)題還是存在的，有可能用戶玩得很累，削弱了舒適性。2021/5/916⑦用“真實(shí)場(chǎng)地”實(shí)現(xiàn)交互超重度交互的虛擬現(xiàn)實(shí)主題公園TheVoid采用了這種途徑，就是造出一個(gè)與虛擬世界的墻壁、阻擋和邊界等完全一致的可自由移動(dòng)的真實(shí)場(chǎng)地，這種真實(shí)場(chǎng)地通過(guò)仔細(xì)的規(guī)劃關(guān)卡和場(chǎng)景設(shè)計(jì)就能夠給用戶帶來(lái)種種外設(shè)所不能帶來(lái)的良好體驗(yàn)。把虛擬世界構(gòu)建在物理世界之上，讓使用者能夠感覺(jué)到周圍的物體并使用真實(shí)的道具，比如手提燈、劍、槍等，中國(guó)媒體稱之為“地表最強(qiáng)娛樂(lè)設(shè)施”。這種的缺點(diǎn)是規(guī)模及投入較大，且只能適用于特定的虛擬場(chǎng)景，在場(chǎng)景應(yīng)用的廣泛性上受限。2021/5/917⑧用“手勢(shì)跟蹤”實(shí)現(xiàn)交互光學(xué)跟蹤的優(yōu)勢(shì)在于使用門檻低，場(chǎng)景靈活，用戶不需要在手上穿脫設(shè)備。目前，手勢(shì)追蹤有兩種方式，各有優(yōu)劣。一種是光學(xué)跟蹤，第二種是數(shù)據(jù)手套。光學(xué)跟蹤未來(lái)在一體化移動(dòng)VR頭顯上直接集成光學(xué)手部跟蹤用作移動(dòng)場(chǎng)景的交互方式是一件很可行的事情。但是其缺點(diǎn)在于視場(chǎng)受局限，需要用戶付出腦力和體力才能實(shí)現(xiàn)的交互是不會(huì)成功的，使用手勢(shì)跟蹤會(huì)比較累而且不直觀，沒(méi)有反饋。數(shù)據(jù)手套的優(yōu)勢(shì)在于沒(méi)有視場(chǎng)限制，而且完全可以在設(shè)備上集成反饋機(jī)制（比如震動(dòng)，按鈕和觸摸）。它的缺陷在于使用門檻較高：用戶需要穿脫設(shè)備，而且作為一個(gè)外設(shè)其使用場(chǎng)景還是受局限。2021/5/918⑨用“傳感器”實(shí)現(xiàn)交互傳感器能夠幫助人們與多維的VR信息環(huán)境進(jìn)行自然地交互。比如，人們進(jìn)入虛擬世界不僅僅是想坐在那里，他們也希望能夠在虛擬世界中到處走走看看，但目前這些基本上是設(shè)備上的各種傳感器產(chǎn)生的，比如智能感應(yīng)環(huán)、溫度傳感器、光敏傳感器、壓力傳感器、視覺(jué)傳感器等，能夠通過(guò)脈沖電流讓皮膚產(chǎn)生相應(yīng)的感覺(jué)，或是把游戲中觸覺(jué)、嗅覺(jué)等各種感知傳送到大腦。目前已有的應(yīng)用傳感器的設(shè)備體驗(yàn)度都不高，在技術(shù)上還需要做出很多突破。比如萬(wàn)向跑步機(jī)，目前體驗(yàn)并不好，這樣的跑步機(jī)實(shí)際上并不能夠提供接近于真實(shí)移動(dòng)的感覺(jué)。還比如StompzVR，使用腳上的慣性傳感器使用原地走代替前進(jìn)。還有全身VR套裝Teslasuit，可以切身感覺(jué)到虛擬現(xiàn)實(shí)環(huán)境的變化。2021/5/919六、主流VR設(shè)備HTCViveFacebookOculusRiftSonyPlayStationVRSamsungGearVRGoogleCardboard2021/5/920HTCViveFacebookOculusRiftSonyPlayStationVRSamsungGearVRGoogleCardboard平臺(tái)PCPCPS4Galaxysmartphonesmartphone軟件環(huán)境Windows系統(tǒng)Windows系統(tǒng)PS4Android

Android/IOS有線or無(wú)線有線有線有線無(wú)線無(wú)線價(jià)錢$950$950$350$575$1~25主流VR設(shè)備的比較設(shè)備參數(shù)2021/5/921基