基于大腦-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究.doc

基于大腦-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究作者：蔡漢齊 廈門(mén)外國(guó)語(yǔ)學(xué)校 指導(dǎo)老師：楊立朝 廈門(mén)大學(xué)劉同玉 廈門(mén)外國(guó)語(yǔ)學(xué)?；诖竽X-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究1. 研究背景腦機(jī)接口（Brain-Computer Interface，BCI）是在大腦和計(jì)算機(jī)或其他電子設(shè)備之間建立不依賴(lài)于常規(guī)大腦信息輸出通路(外周神經(jīng)和肌肉組織)的全新通訊和控制技術(shù)，是神經(jīng)系統(tǒng)與外界環(huán)境交互的一種通道,各類(lèi)神經(jīng)信號(hào)可通過(guò)轉(zhuǎn)化為可識(shí)別的機(jī)器指令，用于控制外部環(huán)境（圖1-1）。腦-機(jī)接口的研究經(jīng)歷了驚人的發(fā)展，也成為了神經(jīng)科學(xué)與信息工程技術(shù)交叉學(xué)科的熱點(diǎn)課題1。虛擬現(xiàn)實(shí)(Virtual Reality，VR)是一項(xiàng)基于BCI技術(shù)的逆運(yùn)用技術(shù)，是在大腦和機(jī)械設(shè)備之間不依賴(lài)常規(guī)大腦信息輸入通路的全新通訊和感覺(jué)技術(shù)，是神經(jīng)系統(tǒng)接收外界信息的一種通道，信息經(jīng)轉(zhuǎn)化為具有一定模式的神經(jīng)信號(hào)，直接輸入神經(jīng)系統(tǒng)，帶給人非人體感官輸出的神經(jīng)刺激。我個(gè)人是在2012年在本校初中部時(shí)通過(guò)一個(gè)科幻小說(shuō)而產(chǎn)生對(duì)于這項(xiàng)技術(shù)的構(gòu)想，后來(lái)上網(wǎng)調(diào)查發(fā)現(xiàn)這項(xiàng)技術(shù)就是虛擬現(xiàn)實(shí)技術(shù)，后來(lái)通過(guò)高中對(duì)于生物這一門(mén)學(xué)科進(jìn)一步的學(xué)習(xí)，我開(kāi)始進(jìn)一步了解這項(xiàng)技術(shù)及其基礎(chǔ)技術(shù)：BCI技術(shù)，并關(guān)注其最新研究動(dòng)態(tài)。通過(guò)2014年5月的一份醫(yī)療健康類(lèi)報(bào)紙我看到了浙江大學(xué)求是研究院的“神經(jīng)信號(hào)傳導(dǎo)控制機(jī)械假肢”的文章，我開(kāi)始用現(xiàn)有知識(shí)分析其可行性及延伸發(fā)展。我發(fā)現(xiàn)絕大部分的BCI技術(shù)研究都是信號(hào)輸出控制方向上的，于是我開(kāi)始逆向研究神經(jīng)信號(hào)由外界模擬感受器的輸入的可行性。腦機(jī)接口技術(shù)信號(hào)輸出方面主要有三個(gè)關(guān)鍵技術(shù)（圖1-2）：第一，可準(zhǔn)確形成信息的穩(wěn)定解析神經(jīng)信號(hào)，這需要對(duì)腦電信號(hào)的準(zhǔn)確分類(lèi)與解析；第二，合理可行的神經(jīng)信號(hào)傳導(dǎo)通路，這包括適宜的信號(hào)輸入與適當(dāng)?shù)耐愤x擇；第三， 大腦相應(yīng)部位能準(zhǔn)確接受并解析這一信號(hào)9。 現(xiàn)階段的有關(guān)虛擬現(xiàn)實(shí)技術(shù)的BCI技術(shù)發(fā)展主要有以下幾方面：1. 對(duì)神經(jīng)信號(hào)的特征提取方法2。針對(duì)局部場(chǎng)電位信號(hào)主流研究采用小波變換提取多通道、多頻段的時(shí)頻域特征信息針對(duì)鋒電位信號(hào)建立了基于譜聚類(lèi)算法和樸素貝葉斯分類(lèi)器的鋒電位分類(lèi)方法，該鋒電位分類(lèi)方法具有較好的精度、抗噪性和效率2. 獨(dú)立分量分析4（Independent Component Analysis，ICA）作為一種預(yù)處理手段，用于消除原始腦電信號(hào)中的干擾成分,進(jìn)而改善腦機(jī)通信的正確識(shí)別率。3. 混合BCI 通過(guò)多模態(tài)（Multi-modal）或者混合（Hybrid）腦機(jī)接口的方式來(lái)提供多個(gè)自由度的輸出5610。4.對(duì)腦電儀（圖1-3）信號(hào)采集系統(tǒng)進(jìn)行開(kāi)發(fā)，把采集到的模擬腦電信號(hào)轉(zhuǎn)換為數(shù)字信號(hào),并傳輸給計(jì)算機(jī), 這樣通過(guò)特定的數(shù)值分析軟件就能實(shí)現(xiàn)對(duì)腦電信號(hào)的分析與研究111214。目前對(duì)于BCI技術(shù)的研究已經(jīng)表明這項(xiàng)技術(shù)實(shí)現(xiàn)的可行性，許多實(shí)驗(yàn)室已從各個(gè)關(guān)鍵技術(shù)入手研究，我的研究就是基于這個(gè)背景下進(jìn)行的。2. 研究目的 虛擬現(xiàn)實(shí)技術(shù)是跨多個(gè)領(lǐng)域的綜合性技術(shù)，它結(jié)合了計(jì)算機(jī)學(xué)、信息學(xué)、神經(jīng)學(xué)等多個(gè)學(xué)科的知識(shí)。本研究從神經(jīng)學(xué)入手，希望通過(guò)實(shí)驗(yàn)調(diào)研對(duì)基于BCI技術(shù)的逆向信號(hào)輸入進(jìn)行進(jìn)一步的研究。通過(guò)論文調(diào)研（主要）以及可能的臨床實(shí)驗(yàn)得到可靠的實(shí)驗(yàn)數(shù)據(jù)，為進(jìn)一步的實(shí)驗(yàn)提供理論基礎(chǔ)?；趯?duì)BCI技術(shù)的研究，結(jié)合計(jì)算機(jī)圖像技術(shù)，最終得到虛擬現(xiàn)實(shí)技術(shù)；并將在多個(gè)領(lǐng)域運(yùn)用，解決例如感受器官不可恢復(fù)性損傷、低成本軍隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練、完全虛擬式娛樂(lè)設(shè)備等難題。 3. 研究方法 虛擬現(xiàn)實(shí)技術(shù)是新興的綜合性技術(shù)，對(duì)于其研究依然停留在理論階段。由于實(shí)驗(yàn)本身對(duì)基礎(chǔ)理論的要求比較高及實(shí)驗(yàn)設(shè)備比較昂貴，所以現(xiàn)階段主要的研究方法為論文調(diào)研以及對(duì)相關(guān)工作者的訪問(wèn)。具體未能進(jìn)行的實(shí)驗(yàn)操作可在后續(xù)實(shí)驗(yàn)設(shè)計(jì)中介紹。4. 實(shí)驗(yàn)設(shè)計(jì) 一個(gè)完整的反射弧包括感受器、效應(yīng)器、傳入神經(jīng)、神經(jīng)中樞與傳出神經(jīng)。大體來(lái)講，本實(shí)驗(yàn)是切斷傳入神經(jīng)通路，并模擬外界刺激進(jìn)行信號(hào)發(fā)射。按照理論，實(shí)驗(yàn)將分為兩個(gè)主要部分，以大鼠作為實(shí)驗(yàn)對(duì)象進(jìn)行實(shí)驗(yàn)：1. 實(shí)驗(yàn)研究將主要采用波（圖1-4,1-5），檢測(cè)在不同環(huán)境下腦電圖(Electroencephalogram, EEG)的變化。實(shí)驗(yàn)將標(biāo)準(zhǔn)環(huán)境（固定的外部環(huán)境、生理狀態(tài)）下使實(shí)驗(yàn)個(gè)體處于單一顏色（聲音、觸覺(jué)等）環(huán)境下（只受到相應(yīng)實(shí)驗(yàn)刺激），并接收相應(yīng)反饋神經(jīng)信號(hào)，對(duì)比不同個(gè)體，監(jiān)測(cè)是否能找出EEG中相近的反饋信號(hào)。若獲得刺激信號(hào)所對(duì)應(yīng)的反饋電信號(hào)，對(duì)所獲得的反饋信號(hào)進(jìn)行歸類(lèi)及進(jìn)一步解析。這里考慮到穩(wěn)定性以及所獲取信號(hào)的用途，實(shí)驗(yàn)將通過(guò)EEG以及腦電儀信號(hào)采集系統(tǒng)主要檢測(cè)并采集大腦發(fā)出的波。2. 對(duì)大鼠相應(yīng)的部位（感受器官神經(jīng)）進(jìn)行信號(hào)的攔截，從通路上截取相應(yīng)的刺激電信號(hào)，比較分析不同信號(hào)的差異與同種信號(hào)間的近似處，分析提取相應(yīng)電信號(hào)并進(jìn)行分類(lèi)以及進(jìn)一步的解析。3. 對(duì)大鼠相應(yīng)的部位（感受器官神經(jīng)）通過(guò)物理手術(shù)切斷或藥物局部麻醉進(jìn)行對(duì)本體信號(hào)的攔截（切斷原信號(hào)通路），再?gòu)男盘?hào)中斷位置連接大腦一端進(jìn)行相應(yīng)第一步實(shí)驗(yàn)反饋信號(hào)的傳輸（將信號(hào)解析為電信號(hào)，或直接將相應(yīng)1.中得到的信號(hào)直接刺激），同時(shí)監(jiān)測(cè)大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號(hào)。并與對(duì)照組相比，分析信號(hào)是否近似或相同以驗(yàn)證實(shí)驗(yàn)結(jié)果。4. 對(duì)大鼠相應(yīng)的部位（感受器官神經(jīng)）進(jìn)行對(duì)本體信號(hào)的攔截（切斷原信號(hào)通路），再?gòu)臄嗦愤B接大腦一端進(jìn)行相應(yīng)第二步實(shí)驗(yàn)反饋信號(hào)的傳輸（將信號(hào)解析為電信號(hào)，或直接將相應(yīng)2.中得到的信號(hào)直接刺激），同時(shí)監(jiān)測(cè)大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號(hào)。并對(duì)比對(duì)照組個(gè)體，分析信號(hào)是否近似或相同以驗(yàn)證實(shí)驗(yàn)結(jié)果。5. 預(yù)期結(jié)果 如果相應(yīng)理論正確，則可以得到第一步、第二步實(shí)驗(yàn)所刺激獲得的相應(yīng)不同的電信號(hào)，第三步實(shí)驗(yàn)和第四步實(shí)驗(yàn)對(duì)比，比較信號(hào)的傳輸情況，與大腦進(jìn)一步處理的情況。從數(shù)據(jù)分析與歸類(lèi)中可得到精確的相應(yīng)刺激電信號(hào)。第三步、第四步實(shí)驗(yàn)其中至少一個(gè)實(shí)驗(yàn)可得到與第一步實(shí)驗(yàn)中近似的大腦的反饋電信號(hào)。證明相應(yīng)的反饋信號(hào)的真實(shí)性。隨著設(shè)備與研究技術(shù)的發(fā)展，進(jìn)一步的實(shí)驗(yàn)可以完整的解析所有包括感官甚至是情緒上的刺激，最終解決虛擬現(xiàn)實(shí)技術(shù)從信號(hào)輸入層面上的技術(shù)問(wèn)題。6. 創(chuàng)新性 1. 本研究是基于腦-機(jī)接口技術(shù)的進(jìn)一步逆研究。從理論上來(lái)講，BCI技術(shù)大多是模擬傳出神經(jīng)的斷路，并研究如何脫離神經(jīng)傳導(dǎo)進(jìn)行機(jī)器效應(yīng)器的控制，比如假肢、無(wú)人機(jī)等；本項(xiàng)目則致力于外界感受器對(duì)于中樞神經(jīng)的刺激，研究是否能模擬重現(xiàn)外界環(huán)境對(duì)于神經(jīng)中樞的刺激。2. 現(xiàn)大部分BCI技術(shù)的研究都是單向輸出且較為復(fù)雜。本研究提出了逆向研究思路，實(shí)驗(yàn)若成功將能提供更為宏觀的信號(hào)處理辦法。3.虛擬現(xiàn)實(shí)技術(shù)如今對(duì)于其研究依然停留在理論階段，本實(shí)驗(yàn)給予了一個(gè)具體的方向供研究。7研究意義 隨著信息化社會(huì)的發(fā)展，虛擬現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)將會(huì)成為必然的結(jié)果，它對(duì)未來(lái)的國(guó)防、軍事、醫(yī)療、救援、娛樂(lè)、經(jīng)濟(jì)、信息交流等眾多上有著十分深遠(yuǎn)的影響，對(duì)于國(guó)家戰(zhàn)略性發(fā)展有著重大意義1。人們可將此技術(shù)與機(jī)器人的擬人化控制研究結(jié)合起來(lái)，實(shí)現(xiàn)意念控制機(jī)器人，達(dá)到無(wú)人化戰(zhàn)場(chǎng)的目的；也可將相應(yīng)設(shè)備應(yīng)用到了網(wǎng)絡(luò)游戲、娛樂(lè)、競(jìng)技體育運(yùn)動(dòng)訓(xùn)練、素質(zhì)教育等領(lǐng)域，通過(guò)對(duì)不同狀態(tài)下腦電信號(hào)的差異進(jìn)行分析，然后在一些特定的軟件下進(jìn)行鍛煉，讓大腦能快速進(jìn)入最好的工作、學(xué)習(xí)或者放松的狀態(tài)8。通過(guò)這項(xiàng)技術(shù)，人們的生活方式以及模式將有著質(zhì)的改變，人們將構(gòu)建出更加完整的未來(lái)信息世界。參考文獻(xiàn):1.腦機(jī)接口技術(shù)的研究與進(jìn)展 中國(guó)組織工程研究與臨床康復(fù)2008年39期 王新光鄒凌段鎖林周仁來(lái)2.sEMG信號(hào)實(shí)時(shí)檢測(cè)及假肢手指控制的初步研究_萬(wàn)莎3.大鼠初級(jí)運(yùn)動(dòng)皮層的神經(jīng)信號(hào)分析與解碼研究_姜波4.獨(dú)立分量分析在腦_機(jī)接口中的應(yīng)用研究_郭曉靜5.多模態(tài)與多自由度腦機(jī)接口研究_余天佑6.基于PSoC的腦電信號(hào)無(wú)線(xiàn)采集系統(tǒng)_高廣恒7.基于動(dòng)物實(shí)驗(yàn)的腦_機(jī)接口研究_信號(hào)分析_魏依娜8.基于腦機(jī)接口的控制及虛擬場(chǎng)景應(yīng)用研究_張璐琳9.基于雙向神經(jīng)接口的生物機(jī)器人系統(tǒng)的研究_江君10.基于運(yùn)動(dòng)想象和alpha波的腦機(jī)接口及虛擬漫游系統(tǒng)_谷艷蕾11.數(shù)字腦電儀信號(hào)采集子系統(tǒng)的設(shè)計(jì)與實(shí)