基于大腦-計算機接口技術(shù)的虛擬現(xiàn)實技術(shù)研究.doc

基于大腦-計算機接口技術(shù)的虛擬現(xiàn)實技術(shù)研究作者：蔡漢齊 廈門外國語學(xué)校 指導(dǎo)老師：楊立朝 廈門大學(xué)劉同玉 廈門外國語學(xué)校基于大腦-計算機接口技術(shù)的虛擬現(xiàn)實技術(shù)研究1. 研究背景腦機接口（Brain-Computer Interface，BCI）是在大腦和計算機或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路(外周神經(jīng)和肌肉組織)的全新通訊和控制技術(shù)，是神經(jīng)系統(tǒng)與外界環(huán)境交互的一種通道,各類神經(jīng)信號可通過轉(zhuǎn)化為可識別的機器指令，用于控制外部環(huán)境（圖1-1）。腦-機接口的研究經(jīng)歷了驚人的發(fā)展，也成為了神經(jīng)科學(xué)與信息工程技術(shù)交叉學(xué)科的熱點課題1。虛擬現(xiàn)實(Virtual Reality，VR)是一項基于BCI技術(shù)的逆運用技術(shù)，是在大腦和機械設(shè)備之間不依賴常規(guī)大腦信息輸入通路的全新通訊和感覺技術(shù)，是神經(jīng)系統(tǒng)接收外界信息的一種通道，信息經(jīng)轉(zhuǎn)化為具有一定模式的神經(jīng)信號，直接輸入神經(jīng)系統(tǒng)，帶給人非人體感官輸出的神經(jīng)刺激。我個人是在2012年在本校初中部時通過一個科幻小說而產(chǎn)生對于這項技術(shù)的構(gòu)想，后來上網(wǎng)調(diào)查發(fā)現(xiàn)這項技術(shù)就是虛擬現(xiàn)實技術(shù)，后來通過高中對于生物這一門學(xué)科進一步的學(xué)習(xí)，我開始進一步了解這項技術(shù)及其基礎(chǔ)技術(shù)：BCI技術(shù)，并關(guān)注其最新研究動態(tài)。通過2014年5月的一份醫(yī)療健康類報紙我看到了浙江大學(xué)求是研究院的“神經(jīng)信號傳導(dǎo)控制機械假肢”的文章，我開始用現(xiàn)有知識分析其可行性及延伸發(fā)展。我發(fā)現(xiàn)絕大部分的BCI技術(shù)研究都是信號輸出控制方向上的，于是我開始逆向研究神經(jīng)信號由外界模擬感受器的輸入的可行性。腦機接口技術(shù)信號輸出方面主要有三個關(guān)鍵技術(shù)（圖1-2）：第一，可準確形成信息的穩(wěn)定解析神經(jīng)信號，這需要對腦電信號的準確分類與解析；第二，合理可行的神經(jīng)信號傳導(dǎo)通路，這包括適宜的信號輸入與適當(dāng)?shù)耐愤x擇；第三， 大腦相應(yīng)部位能準確接受并解析這一信號9。 現(xiàn)階段的有關(guān)虛擬現(xiàn)實技術(shù)的BCI技術(shù)發(fā)展主要有以下幾方面：1. 對神經(jīng)信號的特征提取方法2。針對局部場電位信號主流研究采用小波變換提取多通道、多頻段的時頻域特征信息針對鋒電位信號建立了基于譜聚類算法和樸素貝葉斯分類器的鋒電位分類方法，該鋒電位分類方法具有較好的精度、抗噪性和效率2. 獨立分量分析4（Independent Component Analysis，ICA）作為一種預(yù)處理手段，用于消除原始腦電信號中的干擾成分,進而改善腦機通信的正確識別率。3. 混合BCI 通過多模態(tài)（Multi-modal）或者混合（Hybrid）腦機接口的方式來提供多個自由度的輸出5610。4.對腦電儀（圖1-3）信號采集系統(tǒng)進行開發(fā)，把采集到的模擬腦電信號轉(zhuǎn)換為數(shù)字信號,并傳輸給計算機, 這樣通過特定的數(shù)值分析軟件就能實現(xiàn)對腦電信號的分析與研究111214。目前對于BCI技術(shù)的研究已經(jīng)表明這項技術(shù)實現(xiàn)的可行性，許多實驗室已從各個關(guān)鍵技術(shù)入手研究，我的研究就是基于這個背景下進行的。2. 研究目的 虛擬現(xiàn)實技術(shù)是跨多個領(lǐng)域的綜合性技術(shù)，它結(jié)合了計算機學(xué)、信息學(xué)、神經(jīng)學(xué)等多個學(xué)科的知識。本研究從神經(jīng)學(xué)入手，希望通過實驗調(diào)研對基于BCI技術(shù)的逆向信號輸入進行進一步的研究。通過論文調(diào)研（主要）以及可能的臨床實驗得到可靠的實驗數(shù)據(jù)，為進一步的實驗提供理論基礎(chǔ)。基于對BCI技術(shù)的研究，結(jié)合計算機圖像技術(shù)，最終得到虛擬現(xiàn)實技術(shù)；并將在多個領(lǐng)域運用，解決例如感受器官不可恢復(fù)性損傷、低成本軍隊?wèi)?zhàn)術(shù)訓(xùn)練、完全虛擬式娛樂設(shè)備等難題。 3. 研究方法 虛擬現(xiàn)實技術(shù)是新興的綜合性技術(shù)，對于其研究依然停留在理論階段。由于實驗本身對基礎(chǔ)理論的要求比較高及實驗設(shè)備比較昂貴，所以現(xiàn)階段主要的研究方法為論文調(diào)研以及對相關(guān)工作者的訪問。具體未能進行的實驗操作可在后續(xù)實驗設(shè)計中介紹。4. 實驗設(shè)計 一個完整的反射弧包括感受器、效應(yīng)器、傳入神經(jīng)、神經(jīng)中樞與傳出神經(jīng)。大體來講，本實驗是切斷傳入神經(jīng)通路，并模擬外界刺激進行信號發(fā)射。按照理論，實驗將分為兩個主要部分，以大鼠作為實驗對象進行實驗：1. 實驗研究將主要采用波（圖1-4,1-5），檢測在不同環(huán)境下腦電圖(Electroencephalogram, EEG)的變化。實驗將標準環(huán)境（固定的外部環(huán)境、生理狀態(tài)）下使實驗個體處于單一顏色（聲音、觸覺等）環(huán)境下（只受到相應(yīng)實驗刺激），并接收相應(yīng)反饋神經(jīng)信號，對比不同個體，監(jiān)測是否能找出EEG中相近的反饋信號。若獲得刺激信號所對應(yīng)的反饋電信號，對所獲得的反饋信號進行歸類及進一步解析。這里考慮到穩(wěn)定性以及所獲取信號的用途，實驗將通過EEG以及腦電儀信號采集系統(tǒng)主要檢測并采集大腦發(fā)出的波。2. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）進行信號的攔截，從通路上截取相應(yīng)的刺激電信號，比較分析不同信號的差異與同種信號間的近似處，分析提取相應(yīng)電信號并進行分類以及進一步的解析。3. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）通過物理手術(shù)切斷或藥物局部麻醉進行對本體信號的攔截（切斷原信號通路），再從信號中斷位置連接大腦一端進行相應(yīng)第一步實驗反饋信號的傳輸（將信號解析為電信號，或直接將相應(yīng)1.中得到的信號直接刺激），同時監(jiān)測大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號。并與對照組相比，分析信號是否近似或相同以驗證實驗結(jié)果。4. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）進行對本體信號的攔截（切斷原信號通路），再從斷路連接大腦一端進行相應(yīng)第二步實驗反饋信號的傳輸（將信號解析為電信號，或直接將相應(yīng)2.中得到的信號直接刺激），同時監(jiān)測大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號。并對比對照組個體，分析信號是否近似或相同以驗證實驗結(jié)果。5. 預(yù)期結(jié)果 如果相應(yīng)理論正確，則可以得到第一步、第二步實驗所刺激獲得的相應(yīng)不同的電信號，第三步實驗和第四步實驗對比，比較信號的傳輸情況，與大腦進一步處理的情況。從數(shù)據(jù)分析與歸類中可得到精確的相應(yīng)刺激電信號。第三步、第四步實驗其中至少一個實驗可得到與第一步實驗中近似的大腦的反饋電信號。證明相應(yīng)的反饋信號的真實性。隨著設(shè)備與研究技術(shù)的發(fā)展，進一步的實驗可以完整的解析所有包括感官甚至是情緒上的刺激，最終解決虛擬現(xiàn)實技術(shù)從信號輸入層面上的技術(shù)問題。6. 創(chuàng)新性 1. 本研究是基于腦-機接口技術(shù)的進一步逆研究。從理論上來講，BCI技術(shù)大多是模擬傳出神經(jīng)的斷路，并研究如何脫離神經(jīng)傳導(dǎo)進行機器效應(yīng)器的控制，比如假肢、無人機等；本項目則致力于外界感受器對于中樞神經(jīng)的刺激，研究是否能模擬重現(xiàn)外界環(huán)境對于神經(jīng)中樞的刺激。2. 現(xiàn)大部分BCI技術(shù)的研究都是單向輸出且較為復(fù)雜。本研究提出了逆向研究思路，實驗若成功將能提供更為宏觀的信號處理辦法。3.虛擬現(xiàn)實技術(shù)如今對于其研究依然停留在理論階段，本實驗給予了一個具體的方向供研究。7研究意義 隨著信息化社會的發(fā)展，虛擬現(xiàn)實技術(shù)的實現(xiàn)將會成為必然的結(jié)果，它對未來的國防、軍事、醫(yī)療、救援、娛樂、經(jīng)濟、信息交流等眾多上有著十分深遠的影響，對于國家戰(zhàn)略性發(fā)展有著重大意義1。人們可將此技術(shù)與機器人的擬人化控制研究結(jié)合起來，實現(xiàn)意念控制機器人，達到無人化戰(zhàn)場的目的；也可將相應(yīng)設(shè)備應(yīng)用到了網(wǎng)絡(luò)游戲、娛樂、競技體育運動訓(xùn)練、素質(zhì)教育等領(lǐng)域，通過對不同狀態(tài)下腦電信號的差異進行分析，然后在一些特定的軟件下進行鍛煉，讓大腦能快速進入最好的工作、學(xué)習(xí)或者放松的狀態(tài)8。通過這項技術(shù)，人們的生活方式以及模式將有著質(zhì)的改變，人們將構(gòu)建出更加完整的未來信息世界。參考文獻:1.腦機接口技術(shù)的研究與進展 中國組織工程研究與臨床康復(fù)2008年39期 王新光鄒凌段鎖林周仁來2.sEMG信號實時檢測及假肢手指控制的初步研究_萬莎3.大鼠初級運動皮層的神經(jīng)信號分析與解碼研究_姜波4.獨立分量分析在腦_機接口中的應(yīng)用研究_郭曉靜5.多模態(tài)與多自由度腦機接口研究_余天佑6.基于PSoC的腦電信號無線采集系統(tǒng)_高廣恒7.基于動物實驗的腦_機接口研究_信號分析_魏依娜8.基于腦機接口的控制及虛擬場景應(yīng)用研究_張璐琳9.基于雙向神經(jīng)接口的生物機器人系統(tǒng)的研究_江君10.基于運動想象和alpha波的腦機接口及虛擬漫游系統(tǒng)_谷艷蕾11.數(shù)字腦電儀信號采集子系統(tǒng)的設(shè)計與實