基于大腦-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究.doc

基于大腦-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究作者：蔡漢齊 廈門外國語學(xué)校 指導(dǎo)老師：楊立朝 廈門大學(xué)劉同玉 廈門外國語學(xué)?；诖竽X-計(jì)算機(jī)接口技術(shù)的虛擬現(xiàn)實(shí)技術(shù)研究1. 研究背景腦機(jī)接口（Brain-Computer Interface，BCI）是在大腦和計(jì)算機(jī)或其他電子設(shè)備之間建立不依賴于常規(guī)大腦信息輸出通路(外周神經(jīng)和肌肉組織)的全新通訊和控制技術(shù)，是神經(jīng)系統(tǒng)與外界環(huán)境交互的一種通道,各類神經(jīng)信號可通過轉(zhuǎn)化為可識別的機(jī)器指令，用于控制外部環(huán)境（圖1-1）。腦-機(jī)接口的研究經(jīng)歷了驚人的發(fā)展，也成為了神經(jīng)科學(xué)與信息工程技術(shù)交叉學(xué)科的熱點(diǎn)課題1。虛擬現(xiàn)實(shí)(Virtual Reality，VR)是一項(xiàng)基于BCI技術(shù)的逆運(yùn)用技術(shù)，是在大腦和機(jī)械設(shè)備之間不依賴常規(guī)大腦信息輸入通路的全新通訊和感覺技術(shù)，是神經(jīng)系統(tǒng)接收外界信息的一種通道，信息經(jīng)轉(zhuǎn)化為具有一定模式的神經(jīng)信號，直接輸入神經(jīng)系統(tǒng)，帶給人非人體感官輸出的神經(jīng)刺激。我個(gè)人是在2012年在本校初中部時(shí)通過一個(gè)科幻小說而產(chǎn)生對于這項(xiàng)技術(shù)的構(gòu)想，后來上網(wǎng)調(diào)查發(fā)現(xiàn)這項(xiàng)技術(shù)就是虛擬現(xiàn)實(shí)技術(shù)，后來通過高中對于生物這一門學(xué)科進(jìn)一步的學(xué)習(xí)，我開始進(jìn)一步了解這項(xiàng)技術(shù)及其基礎(chǔ)技術(shù)：BCI技術(shù)，并關(guān)注其最新研究動態(tài)。通過2014年5月的一份醫(yī)療健康類報(bào)紙我看到了浙江大學(xué)求是研究院的“神經(jīng)信號傳導(dǎo)控制機(jī)械假肢”的文章，我開始用現(xiàn)有知識分析其可行性及延伸發(fā)展。我發(fā)現(xiàn)絕大部分的BCI技術(shù)研究都是信號輸出控制方向上的，于是我開始逆向研究神經(jīng)信號由外界模擬感受器的輸入的可行性。腦機(jī)接口技術(shù)信號輸出方面主要有三個(gè)關(guān)鍵技術(shù)（圖1-2）：第一，可準(zhǔn)確形成信息的穩(wěn)定解析神經(jīng)信號，這需要對腦電信號的準(zhǔn)確分類與解析；第二，合理可行的神經(jīng)信號傳導(dǎo)通路，這包括適宜的信號輸入與適當(dāng)?shù)耐愤x擇；第三， 大腦相應(yīng)部位能準(zhǔn)確接受并解析這一信號9。 現(xiàn)階段的有關(guān)虛擬現(xiàn)實(shí)技術(shù)的BCI技術(shù)發(fā)展主要有以下幾方面：1. 對神經(jīng)信號的特征提取方法2。針對局部場電位信號主流研究采用小波變換提取多通道、多頻段的時(shí)頻域特征信息針對鋒電位信號建立了基于譜聚類算法和樸素貝葉斯分類器的鋒電位分類方法，該鋒電位分類方法具有較好的精度、抗噪性和效率2. 獨(dú)立分量分析4（Independent Component Analysis，ICA）作為一種預(yù)處理手段，用于消除原始腦電信號中的干擾成分,進(jìn)而改善腦機(jī)通信的正確識別率。3. 混合BCI 通過多模態(tài)（Multi-modal）或者混合（Hybrid）腦機(jī)接口的方式來提供多個(gè)自由度的輸出5610。4.對腦電儀（圖1-3）信號采集系統(tǒng)進(jìn)行開發(fā)，把采集到的模擬腦電信號轉(zhuǎn)換為數(shù)字信號,并傳輸給計(jì)算機(jī), 這樣通過特定的數(shù)值分析軟件就能實(shí)現(xiàn)對腦電信號的分析與研究111214。目前對于BCI技術(shù)的研究已經(jīng)表明這項(xiàng)技術(shù)實(shí)現(xiàn)的可行性，許多實(shí)驗(yàn)室已從各個(gè)關(guān)鍵技術(shù)入手研究，我的研究就是基于這個(gè)背景下進(jìn)行的。2. 研究目的 虛擬現(xiàn)實(shí)技術(shù)是跨多個(gè)領(lǐng)域的綜合性技術(shù)，它結(jié)合了計(jì)算機(jī)學(xué)、信息學(xué)、神經(jīng)學(xué)等多個(gè)學(xué)科的知識。本研究從神經(jīng)學(xué)入手，希望通過實(shí)驗(yàn)調(diào)研對基于BCI技術(shù)的逆向信號輸入進(jìn)行進(jìn)一步的研究。通過論文調(diào)研（主要）以及可能的臨床實(shí)驗(yàn)得到可靠的實(shí)驗(yàn)數(shù)據(jù)，為進(jìn)一步的實(shí)驗(yàn)提供理論基礎(chǔ)?；趯CI技術(shù)的研究，結(jié)合計(jì)算機(jī)圖像技術(shù)，最終得到虛擬現(xiàn)實(shí)技術(shù)；并將在多個(gè)領(lǐng)域運(yùn)用，解決例如感受器官不可恢復(fù)性損傷、低成本軍隊(duì)?wèi)?zhàn)術(shù)訓(xùn)練、完全虛擬式娛樂設(shè)備等難題。 3. 研究方法 虛擬現(xiàn)實(shí)技術(shù)是新興的綜合性技術(shù)，對于其研究依然停留在理論階段。由于實(shí)驗(yàn)本身對基礎(chǔ)理論的要求比較高及實(shí)驗(yàn)設(shè)備比較昂貴，所以現(xiàn)階段主要的研究方法為論文調(diào)研以及對相關(guān)工作者的訪問。具體未能進(jìn)行的實(shí)驗(yàn)操作可在后續(xù)實(shí)驗(yàn)設(shè)計(jì)中介紹。4. 實(shí)驗(yàn)設(shè)計(jì) 一個(gè)完整的反射弧包括感受器、效應(yīng)器、傳入神經(jīng)、神經(jīng)中樞與傳出神經(jīng)。大體來講，本實(shí)驗(yàn)是切斷傳入神經(jīng)通路，并模擬外界刺激進(jìn)行信號發(fā)射。按照理論，實(shí)驗(yàn)將分為兩個(gè)主要部分，以大鼠作為實(shí)驗(yàn)對象進(jìn)行實(shí)驗(yàn)：1. 實(shí)驗(yàn)研究將主要采用波（圖1-4,1-5），檢測在不同環(huán)境下腦電圖(Electroencephalogram, EEG)的變化。實(shí)驗(yàn)將標(biāo)準(zhǔn)環(huán)境（固定的外部環(huán)境、生理狀態(tài)）下使實(shí)驗(yàn)個(gè)體處于單一顏色（聲音、觸覺等）環(huán)境下（只受到相應(yīng)實(shí)驗(yàn)刺激），并接收相應(yīng)反饋神經(jīng)信號，對比不同個(gè)體，監(jiān)測是否能找出EEG中相近的反饋信號。若獲得刺激信號所對應(yīng)的反饋電信號，對所獲得的反饋信號進(jìn)行歸類及進(jìn)一步解析。這里考慮到穩(wěn)定性以及所獲取信號的用途，實(shí)驗(yàn)將通過EEG以及腦電儀信號采集系統(tǒng)主要檢測并采集大腦發(fā)出的波。2. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）進(jìn)行信號的攔截，從通路上截取相應(yīng)的刺激電信號，比較分析不同信號的差異與同種信號間的近似處，分析提取相應(yīng)電信號并進(jìn)行分類以及進(jìn)一步的解析。3. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）通過物理手術(shù)切斷或藥物局部麻醉進(jìn)行對本體信號的攔截（切斷原信號通路），再從信號中斷位置連接大腦一端進(jìn)行相應(yīng)第一步實(shí)驗(yàn)反饋信號的傳輸（將信號解析為電信號，或直接將相應(yīng)1.中得到的信號直接刺激），同時(shí)監(jiān)測大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號。并與對照組相比，分析信號是否近似或相同以驗(yàn)證實(shí)驗(yàn)結(jié)果。4. 對大鼠相應(yīng)的部位（感受器官神經(jīng)）進(jìn)行對本體信號的攔截（切斷原信號通路），再從斷路連接大腦一端進(jìn)行相應(yīng)第二步實(shí)驗(yàn)反饋信號的傳輸（將信號解析為電信號，或直接將相應(yīng)2.中得到的信號直接刺激），同時(shí)監(jiān)測大腦相應(yīng)區(qū)域是否受到相應(yīng)刺激所產(chǎn)生的EEG反饋電信號。并對比對照組個(gè)體，分析信號是否近似或相同以驗(yàn)證實(shí)驗(yàn)結(jié)果。5. 預(yù)期結(jié)果 如果相應(yīng)理論正確，則可以得到第一步、第二步實(shí)驗(yàn)所刺激獲得的相應(yīng)不同的電信號，第三步實(shí)驗(yàn)和第四步實(shí)驗(yàn)對比，比較信號的傳輸情況，與大腦進(jìn)一步處理的情況。從數(shù)據(jù)分析與歸類中可得到精確的相應(yīng)刺激電信號。第三步、第四步實(shí)驗(yàn)其中至少一個(gè)實(shí)驗(yàn)可得到與第一步實(shí)驗(yàn)中近似的大腦的反饋電信號。證明相應(yīng)的反饋信號的真實(shí)性。隨著設(shè)備與研究技術(shù)的發(fā)展，進(jìn)一步的實(shí)驗(yàn)可以完整的解析所有包括感官甚至是情緒上的刺激，最終解決虛擬現(xiàn)實(shí)技術(shù)從信號輸入層面上的技術(shù)問題。6. 創(chuàng)新性 1. 本研究是基于腦-機(jī)接口技術(shù)的進(jìn)一步逆研究。從理論上來講，BCI技術(shù)大多是模擬傳出神經(jīng)的斷路，并研究如何脫離神經(jīng)傳導(dǎo)進(jìn)行機(jī)器效應(yīng)器的控制，比如假肢、無人機(jī)等；本項(xiàng)目則致力于外界感受器對于中樞神經(jīng)的刺激，研究是否能模擬重現(xiàn)外界環(huán)境對于神經(jīng)中樞的刺激。2. 現(xiàn)大部分BCI技術(shù)的研究都是單向輸出且較為復(fù)雜。本研究提出了逆向研究思路，實(shí)驗(yàn)若成功將能提供更為宏觀的信號處理辦法。3.虛擬現(xiàn)實(shí)技術(shù)如今對于其研究依然停留在理論階段，本實(shí)驗(yàn)給予了一個(gè)具體的方向供研究。7研究意義 隨著信息化社會的發(fā)展，虛擬現(xiàn)實(shí)技術(shù)的實(shí)現(xiàn)將會成為必然的結(jié)果，它對未來的國防、軍事、醫(yī)療、救援、娛樂、經(jīng)濟(jì)、信息交流等眾多上有著十分深遠(yuǎn)的影響，對于國家戰(zhàn)略性發(fā)展有著重大意義1。人們可將此技術(shù)與機(jī)器人的擬人化控制研究結(jié)合起來，實(shí)現(xiàn)意念控制機(jī)器人，達(dá)到無人化戰(zhàn)場的目的；也可將相應(yīng)設(shè)備應(yīng)用到了網(wǎng)絡(luò)游戲、娛樂、競技體育運(yùn)動訓(xùn)練、素質(zhì)教育等領(lǐng)域，通過對不同狀態(tài)下腦電信號的差異進(jìn)行分析，然后在一些特定的軟件下進(jìn)行鍛煉，讓大腦能快速進(jìn)入最好的工作、學(xué)習(xí)或者放松的狀態(tài)8。通過這項(xiàng)技術(shù)，人們的生活方式以及模式將有著質(zhì)的改變，人們將構(gòu)建出更加完整的未來信息世界。參考文獻(xiàn):1.腦機(jī)接口技術(shù)的研究與進(jìn)展 中國組織工程研究與臨床康復(fù)2008年39期 王新光鄒凌段鎖林周仁來2.sEMG信號實(shí)時(shí)檢測及假肢手指控制的初步研究_萬莎3.大鼠初級運(yùn)動皮層的神經(jīng)信號分析與解碼研究_姜波4.獨(dú)立分量分析在腦_機(jī)接口中的應(yīng)用研究_郭曉靜5.多模態(tài)與多自由度腦機(jī)接口研究_余天佑6.基于PSoC的腦電信號無線采集系統(tǒng)_高廣恒7.基于動物實(shí)驗(yàn)的腦_機(jī)接口研究_信號分析_魏依娜8.基于腦機(jī)接口的控制及虛擬場景應(yīng)用研究_張璐琳9.基于雙向神經(jīng)接口的生物機(jī)器人系統(tǒng)的研究_江君10.基于運(yùn)動想象和alpha波的腦機(jī)接口及虛擬漫游系統(tǒng)_谷艷蕾11.數(shù)字腦電儀信號采集子系統(tǒng)的設(shè)計(jì)與實(shí)