基于想象運(yùn)動(dòng)思維腦電的腦-機(jī)接口的實(shí)驗(yàn)研究

基于想象運(yùn)動(dòng)思維腦電的腦-機(jī)接口的實(shí)驗(yàn)研究

1實(shí)驗(yàn)設(shè)計(jì)與信號(hào)獲取近年來(lái)，提出了多個(gè)思維方式的腦電氣采集接口（bci）和腦功能的新技術(shù)。BCI系統(tǒng)實(shí)質(zhì)上就是識(shí)別特定的腦電模式,然后按照預(yù)設(shè)規(guī)則將獲取的腦電轉(zhuǎn)化為信息。其算法(包括信號(hào)預(yù)處理、特征提取、模式識(shí)別分類)的選擇十分重要。然而,在實(shí)際應(yīng)用中,實(shí)驗(yàn)設(shè)計(jì)、控制信號(hào)獲取(數(shù)據(jù)采集)、算法選擇等方面因素都會(huì)影響最后的結(jié)果。因此,BCI系統(tǒng)全面建立過(guò)程中,實(shí)驗(yàn)設(shè)計(jì)和控制信號(hào)的獲取是非常重要的第一步,也是獲得良好結(jié)果的前提。目前,獲取腦電的方式主要是非侵入式方法。它有3種類型:(1)在思維作業(yè)期間,不進(jìn)行任何刺激情況下,通過(guò)頭皮電極記錄腦電;(2)利用單次視覺(jué)誘發(fā)電位獲得腦電;(3)在感覺(jué)運(yùn)動(dòng)皮層區(qū),利用μ節(jié)律的同步化和去同步化獲得腦電。本研究中,我們采用第1種方式獲取BCI的控制信號(hào),即通過(guò)想象左右手等運(yùn)動(dòng)獲取思維腦電信號(hào)。本研究的目的是探索一種實(shí)用的基于想象運(yùn)動(dòng)思維腦電的腦-機(jī)接口方式,通過(guò)尋找合適的信號(hào)處理方法,來(lái)提取最能反映不同思維的腦電特征,以得到準(zhǔn)確的腦-機(jī)接口系統(tǒng)的外部控制命令,從而提高腦-機(jī)接口系統(tǒng)通訊識(shí)別正確率,為最終實(shí)現(xiàn)腦-機(jī)接口應(yīng)用奠定比較堅(jiān)實(shí)的理論和實(shí)驗(yàn)基礎(chǔ)。其中,不同思維信號(hào)獲取和特征提取與識(shí)別是非常重要和關(guān)鍵的兩步。因此,本研究針對(duì)前幾次實(shí)驗(yàn)處理和分析結(jié)果的基礎(chǔ)上,我們重新對(duì)實(shí)驗(yàn)方案進(jìn)行設(shè)計(jì),指示信號(hào)采用隨機(jī)獲取信號(hào)的方式(C語(yǔ)言編程控制),并通過(guò)指示信號(hào)出現(xiàn)后時(shí)段t(即箭頭出現(xiàn)2s、1s和0s后提示按鍵)的長(zhǎng)短控制(具體實(shí)驗(yàn)見(jiàn)圖3),對(duì)本實(shí)驗(yàn)室6名健康人進(jìn)行3種不同時(shí)段情況下想象左右手運(yùn)動(dòng)(Left或Right)思維作業(yè)的信號(hào)采集實(shí)驗(yàn);隨后對(duì)離線實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理和分析,并對(duì)不同時(shí)段情況下的結(jié)果進(jìn)行分析與討論。2t20系統(tǒng)仿真實(shí)驗(yàn)由于在腦-機(jī)接口系統(tǒng)中,BCI控制信號(hào)的獲取非常關(guān)鍵,因此,我們著重討論實(shí)驗(yàn)方案的設(shè)計(jì)和思維腦電信號(hào)的采集,這直接關(guān)系到后續(xù)提取特征質(zhì)量的好壞,從而影響到識(shí)別分類的準(zhǔn)確性。本研究采用荷蘭BioSemi公司研制的生理信號(hào)測(cè)量系統(tǒng)(BiopotentialMeasurementSystem)ActiveOne來(lái)實(shí)現(xiàn)腦電信號(hào)采集,它是一個(gè)通用的32道生理信號(hào)測(cè)量系統(tǒng)。對(duì)本實(shí)驗(yàn)室6名健康受試者(Fzq,Hh,Wyz,Xb,Yqg,Zy),均為男性,右利手,年齡25～35歲,進(jìn)行信號(hào)采集,實(shí)驗(yàn)框架見(jiàn)圖1。實(shí)驗(yàn)前被試者未經(jīng)任何訓(xùn)練。電極按國(guó)際10～20系統(tǒng)標(biāo)準(zhǔn)安放于C3、C4、P3、P4、O1、O2和CZ處,共7導(dǎo),參考電極為兩耳,模擬濾波范圍為0～40Hz,見(jiàn)圖2。圖1中計(jì)算機(jī)1的主要功能實(shí)現(xiàn)實(shí)驗(yàn)提示作用,采用軟件C語(yǔ)言編程的方式,在計(jì)算機(jī)屏幕上產(chǎn)生聽(tīng)覺(jué)(“嘟嘟...”)和視覺(jué)(隨機(jī)出現(xiàn)向左或向右箭頭)提示,以指示不同思維作業(yè)實(shí)驗(yàn)的進(jìn)行。計(jì)算機(jī)2的主要功能是進(jìn)行信號(hào)采集和處理,ActiveOne的接收器、接口板和軟件安裝在計(jì)算機(jī)2上。在計(jì)算機(jī)1與ActiveOne之間設(shè)計(jì)了專門接口,具體方法是將計(jì)算機(jī)1的并口輸出與ActiveOne的觸發(fā)輸入相聯(lián),使得在記錄腦電信號(hào)的同時(shí),可記錄不同時(shí)刻的觸發(fā)事件。具體的實(shí)驗(yàn)過(guò)程:在隔音的光線微弱的房間內(nèi),受試者坐在計(jì)算機(jī)屏幕前100cm處,頭戴電極帽,按提示(提示是按隨機(jī)方式進(jìn)行設(shè)計(jì),更接近人的實(shí)際情況)完成一定的思維作業(yè)任務(wù),記錄相應(yīng)的腦電信號(hào),采樣率為fs=512Hz,采樣時(shí)間t=采樣點(diǎn)/fs。具體實(shí)驗(yàn)過(guò)程見(jiàn)圖3。這里給出t=2s時(shí)的具體的試驗(yàn)過(guò)程說(shuō)明(t=1s和t=0s情況下依次類推):①0s出現(xiàn)“嘟嘟”提示音,此時(shí)屏幕為黑屏狀態(tài),表明實(shí)驗(yàn)開(kāi)始(準(zhǔn)備階段);②5s后出現(xiàn)一個(gè)十字光標(biāo)“+”,持續(xù)2s,此時(shí)段不進(jìn)行任何思維作業(yè)(放松狀態(tài));③一直到第7s時(shí)刻,屏幕隨機(jī)出現(xiàn)一個(gè)向左“→”或向右“←”的箭頭,持續(xù)大概2s;④到第9s時(shí)出現(xiàn)一個(gè)小聲音“嘟嘟”提示按鍵,同時(shí)立即用左手或右手進(jìn)行按鍵(實(shí)際實(shí)驗(yàn)中,由于提示按鍵到實(shí)際動(dòng)作之間有一段時(shí)間Δt的延緩,Δt很短,因不同人反應(yīng)不同);⑤到第(11+Δt)s時(shí)(即實(shí)際按鍵2s后)再次出現(xiàn)“嘟嘟”提示音,表示第一次實(shí)驗(yàn)完畢;⑥間隔2s情況下,下面重復(fù)進(jìn)行按鍵實(shí)驗(yàn),即從第7s～(11+Δt)s這個(gè)過(guò)程進(jìn)行重復(fù)實(shí)驗(yàn),總共重復(fù)20次。3eeg信號(hào)的提取和分類研究表明,思維腦電主要與大腦感覺(jué)皮層區(qū)域相關(guān),即電極C3、C4分布的區(qū)域。進(jìn)行數(shù)據(jù)處理時(shí),為了不損失腦電信息,取每次實(shí)際動(dòng)作前1.5s的數(shù)據(jù),對(duì)所有7導(dǎo)電極數(shù)據(jù)都進(jìn)行分析;在提取后的特征分析中,我們主要分析了C3、C4和CZ獲得的特征。腦電活動(dòng)的頻率主要分布在0.5～30Hz間,分為若干頻帶,不同人腦電信號(hào)的波形及其幅度都有較大差別;即便是同一個(gè)人,在進(jìn)行不同思維任務(wù)時(shí),腦電信號(hào)的成分也是不同的。由于思維作業(yè)腦電可分類的思想是基于不同思維作業(yè)會(huì)引起腦皮層不同位置處的低頻腦電節(jié)律(如μ節(jié)律)會(huì)發(fā)生不同變化的現(xiàn)象而提出的,目前的主要研究工作也都是利用這些變化信息來(lái)完成對(duì)EEG信號(hào)的提取和分類。研究者在處理思維腦電信號(hào)時(shí),大多將30Hz以上的頻率成分看成是由肌肉活動(dòng)和工頻干擾引起的偽跡,進(jìn)行特征提取前常用濾波等方法將這部分信號(hào)濾除掉。3.1第5-4確定協(xié)同小波分解系數(shù)ca5-ca8利用小波變換(小波函數(shù)選擇Bio3.3)對(duì)信號(hào)進(jìn)行分解濾波去噪處理,選擇第6～8尺度上的細(xì)節(jié)信號(hào)D6、D7、D8來(lái)重構(gòu)信號(hào)波形。這些尺度上的小波分解系數(shù)(cD6、cD7、cD8)可以表征重構(gòu)信號(hào)的主要特征。所以,本研究中信號(hào)特征提取步驟可概括為:①對(duì)預(yù)處理的信號(hào)EEG數(shù)據(jù)進(jìn)行小波分解得到第5尺度和第8尺度的小波分解逼近系數(shù)cA5、cA8;②用cA8重構(gòu)出它第5尺度上的分量cA85,在cA5中扣除cA85;③得到新的小波分解系數(shù)cA5-8=cA5-cA85,再由CA5-8系數(shù)可以完全重構(gòu)出s′=cD6+cD7+cD8。通過(guò)上述提取信號(hào)特征過(guò)程后,以C3,C4和CZ三個(gè)電極的小波系數(shù)構(gòu)建特征向量:①單獨(dú)以某個(gè)電極時(shí):FC3={FLi,C3,FRj,C3},FC4={FLi,C4,FRj,C4},FCZ={FLi,CZ,FRj,CZ}②C3,C4和CZ三個(gè)電極合并時(shí):FL={FLi,C3;FLi,C4;FLi,CZ},FR={FRj,C3;FRj,C4;FRj,CZ}總特征向量:F總={FL,FR}={FLi,C3,FRj,C3;FLi,C4;FRj,C4;FLi,CZ,FRj,CZ}其中:i,j分別為每個(gè)受試者相對(duì)應(yīng)的左右次數(shù)值,且i+j=20(見(jiàn)表1)。由于每個(gè)受試者每次試驗(yàn)的左右隨機(jī)出現(xiàn)總次數(shù)和為20,且提取的特征個(gè)數(shù)為30,所以FC3是30×20維特征矩陣,其它電極情況依次類推。所以,對(duì)于三道電極(C3、C4和CZ)來(lái)說(shuō),總特征向量是90×20維特征。3.2前向bp神經(jīng)網(wǎng)絡(luò)對(duì)于提取后特征的分類,目前有很多種方法,比如Fisher線性判別、貝葉斯方法等,而神經(jīng)網(wǎng)絡(luò)以其強(qiáng)大的非線性映射努能力,在模式識(shí)別領(lǐng)域得到了廣泛的應(yīng)用。本研究中,對(duì)于最后要識(shí)別分類的特征是判別出左或右,所以是屬于典型的二分類問(wèn)題,我們采取BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別分類。具體識(shí)別分類時(shí),用前向BP神經(jīng)網(wǎng)絡(luò)對(duì)不同腦電特征的兩種思維作業(yè)的組合進(jìn)行訓(xùn)練和分類。采用newff函數(shù)創(chuàng)建一個(gè)前向BP網(wǎng)絡(luò),輸入層神經(jīng)元個(gè)數(shù)為30(或90),隱含層傳遞函數(shù)為tansig,輸出層傳遞函數(shù)采用logsig,訓(xùn)練函數(shù)為traingscg,學(xué)習(xí)函數(shù)為learngdm,輸出值范圍為(0,1);以0.5為臨界值,小于0.5判別為左(L),大于0.5判別為右(R);當(dāng)平均誤差率小于0.001,訓(xùn)練停止,使得網(wǎng)絡(luò)能分類出這兩類不同的思維作業(yè)信號(hào),這樣可以保證網(wǎng)絡(luò)的輸出。網(wǎng)絡(luò)參數(shù)的選擇和優(yōu)化過(guò)程,篇幅限制這里不詳細(xì)闡述。以上提取特征和識(shí)別分類的具體算法程序采用Matlab6.5編寫。識(shí)別分類正確率計(jì)算公式為:Rclass=L識(shí)別正確數(shù)+R識(shí)別正確數(shù)S待識(shí)別總數(shù)×100%式中:L為識(shí)別想象向左運(yùn)動(dòng)的正確次數(shù);R為識(shí)別想象向右運(yùn)動(dòng)的正確次數(shù);S為待識(shí)別想象運(yùn)動(dòng)的總次數(shù)。4結(jié)果與分析根據(jù)上述的特征提取和識(shí)別分類算法過(guò)程,通過(guò)Matlab和統(tǒng)計(jì)分析軟件的處理與分析,主要得到以下三個(gè)方面結(jié)果,并對(duì)其進(jìn)行分析。4.1東南角正常值的延遲時(shí)間從以上實(shí)驗(yàn)方案的設(shè)計(jì)和實(shí)際的實(shí)驗(yàn)情況來(lái)看,不管是哪個(gè)受試者,都存在著提示按鍵到實(shí)際按鍵之間一段時(shí)間Δt的延緩問(wèn)題,本研究在箭頭出現(xiàn)t=0s,t=1s和t=2s后提示按鍵三種情況下6個(gè)受試者的Δt試驗(yàn)結(jié)果見(jiàn)表2。實(shí)驗(yàn)結(jié)果表明,在三種情況下不同受試者的Δt并不完全一樣,對(duì)于這段時(shí)間的分析和確定,以及這段時(shí)間內(nèi)信號(hào)特征的研究都顯得極為重要。對(duì)表2經(jīng)過(guò)統(tǒng)計(jì)分析發(fā)現(xiàn),在箭頭出現(xiàn)t=0s,t=1s和t=2s后提示按鍵三種情況下6個(gè)受試者的平均延緩時(shí)間Δt0與Δt1和Δt2分別為0.50、0.38和0.40s,且Δt0與Δt1和Δt2有顯著性差異(p01=0.010,p02=0.017),而Δt1與Δt2之間沒(méi)有顯著性差異(P12=0.767)。這些結(jié)果表明:箭頭出現(xiàn)后立即按鍵得到的延緩時(shí)間比其他兩種情況下要長(zhǎng),主要是因?yàn)閾?dān)心按鍵按錯(cuò),提示按鍵后有一段時(shí)間延緩,使得時(shí)間更長(zhǎng);而在箭頭出現(xiàn)t=1s和t=2s后提示按鍵,正是因?yàn)橛羞@么長(zhǎng)的一段時(shí)間準(zhǔn)備,使得延緩時(shí)間要短些,且這兩種情況下沒(méi)有顯著性差異。從這里可以得出結(jié)論:箭頭出現(xiàn)后t=1s和t=2s這兩種情況得到結(jié)果比較一致;箭頭出現(xiàn)后不超過(guò)1s的時(shí)間提示按鍵,實(shí)驗(yàn)表明是合理的。4.2平均圖像數(shù)據(jù)處理將實(shí)際動(dòng)作前1.5s(768點(diǎn))的數(shù)據(jù),進(jìn)行了預(yù)處理,隨后利用小波變換和多分辨率分析進(jìn)行信號(hào)去噪并提取相應(yīng)的特征,圖4給出了受試者之一Zy在t=0s,t=1s和t=2s時(shí)的小波分析結(jié)果(由于篇幅限制,其他受試者不一一列出)。由圖4可見(jiàn):小波分解系數(shù)的數(shù)據(jù)長(zhǎng)度為30,與原信號(hào)的數(shù)據(jù)長(zhǎng)度768(1.5s)相比,數(shù)據(jù)長(zhǎng)度壓縮到原來(lái)的4%,這里的小波系數(shù)即可以作為提取的腦電特征;同時(shí)發(fā)現(xiàn)在箭頭出現(xiàn)t=0s,t=1s和t=2s后提示按鍵三種情況下,每個(gè)受試者不同思維作業(yè)腦電在C3、C4處都存在著顯著性的差別,而在實(shí)際動(dòng)作前0.5～1s左右表現(xiàn)得更為明顯。當(dāng)然對(duì)于不同得受試者而言,由于受到各自注意力、精神狀態(tài)和其他實(shí)驗(yàn)因素等方面影響,使得實(shí)驗(yàn)結(jié)果存在一定的個(gè)體差異,不過(guò)總體上看來(lái),這種特征的變化還是非常明顯和比較一致的。4.3平均分類正確率為了更好更全面的反應(yīng)各種情況下的識(shí)別分類效果,同時(shí)檢驗(yàn)所采用的網(wǎng)絡(luò)識(shí)別分類方法的有效性和適應(yīng)性,這里使用了前向BP神經(jīng)網(wǎng)絡(luò)對(duì)同一受試者進(jìn)行訓(xùn)練和測(cè)試。訓(xùn)練樣本集為某一個(gè)受試者的部分樣本數(shù)據(jù),而測(cè)試樣本集為該受試者的另外一部分樣本數(shù)據(jù),同時(shí)對(duì)于特征向量為C3、C4、CZ和這三個(gè)電極全部合并一起的四種情況下分別進(jìn)行了識(shí)別分類研究。表3是在箭頭出現(xiàn)t=0s,t=1s和t=2s后提示按鍵三種情況下6個(gè)受試者在每維取30個(gè)小波系數(shù)時(shí)的分類結(jié)果,圖5為全部受試者再三種情況下取不同特征向量時(shí)的平均分類正確率。從表3和圖5發(fā)現(xiàn):在不同時(shí)間情況下,當(dāng)我們選擇不同的特征向量時(shí),其識(shí)別分類正確率也有所變化,比如在特征向量為C3時(shí),箭頭出現(xiàn)t=1s后提示按鍵情況下,識(shí)別分類正確率分別為86.67%、76.67%、70%和65%。同時(shí)發(fā)現(xiàn),當(dāng)特征向量選擇單獨(dú)某個(gè)電極得到的分類率,比這些電極合并時(shí)得到的分類率要高些。從總體看來(lái),當(dāng)特征向量選擇C3,且在箭頭出現(xiàn)1s后提示按鍵這種情況下,得到的識(shí)別分類正確率更好些,其識(shí)別分類正確率的平均值為86.67%,最小值為80%,最大值為90%。另外,也發(fā)現(xiàn)個(gè)別受試者在一些情況下的正確率不是特別理想,比如受試者Hh。這些主要是由于個(gè)體差異所造成的,比如受試者注意力不集中、疲勞、反應(yīng)時(shí)間上差異等原因造成?？傮w上看來(lái),通過(guò)此方案設(shè)計(jì)的信號(hào)采集實(shí)驗(yàn),在經(jīng)過(guò)合適信號(hào)處理方法選擇和參數(shù)優(yōu)化基礎(chǔ)上,可以獲得比較滿意的識(shí)別分類結(jié)果,為BCI系統(tǒng)提供比較理想的控制信號(hào)。5測(cè)試結(jié)果分析針對(duì)目前腦-機(jī)接口的研究情況來(lái)看,本研究在自行進(jìn)行實(shí)驗(yàn)方案設(shè)計(jì)的基礎(chǔ)上,主要從以下幾個(gè)方面作了嘗試和探索分析:(1)三種方式下進(jìn)行實(shí)驗(yàn)設(shè)計(jì)和分析:由于要研究的信號(hào)是思維信號(hào),即實(shí)際動(dòng)作前的信號(hào),所以實(shí)際動(dòng)作點(diǎn)時(shí)間的準(zhǔn)確定位在本研究中顯得極為重要,同時(shí)為了探討箭頭提示出現(xiàn)后思維的信號(hào)分布情況,所以在這里設(shè)想箭頭出現(xiàn)t=2s、t=1s和t=0s后提示按鍵三種情況進(jìn)行實(shí)驗(yàn)分析,更能反映人的思維信號(hào)實(shí)際情況,從而為BCI系統(tǒng)提供更加可靠的控制信號(hào)。實(shí)驗(yàn)結(jié)果表明:提示時(shí)間太短,由于緊張容易造成按鍵錯(cuò)誤;時(shí)間太長(zhǎng)會(huì)引起人的疲勞、注意力不夠集中從而導(dǎo)致識(shí)別分類率下降,故認(rèn)為在箭頭出現(xiàn)1s后提示按鍵比較適合,而且可以獲得更好的識(shí)別效果。(2)隨機(jī)方式進(jìn)行控制實(shí)驗(yàn):本實(shí)驗(yàn)方案在前幾次的基礎(chǔ)上進(jìn)行了改進(jìn),認(rèn)為采用隨機(jī)的方式產(chǎn)生左右箭頭的出現(xiàn)來(lái)指示實(shí)驗(yàn)的進(jìn)行,這種方式與人實(shí)際思維的隨機(jī)性特點(diǎn)非常接近,更能說(shuō)明實(shí)際情況。從表1中三種情況下6個(gè)受試者左右次數(shù)隨機(jī)分布情況來(lái)看,部分受試者的左右分布相差比較大,其原因是重復(fù)的總次數(shù)只有20次,相對(duì)不多造成的;不過(guò)總的看來(lái),左右分別是比較均勻的。(3)信號(hào)處理算法與識(shí)別分類正確率關(guān)系:特征的選擇和合適的識(shí)別分類算法是信號(hào)處理中最為關(guān)鍵的問(wèn)題。網(wǎng)絡(luò)參數(shù)設(shè)計(jì)優(yōu)化效果對(duì)于分類正確率有著較大的影響,比如不同神經(jīng)網(wǎng)絡(luò)方法的選擇,各層神經(jīng)元個(gè)數(shù)的確定(特別是隱含層神經(jīng)元個(gè)數(shù)的確定),傳遞函數(shù)的選擇,訓(xùn)練函數(shù)的選擇等。本研究采用地小波變換方法可以很好地提取信號(hào)特征,同時(shí)在處理中