基于腦電波的智能輪椅人機(jī)交互方法

基于腦電波的智能輪椅人機(jī)交互方法

腦機(jī)接口（bci）是在大腦周圍的神經(jīng)和肌肉系統(tǒng)之間建立的一個(gè)通信系統(tǒng)。這可以為四肢殘疾動(dòng)物但具有正常思維和意識的患者提供一種新的外部信息交流方式，并為需要特殊技能的患者（如控制智能座椅、機(jī)器和移動(dòng)機(jī)械手）和能夠控制好人（例如控制老鼠、打字、瀏覽網(wǎng)站等）的人提供廣泛的應(yīng)用前景。近年來，利用eeg控制智能座椅已成為國內(nèi)外數(shù)千家bci研究的熱點(diǎn)。目前大多文獻(xiàn)都只研究了左右手運(yùn)動(dòng)想象這兩類腦電信號,雖然其識別率都在90%以上,但對于三類及以上的運(yùn)動(dòng)想象腦電信號的識別率卻仍然較低.而已有的報(bào)道也只能控制智能輪椅左轉(zhuǎn)和右轉(zhuǎn).對此,本文提出了一種基于腦電α/β波的智能輪椅人機(jī)交互方法.利用閉眼放松的腦電信號的α波控制智能輪椅前進(jìn),左右手運(yùn)動(dòng)想象腦電信號的β波控制智能輪椅左轉(zhuǎn)和右轉(zhuǎn);同時(shí),為了提高左右手運(yùn)動(dòng)想象腦電信號的識別率,還提出了一種帶懲罰的RCSP特征提取算法.最后通過實(shí)驗(yàn)驗(yàn)證,得到各個(gè)受試者控制智能輪椅的平均正確率都大于85%,且最大正確率高達(dá)89.17%.各個(gè)受試者都能較好地控制智能輪椅完成一個(gè)“8”字形的固定軌跡,表明了該人機(jī)交互方法的可行性.1基于大腦的智能椅引擎1.1腦電采集電路設(shè)計(jì)基于腦電的智能輪椅人機(jī)交互系統(tǒng)如圖1所示.系統(tǒng)主要包括腦電信號采集系統(tǒng)、上位機(jī)、下位機(jī)、驅(qū)動(dòng)系統(tǒng)、智能輪椅、反饋系統(tǒng)和無線通信系統(tǒng)等.上位機(jī)是一臺筆記本電腦,主要對采集的腦電信號進(jìn)行處理(包括預(yù)處理、特征提取和特征分類),進(jìn)而識別出不同的腦電信號.將識別結(jié)果通過通信系統(tǒng)傳輸給下位機(jī),通信方式為無線通信.下位機(jī)是RAM系統(tǒng),主要把上位機(jī)的識別結(jié)果轉(zhuǎn)換成相應(yīng)的運(yùn)動(dòng)指令,進(jìn)而通過驅(qū)動(dòng)系統(tǒng)控制智能輪椅運(yùn)動(dòng).本文采集腦電信號所使用的腦電采集儀如圖2所示,其采樣頻率為128Hz.電極是按照國際10-20標(biāo)準(zhǔn)電極安放法安放,其安放位置如圖3所示,其中CMS和DRL為參考電極;F7,P7和T7等為通道.1.2腦電腦電控制流程人在想象單側(cè)手運(yùn)動(dòng)時(shí),其對側(cè)相應(yīng)初級感覺運(yùn)動(dòng)皮層區(qū)的腦電β(14～30Hz)波幅值降低,這種現(xiàn)象稱為事件相關(guān)去同步(event-relateddesynchronization,ERD);而同側(cè)腦電β波幅度升高,稱為事件相關(guān)同步(event-relatedsynchronization,ERS).人在閉眼放松時(shí),腦電α波的幅值將升高,而睜眼思考問題時(shí),腦電α波的幅值將降低,甚至消失,這種現(xiàn)象稱為α波阻斷(αblock),尤其大腦枕區(qū)的α波最明顯.因此,本文利用左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象和閉眼放松的腦電信號來控制智能輪椅前進(jìn)、左轉(zhuǎn)和右轉(zhuǎn).控制流程如下.步驟1判斷是否開始保存腦電信號.由于腦電采集儀一直在采集受試者的腦電信號,因此為了能從采集的腦電信號中提取出受試者進(jìn)行規(guī)定動(dòng)作的腦電信號,首先設(shè)定了一個(gè)是否開始保存腦電信號判斷信號,其判斷信號通過咬牙來產(chǎn)生.當(dāng)人咬牙時(shí),會(huì)帶動(dòng)面部肌肉運(yùn)動(dòng),這樣會(huì)使腦電采集儀的F7通道產(chǎn)生一個(gè)脈沖信號,這個(gè)脈沖信號就是判斷信號,如圖4所示.步驟2保存有效腦電信號.當(dāng)檢測到這個(gè)脈沖信號時(shí),程序就開始保存采集的腦電信號.同時(shí),受試者將聽到一個(gè)聲音提示.在聽到聲音提示后,受試者將執(zhí)行規(guī)定的動(dòng)作(閉眼放松或想象左右手運(yùn)動(dòng)),這樣就將保存到有效的腦電信號.為了提高想象左右手運(yùn)動(dòng)的識別率,受試者在進(jìn)行想象左右手運(yùn)動(dòng)時(shí),其眼球也相應(yīng)地左右移動(dòng),這樣會(huì)使兩類腦電信號具有更大的差別.本文保存腦電信號的持續(xù)時(shí)間為2s,但只取后1s的數(shù)據(jù)進(jìn)行處理,前1s是受試者進(jìn)行規(guī)定動(dòng)作的一個(gè)反應(yīng)時(shí)間.步驟3上位機(jī)對腦電信號進(jìn)行識別.在腦電信號保存完畢后,受試者又將聽到一個(gè)聲音提示,這時(shí)受試者停止執(zhí)行規(guī)定的動(dòng)作(閉眼放松或想象左右手運(yùn)動(dòng)),并使自己保持睜眼放松狀態(tài),等待上位機(jī)對腦電信號進(jìn)行識別.其識別過程是:先通過腦電α波識別出閉眼放松腦電信號,然后通過腦電β波識別出左右手運(yùn)動(dòng)想象腦電信號.步驟4通過腦電信號的識別結(jié)果,控制智能輪椅.本文設(shè)定的控制方式為閉眼腦電信號控制輪椅前進(jìn),左手運(yùn)動(dòng)想象腦電信號控制輪椅左轉(zhuǎn),右手運(yùn)動(dòng)想象腦電信號控制輪椅右轉(zhuǎn).步驟5停止智能輪椅.在輪椅運(yùn)動(dòng)方向與自己期望運(yùn)動(dòng)方向不一致時(shí)或輪椅運(yùn)動(dòng)到期望位置時(shí),受試者可利用圖4的脈沖信號控制智能輪椅停止.當(dāng)輪椅停止時(shí),程序返回到步驟1,等待下一次命令.1.3左、右、嘴唇運(yùn)動(dòng)想象腦信號在實(shí)時(shí)控制智能輪椅之前,必須對受試者進(jìn)行訓(xùn)練.本文將采用離線的方式對受試者進(jìn)行訓(xùn)練,并設(shè)計(jì)受試者識別自己腦電信號的分類器.選取3個(gè)健康受試者(S1,S2和S3,年齡范圍22～24歲),分別采集他們的左右手運(yùn)動(dòng)想象腦電信號(同時(shí)眼球進(jìn)行相應(yīng)的左右移動(dòng))和閉眼放松的腦電信號.每一次數(shù)據(jù)記錄過程如下:在實(shí)驗(yàn)開始(t=0s)時(shí),受試者靜坐在椅子上,并保持放松狀態(tài);t=2s時(shí),受試者將聽到一個(gè)左手、右手或閉眼的聲音,受試者進(jìn)行相應(yīng)的想象左手、右手運(yùn)動(dòng)或閉眼放松;當(dāng)t=4s時(shí),受試者進(jìn)行短暫的休息,并準(zhǔn)備下次實(shí)驗(yàn).整個(gè)實(shí)驗(yàn)過程中,每個(gè)受試者將對每類任務(wù)進(jìn)行60次實(shí)驗(yàn).本文將選取實(shí)驗(yàn)第3s到第4s時(shí)間段的腦電數(shù)據(jù)作為實(shí)驗(yàn)樣本.因此每組樣本有128個(gè)數(shù)據(jù).圖5和圖6是一名受試者想象左右手運(yùn)動(dòng)和閉眼放松時(shí)FC5和O1這兩個(gè)通道的腦電信號波形圖.2腦電阻的識別想象左手、右手運(yùn)動(dòng)和閉眼放松這三類腦電信號的識別過程是:首先通過腦電α波識別出閉眼放松腦電信號,然后通過腦電β波識別出左右手運(yùn)動(dòng)想象腦電信號.2.1基于東南角小波基函數(shù)的有限層分解由于大腦枕區(qū)的腦電α波對人睜閉眼的差別最明顯,因此本文將利用O1通道的腦電信號來識別閉眼放松腦電信號,所使用的特征提取和特征分類方法分別是小波變換和閾值法.設(shè)x(n)表示實(shí)驗(yàn)采集的腦電離散信號,則x(n)的離散小波變換定義為Cj,k=2-j/2∞∑n=-∞x(n)ˉψj,k(2-jn-k)=?x(n),ψj,k?(j,k∈Ζ),(1)Cj,k=2?j/2∑n=?∞∞x(n)ψˉˉj,k(2?jn?k)=?x(n),ψj,k?(j,k∈Z),(1)式中:ψ(n)為小波基函數(shù);j和k分別為分解尺度和平移量.采用Mallat算法,對信號進(jìn)行有限層分解,即x(n)=AL+L∑j=1Dj,(2)x(n)=AL+∑j=1LDj,(2)式中:L為分解層數(shù);AL為低通逼近分量;Dj為不同尺度下的細(xì)節(jié)分量.設(shè)信號x(n)的采樣頻率為fs,則式(2)中的AL,DL,DL-1,…,D1各分量所對應(yīng)的子頻帶依次為[0,fs2L+1],[fs2L+1,fs2L],[fs2L,fs2L-1],?,[fs22,fs2].[0,fs2L+1],[fs2L+1,fs2L],[fs2L,fs2L?1],?,[fs22,fs2].將信號進(jìn)行小波分解時(shí),分解的層數(shù)將視具體信號的有用成分和采樣頻率而定.本文分析的腦電信號的采樣頻率為128Hz,信號的有用成分是8～13Hz的α波.選用db2小波對腦電信號進(jìn)行3層分解,即x(n)=A3+D3+D2+D1,各分量對應(yīng)的子頻帶見表1.由于小波系數(shù)能表達(dá)信號在時(shí)域和頻域的能量分布,因此由表1可知小波系數(shù)D3(8～16Hz)能反映出腦電α波的時(shí)域和頻域特征,從而可以選擇O1通道的腦電信號的小波系數(shù)D3的絕對值的和作為特征值.記LO1,RO1和CO1分別表示受試者進(jìn)行想象左手運(yùn)動(dòng)、想象右手運(yùn)動(dòng)和閉眼放松時(shí)的特征值,則3個(gè)受試者的60組樣本的特征值分布如圖7所示.從圖7可以看出,可以采用閾值法來識別閉眼腦電信號,3個(gè)受試者的閾值可分別設(shè)定為θS1=160,θS2=50和θS3=60.2.2通道懲罰參數(shù)的確定本文將使用F3,F4,FC5,FC6,T7和T8通道的腦電信號來識別左右手運(yùn)動(dòng)想象腦電信號.其特征提取算法是小波變換和本文提出的一種帶懲罰的RCSP算法,分類算法是支持向量機(jī)(supportvectormachine,SVM).在左右手運(yùn)動(dòng)想象腦電信號的識別中,共空間模式(commonspatialpattern,CSP)是最有效的特征提取方法之一,其目的是尋求最優(yōu)空間濾波器w,使得兩類腦電信號的方差中心的比值最大.RCSP算法是一類改進(jìn)的CSP算法,而WTRCSP(CSPwithtikhonovregularization)是效果最好的RCSP算法,能很好地克服CSP在小的樣本下,對離群點(diǎn)(如噪聲)敏感、魯棒性不好的缺點(diǎn).文獻(xiàn)中的WTRCSP算法的目標(biāo)函數(shù)為J(w)=wΤXΤ1X1wwΤXΤ2X2w+εΡ(w)=wΤC1wwΤC2w+εΡ(w),(3)J(w)=wTXT1X1wwTXT2X2w+εP(w)=wTC1wwTC2w+εP(w),(3)式中:X1,X2∈Rn×N表示兩類腦電信號(如想象左手運(yùn)動(dòng)和想象右手運(yùn)動(dòng)的腦電信號),n是腦電采集時(shí)每個(gè)通道的采樣點(diǎn)數(shù),N是采集腦電信號的通道數(shù);C1,C2∈RN×N為各類腦電信號的協(xié)方差均值;w∈RN×1為X1類腦電信號的最佳空間濾波器;ε為自定義參數(shù);懲罰函數(shù)P(w)=wTHw,H=diag(h1,h2,…,hN),hi表示通道i的懲罰參數(shù),i=1,2,…,N.由文獻(xiàn)知:WRTCSP的最優(yōu)空間濾波器是矩陣(C2+εH)-1C1和(C1+εH)-1C2的最大特征值所對應(yīng)的特征向量.在WTRCSP算法中,其目標(biāo)受試者各通道的懲罰參數(shù)由其他受試者的腦電信號確定,而不同受試者的腦電信號具有較大的差異,因此使用其他受試者的腦電信號不能真正地表示出目標(biāo)受試者各通道的懲罰.為此,本文提出了一種使用受試者自己的腦電信號來確定各通道懲罰的方法,其具體步驟如下.步驟1把采集腦電信號的所有通道進(jìn)行分組.分組方法是把左半腦和右半腦所對應(yīng)的兩個(gè)通道分為一組,中間所有通道為一組.為了便于理解,選擇F3,F4,FC5,FC6,T7和T8通道為例進(jìn)行分組說明.設(shè)定通道F3和F4,FC5和FC6,T7和T8分別為第1,2,3組.步驟2利用CSP算法和受試者自己的訓(xùn)練樣本計(jì)算各組通道的識別率,利用獲得的識別率,確定各個(gè)通道的懲罰.首先把訓(xùn)練樣本分為兩組,分別稱為子訓(xùn)練樣本和子測試樣本;然后利用CSP算法對每組通道的腦電信號進(jìn)行特征提取;最后使用支持向量機(jī)對每組通道的腦電信號進(jìn)行分類,得到各組通道的識別率.記第j組通道的識別率為rj(j=1,2,3).一般地,一組通道的識別率越高,說明這組通道越重要,其懲罰應(yīng)該越小,因此可定義第j組通道的懲罰參數(shù)為pj=[(r1+r2+r3)/rj]2.(4)pj=[(r1+r2+r3)/rj]2.(4)步驟3由式(4)得懲罰函數(shù)Ρ(w)=wΤGw,(5)P(w)=wTGw,(5)式中G=diag(gF3,gF4,gFC5,gFC6,gT7,gT8),gF3=gF4=p1,gFC5=gFC6=p2,gT7=gT8=p3.由式(3)和(5)知:X1和X2兩類腦電信號的最優(yōu)空間濾波器是矩陣(C2+εG)-1C1和(C1+εG)-1C2的最大特征值所對應(yīng)的特征向量.設(shè)矩陣(C2+εG)-1C1和(C1+εG)-1C2的特征向量排列方式是按對應(yīng)特征值的降序方式排列,則可取矩陣(C2+εG)-1C1和(C1+εG)-1C2的前m列特征向量作為腦電信號的空間濾波器,分別記為?ww?l和?ww?l,且?ww?l,?ww?l∈RN×1,其中l(wèi)=1,2,…,m.對于一次實(shí)驗(yàn)任務(wù)的腦電信號X通過兩個(gè)濾波器后變?yōu)?Ζl=X?wlZ?l=Xw?l和?Ζl=X?wl.因此,利用本文提出的帶懲罰的RCSP算法提取的腦電信號的特征為fl=lg[?ΖΤl?Ζl/(?ΖΤl?Ζl)].(6)在使用本文提出的帶懲罰的RCSP特征提取算法之前,首先使用小波變換對左右手運(yùn)動(dòng)想象腦電信號進(jìn)行處理,得到對應(yīng)于腦電β波的小波系數(shù)D2,而RCSP算法的輸入X1和X2由各個(gè)通道的D2組成.從而根據(jù)式(5),計(jì)算出的3個(gè)受試者各組通道的懲罰參數(shù)見表2.根據(jù)式(6),對左右手運(yùn)動(dòng)想象腦電信號進(jìn)行特征提取,其中選取m=3,ε=0.1.最后利用提取的特征值對SVM進(jìn)行訓(xùn)練,進(jìn)而獲得每個(gè)受試者識別各自的左右手運(yùn)動(dòng)想象腦電信號的分類器.3控制智能座椅3.1車輪和理高度區(qū)的腦組成特征3個(gè)受試者分別控制智能輪椅左轉(zhuǎn)、右轉(zhuǎn)和前進(jìn)各40次,識別結(jié)果見表3.從表3可以看出:3個(gè)受試者控制智能輪椅的平均正確率(三類腦電信號的識別率均值)都大于85%,且最高正確率高達(dá)89.17%.而文獻(xiàn)對想象左臂和右臂運(yùn)動(dòng)的兩類腦電信號在線識別率僅為80%;文獻(xiàn)中對想象左手和右手運(yùn)動(dòng)的兩類腦電信號的在線識別率為89.5%.可見:本文提出的算法對三類腦電信號的識別率已經(jīng)接近傳統(tǒng)方法對兩類運(yùn)動(dòng)想象腦電信號的識別率.3.2智能車輪軌跡設(shè)定智能輪椅的移動(dòng)速度為60mm/s,受試者分別使用腦電信號和鍵盤控制智能輪椅走如圖8所示的固定軌跡,每個(gè)受試者分別對每種控制方式進(jìn)行5次重復(fù)試驗(yàn),其軌跡如圖9～圖11所示(x為橫向位移,y為縱向位移).可以看出:用腦電控制智能輪椅