利用Wifi信號按鍵識別算法

1、Keystroke Recognition Using WiFi Signals利用利用Wifi信號的按鍵識別方法信號的按鍵識別方法熊正強2015.11.171 目錄目錄l研究背景l(fā)核心思想和系統(tǒng)基本架構(gòu)l技術(shù)挑戰(zhàn)l相關(guān)工作l系統(tǒng)評測l總結(jié)和體會2 研究背景研究背景n隨著互聯(lián)網(wǎng)的快速發(fā)展和信息化程度的不斷提高，互聯(lián)網(wǎng)深刻影響著政治、經(jīng)濟、文化等各個方面，保障信息安全的重要性日益凸顯，加強對互聯(lián)網(wǎng)上各類信息的管理應(yīng)引起高度重視。n按鍵（Keystroke）隱私在確保計算機系統(tǒng)安全和用戶人隱私方面的作用尤為關(guān)鍵。因為用戶用鍵盤正在輸入的可能是一串密碼或者其他極為隱私的敏感信息內(nèi)容。n在此基礎(chǔ)上，文

2、章首次提出了借助Wifi信號來識別按鍵的方法。并提出了一種基于Wifi信號的按鍵識別系統(tǒng)，文章中稱之為Wikey系統(tǒng)。這種Wikey系統(tǒng)可以借助兩個目前市場上可買到的Wifi裝置來實現(xiàn)：一個信號發(fā)射器（比如Wifi路由器），一個信號接收器（比如一臺筆記本電腦）就可以組成一個簡單的Wikey系統(tǒng)。3核心思想和系統(tǒng)基本架構(gòu)核心思想和系統(tǒng)基本架構(gòu)l核心思想：每個鍵的按鍵都會給Wifi信號引入對應(yīng)的多徑失真，這種獨特性可以被用來識別按鍵。當某個人按下某一個特定的按鍵時，該用戶的雙手以及手指會按照某種特定的形式和方向移動，并因此會形成一種特殊的模式。這種模式可以用一組記載信道狀態(tài)信息值（Channel

3、State Information（CSI）的時間序列表示，文章中將此定義為該特定按鍵下的CSI-波形。4核心思想和系統(tǒng)基本架構(gòu)核心思想和系統(tǒng)基本架構(gòu)l系統(tǒng)基本架構(gòu)：文章首次提出了一種基于Wifi信號的按鍵識別系統(tǒng)-Wikey系統(tǒng)。Wikey系統(tǒng)有兩個市場上可買到的Wifi設(shè)備組成：一個發(fā)射器（比如無線路由器），一個接收器（比如一臺筆記本電腦）。發(fā)射器連續(xù)的發(fā)射Wifi信號，接收器連續(xù)的接收。當一個人在鍵盤上按鍵時，在Wikey系統(tǒng)接收端會根據(jù)信道狀態(tài)信息值（CSI）的改變來識別按鍵。The senderThe receiver5 技術(shù)挑戰(zhàn)技術(shù)挑戰(zhàn)n 第一個技術(shù)難題是：分離出信道狀態(tài)信息值（C

4、SI）的時間序列，并分辨出每次按鍵動作的開始時間點和終止時間點。n 第二個技術(shù)難題是：如何提取37個按鍵（10個數(shù)字，26個字母和一個空格鍵）的不同特征，并建立對應(yīng)的分類模型。n 第三個技術(shù)難題是：如何在相鄰按鍵所產(chǎn)生的CSI值接近的情況下，比較出任意兩個不用按鍵的區(qū)別，也是能否正確識別按鍵的關(guān)鍵。6 相關(guān)工作相關(guān)工作新理念：新理念：Device-Free Activity RecognitionDevice-Free Activity Recognition（不（不借助特定設(shè)備的人類活動識別）。借助特定設(shè)備的人類活動識別）。The WiKey system using COTS device

5、s： i.e. a TP-Link TL-WR1043ND WiFi router and a Lenovo X200 laptop with Intel 5300 WiFi NIC.利用從這些設(shè)備的網(wǎng)卡上（such as ：Intel 5300 and Atheros 9390）獲取的CSI值，可以識別人的活動甚至進行定位。不需要借助任何特定的硬件或者軟件無線電（SDR）。 7 相關(guān)工作：相關(guān)工作：CHANNEL STATE INFORMATIONCHANNEL STATE INFORMATION（CSICSI）現(xiàn)代的Wifi設(shè)備都支持IEEE 802.11n/ac標準，通常都有多對發(fā)射和接

6、收天線，因此都支持MIMO通信，而每一個MIMO信道都包含了很多不同的載波。這些無線設(shè)備會不斷地監(jiān)視無線信道的狀態(tài)來高效的對每個單獨的MIMO數(shù)據(jù)流進行功率分配和速率調(diào)整。這樣一來Wifi信道的容量就能被最大化的利用。這些設(shè)備會將信道的狀態(tài)以CSI值的形式量化-而這些CSI值基本代表了每組載波在發(fā)射端和接收端之間的信道頻率響應(yīng)（CFR）的特點。 8 相關(guān)工作：相關(guān)工作：CHANNEL STATE INFORMATIONCHANNEL STATE INFORMATION（CSICSI） 9MT代表發(fā)射天線的數(shù)量MR代表接收天線的數(shù)量SC代表OFDM載波數(shù)量Xi代表發(fā)射信號矢量Yi代表接收信號矢量

7、Ni代表噪聲矢量在上面的等式中， 階信道矩陣Hi 代表的就是載波i對應(yīng)的信道狀態(tài)信息（CSI）。任何兩個通信中的Wifi設(shè)備都會通過定期的彼此發(fā)送一段已知的OFDM符號前綴來估計每組載波的信道狀態(tài)矩陣Hi。本文選取的Intel 5300 WiFi NIC使用30組OFDM載波，并且工作在20MHz無線信道中。TRMM 相關(guān)工作：相關(guān)工作：噪聲去除噪聲去除因為頻繁的切換內(nèi)部CSI參考等級，發(fā)射功率等級和傳輸速率，商用的Wifi網(wǎng)卡所提供的CSI數(shù)據(jù)不可避免的會有噪聲。要用CSI值來識別按鍵，就必須先要從CSI時間序列中移除噪聲。為此，Wikey系統(tǒng)會首先將CSI時間序列送入低通濾波器中來移除高頻

8、噪聲。但是簡單的低通濾波器無法有效地濾除噪聲，而嚴格的低通濾波器會在移除噪聲的同時造成信號中有用信息的損失。因此，Wikey系統(tǒng)對濾波后的序列又運用了主成分分析（Principal Component Analysis (PCA) )，從信號中提取了只包含由手部的運動所引起的變化信息。 10 相關(guān)工作：相關(guān)工作：低通濾波低通濾波Wikey系統(tǒng)對所有載波的系統(tǒng)對所有載波的CSI時間序列都進行了巴特沃茲濾波：時間序列都進行了巴特沃茲濾波： 11（a）是一次按鍵所產(chǎn)生的原始CSI時間序列幅度波形圖，（b）是濾波后的CSI時間序列波形圖?？梢钥闯鐾ㄟ^巴特沃茲濾波成功的濾除了大部分突變噪聲。 相關(guān)工作：

9、相關(guān)工作：主成分分析（主成分分析（PCAPCA）作者通過多次實驗發(fā)現(xiàn)當用戶的手部和手指運動時，會導(dǎo)致每對發(fā)射作者通過多次實驗發(fā)現(xiàn)當用戶的手部和手指運動時，會導(dǎo)致每對發(fā)射-接收天線對之間的所接收天線對之間的所有載波上的有載波上的CSI時間序列相關(guān)性的變化：時間序列相關(guān)性的變化： 12Wikey系統(tǒng)會權(quán)衡系統(tǒng)會權(quán)衡這些變化的相關(guān)性，這些變化的相關(guān)性，計算出整個整個計算出整個整個CSI時間序列的主時間序列的主要成分，并且從這要成分，并且從這些主要成分中篩選些主要成分中篩選出那些最能代表整出那些最能代表整個個CSI時間序列普時間序列普遍變化的主要成分。遍變化的主要成分。 相關(guān)工作：相關(guān)工作：解決問題解

10、決問題1 1：分辨出每次按鍵動作的：分辨出每次按鍵動作的開始時間點開始時間點和和終終止時間點止時間點13現(xiàn)有的方法都是使用簡單的閾值算法來判斷一項動作的開始時間點和結(jié)束時間點，這些方法對于一些宏觀運動很有效果，但是對于例如手指按鍵盤這種時間間隔很小的連續(xù)操作往往不奏效。與傳統(tǒng)方法使用簡單閾值不同，本文提出了一種嚴格基于實驗觀測出的按鍵波形形狀的新算法，具有更高的識別率。通過實驗觀測發(fā)現(xiàn)，每一個按鍵產(chǎn)生的CSI序列都表現(xiàn)出某種類似于下圖的特定變化率的上升或下降的趨勢。本文的算法在此基礎(chǔ)上，使用滑動窗來檢測CSI時間序列的上升/下降趨勢，從而判斷出按鍵動作的開始/結(jié)束時間點。 相關(guān)工作：相關(guān)工作：

11、 14首先，計算序列的每個值在寬度為W的窗內(nèi)的平均絕對值誤差（MAD）將第一步中求得的所有MAD值求和，算出長度為p的序列的綜合變化尺度將第二部求出的 和經(jīng)驗閾值Thresh進行比較比較當前的j和上一個狀態(tài)的j-1重復(fù)上述4個過程，直到變化率iu和du超過設(shè)定閾值拿開始到結(jié)束這段時間段內(nèi)時間序列的總能量和總能量閾值做比較相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛榱藚^(qū)分不同的按鍵，我們必須提取出能夠獨立的代表為了區(qū)分不同的按鍵，我們必須提取出能夠獨立的代表某個按鍵的特征：某個按鍵的特征：1516表一中可以看出，相鄰的按鍵的很多特征值其實是幾乎一樣的，完全達不到區(qū)表一中可以看

12、出，相鄰的按鍵的很多特征值其實是幾乎一樣的，完全達不到區(qū)分不同按鍵的目的。雖然一些像分不同按鍵的目的。雖然一些像EnergyEnergy，ZeroZero CrossingsCrossings的特征量看起來是有一定的特征量看起來是有一定差異性的，但是從表二可以看出這些量因為使用者的不同具有很大隨機性。鑒于此。差異性的，但是從表二可以看出這些量因為使用者的不同具有很大隨機性。鑒于此。以上統(tǒng)計特征不能拿來作為建立分類器的標準。以上統(tǒng)計特征不能拿來作為建立分類器的標準。而單純的頻域分析也不可行，因為不同按鍵在頻域的組成成分十分接近。并且，而單純的頻域分析也不可行，因為不同按鍵在頻域的組成成分十分接近

13、。并且，單純的頻域分析會丟失波形的時域信息。單純的頻域分析會丟失波形的時域信息。相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提取：特征提取17通過實驗觀測發(fā)現(xiàn)，不同按鍵的波形形狀有很大的不同，如上圖（通過實驗觀測發(fā)現(xiàn)，不同按鍵的波形形狀有很大的不同，如上圖（a a），），圖（圖（b b）所示。）所示。按鍵產(chǎn)生的波形的形狀，既保留了信號的時域信息，又包含了信號的按鍵產(chǎn)生的波形的形狀，既保留了信號的時域信息，又包含了信號的頻率信息，因此更加適合被用作建立分類器的特征。頻率信息，因此更加適合被用作建立分類器的特征。相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?8直接用提取的按鍵

14、波形形狀作為按鍵的特征來建立分類器的過程中會付直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會付出很大的計算代價，因為每一次按鍵對應(yīng)的波形都有幾百個數(shù)據(jù)點。出很大的計算代價，因為每一次按鍵對應(yīng)的波形都有幾百個數(shù)據(jù)點。因此，文章選用離散小波變換（因此，文章選用離散小波變換（ Discrete Wavelet Transform -DWT Discrete Wavelet Transform -DWT）在保留了時域特征和頻域特征的同時，壓縮了提取出的按鍵波形數(shù)據(jù)量。在保留了時域特征和頻域特征的同時，壓縮了提取出的按鍵波形數(shù)據(jù)量。任一離散信號任一離散信號ynyn的離散小波變換可以寫成小波

15、基函數(shù)的形式：的離散小波變換可以寫成小波基函數(shù)的形式：相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?9直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會付直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會付出很大的計算代價，因為每一次按鍵對應(yīng)的波形都有幾百個數(shù)據(jù)點。出很大的計算代價，因為每一次按鍵對應(yīng)的波形都有幾百個數(shù)據(jù)點。因此，文章選用離散小波變換（因此，文章選用離散小波變換（ Discrete Wavelet Transform -DWT Discrete Wavelet Transform -DWT）在保留了時域特征和頻域特征的同時，壓縮了提取出的按

16、鍵波形數(shù)據(jù)量。在保留了時域特征和頻域特征的同時，壓縮了提取出的按鍵波形數(shù)據(jù)量。任一離散信號任一離散信號ynyn的離散小波變換可以寫成小波基函數(shù)的形式：的離散小波變換可以寫成小波基函數(shù)的形式：相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?0為了有效地完成數(shù)據(jù)壓縮，必須合理的選擇小波基地。文章比較了兩種不同的小波濾波器Daubechies and Symlets。最終選擇了Daubechies 小波濾波器，因為使用這種濾波器時分類器具有更高的識別率.相關(guān)工作：相關(guān)工作：解決問題解決問題3 3：分類：分類21在獲取了基于DTW的按鍵波形形狀特征之后，Wikey系統(tǒng)會針對不同的按鍵特

17、征進行訓(xùn)練，并生成分類模型。這里，文章中選取了著名的dynamic time warping (DTW)算法。DTW算法是一種可以獲取任意兩個矢量（或者波形）之間最短校準距離的動態(tài)調(diào)整算法。 選取參數(shù)：local path constraints of 27, 45, and 63 degrees while determining minimum cost warping path between two waveforms。相關(guān)工作：相關(guān)工作：解決問題解決問題3 3：分類：分類22對上述提取的按鍵波形特征進行DTW分析，發(fā)現(xiàn)a中不同的用戶鍵入“i”的DTW距離是18.79，b中，不同用戶鍵

18、入“o”的DTW距離是19.44。但是，a和b之間的平均DTW距離是44.2。系統(tǒng)評測系統(tǒng)評測23按鍵動作監(jiān)測實驗：越黑代表丟失率高。按鍵動作監(jiān)測實驗：越黑代表丟失率高。10位參與測試者位參與測試者的平均按鍵識別率為的平均按鍵識別率為97.5%。系統(tǒng)評測系統(tǒng)評測24按鍵識別率實驗：選擇了按鍵識別率實驗：選擇了10位參與者進行實驗，將按鍵與位參與者進行實驗，將按鍵與Wikey系統(tǒng)里已經(jīng)訓(xùn)練好的訓(xùn)練樣本庫（每個按鍵的訓(xùn)練樣本系統(tǒng)里已經(jīng)訓(xùn)練好的訓(xùn)練樣本庫（每個按鍵的訓(xùn)練樣本點數(shù)為點數(shù)為30）進行匹配，并對識別率進行統(tǒng)計。）進行匹配，并對識別率進行統(tǒng)計。10位參與者的位參與者的A-Z的的26個字母的平

19、均按鍵識別率為個字母的平均按鍵識別率為83.46%，所有，所有37個按鍵個按鍵的平均識別率為的平均識別率為82.87%。系統(tǒng)評測系統(tǒng)評測25按鍵識別率實驗：按鍵識別率實驗：Wikey系統(tǒng)訓(xùn)練樣本庫里每個按鍵的訓(xùn)系統(tǒng)訓(xùn)練樣本庫里每個按鍵的訓(xùn)練樣本點數(shù)從練樣本點數(shù)從30提高到提高到80后，識別率有顯著提升。后，識別率有顯著提升。A-Z的平均的平均識別率從識別率從83.46%提高到提高到96.4%，全部，全部37個按鍵的平均識別率個按鍵的平均識別率也從也從82.87%提高到提高到89.7%。系統(tǒng)評測系統(tǒng)評測26按鍵識別率實驗：對簡單的句子按鍵輸入進行實驗，按鍵識別率實驗：對簡單的句子按鍵輸入進行實驗，10位位參與者的平均識別率為參與者的平均識別率為77.43%。系統(tǒng)評測系統(tǒng)評測27按鍵識別率實驗：將按鍵識別率實驗：將Wikey系統(tǒng)樣本庫中每個按鍵的樣本系統(tǒng)樣本庫中每個按鍵的樣本點數(shù)量從點數(shù)量從30個提高到個提高到80個之后，個之后，10位參與者的平均識別率也位參與者的平均識別率也有顯著提升：從有顯著提升：從77.43%提升到提升到93.47%。由