2022電力信息物理系統(tǒng)入侵容忍能力評估方法

電力信息物理系統(tǒng)入侵容忍能力評估方法引言隨著信息通信技術(shù)的發(fā)展，傳統(tǒng)電力系統(tǒng)的物理電氣設(shè)備逐漸與網(wǎng)絡(luò)設(shè)備(如控制、監(jiān)控、計算和通信設(shè)備)相結(jié)合，逐漸演化為電力信息物理系統(tǒng)（cyber-physicalpowersystem,CPPS）[1]。因此，來自信息網(wǎng)絡(luò)的攻擊正在不斷對CPPS造成新的威脅與挑戰(zhàn)，與常規(guī)僅僅停留在信息層面的網(wǎng)絡(luò)攻擊不同，對CPPS的網(wǎng)絡(luò)攻擊可能會對工業(yè)控制系統(tǒng)的物理過程造成破壞，導(dǎo)致工業(yè)過程停工或嚴(yán)重的傷亡事故[2-3]。例如，2015年攻擊者使用惡意郵箱攻擊烏克蘭電網(wǎng)控制中心，植入BlackEnergy病毒，配合DDOS攻擊導(dǎo)致烏克蘭電網(wǎng)大規(guī)模停電[4-5]。CPPS遭受網(wǎng)絡(luò)攻擊時的后果往往達(dá)到災(zāi)難級別，目前對于CPPS遭受網(wǎng)絡(luò)攻擊時的入侵容忍能力要求越來越高。在CPPS網(wǎng)絡(luò)安全問題越來越突出的情況下，建立一種針對CPPS的網(wǎng)絡(luò)可靠性模型以評估

CPPS的入侵容忍能力，并據(jù)此建立有效的防御體系是降低網(wǎng)絡(luò)攻擊影響的關(guān)鍵手段67。針對CPPS的信息物理融合的可靠性建模方法，國內(nèi)外已做了很多相關(guān)工作。文獻(xiàn)[8]從研究對象演化和研究方法層面對CPPS的可靠性評估研究展開綜述，提出了信息物理融合視角下CPPS可靠性評估的研究思路和關(guān)鍵問題。文獻(xiàn)[9]建立了一種電力-信息交互模型，探究電力信息物理系統(tǒng)交互機(jī)理及其對可靠性評估帶來的影響。文獻(xiàn)[10]主要考慮在信息失效威脅條件下的CPPS可靠性評估方法。文獻(xiàn)[11]提出了一種將CPPS物理特性和信息流性能耦合在一個兩層模型中的復(fù)合馬爾可夫模型，在流量層面評估電力系統(tǒng)的可靠性。文獻(xiàn)[12]提出了一種考慮最優(yōu)防御資源配置的電力系統(tǒng)可靠性網(wǎng)絡(luò)安全保險模型，將CPPS的可靠性以保險的形式報價評估。文獻(xiàn)[13]基于蒙特卡洛方法，對信息系統(tǒng)和物理系統(tǒng)的可靠性進(jìn)行評價并建立可靠性評估測試系統(tǒng)，分析了網(wǎng)絡(luò)故障對可靠性的影響。文獻(xiàn)[14]建立一種可靠性模型以捕獲來自物理和信息組件的損害并評估組件之間的信息物理相互依賴的影響。現(xiàn)有的CPPS可靠性評估方法存在簡化甚至缺少信息層面的建模過程的問題，在可靠性分析中很少涉及網(wǎng)絡(luò)空間模型的細(xì)節(jié)[15-18]。本文提出了一種CPPS入侵容忍能力評估方法，以半馬爾可夫鏈（semi-markovchain，SMC）[12]為基礎(chǔ)對高級可持續(xù)威脅（APT）攻擊進(jìn)行建模，具體分析來自網(wǎng)絡(luò)層面的攻擊對CPPS的破壞滲透過程。并利用隨機(jī)博弈理論模型動態(tài)描述CPPS中攻防雙方的交互過程，預(yù)測納什均衡下攻擊者的最優(yōu)進(jìn)攻策略，確定應(yīng)對惡意攻擊的最佳防御策略。最后以某CPPS安全試驗場為例仿真驗證了入侵容忍能力評估方法的有效性。本工作有如下創(chuàng)新貢獻(xiàn)。）為深入細(xì)致地描述來自網(wǎng)絡(luò)層面的攻擊對CPPS的滲透過程，本文以網(wǎng)絡(luò)攻擊中的APT攻擊鏈為基礎(chǔ)構(gòu)建半馬爾可夫鏈模型，具體詳細(xì)地刻畫APT攻擊的每一階段。）以隨機(jī)博弈為基礎(chǔ)動態(tài)描述CPPS中攻防雙方的交互過程，采用強(qiáng)化學(xué)習(xí)算法求解納什均衡，預(yù)測攻擊者在APT攻擊中的最優(yōu)進(jìn)攻策略，制定最優(yōu)防御策略。）提出了一種CPPS入侵容忍能力評估方法，在有限防御資源條件下提出了一種最優(yōu)資源分配方案，為高可靠性CPPS網(wǎng)絡(luò)的防御機(jī)制設(shè)計提供一定借鑒。CPPS網(wǎng)絡(luò)架構(gòu)與滲透模型典型的電力工業(yè)控制系統(tǒng)具有明顯的分層結(jié)構(gòu)，可分為網(wǎng)絡(luò)層與物理層，網(wǎng)絡(luò)層又自上而下分為辦公網(wǎng)絡(luò)、生產(chǎn)管理網(wǎng)絡(luò)、生產(chǎn)控制網(wǎng)絡(luò)[19]。以圖1的CPPS安全試驗場網(wǎng)絡(luò)架構(gòu)為例，其辦公網(wǎng)絡(luò)包含Web服務(wù)器、辦公自動化（officeautomation,OA）服務(wù)器、郵箱服務(wù)器等設(shè)備，主要功能為提供Web服務(wù)、辦公自動化與郵箱服務(wù)。生產(chǎn)管理網(wǎng)絡(luò)包含生產(chǎn)控制站、設(shè)備管理站等設(shè)備，主要功能為自動化管理控制過程與設(shè)備。生產(chǎn)控制網(wǎng)絡(luò)包含工程師站、操作員站等設(shè)備，主要功能為組態(tài)開發(fā)以及通過控制協(xié)議與控制器的直接通信。物理層包括由傳感設(shè)備、控制設(shè)備、執(zhí)行設(shè)備等設(shè)備組成的物理網(wǎng)絡(luò)，其基于微縮裝置模擬了大型火力發(fā)電場景：通過燃燒煤加熱水，形成水蒸氣給鍋爐加壓，增加的空氣壓力使閥門打開排氣，推動電機(jī)旋轉(zhuǎn)發(fā)電。由于電力工業(yè)控制系統(tǒng)不同網(wǎng)絡(luò)之間存在網(wǎng)絡(luò)隔離與防火墻規(guī)則限制，攻擊者想要破壞電力系統(tǒng)的物理過程，一般需要從辦公網(wǎng)絡(luò)發(fā)動攻擊并逐步滲透直至取得主機(jī)權(quán)限。如圖2所示，攻電機(jī)、傳感器等電機(jī)、傳感器等斷路器傳感器電磁閥門電機(jī)可編程邏輯控制器物理網(wǎng)絡(luò)鍋爐發(fā)電裝置生產(chǎn)控制網(wǎng)絡(luò)生產(chǎn)控制網(wǎng)絡(luò)可編程邏輯控制器工程師站操作員站防火墻交換機(jī)生產(chǎn)管理網(wǎng)絡(luò)交換器、防火墻交換機(jī)生產(chǎn)管理網(wǎng)絡(luò)zabbix監(jiān)控系統(tǒng)生產(chǎn)管理系統(tǒng)防火墻辦公網(wǎng)絡(luò)辦公網(wǎng)絡(luò)路由器郵箱服務(wù)器Web服務(wù)器廠級管理服務(wù)器(裝備IDS)攻擊者圖1CPPS安全試驗場網(wǎng)絡(luò)架構(gòu)Fig.1ThenetworkarchitectureforaCPPSTestbed攻擊者網(wǎng)絡(luò)層6:操作員站7:攻擊者網(wǎng)絡(luò)層6:操作員站7:工程師站主機(jī)7主機(jī)6生產(chǎn)控制網(wǎng)絡(luò)4:生產(chǎn)管理系統(tǒng)5:zabbix主機(jī)5主機(jī)4生產(chǎn)管理網(wǎng)絡(luò)2:廠級服務(wù)器3:郵箱服務(wù)器3主機(jī)主機(jī)1:Web服務(wù)器主機(jī)2主機(jī)辦公網(wǎng)絡(luò) 1 攻擊成功

的詳細(xì)流程，右側(cè)表示當(dāng)前流程在圖3中所對應(yīng)的狀態(tài)。APT攻擊鏈的一次攻擊過程可以描述為Ci Vi Hi，分別代表著從初始狀態(tài)進(jìn)行信息偵查、武器構(gòu)建進(jìn)入到內(nèi)網(wǎng)，到載荷攻擊、漏洞利用，再到安裝植入、命令控制從而獲得主機(jī)權(quán)限。攻擊者的最終目的是對CPPS的物理過程進(jìn)行破壞，一般需要完整進(jìn)行4次APT攻擊才能進(jìn)入到物理網(wǎng)絡(luò)并進(jìn)行破壞。物理層物理網(wǎng)絡(luò)傳感控制執(zhí)行傳感設(shè)備:電壓傳感器控制設(shè)備:可編程控制器設(shè)備設(shè)備設(shè)備執(zhí)行設(shè)備:電磁閥門1?pGC G1?pGC GppppHH1?pH1?pHH1?pHpppV1?pVV21?pVV1?pVppC1p辦公網(wǎng)絡(luò)生產(chǎn)管理網(wǎng)絡(luò) p Cp1?pVHV 1?pVHVp 1?pHCH1?pHCHpp生產(chǎn)控制網(wǎng)絡(luò) 43C ppp1?pVHVp1?pVH Vp1?pVH Vp1?p 1?p HHpp物理網(wǎng)絡(luò) 64C ppp 1?pV 1?pVFV1?pVp ppFFig.2Thecyberpenetrationmodel傳統(tǒng)的IT領(lǐng)域一般只考慮通信和計算機(jī)的安全問題，即圖2中的網(wǎng)絡(luò)層，然而，網(wǎng)絡(luò)攻擊一旦滲透到物理層，就會對電力系統(tǒng)造成巨大的破壞。因此為提高CPPS的入侵容忍能力，需要對來自網(wǎng)絡(luò)層的攻擊給予更多的重視。CPPS入侵容忍能力模型半馬爾科夫鏈模型攻擊者持續(xù)滲透攻擊CPPS的過程中，會經(jīng)歷多個進(jìn)攻階段，APT攻擊鏈模型中將網(wǎng)絡(luò)攻擊分為信息偵查、武器構(gòu)建、載荷攻擊、漏洞利用、安裝植入、命令控制6個階段，其中關(guān)鍵在于發(fā)現(xiàn)并利用主機(jī)上存在的漏洞[20]。在攻擊者滲透攻擊的過程中，防御者也會進(jìn)行入侵檢測，裝備入侵檢測系統(tǒng)（intrusiondetectionsystem，IDS）、防火墻等防御設(shè)施，修復(fù)自身存在的漏洞來抵御攻擊。以APT攻擊鏈模型為基礎(chǔ)，本節(jié)采用半馬爾科夫鏈模型對CPPS的攻擊入侵過程進(jìn)行建模，評估CPPS的入侵容忍能力。圖3描繪了由一系列狀態(tài)組成的網(wǎng)絡(luò)攻擊入侵過程，狀態(tài)集可以表

圖3半馬爾科夫鏈APT攻擊模型Fig.3TheSMCmodelofAPTattack表1SMC狀態(tài)描述Table1ThestatedescriptionofSMC狀態(tài)G描述Goodstate：健康良好的狀態(tài)，CPPS未受到網(wǎng)絡(luò)攻擊C1～C4進(jìn)入內(nèi)網(wǎng)，獲得內(nèi)網(wǎng)連接權(quán)限Networkconnectionstate：攻擊者通過繞過防火墻等手段V1～V11在的漏洞，利用漏洞進(jìn)行滲透攻擊Vulnerabilityexploitationstage：攻擊者發(fā)現(xiàn)網(wǎng)絡(luò)主機(jī)上存H1～H7Hoststate：攻擊者成功獲取了目標(biāo)主機(jī)的權(quán)限FFailurestate：CPPS的物理過程遭受破壞示為狀態(tài)G描述Goodstate：健康良好的狀態(tài)，CPPS未受到網(wǎng)絡(luò)攻擊C1～C4進(jìn)入內(nèi)網(wǎng)，獲得內(nèi)網(wǎng)連接權(quán)限Networkconnectionstate：攻擊者通過繞過防火墻等手段V1～V11在的漏洞，利用漏洞進(jìn)行滲透攻擊Vulnerabilityexploitationstage：攻擊者發(fā)現(xiàn)網(wǎng)絡(luò)主機(jī)上存H1～H7Hoststate：攻擊者成功獲取了目標(biāo)主機(jī)的權(quán)限FFailurestate：CPPS的物理過程遭受破壞{G,C1～C4,V1～V11,H1～H7}為轉(zhuǎn)移狀態(tài)，F(xiàn)為吸收狀態(tài)，描述如表1所示。圖4描述了SMC模型中攻擊者發(fā)動APT攻擊

在本文中，基于APT攻擊鏈的SMC模型共有23個狀態(tài)，圖3中同樣說明了不同狀態(tài)之間相應(yīng)的轉(zhuǎn)移概率，定義轉(zhuǎn)移概率矩陣P，大小為G 信息偵查、武器構(gòu)建C1~C3 載荷攻擊、漏洞利用V~V8否攻擊是否成功?是獲得主機(jī)設(shè)備權(quán)限安裝植入、命令控制H1 ~否是否到達(dá)物理網(wǎng)絡(luò)?是信息偵查、武器構(gòu)建C4載荷攻擊、漏洞利用V~V物理破壞F物理過程遭受嚴(yán)重?fù)p害利用漏洞對物理設(shè)備(G 信息偵查、武器構(gòu)建C1~C3 載荷攻擊、漏洞利用V~V8否攻擊是否成功?是獲得主機(jī)設(shè)備權(quán)限安裝植入、命令控制H1 ~否是否到達(dá)物理網(wǎng)絡(luò)?是信息偵查、武器構(gòu)建C4載荷攻擊、漏洞利用V~V物理破壞F物理過程遭受嚴(yán)重?fù)p害利用漏洞對物理設(shè)備(傳感、控制、執(zhí)行設(shè)備)進(jìn)行破壞繞過防火墻發(fā)現(xiàn)物理設(shè)備中存在的漏洞掃描網(wǎng)絡(luò)環(huán)境，發(fā)現(xiàn)網(wǎng)絡(luò)中主機(jī)等設(shè)備存在的漏洞通過繞過防火墻等設(shè)備獲得下一層內(nèi)部網(wǎng)絡(luò)連接權(quán)限開始準(zhǔn)備武器庫，利用主機(jī)等設(shè)備的漏洞進(jìn)行滲透攻擊∑tMTTF= NiTi （2i∈Γt其中停留次數(shù)遵循關(guān)系為ji{i=G}jjitN=1 +∑Np,i,j∈ji{i=G}jjit圖4APT攻擊流程示意Fig.4ThediagramofAPTattackprocess∑23×23，用于描述不同狀態(tài)之間的轉(zhuǎn)換關(guān)系，pji為矩陣中第i列第j行的元素，滿足∑pji=1,?j∈Γt （1i∈Γt式中：pji為Γt中的第j個狀態(tài)轉(zhuǎn)移到第i個狀態(tài)的轉(zhuǎn)移概率；轉(zhuǎn)移概率矩陣Pt中的元素集可劃分為p*C、p?V、p?H3個子集，其詳細(xì)描述如表2所示。防御者依據(jù)概率選擇防御行為的策略集受到攻擊者選擇攻擊行為的策略集的影響，雙方的策略集則需要根據(jù)攻防博弈的結(jié)果得到。CPPS入侵容忍能力量化評估將CPPS遭受APT攻擊并最終物理發(fā)電過程

其中NG1代表攻擊者的初始位置。為評估CPPS安全試驗場的入侵容忍能力即tMTTF指標(biāo)，則首先需要求解得到Ni。在此對狀態(tài)轉(zhuǎn)移矩陣P進(jìn)行矩陣劃分，得到包含轉(zhuǎn)移狀態(tài)Γt的子矩陣Pt，大小為22×22，則可將Pt中的元素與(3)聯(lián)立組成線性方程組求解Ni。由于Pt是一個非零矩陣，易知Ni僅有唯一解。為求解Ni，需確定狀態(tài)轉(zhuǎn)移矩陣Pt中的概率元素，其分解為子集p*C、p?V、p?H。攻擊者在進(jìn)行APT攻擊時的行為概率選擇顯然受到防御者防御行為、防御強(qiáng)度的影響，同樣防御者在布置防御措施時也會考慮攻擊者的行為，這是一個博弈交互的過程。相應(yīng)的概率p*C、p?V、p?H可由攻防博弈過程求解得到納什均衡解，從而預(yù)測攻擊者的行為動作，做出最優(yōu)、最理性的防御策略選擇。故障率λ(t)為CPPS運(yùn)行時單位時間內(nèi)發(fā)生故障的概率，是一個與時間t有關(guān)的函數(shù)。為簡化運(yùn)算，假設(shè)CPPS在遭受網(wǎng)絡(luò)攻擊時的故障率λ(t)為一常量λ，理想情況下CPPS經(jīng)過tMTTF的時間會發(fā)生一次故障，則λ由tMTTF計算[21]得到表2SMC轉(zhuǎn)移概率Table2ThetransitionprobabilityofSMC轉(zhuǎn)移概率 描述p*C={pGC1,pH1C2,pH2C2,pH3C2,pH4C3,pH5C3,pH6C4,pH7C4}p?V={pC1V1,pC1V2,pC1V3,pC2V4,pC2V5,pC3V6,pC3V7,pC3V8,pC4V9,pC4V10,pC4V11}p?H={pV1H1,pV2H2,pV3H3,pV4H4,pV5H5,pV6H6,pV7H7,pV8H7,pV9F,pV10F,pV11F}

攻擊者繞過網(wǎng)關(guān)、防火墻等檢測裝置進(jìn)入到內(nèi)部網(wǎng)絡(luò)的概率，受防御者在邊界層部署的防御設(shè)備（防火墻、網(wǎng)關(guān)等）強(qiáng)度有關(guān)攻擊者進(jìn)入網(wǎng)絡(luò)后選擇利用某一主機(jī)上存在漏洞滲透攻擊的概率，受攻擊者策略影響攻擊者成功利用漏洞并獲得對應(yīng)主機(jī)權(quán)限的概率，其受到防御者防守策略影響λ=1/tMTTF

Dk=dk,1dk,2dk,J

,且Ak A, Dk D，狀態(tài)CPPS的可靠度是指從CPPS開始正常運(yùn)行至某一時刻t這段時間內(nèi)正常運(yùn)行的概率，用R(t)表示。可靠度R(t)可由CPPS的故障率λ計算[21]得到R(t)=exp(?λt) （5基于tMTTF、故障率λ與可靠度R(t)指標(biāo)，可對CPPS的入侵容忍能力進(jìn)行量化評估，為防御資源的最優(yōu)分配提供參考?；陔S機(jī)博弈的攻擊預(yù)測隨機(jī)博弈預(yù)測模型隨機(jī)博弈是由一系列狀態(tài)組成的多個參與者進(jìn)行的具有狀態(tài)概率轉(zhuǎn)移的動態(tài)博弈，在每一狀態(tài)下，參與者可以從動作集中選擇不同的動作，并獲得取決于當(dāng)前狀態(tài)與行動的收益[22]。每一狀態(tài)的博弈過程可以分解為矩陣博弈，并根據(jù)動作概率分布轉(zhuǎn)移到下一狀態(tài)。假定攻防雙方的目的

的變化由共同動作(ak,i,dk,j)引起，在此共同動作下，狀態(tài)從Sk遷移到Sl的概率表示為pSl|Sk(ak,i,dk,j)，其大小為pSl|Sk(ak,i,dk,j)=1?ε(ak,i,dk,j) （6式中：ε(ak,i,dk,j)為防御的有效率，當(dāng)攻擊行為ak,i成功被dk,j防御時，ε(ak,i,dk,j)=1，反之ε(ak,i,dk,j)=0。[ 攻擊動作花費(fèi)CA(ak,i)代表攻擊者選擇某一攻擊動作ak,i時所需要花費(fèi)的時間，假設(shè)在狀態(tài)Sk下，防御動作花費(fèi)CD(dkj)代表防御者選擇某一防御動作dkj所需要花費(fèi)的時間。則效益函數(shù)UA[ UA(ak,i,dk,j)=1?ε(ak,i,dk,j)×?(ak,i)+CD(dk,j)?CA(ak,i) （7式中：?(ak,i)為攻擊動作成功執(zhí)行時對設(shè)備造成破壞后所需要的恢復(fù)時間。由于攻防雙方的效益函數(shù)對立，則假設(shè)博弈為零和博弈，UD=?UA。在狀態(tài)Sk下，攻防雙方選擇可用動作子集Ak都是為了取得最大化的收益，即均為絕對理性。

和Dk中每一動作的概率可以用策略集πA=πA

ak,1,本節(jié)采用隨機(jī)博弈模型來預(yù)測求解攻擊方在進(jìn)行

πAak,2,···,πA

ak,I

以及πD=πD

kdk,1,πD

kdk,2,···,APT攻擊時的最優(yōu)策略，以及防御方在防御時的最優(yōu)防御策略最優(yōu)防御策略[23]。CPPSCPPS遭受攻擊者破壞物理過程需要成功進(jìn)行

kkk,Jπkk,J

kIi=1將以上以概率形式選擇可用動作的策略πIi=1將以上以概率形式選擇可用動作的策略πA與πD定

kkk,iπAkk,i

kJ)=1,J

kkk,πD(d)=kk,k k攻擊，劃分4次博弈狀態(tài)S=S1S2S3S4，

義為混合策略。當(dāng)混合策略對(πA?,πD?)是能使攻k k分別代表在辦公網(wǎng)絡(luò)、生產(chǎn)管理網(wǎng)絡(luò)、生產(chǎn)控制網(wǎng)絡(luò)、物理網(wǎng)絡(luò)中攻防交互過程。博弈攻防雙方N=Na,Nd分別表示攻擊者與防御者，攻防雙方動作集為A=a1,a2,,aM與D=d1,d2,,dN。πA=πA=πA,πA,···,πA與πD=πDπD···πD代表攻防

防雙方取得最大期望收益的最優(yōu)策略時，博弈達(dá)到納什均衡，應(yīng)滿足πA,EAπA?,πD?≥EAπA,πD?kkkkkkk（8kkkkkkk? ( ) ( ?πD,ED(πA?,πD?)kkkkkkk（8kkkkkkk? ( ) ( 1 2 M

1 2 N

式中：EA與ED為攻防雙方在狀態(tài)Sk下的期望收雙方動作的策略集合即選擇動作的概率分布； k k12 CA=cA,cA,···12

與CD=cDcD···cD

分別代表

益。隨機(jī)博弈是矩陣博弈和馬爾可夫決策過程的集成和擴(kuò)展。狀態(tài)Sk可以看作是一個矩陣型博1 2 攻防雙方動作花費(fèi)時間集合；UA與UD1 2 雙方的效益函數(shù)。CPPS的隨機(jī)博弈模型為G=

弈。矩陣的元素可以表示為iklkKiklk在隨機(jī)博弈框架中，攻擊者動作集A中的每個NSADπAπDCACDUAUD在隨機(jī)博弈框架中，攻擊者動作集A中的每個

sk=UA(ak,i,dk,j)+∑pS

(ak,i,dk,j)El （9動作表示利用設(shè)備或軟件中存在的一個漏洞[24]防御者動作集D中的每個動作表示一種防御漏洞滲透的手段，例如可以通過安裝補(bǔ)丁、關(guān)閉端口

式中：El為狀態(tài)Sl的狀態(tài)值。矩陣中的每一行表示攻擊者的攻擊動作，每一列都表示防守者的防守動作。矩陣中的元素sk是攻擊者的效益，防御iS=S1S2S3S4表示攻擊者目前所滲透攻擊到的網(wǎng)絡(luò)位置。在狀態(tài)S下，攻防雙方都有動作子集Ak=ak,1ak,2ak,i

者的效益為?sk。ii在CPPS中，攻擊者和防御者彼此沒有對方完∑Q(Sk,ak,i,dk,j)π(ak,i) 整的信息，本文選擇采用強(qiáng)化學(xué)習(xí)的算法來求解博弈的納什均衡策略。因為該場景中涉及2個智∑Q(Sk,ak,i,dk,j)π(ak,i)

表3矩陣博弈攻擊序號攻擊序號手段攻擊者收益防御手段1：部署防御手段2：部123代理繞過防火墻混淆繞過IDS代理繞過防火墻并混淆繞過IDS防火墻0W2署IDSW10W3W4Ek=maxminπkAdk,j∈Dkπk

A Akak,i∈Ak

正收益，根據(jù)矩陣博弈可預(yù)測求解攻擊者在APT攻擊初始階段的使用不同攻擊手段的概率分這意味著攻擊者在與防守者的博弈中最大化了最壞情況下的期望收益，式（10）可用線性規(guī)劃來計算矩陣博弈的納什均衡解。QA(Sk,,QA(Sk,,dk,k,k,i,dk,)+

布α1,α2,α3。則防御者在網(wǎng)絡(luò)邊界處部署不同的防御設(shè)備時的概率分布p*C為α2+α3，部署IDSα3α2+α3，部署IDSα3， 部署防火墻與Q函數(shù)QA(Sk,ak,i,dk,j)的更新公式為

pC=α1+3

（12[ )←QA(Sαr(Sk,ak,i,dk,j)+γEl?QA(Sk,ak,i,dk,[ )←QA(S式中：α為學(xué)習(xí)率，表示Q函數(shù)的更新速度；r(Skak,idkj為對攻擊者的獎勵，在此處等于UA(ak,idkj)；γ為折扣率。minimax-Q算法求解納

p?V為攻擊者進(jìn)入網(wǎng)絡(luò)后選擇利用某一主機(jī)上k存在漏洞滲透攻擊的概率，由攻擊者策略即πA?確定，即k A?2A2A?k12什均衡策略預(yù)測攻擊者行為的詳細(xì)步驟如下。12

{pC1V1,pC1V2,pC1V3}=π1p p 4{pC4V9,pC4V10,pC4V11}p p 4{pC4V9,pC4V10,pC4V11}=πA

（13E0,E0，n=0（1）隨機(jī)初始化Q表與狀態(tài)值EE0,E0，n=0

{pC3V6,pC3V7,pC3V8}=π3?3 4對任意Sk S1,S2,S3,S4，利用ε貪婪方法選擇ak,i，觀察防御者行為dk,j，得到r(Sk,ak,i,dk,j)及轉(zhuǎn)移狀態(tài)Sl；k由式（11）更新Q表，由式（10）求解En；k

p?H攻擊者成功利用漏洞并獲得對應(yīng)主機(jī)權(quán)限k的概率，受防御者防守策略即πD確定，定義kpˉ=1p，則可得1D{pV1H1,pV22,pV3H3}=πD?1D{pVH,pVH}=πk4（4）如果En+1?En＜δ，?Sk∈S：n=n+1，k4

44 55 2p p p

πD?

（14k k {V6H6

V7H7

V8H7=3kk 重復(fù)步驟（2）和（3kk （5）由式（10）求解(πA?,Ek)。minimax-Q算法的計算時間與δ相關(guān)。對于防御者的策略，同樣也可以通過minimax-Q算法來求解最優(yōu)防御策略(πDEk)。狀態(tài)Sk∈S1S2,S3S4下的4個混合策略對(πAπD)可由此求解。攻擊預(yù)測p*C為攻擊者繞過IDS、防火墻等檢測裝置進(jìn)入到內(nèi)部網(wǎng)絡(luò)的概率，APT攻擊初始階段成功的概率，受防御者在邊界處部署的防御設(shè)備影響。易知pH1C2=pH2C2=pH3C2，pH4C3=pH5C3，pH6C4=pH7C4。其博弈過程如表3所示。其中，當(dāng)攻擊成功時攻擊者會得到W1~W4的

{pV9F,pV10F,pV11F}=πD?實驗設(shè)計與算例驗證本節(jié)以CPPS安全試驗場為例，驗證入侵容忍能力評估與防御資源最優(yōu)配置方法的有效性。實驗參數(shù)CPPS安全試驗場模擬了真實場景下自上而下的工業(yè)控制系統(tǒng)控制過程。攻擊者試圖通過辦公網(wǎng)絡(luò)逐步滲透至工控系統(tǒng)，操縱傳感器或是控制器來破壞火力發(fā)電過程。防御者對設(shè)備上的漏洞進(jìn)行修補(bǔ)防止攻擊者滲透利用，并在網(wǎng)絡(luò)邊界處安裝防火墻或入侵檢測系統(tǒng)來防御攻擊者入侵。試驗場具有開展網(wǎng)絡(luò)攻防滲透測試的功能，因此本節(jié)將基于實際網(wǎng)絡(luò)測試的結(jié)果進(jìn)行仿真實驗。表4描述了CPPS安全試驗場上設(shè)備的漏洞信息,并給出了通用漏洞披露（commonvulnerabilities&exposuresCVE）漏洞編號及成功利用后系統(tǒng)所需恢復(fù)時間?。A和D的攻防行為如表5所示，并且描述了采取相應(yīng)行為所需要的時間成本。半馬爾科夫鏈中每一狀態(tài)的Ti為TG=15,TC1=22,TV1=20,TV2=18,TV3=12TV4=1,TV5=18,TH4TV4=1,TV5=18,TH4=22,TH5=26,TC3=TV6=22,TV7=25,TV8=28,TH6=30,TH=19,=19,=18,=15,=C4 V9 V10 C4V9V10V11

表5攻防行為表 min min min min編號 攻擊者行為a CA/i防御者行為dCD/i7利用v7獲取工程師站的權(quán)限利用v8獲取工程師站的權(quán)限利用v9篡改傳感器數(shù)據(jù)利用v10篡改控制器數(shù)據(jù)利用v11下發(fā)異常執(zhí)行命令258281815安裝v7補(bǔ)丁于工程師站安裝v8補(bǔ)丁于工程師站加密傳輸協(xié)議修復(fù)執(zhí)行器異常命令執(zhí)行漏洞283291019191120241利用v1獲取Web服務(wù)器的特權(quán)20安裝v1補(bǔ)丁于Web服務(wù)器242利用v2獲取廠級管理服務(wù)器的權(quán)限18安裝v2補(bǔ)丁于廠級管理服務(wù)器283利用v3獲取郵箱服務(wù)器的權(quán)限12安裝v3補(bǔ)丁于郵箱服務(wù)器204利用v4獲取生產(chǎn)管理系統(tǒng)的權(quán)限15安裝v4補(bǔ)丁于生產(chǎn)管理系統(tǒng)225利用v5獲取zabbix監(jiān)控系統(tǒng)的權(quán)限18安裝v5補(bǔ)丁于zabbix監(jiān)控系統(tǒng)266利用v6獲取操作員站的權(quán)限22安裝v6補(bǔ)丁于操作員站30式中：Ti(15)單位為min，以上所需時間均以實際攻防演練時所花費(fèi)的時間為參考。攻擊預(yù)測結(jié)果首先對APT攻擊初始階段攻擊者信息偵查、武器構(gòu)建進(jìn)入到內(nèi)網(wǎng)的行為進(jìn)行預(yù)測。正收益參數(shù)W1=10，W2=8，W3=4，W4=5。求解矩陣博弈預(yù)測攻擊者行為概率分布α1,α2,α3=0.32,0.43,0.25。由式（12）可求解在不同防御等級下p*C值。概率利用隨機(jī)博弈minimax-Q算法攻擊者進(jìn)入內(nèi)網(wǎng)利用漏洞安裝植入、命令控制從而獲得主機(jī)權(quán)限的行為進(jìn)行預(yù)測。算法參數(shù)設(shè)置β=1，α=0.5，γ=1。攻擊者在辦公網(wǎng)絡(luò)、生產(chǎn)管理網(wǎng)絡(luò)、生產(chǎn)控制網(wǎng)絡(luò)、物理網(wǎng)絡(luò)4次APT攻擊狀態(tài)的行為集概率表4漏洞信息概率Table4Theinformationofvulnerabilities概率

為A1=a1,a2,a3A4=a9,a10,a11

，A2=a4,a5，A3=a6,a7,a8，概率，攻擊行為預(yù)測求解如圖5所示。概率1.00.80.60.40.20a11.00.80.60.40.20a1；a2；a31.00.80.60.40.20a4；0 50100迭代/次a)S11502000 50100150迭代/次b)S22001.00.80.60.40.20a；a；a1.00.80.60.40.20a；a；a0 50100迭代/次c)S31502000 50100150迭代/次d)S4200漏洞v編號描述iPhp遠(yuǎn)程命令執(zhí)行漏洞（CVE-2018-19518）遠(yuǎn)程溢出漏洞（CVE-2008-4250）遠(yuǎn)程代碼執(zhí)行漏洞（CVE-2020-0618）4 遠(yuǎn)程代碼執(zhí)行漏洞（CVE-2019-0708）5 緩沖區(qū)溢出漏洞（CVE-2017-0144）MySQL服務(wù)器提權(quán)漏洞（CVE-2016-6662）Windows代碼執(zhí)行漏洞（CVE-2017-0146）TCP/IP遠(yuǎn)程代碼執(zhí)行漏洞（CVE-2020-16898）工控協(xié)議內(nèi)容篡改漏洞工控協(xié)議內(nèi)容篡改漏洞執(zhí)行器異常命令執(zhí)行漏洞系統(tǒng)恢復(fù)時間4434453739424855473038概率Fig.5Predictionofattacker'sactions防御者在每個狀態(tài)的行為集為D1=d1d2d3，D2=d4d5D3=d6d7d8D4=d9d10d11。同采取minimax-Q算法求解最優(yōu)防御行為措施，如圖6所示。求解攻防雙方的策略如表6所示，將結(jié)果kkπA?與πD?代入式（13）與式（14）即可確定p?V與p?H。kk19191.00.80.60.40.20d1；d2； 1.00.80.60.40.20d4； 1.00.80.60.40.20d1；d2； 1.00.80.60.40.20d4； 0 50 100150迭代/次a)S12000 50100150迭代/次b)S22001.00.80.60.40.20d；d；d1.00.80.60.40.20d9； d050 100迭代/次c)S31502000 50100150迭代/次d)S4200概率概率概率概率C2,C2,C2,C3C4C3,C3,C2C4C3,C3C4C4,C2C3C4,C2C4C4,C3C4MTTF/minC1,MTTF/minC1,C1,C1,C1,C1,C1,C2,C2,C1C3C2,C1C4C3,C1C2C3,C3,C1C4C4,C1C2C4,C1C3C2,C1C4Fig.6Solutionofoptimaldefenseactions表6攻防雙方最優(yōu)策略1.00.91.00.90.80.70.60.50.40.30.20.10目前方案；最優(yōu)方案01002003004005006007008009001000時間/min

(Ck,Ci(Ck,CiCj)=(