XAI與可信任安全智能解讀課件

XAI與可信任安全智能解讀技術(shù)創(chuàng)新，變革未來XAI與可信任安全智能解讀技術(shù)創(chuàng)新，變革未來提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐1可信任的安全智能提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec2人工智能圖片來源：中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟人工智能圖片來源：中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)3安全智能（惡意）軟件分析惡意代碼檢測(cè)、分類、家族，漏洞挖掘…流量分析Web攻擊、DDoS、惡意軟件通信、DGA、加密流量…入侵檢測(cè)異常檢測(cè)、行為預(yù)測(cè)、實(shí)體畫像團(tuán)伙挖掘情報(bào)、APT…欺詐檢測(cè)、風(fēng)控網(wǎng)站指紋攻擊惡意郵件協(xié)議分析AI對(duì)抗

…4文本分析、目標(biāo)檢測(cè)、圖像識(shí)別、聚類、詞嵌入、圖嵌入、社團(tuán)分析云、物聯(lián)網(wǎng)、5G、邊緣、AI平臺(tái)端點(diǎn)、網(wǎng)絡(luò)、文件、行為、情報(bào)、蜜罐安全智能流量分析入侵檢測(cè)欺詐檢測(cè)、風(fēng)控網(wǎng)站指紋攻擊惡意郵4免費(fèi)的午餐？不存在的對(duì)抗預(yù)期現(xiàn)狀階段一：需要大量標(biāo)注數(shù)據(jù)；經(jīng)驗(yàn)化調(diào)參；未來：模型易調(diào)試、決策可解釋、自動(dòng)化知識(shí)提取、人機(jī)交互，高度自動(dòng)化技術(shù)認(rèn)知基本：依賴專家樣本分析、寫規(guī)則、分析結(jié)果現(xiàn)狀階段二：測(cè)試集上高性能，實(shí)際高誤報(bào)；相對(duì)專家規(guī)則的一目了然，模型說啥就是啥？還是要人工確認(rèn)；理想：相對(duì)于專家規(guī)則，基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的方法大幅自動(dòng)化分析流程現(xiàn)狀階段三：伴生新的安全問題合規(guī)、道德約束免費(fèi)的午餐？不存在的對(duì)抗預(yù)期現(xiàn)狀階段一：未來：技術(shù)認(rèn)知基本：5可信任的安全智能=可信人工智能+安全場(chǎng)景可解釋性性能安全性合法合規(guī)道德約束可審計(jì)……技術(shù)層面數(shù)據(jù)處理算法模型系統(tǒng)架構(gòu)評(píng)估方法…非技術(shù)層面法規(guī)標(biāo)準(zhǔn)…涵蓋面最廣，透明可解釋是核心需求之一常被列為隱含選項(xiàng)，是安全場(chǎng)景下需要優(yōu)化的目標(biāo)之一合規(guī)、合法、公平、可控、以人為本…可信任的核心需求與主要技術(shù)實(shí)現(xiàn)之一可信任的安全智能=可信人工智能+安全場(chǎng)景可解釋性性能安全性合6提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI與模型可解釋性2提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec7XAI定義XAI(eXplainableArtificial

Intelligence)XAI定義XAI(eXplainableArtifici8XAI定義https://www./program/explainable-artificial-intelligenceXAI(eXplainableArtificial

Intelligence)Black

BoxMachineLearningProcessTrainingDataLearnedFunctionTodayWhy

didyoudothat?Whynotsomething

else?Whendoyou

succeed?Whendoyou

fail?WhencanI

trustyou?How

do

I

correct

an

error?DecisionorRecommendationTaskUserXAI定義/pro9XAI定義XAI(eXplainableArtificial

Intelligence)https://www./program/explainable-artificial-intelligenceNewMachineLearningProcessTrainingDataXAIIunderstand

whyIunderstandwhy

notI

knowwhenyousucceedIknowwhenyou

failI

know

when

to

trust

youIknowwhyyou

erredTaskUserExplainableModelExplanationInterfaceExplainableModelsdeveloparangeof

newormodifiedmachinelearningtechniquestoproducemoreexplainable

modelsExplanationInterfaceintegratestate-of-the-artHCIwithnewprinciples,strategies,

andtechniquestogenerateeffective

explanationsPsychology

ofExplanationsummarize,extend,andapplycurrentpsychologicaltheories

ofexplanationtodevelop

acomputational

theoryXAI定義XAI(eXplainableArtifici10XAI熱點(diǎn)Gartner

2019https:///smarterwithgartner/5-trends-appear-on-the-gartner-hype-cycle-for-emerging-technologies-2019/

https:///smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019/XAI熱點(diǎn)Gartner2019https://www.g11XAI熱點(diǎn)學(xué)K工微術(shù)圈DD、ICML、NIPS及IJCA業(yè)圈軟、谷歌、Oracle、IBMI等等著名國際性會(huì)議都有覆蓋XAI話題的Workshop、DARPA等諸多科技巨頭，都在開展XAI技術(shù)研發(fā)XAI熱點(diǎn)學(xué)術(shù)圈I等等著名國際性會(huì)議都有覆蓋XAI話題的Wo12可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡高準(zhǔn)確率、低誤報(bào)率等高性能、高容量模型普遍缺乏可解釋性高維度、非線性、非單調(diào)（高維數(shù)組、集成模型、深度模型…）天下沒有免費(fèi)的午餐，我們很難苛求機(jī)器完全按照人類可理解的方式去工作并輸出，同時(shí)保持遠(yuǎn)高于人類的效率可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡13可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡14缺乏可解釋性又怎樣？科學(xué)

or

玄學(xué)重新訓(xùn)練及更新？調(diào)參？換模型？人工？缺乏可解釋性又怎樣？科學(xué)or玄學(xué)重新訓(xùn)練及更新？調(diào)參？換15缺乏可解釋性又怎樣？可解釋性性能可信任的戰(zhàn)友高性能，可解釋高度自動(dòng)化人工智能人工做低性能，難解釋面子工程入門小白低性能，可解釋輕量級(jí)任務(wù)神秘的黑盒子高性能，難解釋偶爾智障？缺乏可解釋性又怎樣？可解釋性性能可信任的戰(zhàn)友高性能，可解釋高16缺乏可解釋性又怎樣？非關(guān)鍵任務(wù)及場(chǎng)景：智能客服/家居，推薦，語音問答，圖像識(shí)別關(guān) 場(chǎng)、鍵任務(wù)及景：軍事網(wǎng)絡(luò)安全、金融、醫(yī)療、交通…刑事審判假釋判斷再犯預(yù)測(cè)警力調(diào)度金融信用/貸款評(píng)估保險(xiǎn)報(bào)價(jià)醫(yī)療保健疾病檢測(cè)處方推薦網(wǎng)絡(luò)安全威脅檢測(cè)風(fēng)險(xiǎn)評(píng)估自動(dòng)響應(yīng)軍事目標(biāo)識(shí)別自動(dòng)打擊…缺乏可解釋性又怎樣？非關(guān)鍵任務(wù)及場(chǎng)景：智能客服關(guān) 場(chǎng)、鍵任務(wù)17當(dāng)機(jī)器智能可解釋講人話，能辦事，可信任向使用者證明結(jié)果是穩(wěn)定的、準(zhǔn)確的、道德的、無偏見的、合規(guī)的，從而提供決策的支持以及AI自身安全性的可視性向開發(fā)者提供模型改進(jìn)、調(diào)試的基礎(chǔ)信息向研究者提供機(jī)器洞見，展現(xiàn)被人忽視、難于發(fā)現(xiàn)的潛在規(guī)律提升安全運(yùn)維的處置效率提升安全研究自動(dòng)化水平提升安全產(chǎn)品性能支持技術(shù)合法合規(guī)需求當(dāng)機(jī)器智能可解釋講人話，能辦事，可信任18模型可解釋性技術(shù)概覽技術(shù)解釋階段/方式解釋域模型相關(guān)性內(nèi)在可解釋(Intrinstic)建模后解釋(Post-hoc)全局解釋性(Global)局部解釋性(Local)模型相關(guān)(Model-specific)模型無關(guān)(Model-agnostic)Decision

trees√√√Graph-based√√√√LIME√√√SHAP√√√√DeepLift√√√Global

surrogatemodels√√√√PartialDependencePlot(PDP)√√√√Model

distillation√√√模型可解釋性技術(shù)概覽解釋階段/方式解釋域模型相關(guān)性內(nèi)在可解釋19模型可解釋性技術(shù)概覽模型可解釋性技術(shù)概覽20可解釋的機(jī)器學(xué)習(xí)方法算法Algorithm線性Linear單調(diào)性Monotone特征交互Interaction面向任務(wù)TaskLinearregressionYesYesNoregr(回歸)Logistic

regressionNoYesNoclass(分類)DecisiontreesNoSomeYesclass,regrRuleFitYesNoYesclass,regrNaive

BayesNoYesNoclassk-nearest

neighborsNoNoNoclass,regrhttps://christophm.github.io/interpretable-ml-book/simple.html可解釋的機(jī)器學(xué)習(xí)方法算法線性單調(diào)性特征交互面向任務(wù)Linea21圖模型IBMThreatIntelligenceComputingMITRE

CyGraphNoDozeHolmes圖模型IBMThreatIntelligenceCo22優(yōu)化原生難解釋的模型優(yōu)化原生難解釋的模型23模型可解釋性技術(shù)概覽PDP(PartialDependence

Plot)全局代理模型(GlobalSurrogate

Models)特征歸因(Feature

Attribution)可視化分析某特征值變化對(duì)模型預(yù)測(cè)的影響以模型預(yù)測(cè)值為樣本標(biāo)簽，重新訓(xùn)練代理模型多種方式確定分類器決策時(shí)最關(guān)鍵的特征集合：基于反向傳播（Class

Activation

Mapping）、博弈論（SHAP）、局部代理模型（LIME）等等模型可解釋性技術(shù)概覽PDP全局代理模型特征歸因可視化分析某特24建模后的可解釋性特征歸因

——

LIMELEMNA:Explainingdeeplearningbasedsecurity

applications建模后的可解釋性特征歸因——LIMELEMNA:Exp25建模后的可解釋性特征歸因

——

LEMNAFused

LassoMixtureregression

model建模后的可解釋性特征歸因——LEMNA26如何構(gòu)建可解釋的模型可解釋的定義、粒度、規(guī)范以任務(wù)目標(biāo)為導(dǎo)向的可解釋定義可解釋的輸入/輸出“以人為本”的，而非“機(jī)器為本”的預(yù)處理、特征提取可解釋的模型針對(duì)任務(wù)目標(biāo)的可解釋方法選擇、優(yōu)化可解釋性的評(píng)估如何有效、量化評(píng)估解釋結(jié)果的真實(shí)性如何構(gòu)建可解釋的模型可解釋的定義、粒度、規(guī)范以任務(wù)目標(biāo)為導(dǎo)向27提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI+Security實(shí)踐3提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec28一次Webshell流量檢測(cè)探索基本原理一次Webshell流量檢測(cè)探索基本原理29一次Webshell流量檢測(cè)探索基本原理/docs/DOC-107175一次Webshell流量檢測(cè)探索基本原理https://co30一次Webshell流量檢測(cè)探索中國菜刀postbodypass=@eval(base64_decode($_POST[z0]));&z0=......tIik7ZGllKCk7&z1=......93d3cvaHRtbC8%3D--/developer/news/116802專家規(guī)則（Snort，IDS）alerttcpanyany->any80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;

nocase;http_method;;msg:”WebshellDetected

Apache”;)--FireEye，2014一次Webshell流量檢測(cè)探索中國菜刀postbody31一次Webshell流量檢測(cè)探索

Layer

(type)OutputShape Param

#=========================================dense_1(Dense) (None,

512) 2560512

dropout_1(Dropout) (None,

512) 0

dense_2(Dense) (None,

10) 5130=========================================Total機(jī)器學(xué)習(xí)：百萬量級(jí)標(biāo)簽數(shù)據(jù)，準(zhǔn)確率可觀

>

99.8%paramsTrainable

paramsNon-trainable

params:

2,565,642:

2,565,642:

0一次Webshell流量檢測(cè)探索 Layer(type32不可信任的技術(shù)打開Pcap??確認(rèn)誤報(bào)以及更多的誤報(bào)調(diào)參以及沒完沒了的訓(xùn)練、更新…JustShut

Up不可信任的技術(shù)打開Pcap??確認(rèn)誤報(bào)以及更多的誤報(bào)33使用LIME內(nèi)核解釋模型alerttcpanyany->any80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;

nocase;http_method;;msg:”WebshellDetected

Apache”;)Payload解釋使用LIME內(nèi)核解釋模型alerttcpanyany34使用LIME內(nèi)核解釋模型c6Amd=eval%28%22Ex%22%......3A4966204572722054686……56E6578743A45E6420……573706F6E73652E5772697465285329%22%22%22%22%29%29%3Response.Write%28%2……%29%3AResponse.End%22%22%......%29Payload解釋使用LIME內(nèi)核解釋模型c6Amd=eval%28%35Webshell規(guī)則提取整體架構(gòu)Webshell規(guī)則提取整體架構(gòu)36Webshell規(guī)則提取規(guī)則命中Webshell規(guī)則提取37Webshell規(guī)則提取99.2%0.26%98.9%115/388總體準(zhǔn)確率告警誤報(bào)率攻擊回召率規(guī)則命中數(shù)/規(guī)則總數(shù)模型的泛化能力規(guī)則泛化能力無監(jiān)督的方式數(shù)據(jù)的局限性解釋的準(zhǔn)確性場(chǎng)景的想象Webshell規(guī)則提取99.2%0.26%98.9%11538打開黑箱發(fā)現(xiàn)了什么模型確實(shí)能夠?qū)W習(xí)到與人直觀感覺一致的論據(jù)模型能夠發(fā)現(xiàn)大量數(shù)據(jù)中容易被人忽略的其他相關(guān)性模型判斷有時(shí)確實(shí)令人難以理解，是人的弱點(diǎn)還是模型的錯(cuò)誤？可解釋性技術(shù)本身是否令人信服？打開黑箱的方式及其安全性具備可解釋，即打開溝通之門打開黑箱發(fā)現(xiàn)了什么模型確實(shí)能夠?qū)W習(xí)到與人直觀感覺一致的論據(jù)39技術(shù)賦能，可信為先集成XAI技術(shù)，高效生產(chǎn)可理解的告警可解釋的、可量化的評(píng)估海量告警的處理優(yōu)先級(jí)，定位高置信度事件利用圖模型高效整合多源數(shù)據(jù)，構(gòu)建研判上下文數(shù)據(jù)智能驅(qū)動(dòng)持續(xù)的、自適應(yīng)的局部/全局風(fēng)險(xiǎn)感知魯邦的、透明的、可追溯的、合規(guī)的自動(dòng)化安全響應(yīng)高效、持續(xù)的人-機(jī)智能交互技術(shù)賦能，可信為先集成XAI技術(shù)，高效生產(chǎn)可理解的告警可40打造可信任的安全智能

J.A.R.V.I.S./skin/jrvis-shield-os打造可信任的安全智能J.A.R.V.I.S.https:/41謝謝聆聽！謝謝聆聽！42XAI與可信任安全智能解讀技術(shù)創(chuàng)新，變革未來XAI與可信任安全智能解讀技術(shù)創(chuàng)新，變革未來提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐1可信任的安全智能提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec44人工智能圖片來源：中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟人工智能圖片來源：中國信息通信研究院和中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)45安全智能（惡意）軟件分析惡意代碼檢測(cè)、分類、家族，漏洞挖掘…流量分析Web攻擊、DDoS、惡意軟件通信、DGA、加密流量…入侵檢測(cè)異常檢測(cè)、行為預(yù)測(cè)、實(shí)體畫像團(tuán)伙挖掘情報(bào)、APT…欺詐檢測(cè)、風(fēng)控網(wǎng)站指紋攻擊惡意郵件協(xié)議分析AI對(duì)抗

…4文本分析、目標(biāo)檢測(cè)、圖像識(shí)別、聚類、詞嵌入、圖嵌入、社團(tuán)分析云、物聯(lián)網(wǎng)、5G、邊緣、AI平臺(tái)端點(diǎn)、網(wǎng)絡(luò)、文件、行為、情報(bào)、蜜罐安全智能流量分析入侵檢測(cè)欺詐檢測(cè)、風(fēng)控網(wǎng)站指紋攻擊惡意郵46免費(fèi)的午餐？不存在的對(duì)抗預(yù)期現(xiàn)狀階段一：需要大量標(biāo)注數(shù)據(jù)；經(jīng)驗(yàn)化調(diào)參；未來：模型易調(diào)試、決策可解釋、自動(dòng)化知識(shí)提取、人機(jī)交互，高度自動(dòng)化技術(shù)認(rèn)知基本：依賴專家樣本分析、寫規(guī)則、分析結(jié)果現(xiàn)狀階段二：測(cè)試集上高性能，實(shí)際高誤報(bào)；相對(duì)專家規(guī)則的一目了然，模型說啥就是啥？還是要人工確認(rèn)；理想：相對(duì)于專家規(guī)則，基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的方法大幅自動(dòng)化分析流程現(xiàn)狀階段三：伴生新的安全問題合規(guī)、道德約束免費(fèi)的午餐？不存在的對(duì)抗預(yù)期現(xiàn)狀階段一：未來：技術(shù)認(rèn)知基本：47可信任的安全智能=可信人工智能+安全場(chǎng)景可解釋性性能安全性合法合規(guī)道德約束可審計(jì)……技術(shù)層面數(shù)據(jù)處理算法模型系統(tǒng)架構(gòu)評(píng)估方法…非技術(shù)層面法規(guī)標(biāo)準(zhǔn)…涵蓋面最廣，透明可解釋是核心需求之一常被列為隱含選項(xiàng)，是安全場(chǎng)景下需要優(yōu)化的目標(biāo)之一合規(guī)、合法、公平、可控、以人為本…可信任的核心需求與主要技術(shù)實(shí)現(xiàn)之一可信任的安全智能=可信人工智能+安全場(chǎng)景可解釋性性能安全性合48提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI與模型可解釋性2提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec49XAI定義XAI(eXplainableArtificial

Intelligence)XAI定義XAI(eXplainableArtifici50XAI定義https://www./program/explainable-artificial-intelligenceXAI(eXplainableArtificial

Intelligence)Black

BoxMachineLearningProcessTrainingDataLearnedFunctionTodayWhy

didyoudothat?Whynotsomething

else?Whendoyou

succeed?Whendoyou

fail?WhencanI

trustyou?How

do

I

correct

an

error?DecisionorRecommendationTaskUserXAI定義/pro51XAI定義XAI(eXplainableArtificial

Intelligence)https://www./program/explainable-artificial-intelligenceNewMachineLearningProcessTrainingDataXAIIunderstand

whyIunderstandwhy

notI

knowwhenyousucceedIknowwhenyou

failI

know

when

to

trust

youIknowwhyyou

erredTaskUserExplainableModelExplanationInterfaceExplainableModelsdeveloparangeof

newormodifiedmachinelearningtechniquestoproducemoreexplainable

modelsExplanationInterfaceintegratestate-of-the-artHCIwithnewprinciples,strategies,

andtechniquestogenerateeffective

explanationsPsychology

ofExplanationsummarize,extend,andapplycurrentpsychologicaltheories

ofexplanationtodevelop

acomputational

theoryXAI定義XAI(eXplainableArtifici52XAI熱點(diǎn)Gartner

2019https:///smarterwithgartner/5-trends-appear-on-the-gartner-hype-cycle-for-emerging-technologies-2019/

https:///smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019/XAI熱點(diǎn)Gartner2019https://www.g53XAI熱點(diǎn)學(xué)K工微術(shù)圈DD、ICML、NIPS及IJCA業(yè)圈軟、谷歌、Oracle、IBMI等等著名國際性會(huì)議都有覆蓋XAI話題的Workshop、DARPA等諸多科技巨頭，都在開展XAI技術(shù)研發(fā)XAI熱點(diǎn)學(xué)術(shù)圈I等等著名國際性會(huì)議都有覆蓋XAI話題的Wo54可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡高準(zhǔn)確率、低誤報(bào)率等高性能、高容量模型普遍缺乏可解釋性高維度、非線性、非單調(diào)（高維數(shù)組、集成模型、深度模型…）天下沒有免費(fèi)的午餐，我們很難苛求機(jī)器完全按照人類可理解的方式去工作并輸出，同時(shí)保持遠(yuǎn)高于人類的效率可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡55可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡可解釋性的缺失可解釋性與預(yù)測(cè)性能的微妙平衡56缺乏可解釋性又怎樣？科學(xué)

or

玄學(xué)重新訓(xùn)練及更新？調(diào)參？換模型？人工？缺乏可解釋性又怎樣？科學(xué)or玄學(xué)重新訓(xùn)練及更新？調(diào)參？換57缺乏可解釋性又怎樣？可解釋性性能可信任的戰(zhàn)友高性能，可解釋高度自動(dòng)化人工智能人工做低性能，難解釋面子工程入門小白低性能，可解釋輕量級(jí)任務(wù)神秘的黑盒子高性能，難解釋偶爾智障？缺乏可解釋性又怎樣？可解釋性性能可信任的戰(zhàn)友高性能，可解釋高58缺乏可解釋性又怎樣？非關(guān)鍵任務(wù)及場(chǎng)景：智能客服/家居，推薦，語音問答，圖像識(shí)別關(guān) 場(chǎng)、鍵任務(wù)及景：軍事網(wǎng)絡(luò)安全、金融、醫(yī)療、交通…刑事審判假釋判斷再犯預(yù)測(cè)警力調(diào)度金融信用/貸款評(píng)估保險(xiǎn)報(bào)價(jià)醫(yī)療保健疾病檢測(cè)處方推薦網(wǎng)絡(luò)安全威脅檢測(cè)風(fēng)險(xiǎn)評(píng)估自動(dòng)響應(yīng)軍事目標(biāo)識(shí)別自動(dòng)打擊…缺乏可解釋性又怎樣？非關(guān)鍵任務(wù)及場(chǎng)景：智能客服關(guān) 場(chǎng)、鍵任務(wù)59當(dāng)機(jī)器智能可解釋講人話，能辦事，可信任向使用者證明結(jié)果是穩(wěn)定的、準(zhǔn)確的、道德的、無偏見的、合規(guī)的，從而提供決策的支持以及AI自身安全性的可視性向開發(fā)者提供模型改進(jìn)、調(diào)試的基礎(chǔ)信息向研究者提供機(jī)器洞見，展現(xiàn)被人忽視、難于發(fā)現(xiàn)的潛在規(guī)律提升安全運(yùn)維的處置效率提升安全研究自動(dòng)化水平提升安全產(chǎn)品性能支持技術(shù)合法合規(guī)需求當(dāng)機(jī)器智能可解釋講人話，能辦事，可信任60模型可解釋性技術(shù)概覽技術(shù)解釋階段/方式解釋域模型相關(guān)性內(nèi)在可解釋(Intrinstic)建模后解釋(Post-hoc)全局解釋性(Global)局部解釋性(Local)模型相關(guān)(Model-specific)模型無關(guān)(Model-agnostic)Decision

trees√√√Graph-based√√√√LIME√√√SHAP√√√√DeepLift√√√Global

surrogatemodels√√√√PartialDependencePlot(PDP)√√√√Model

distillation√√√模型可解釋性技術(shù)概覽解釋階段/方式解釋域模型相關(guān)性內(nèi)在可解釋61模型可解釋性技術(shù)概覽模型可解釋性技術(shù)概覽62可解釋的機(jī)器學(xué)習(xí)方法算法Algorithm線性Linear單調(diào)性Monotone特征交互Interaction面向任務(wù)TaskLinearregressionYesYesNoregr(回歸)Logistic

regressionNoYesNoclass(分類)DecisiontreesNoSomeYesclass,regrRuleFitYesNoYesclass,regrNaive

BayesNoYesNoclassk-nearest

neighborsNoNoNoclass,regrhttps://christophm.github.io/interpretable-ml-book/simple.html可解釋的機(jī)器學(xué)習(xí)方法算法線性單調(diào)性特征交互面向任務(wù)Linea63圖模型IBMThreatIntelligenceComputingMITRE

CyGraphNoDozeHolmes圖模型IBMThreatIntelligenceCo64優(yōu)化原生難解釋的模型優(yōu)化原生難解釋的模型65模型可解釋性技術(shù)概覽PDP(PartialDependence

Plot)全局代理模型(GlobalSurrogate

Models)特征歸因(Feature

Attribution)可視化分析某特征值變化對(duì)模型預(yù)測(cè)的影響以模型預(yù)測(cè)值為樣本標(biāo)簽，重新訓(xùn)練代理模型多種方式確定分類器決策時(shí)最關(guān)鍵的特征集合：基于反向傳播（Class

Activation

Mapping）、博弈論（SHAP）、局部代理模型（LIME）等等模型可解釋性技術(shù)概覽PDP全局代理模型特征歸因可視化分析某特66建模后的可解釋性特征歸因

——

LIMELEMNA:Explainingdeeplearningbasedsecurity

applications建模后的可解釋性特征歸因——LIMELEMNA:Exp67建模后的可解釋性特征歸因

——

LEMNAFused

LassoMixtureregression

model建模后的可解釋性特征歸因——LEMNA68如何構(gòu)建可解釋的模型可解釋的定義、粒度、規(guī)范以任務(wù)目標(biāo)為導(dǎo)向的可解釋定義可解釋的輸入/輸出“以人為本”的，而非“機(jī)器為本”的預(yù)處理、特征提取可解釋的模型針對(duì)任務(wù)目標(biāo)的可解釋方法選擇、優(yōu)化可解釋性的評(píng)估如何有效、量化評(píng)估解釋結(jié)果的真實(shí)性如何構(gòu)建可解釋的模型可解釋的定義、粒度、規(guī)范以任務(wù)目標(biāo)為導(dǎo)向69提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Security實(shí)踐XAI+Security實(shí)踐3提綱1可信任的安全智能2XAI與模型可解釋性3XAI+Sec70一次Webshell流量檢測(cè)探索基本原理一次Webshell流量檢測(cè)探索基本原理71一次Webshell流量檢測(cè)探索基本原理/docs/DOC-107175一次Webshell流量檢測(cè)探索基本原理https://co72一次Webshell流量檢測(cè)探索中國菜刀postbodypass=@eval(base64_decode($_POST[z0]));&z0=......tIik7ZGllKCk7&z1=......93d3cvaHRtbC8%3D--/developer/news/116802專家規(guī)則（Snort，IDS）alerttcpanyany->any80(sid:900001;content:“z1”;content:”base64_decode”;http_client_body;flow:to_server,established;content:”POST”;

nocase;http_method;;msg:”WebshellDetected

Apache”;)--FireEye，2014一次Webshell流量檢測(cè)探索中國菜刀postbody73一次Webshell流量檢測(cè)探索

Layer

(type)OutputShape Param

#=========================================dense_1(Dense) (None,

512) 2560512

dropout_1(Dropout) (None,

512) 0

dens