可信AI技術(shù)創(chuàng)新-打造安全的AI使能引擎

可信AI技術(shù)創(chuàng)新打造安全的AI使能引擎打造安全的AI使能引擎所面臨的挑戰(zhàn)——面對(duì)惡意攻擊學(xué)習(xí)服務(wù)器數(shù)據(jù)服務(wù)器收集訓(xùn)練數(shù)據(jù)時(shí)，若數(shù)據(jù)來(lái)源不可靠，則有可能被攻擊者混入惡意數(shù)據(jù)，造成訓(xùn)練失準(zhǔn)藥餌攻擊服務(wù)器使用的學(xué)習(xí)框架或第三方提供的模型可能潛藏有后門/漏洞，經(jīng)攻擊者利用會(huì)造成嚴(yán)重的安全威脅后門/漏洞攻擊攻擊者通過(guò)根據(jù)模型的輸入輸出竊取模型的具體信息模型竊取攻擊模型做判斷時(shí)，攻擊者有可能根據(jù)模型訓(xùn)練的結(jié)果，加入一定的噪聲，造成判斷結(jié)果失準(zhǔn)閃避攻擊模型健壯性攻擊模型機(jī)密性攻擊*Christianetal.,Intriguingpropertiesofneuralnetworks./abs/1312.6199.PerturbationsOriginalimageTemple(97%)AdversarialexampleOstrich(98%)基于對(duì)抗樣本的閃避攻擊是針對(duì)模型健壯性的最主要攻擊方式對(duì)抗樣本會(huì)誤導(dǎo)AI系統(tǒng)的分類過(guò)程，影響AI服務(wù)的精確度現(xiàn)有對(duì)抗樣本攻擊技術(shù)：FGSM，Deepfool，JSMA，Black-box和CW等現(xiàn)有防御技術(shù)：對(duì)抗樣本檢測(cè)技術(shù)，對(duì)抗性重訓(xùn)練，梯度混淆等(LABELEDPHOTOS)TrainingModelDownloadClassificationIt’scat人類無(wú)法察覺的小擾動(dòng)可以欺騙AI分類系統(tǒng)TrainingphaseInferringphase對(duì)抗樣本攻擊自動(dòng)駕駛系統(tǒng)，AI產(chǎn)生的錯(cuò)誤會(huì)威脅生命安全。(a)Image(b)Prediction(c)AdversarialExample(d)Prediction+.007×DOG=CATDOGDOGCAT*Metzenetal.,UniversalAdversarialPerturbationsAgainstSemanticImageSegmentation./abs/1704.05712.利用多維度測(cè)試引擎生成對(duì)抗樣本，評(píng)測(cè)AI模型的安全性GeneratorModuleFuzzerModuleAnalyzerModuleMulti-levelAdversarialSampleGeneratorAttackLibraryAdversarialExamplesAdversarialFuzzerPlatformLibraryRobustnessUtilityCoverageUtilityAttackUtilityCleanDatasetDLModelsSecurityReport多維度——使用業(yè)界主流黑白盒攻擊，多角度探測(cè)模型抗攻擊能力。使用多維測(cè)試，全面檢查模型各項(xiàng)安全指標(biāo)。

高適用性——適用于各種DNN模型的通用測(cè)試方法；模塊化——采用模塊化設(shè)計(jì)，可擴(kuò)展API，適用于多種業(yè)務(wù)場(chǎng)景，可作為測(cè)試引擎提供安全測(cè)試服務(wù)。

多維度，高適用性的模塊化測(cè)試引擎集成業(yè)界主流黑白盒攻擊庫(kù)，針對(duì)待測(cè)DNN模型可采用多策略生成大量對(duì)抗樣本對(duì)DNN模型進(jìn)行自動(dòng)化測(cè)試，涵蓋攻擊，防御及魯棒性等多種測(cè)試。并對(duì)測(cè)試結(jié)果進(jìn)行量化分析和橫向?qū)Ρ龋⑻峁┨嵘Ｐ桶踩缘闹笇?dǎo)意見*Christianetal.,Intriguingpropertiesofneuralnetworks./abs/1312.6199.利用變形測(cè)試技術(shù)來(lái)檢測(cè)對(duì)抗樣本高精度——對(duì)5類對(duì)抗樣本攻擊的平均檢測(cè)準(zhǔn)確度超過(guò)92％，對(duì)JSMA特定攻擊的準(zhǔn)確度超過(guò)99％*；

高適用性——適用于各種DNN模型的通用檢測(cè)方法；高實(shí)用性——獨(dú)立的解決方案，無(wú)需修改原始模型。具有高精度適用性和實(shí)用性的業(yè)界首創(chuàng)防御技術(shù)標(biāo)簽轉(zhuǎn)換率用來(lái)衡量輸入樣本的標(biāo)簽在擾動(dòng)下發(fā)生變化的可能性。給定相同程度的隨機(jī)擾動(dòng)，對(duì)抗樣本比正常樣本的標(biāo)簽更容易改變。變形測(cè)試技術(shù)：給定輸入和DNN模型，通過(guò)測(cè)量輸入在變形擾動(dòng)時(shí)的標(biāo)簽變換率，可以大概率檢測(cè)出對(duì)抗樣本。(LABELEDPHOTOS)TrainingModelDownloadClassificationIt’scatTrainingphaseInferringphase變形測(cè)試DecisionwithconfidenceInputNormalDNNMutationtestingAdversarialDOGCAT利用RCE目標(biāo)訓(xùn)練技術(shù)來(lái)檢測(cè)對(duì)抗樣本高精度——對(duì)5類對(duì)抗樣本攻擊的平均檢測(cè)準(zhǔn)確度超過(guò)95％，對(duì)BIM特定攻擊的準(zhǔn)確度超過(guò)99％*；

高適用性——適用于各種DNN模型的通用檢測(cè)方法；高效率——防御集成在模型中，訓(xùn)練方法簡(jiǎn)單易用。具有高精度適用性和效率的業(yè)界首創(chuàng)防御技術(shù)交叉熵（CrossEntropy）和反交叉熵（ReverseCrossEntropy）主要用于度量?jī)蓚€(gè)概率分布間的差異性信息，以反交叉熵訓(xùn)練的分類器對(duì)真實(shí)類有高置信度，同時(shí)對(duì)虛假類的判別符合正規(guī)分布。RCE目標(biāo)訓(xùn)練技術(shù)：在模型訓(xùn)練時(shí)，通過(guò)反交叉熵訓(xùn)練；在模型判斷時(shí)，通過(guò)隱藏層的核密度作為閾值來(lái)有效地檢測(cè)和過(guò)濾對(duì)抗樣本。(LABELEDPHOTOS)TrainingModelDownloadClassificationIt’scatTrainingphaseInferringphaseDecisionwithconfidenceNormalInputKernelDensityAdversarialRCE-ObiRCE-ObjTrainedDOGCAT利用迭代對(duì)抗訓(xùn)練技術(shù)，提高AI模型的魯棒性，防御對(duì)抗樣本高精度——多次迭代敵對(duì)重訓(xùn)練并不會(huì)降低模型對(duì)良性樣本的精確度。每次重訓(xùn)練對(duì)當(dāng)代攻擊者能夠有效防御，并能夠防御下一代攻擊者80%的攻擊樣本。

高適用性——適用于各種DNN模型的通用檢測(cè)方法；高效率——防御集成在模型中，訓(xùn)練方法簡(jiǎn)單易用，不更改模型結(jié)構(gòu)。具有高精度，適用性和效率的防御技術(shù)攻擊者能力假設(shè)：攻擊者擁有所有的訓(xùn)練樣本、模型的層數(shù)、神經(jīng)元連接方式的信息，但攻擊者沒有生成模型時(shí)的隨機(jī)數(shù)信息。在現(xiàn)實(shí)應(yīng)用中，攻擊者很難達(dá)到這種能力。迭代對(duì)抗訓(xùn)練技術(shù)：通過(guò)多次迭代攻擊者的攻擊方法，最終使得防御模型能夠防御下一代的攻擊。一代攻擊者原始模型二代攻擊者一代模型三代攻擊樣本三代攻擊者二代模型第n代模型……訓(xùn)練原始良性圖像原始圖像+一代攻擊樣本原始圖像+一、二代攻擊樣本原始圖像+前n代攻擊樣本第n+1代攻擊者一代攻擊樣本二代攻擊樣本FGSM攻擊敵對(duì)樣本模型竊取攻擊是AI系統(tǒng)數(shù)據(jù)層面的最主要風(fēng)險(xiǎn)之一由于樣本采集和模型培訓(xùn)需要大量資源，因此AI應(yīng)用中的模型是重要的知識(shí)產(chǎn)權(quán)。通過(guò)AI-as-a-Service，用戶可以調(diào)用API執(zhí)行圖像/語(yǔ)音識(shí)別等推理任務(wù)。模型竊取攻擊是攻擊者多次調(diào)用AI-as-a-Service的API以竊取AI模型的攻擊方法。攻擊者不但可以竊取模型，而且可以通過(guò)構(gòu)建類似的模型來(lái)攻擊原始模型，發(fā)起黑盒對(duì)抗樣本攻擊。AttackModelfxf(x)DataInversionAttackf′xf′(x)f′(x)=f(x)on100%ofinputs100s-1000sofonlinequeriesLogisticRegressions,NeuralNetworks,DecisionTrees,SVMsReverse-engineermodeltype

&featuresImprovedModel-InversionAttacks[Fredriksonetal.2015]攻擊者通過(guò)精心構(gòu)建模型查詢請(qǐng)求，攻擊者可以顯著減少構(gòu)建模型所需的查詢數(shù)量（數(shù)千次），得到與原模型對(duì)大多數(shù)輸入數(shù)據(jù)有相同預(yù)測(cè)的等價(jià)模型。AI-as-a-Service*FTramèretal.,StealingMachineLearningModelsviaPredictionAPIs./abs/1609.02943.利用邊界檢測(cè)技術(shù)，檢測(cè)模型竊取企圖，保護(hù)AI核心資產(chǎn)攻擊者利用AI業(yè)務(wù)的公開數(shù)據(jù)集對(duì)模型邊界進(jìn)行嗅探，以竊取和逆向目標(biāo)AI模型。信息增量是指一個(gè)正確的推理結(jié)果對(duì)于該模型信息量的增加。邊界檢測(cè)防竊取技術(shù)：當(dāng)攻擊者的查詢嗅探有較高信息增量時(shí)，該技術(shù)會(huì)對(duì)查詢進(jìn)行加噪操作，減少查詢的信息增量，保護(hù)模型的機(jī)密性。邊界檢測(cè)模塊針對(duì)性加噪模塊安全系數(shù)ε最終結(jié)果是否需要加噪、噪聲量級(jí)安全系數(shù)Δ高效率——該技術(shù)可以維持原模型90%的準(zhǔn)確率的情況下，將抗攻擊能力提高到原有模型的400%。

高適用性——適用于各種DNN模型的通用檢測(cè)方法。高可配置性——防御獨(dú)立于原模型，可通過(guò)安全參數(shù)進(jìn)行調(diào)整，兼顧效率和安全性。具有高效率適用性和可配置性的防御技術(shù)持續(xù)創(chuàng)新落地AI安全新技術(shù)，打造安全的AI使能引擎202120192020終端\CLOUDBU(EI)\安平&MDC的可信AI業(yè)務(wù)Hi組件終端助理智能數(shù)據(jù)分析智能云監(jiān)控智能監(jiān)控智能企業(yè)管理交通優(yōu)化自動(dòng)駕駛攻防Demo輸入數(shù)據(jù)過(guò)濾模型安全評(píng)估模型與數(shù)據(jù)防竊取模型安全訓(xùn)練業(yè)務(wù)接口中間層接口藥餌后門攻防訓(xùn)練數(shù)據(jù)過(guò)濾后門檢測(cè)模型動(dòng)態(tài)更新對(duì)抗樣本攻防對(duì)抗樣本檢測(cè)安全評(píng)測(cè)對(duì)抗訓(xùn)練模型安全強(qiáng)化模型魯棒性增強(qiáng)模型可解釋模型可驗(yàn)證AI安全架構(gòu)模型防竊取運(yùn)行狀態(tài)機(jī)密性多模型架構(gòu)安全應(yīng)用安全模組