2024微軟人工智能系統(tǒng)人工智能安全隱私

1背景介紹背景介紹自動(dòng)駕駛 人臉識(shí)別/驗(yàn)證 推薦系統(tǒng)訓(xùn)練部署 使用訓(xùn)練用戶數(shù)據(jù)收集訓(xùn)練數(shù)據(jù) 模型 生產(chǎn)環(huán)境數(shù)據(jù)收集安全攻擊隱私泄露

不當(dāng)?shù)暮蠊?/p>

WENEEDRESPONSIBLEAI!目錄目錄完整性(Integrity): 保密性(Confidentiality): 倫理(Ethics): 完整性完整性-預(yù)測(cè)結(jié)果的魯棒性 gradientsignmethod(FGSM): 迭代地生成通用的對(duì)抗攻擊擾動(dòng)Universaladversarialperturbations[MoosaviCVPR2017]原模型AFN模型訓(xùn)練一個(gè)輸入轉(zhuǎn)換模型??迭代地生成通用的對(duì)抗攻擊擾動(dòng)Universaladversarialperturbations[MoosaviCVPR2017]原模型AFN模型Lossfunction:AdversarialTransformationNetworks(AFN)[BalujaAAAI2018]完整性-完整性-預(yù)測(cè)結(jié)果的魯棒性 對(duì)抗樣本預(yù)測(cè)結(jié)果

原樣本

累積誤差 Printedadversarialsamplestofoolimageclassifier[Kurakin2017]

Adversarialstickerstofoolobjectdetection[Evtimov2017]

AdvHattofoolfaceIDsystem[KomKov Foolingspeech-to-text[Carlini2018]Foolingspeech-to-text[Carlini2018][Fukui2016]

FoolingRLagent[Kos2017]完整性完整性-預(yù)測(cè)結(jié)果的魯棒性遷移學(xué)習(xí)（transferlearning）實(shí)際應(yīng)用中常用的一種模型訓(xùn)練方式。通過(guò)復(fù)用已訓(xùn)練好的模型（teachermodel）的大部分參數(shù)，可以使用更少的數(shù)據(jù)更快地訓(xùn)練出符合特定應(yīng)用場(chǎng)景的模型。 ImagefromDawnSong’stalk/sf2017/system/files/presentation-slides/dawn-qcon-nov-20172.pdf目前還沒(méi)有完美的防御方法！ [PapernotS&P2016]防御成功的原因：蒸餾使得網(wǎng)絡(luò)中Softmax層的輸入被縮放（因此不同輸出的決策過(guò)程區(qū)別更大），同時(shí)使攻擊時(shí)的梯度更小。攻擊者可以輕易破解蒸餾防御機(jī)制[CarliniCVPR2017]。[ourwork]

正常樣本和對(duì)抗樣本的slice區(qū)別很大，因此可以用于檢測(cè)對(duì)抗樣本。 基于symbolicintervalanalysis(符號(hào)區(qū)間分析)的模型安全性驗(yàn)證[WangSecurity2018]完整性完整性-預(yù)測(cè)過(guò)程的可信性 [ourwork] Row-HammerAttack(RHA)[Rakin[Clements2018] 保密性保密性-數(shù)據(jù)保密性 根據(jù)f構(gòu)造代價(jià)函數(shù)c根據(jù)f構(gòu)造代價(jià)函數(shù)c 找到能使c(x)最小的樣本x在樣本上進(jìn)行梯度下找到能使c(x)最小的樣本x在樣本上進(jìn)行梯度下行修正有關(guān)。[YeomCSF’2018] Shadowmodeldata生成方法：基于模型搜索數(shù)據(jù)基于數(shù)據(jù)統(tǒng)計(jì)信息基于有噪音的真實(shí)數(shù)據(jù) 簡(jiǎn)單例子：社會(huì)學(xué)調(diào)查目標(biāo)：調(diào)查人員希望獲取一個(gè)群體中擁有屬性A的大致比例，又不能侵犯群體中每個(gè)個(gè)體的隱私。方法：讓每個(gè)被調(diào)查者采用如下流程：扔一枚硬幣??′=1??+12 4 NameHasDiabetes(X)Ross1Monica1Joey0Phoebe0Chandler1?數(shù)b應(yīng)為????，其中??(??)為查詢函數(shù)F的敏感度滿足?-差分隱私保護(hù)的Laplace噪聲，其尺度參期望為0，方差為?數(shù)b應(yīng)為????，其中??(??)為查詢函數(shù)F的敏感度滿足?-差分隱私保護(hù)的Laplace噪聲，其尺度參期望為0，方差為2??2的Laplace分布，其概率密度函數(shù)為：計(jì)算梯度削減梯度添加噪聲更新模型參數(shù)計(jì)算梯度削減梯度添加噪聲更新模型參數(shù) [SegalCCS2017]

Imagefrom:/federated-learning-e79e054c33ef[ourwork] 保密性保密性-模型保密性 模型竊取方式：直接竊?。褐苯庸タ四Ｐ偷拈_發(fā)、存儲(chǔ)或部署環(huán)境，獲得原模型的拷貝。間接竊取：通過(guò)不斷調(diào)用模型開發(fā)者提供的預(yù)測(cè)API，重構(gòu)出一個(gè)訓(xùn)練數(shù)據(jù)Security2016][OrekondyCVPR2019]。 [AdiSecurity2018]將水印嵌入模型輸出。通過(guò)類似于后門攻擊的方法，使模型在特定輸入上產(chǎn)生特定輸出。

[DeepAttestISCA2018]將水印嵌入模型參數(shù)。通過(guò)fine-tune使模型的參數(shù)逼近特定的指紋。[ourwork]給定模型f和模型g，相似度比較算法如下:1. 生成N個(gè)隨機(jī)樣本對(duì){(??1????1????2????2??????????????)}??2. f，計(jì)算s??=????????????????(??????)。??<s??,????,…,????>為模型f的決策向量V??1 2 ??Vg模型f與模型gV??和Vg的距離度量 [GravitonOSDI2018]通過(guò)修改GPU驅(qū)動(dòng)和CUDAruntime，在GPU上支持TEE[GravitonOSDI2018]通過(guò)修改GPU驅(qū)動(dòng)和CUDAruntime，在GPU上支持TEE

[SlalomICLR2019]將一部分復(fù)雜的線性計(jì)算經(jīng)加密后外放(outsource)到普通區(qū)域 倫理倫理-算法公平性 公平性的定義（DemographicParity）??（如種族、性別等），????無(wú)關(guān)：Pr(??|??) = Pr(??)實(shí)際情況中??往往不易定義。 編碼器中間表示Z編碼器原始數(shù)據(jù)

對(duì)抗方h嘗試基于中間表示Z預(yù)測(cè)敏感性質(zhì)A訓(xùn)練目標(biāo)：使對(duì)抗方難以從中間表示Z中預(yù)測(cè)出敏感性質(zhì)A，同時(shí)優(yōu)化中間表示的效果 倫理-倫理-算法的濫用AI生成假新聞

AI詐騙電話 Project注：圖文無(wú)關(guān)倫理倫理-算法的濫用 基于AI的個(gè)性化推薦系統(tǒng)無(wú)處不在，精準(zhǔn)地推薦用戶更喜歡看到的內(nèi)容。YouTu