人工智能安全：原理與實(shí)踐 課件 第12章 模型公平性檢測與提升原理與實(shí)踐

第12章模型公平性檢測與提升原理與實(shí)踐12.1模型公平性檢測與提升原理簡介本章介紹人工智能算法模型在處理數(shù)據(jù)時(shí)，由于設(shè)計(jì)不完善、數(shù)據(jù)不平衡或偏見的引入，會導(dǎo)致某些群體或?qū)ο笫艿讲还綄Υ?，從而形成算法歧視。本章主要講述如何對人工智能算法進(jìn)行公平性檢測，從而消除歧視，進(jìn)而提升算法的公平性。1.算法歧視機(jī)器學(xué)習(xí)模型隨著性能的極大提升，廣泛應(yīng)用于決策系統(tǒng)中，如醫(yī)療診斷和信用評分等。盡管取得了巨大成功，但大量研究揭示了訓(xùn)練數(shù)據(jù)中可能包含先前歧視和社會偏見的模式。在這些數(shù)據(jù)上訓(xùn)練的機(jī)器學(xué)習(xí)模型可能會繼承對年齡、性別、膚色和地區(qū)等敏感屬性的偏見。例如，有研究發(fā)現(xiàn)，用于評估犯罪被告再犯可能性的犯罪預(yù)測系統(tǒng)存在嚴(yán)重的不公平現(xiàn)象。該系統(tǒng)對有色人種存在強(qiáng)烈的偏見，傾向于預(yù)測他們會再犯，即使他們沒有再犯的可能。如圖所示為算法歧視導(dǎo)致應(yīng)用場景中的可能問題。2.模型公平性方法常見模型公平性方法有訓(xùn)練前預(yù)處理，正則化技術(shù)和預(yù)測后處理等方法。其中常用的訓(xùn)練前預(yù)處理方法有重加權(quán)方法等，重加權(quán)方法通過修改訓(xùn)練實(shí)例的權(quán)重來平衡不同敏感屬性組的表示。上面提到的常見算法的性能都比較好，但是都需要敏感屬性信息以去除偏見。然而，對于許多現(xiàn)實(shí)世界的應(yīng)用來說，由于隱私和法律等問題，或數(shù)據(jù)收集的困難，很難獲得每個(gè)數(shù)據(jù)樣本的敏感屬性。盡管每個(gè)數(shù)據(jù)樣本的敏感屬性是未知的，但訓(xùn)練數(shù)據(jù)中通常有一些非敏感特征與敏感屬性高度相關(guān)，可以用來減輕偏見。小結(jié)人工智能算法模型的不公平可能會導(dǎo)致某些潛在的安全影響，例如面部識別導(dǎo)致某些群體在身份驗(yàn)證過程中遇到更高的拒絕率或錯(cuò)誤率，再或者入侵檢測系統(tǒng)和行為分析算法對特定群體的誤報(bào)，這樣也會浪費(fèi)資源。

本小節(jié)簡單介紹了模型公平性檢測原理。祝同學(xué)們學(xué)習(xí)進(jìn)步！致謝李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijian@January23,2025第12章模型公平性檢測與提升原理與實(shí)踐實(shí)踐12-1模型公平性檢測與提升本章介紹本實(shí)踐內(nèi)容主要是檢測模型算法的公平性，消除算法歧視。實(shí)踐中使用ProPublicaCOMPAS數(shù)據(jù)集并構(gòu)建分類任務(wù)，目標(biāo)是預(yù)測刑事被告是否會再次犯罪。1.實(shí)踐介紹實(shí)踐中主要使用了相關(guān)特征來學(xué)習(xí)沒有敏感屬性的公平和準(zhǔn)確的分類器。基本思路是使用相關(guān)特征既作為訓(xùn)練分類器的特征，又作為偽敏感屬性來規(guī)范其行為，從而幫助學(xué)習(xí)公平和準(zhǔn)確的分類器。為了平衡分類準(zhǔn)確性和模型公平性，并應(yīng)對識別的相關(guān)特征不準(zhǔn)確和噪聲的情況，實(shí)踐中可以自動學(xué)習(xí)每個(gè)相關(guān)特征在模型中用于正則化的重要性權(quán)重。關(guān)于實(shí)踐中選用的基準(zhǔn)，為了評估公平性算法的有效性，首先將其與普通模型和敏感屬性感知模型進(jìn)行比較，它們可以作為模型性能的下界和上界：

1.香草模型：它直接使用基本分類器，不需要任何正則化項(xiàng)。在不采用公平保證算法的情況下顯示其性能。

2.約束條件：在這個(gè)基線中，假設(shè)每個(gè)數(shù)據(jù)樣本的敏感屬性都是已知的。1.實(shí)踐介紹實(shí)踐流程圖如圖所示。2.實(shí)踐目的（1）理解機(jī)器學(xué)習(xí)公平性問題（2）熟悉相關(guān)特征正則化算法及實(shí)現(xiàn)（3）體驗(yàn)公平性設(shè)計(jì)思維3.實(shí)踐環(huán)境 python版本：3.10.12或更高版本 深度學(xué)習(xí)框架：torch2.2.2，sklearn1.3.0

其他庫版本：numpy1.24.3，click8.0.4，fairlearn0.10.0

運(yùn)行平臺：pycharm4.實(shí)踐過程1、確定數(shù)據(jù)集。本文使用ProPublicaCOMPAS數(shù)據(jù)集并構(gòu)建分類任務(wù)，目標(biāo)是預(yù)測刑事被告是否會再次犯罪。該數(shù)據(jù)集由2013年至2014年在佛羅里達(dá)州Broward縣接受COMPAS篩查的所有刑事被告組成。本實(shí)踐內(nèi)容僅對可用于預(yù)測被告再犯風(fēng)險(xiǎn)的特征感興趣。4.實(shí)踐過程2、定義重要工具函數(shù)文件，命名utils.py。3、定義模型訓(xùn)練及公平性算法文件main.py。4、繪制相關(guān)屬性公平性模型關(guān)于迭代次數(shù)的熱力圖，在3中的main.py文件運(yùn)行后得出相關(guān)屬性的參數(shù)設(shè)置后，對3中的main.py文件進(jìn)行修改。5.實(shí)踐結(jié)果實(shí)踐結(jié)果：隨著迭代次數(shù)的增加，熱力圖中的顏色逐漸加深或變亮，則表明準(zhǔn)確率在逐漸提高，但是顏色加深到準(zhǔn)確率在0.67左右就開始保持不變，說明可能到達(dá)了該模型的性能上限或數(shù)據(jù)集較