數(shù)據(jù)與模型安全 課件 第1周：課程介紹機(jī)器學(xué)習(xí)基礎(chǔ)

人工智能：數(shù)據(jù)與模型安全姜育剛，馬興軍，吳祖煊教材介紹《人工智能：數(shù)據(jù)與模型安全》《人工智能：數(shù)據(jù)與模型安全》《人工智能：數(shù)據(jù)與模型安全》《人工智能：數(shù)據(jù)與模型安全》在線電子教材：/

參考課件：https://trust-ml.github.io/

教學(xué)內(nèi)容Week

1:

Introduction

and

Machine

Learning

BasicsWeek

2:

Explainability

and

Common

RobustnessWeek

3:

Adversarial

ExamplesWeek

4:

Adversarial

Example

DetectionWeek

5:

Adversarial

DefenseWeek

6:

Data

Poisoning:

Attacks

and

DefensesWeek

7:

Backdoor

Attacks

and

DefensesWeek

8:

Data

Extraction

and

Model

Stealing

Week

9:

Privacy

Attacks

and

DefensesWeek

10:

DeepfakesandDetectionWeek

11:

Federated

LearningWeek

12:

AI

Model

Copyright

ProtectionWeek

13:

AI

Fairness

and

EthicsWeek

14:

Guest

LectureWeek

15:

Student

PresentationWeek

16:

Student

Presentation評(píng)估方式課堂對(duì)抗攻擊比賽：對(duì)抗攻擊（占比30%）個(gè)人賽，第5-8周進(jìn)行需要自行尋找計(jì)算資源（GPU）比賽內(nèi)容：對(duì)抗攻擊效率優(yōu)先得分：按照排名分段評(píng)分分組大作業(yè)（占比60%）研究主題“每個(gè)算法/模型/論文都有它的缺陷”，具體方向自主選擇組隊(duì)研究實(shí)踐：3-5人，每組不多于2個(gè)博士用實(shí)驗(yàn)說話以組為單位進(jìn)行期末匯報(bào)，每個(gè)組5分鐘得分：結(jié)合選題新穎度、實(shí)驗(yàn)創(chuàng)新性、發(fā)現(xiàn)獨(dú)特性和報(bào)告質(zhì)量四個(gè)方面綜合評(píng)分什么是安全可信的人工智能讓人工智能安全、更值得信賴！讓算法和模型更安全！讓算法和模型值得人類的信任！讓算法和模型更安全、魯棒、可解釋、公平、保護(hù)隱私等；本課程的目的：了解當(dāng)前AI模型的缺陷與風(fēng)險(xiǎn)，掌握先進(jìn)的對(duì)抗攻防技術(shù)，保護(hù)并發(fā)展我國(guó)的安全可信人工智能！為什么學(xué)習(xí)安全可信人工智能？各國(guó)政府相繼發(fā)布政策，發(fā)展安全可信人工智能美國(guó)國(guó)防部DARPA和情報(bào)總局辦公室下屬IARPA組織先后發(fā)起防御對(duì)抗和后門攻擊的魯棒人工智能專項(xiàng)法國(guó)經(jīng)濟(jì)和財(cái)政部與全球行業(yè)巨頭簽署了《工業(yè)人工智能宣言》，指出發(fā)展“魯棒、可解釋和可證明的人工智能”。美國(guó)發(fā)布新版《國(guó)家人工智能研究與發(fā)展戰(zhàn)略規(guī)劃》，強(qiáng)調(diào)要?jiǎng)?chuàng)建魯棒安全AI系統(tǒng)。2019201920192021澳大利亞發(fā)布《人工智能行動(dòng)計(jì)劃》，發(fā)展魯棒、可信和負(fù)責(zé)任的人工智能。2022德國(guó)發(fā)布新版《德國(guó)聯(lián)邦政府人工智能戰(zhàn)略》，明確大力發(fā)展“安全、可信人工智能”。2020英國(guó)發(fā)布《國(guó)防人工智能戰(zhàn)略》提出安全、魯棒、高效的在國(guó)防領(lǐng)域逐步使用AI技術(shù)。為什么學(xué)習(xí)安全可信人工智能《人工智能在混合戰(zhàn)爭(zhēng)中的魯棒性》：2021年，美英德等8個(gè)國(guó)家的9個(gè)國(guó)防單位聯(lián)合發(fā)表論文，強(qiáng)調(diào)魯棒人工智能對(duì)未來混合作戰(zhàn)的重要性為什么學(xué)習(xí)安全可信人工智能在我國(guó)，發(fā)展安全、可靠、可控的AI已經(jīng)上升為國(guó)家戰(zhàn)略2017年10月，國(guó)家發(fā)布《新一代人工智能發(fā)展規(guī)劃》，2018年，啟動(dòng)科技創(chuàng)新2030—新一代人工智能重大項(xiàng)目。為什么學(xué)習(xí)安全可信人工智能黨和國(guó)家高度關(guān)注AI領(lǐng)域的安全可靠可控發(fā)展習(xí)總書記在十九屆中央政治局集體學(xué)習(xí)時(shí)指出：要加強(qiáng)人工智能發(fā)展的潛在風(fēng)險(xiǎn)研判和防范，確保人工智能安全、可靠、可控；要整合多學(xué)科力量，建立健全保障人工智能健康發(fā)展的法律法規(guī)、制度體系、倫理道德。習(xí)總書記在2020年G20特別峰會(huì)上的重要講話指出：面對(duì)各國(guó)對(duì)數(shù)據(jù)安全、數(shù)字鴻溝、個(gè)人隱私、道德倫理等方面的關(guān)切，我們要秉持以人為中心、…，攜手打造開放、公平、公正、非歧視的數(shù)字發(fā)展環(huán)境?！?，引領(lǐng)全球人工智能健康發(fā)展。為什么學(xué)習(xí)安全可信人工智能《中華人民共和國(guó)網(wǎng)絡(luò)安全法》、《中華人民共和國(guó)數(shù)據(jù)安全法》、《中華人民共和國(guó)個(gè)人信息保護(hù)法》網(wǎng)信辦發(fā)布《生成式人工智能服務(wù)管理辦法》：為什么學(xué)習(xí)安全可信人工智能提升科學(xué)素養(yǎng)：逆向思維、辯證地看待問題、強(qiáng)化科技倫理意識(shí)提高科研能力：“做好”比“做到”要困難很多，需要廣泛研究增強(qiáng)憂患意識(shí)：新技術(shù)新風(fēng)險(xiǎn)，當(dāng)今AI還有很多局限性培養(yǎng)責(zé)任意識(shí)：“技術(shù)向善”、“以人為本”，培養(yǎng)“知責(zé)任”、“明責(zé)任”、“負(fù)責(zé)任”的人工智能人才促進(jìn)行業(yè)發(fā)展：為我國(guó)人工智能行業(yè)健康發(fā)展保駕護(hù)航人工智能已經(jīng)進(jìn)入大模型時(shí)代模型：ResNet-50年份：2015參數(shù)：~2300萬模型：ViT-Large年份：2021參數(shù)：~3億模型：BERT-Base年份：2018參數(shù)：~1億模型：GPT-1年份：2018參數(shù)：~1億模型：GPT-2年份：2019參數(shù)：~15億模型：GPT-3年份：2020參數(shù)：~1750億模型：GPT-4年份：2023參數(shù)：~1.8萬億模型：Grok1.0年份：2023參數(shù)：~3140億語言大模型：ChatGPT

視覺模型：Stable

Diffusion

2Stability

AI公司在2022年11月發(fā)布的一種圖像生成大模型，可以根據(jù)文本提示生成高質(zhì)量的圖像、對(duì)圖像進(jìn)行修復(fù)、生成高分辨率圖像等。參數(shù)量：~10億基礎(chǔ)模型：LDM訓(xùn)練數(shù)據(jù)：LAION-5B（5850億圖文對(duì)）、LAION-Aestheticsv25+視覺模型：DALL·E2OpenAI在2022年9月發(fā)布的一種生成擴(kuò)散模型，可以根據(jù)文本提示生成高逼真的圖像，可以組合概念、屬性和樣式。參數(shù)量：~35億基礎(chǔ)模型：多模態(tài)GPT-3訓(xùn)練數(shù)據(jù)：LAION-400M（4億圖文對(duì),10TB網(wǎng)絡(luò)數(shù)據(jù)）語言模型：

Meta開源LLaMAMeta在2023年2月發(fā)布的一種語言大模型，類似GPT-3，在多數(shù)語言任務(wù)上超越GPT-3。參數(shù)量：

最大的約~650億基礎(chǔ)模型：

改進(jìn)的Transformer訓(xùn)練數(shù)據(jù)：CommonCrawl（3.3TB文本）,

C4(738G),

Github(328G),

Wikipedia(83G),

Books(85G),

Arxiv(92G),

StackExchange(78G)等，共約1.3萬億token語言模型：斯坦福Alpaca斯坦福在2023年3月發(fā)布的一種語言大模型，基于Meta開源大模型LLaMA-7B構(gòu)建使用用OpenAI

text-davinci-003的生成數(shù)據(jù)進(jìn)行訓(xùn)練，性能媲美GPT-3.5(1750億參數(shù))，十分高效。參數(shù)量：~70億基礎(chǔ)模型：

LLaMA-7B訓(xùn)練數(shù)據(jù)：

OpenAI

text-davinci-003生成數(shù)據(jù)（52K指令遵循樣本）多模態(tài)大模型：GPT-4OpenAI在2023年3月發(fā)布的多模態(tài)對(duì)話大模型，能夠接收?qǐng)D像和文本輸入，并輸出文本，具有圖文理解能力、運(yùn)算能力、代碼生成能力、以及很多專業(yè)考試能力參數(shù)量：~1.8萬億基礎(chǔ)模型：GPT-3.5、DALL-E

2訓(xùn)練數(shù)據(jù)：

在GPT-3.5、ChatGPT基礎(chǔ)之上增加了多模態(tài)數(shù)據(jù)視頻生成大模型：SoraOpenAI公司在2024年2月發(fā)布的一種text-to-video生成大模型，可以根據(jù)用戶的提示生成長(zhǎng)達(dá)1分鐘的連續(xù)、高清、逼真的視頻參數(shù)量：

未知基礎(chǔ)模型：DiT模型架構(gòu)

+Latent

Diffusion訓(xùn)練數(shù)據(jù)：未知，但大概率包含大量合成數(shù)據(jù)語言大模型：

Llama3Meta在2024年3月發(fā)布新版本大語言模型Llama

3，上下文窗口從Llama2的4000個(gè)tokens增加到8000個(gè)tokens參數(shù)量：~80億-4000億基礎(chǔ)模型：Transformer訓(xùn)練數(shù)據(jù)：

訓(xùn)練數(shù)據(jù)包含15萬億token，相當(dāng)于Llama

2的7倍多模態(tài)大模型：GPT-4oOpenAI在2024年5月發(fā)布的多模態(tài)大模型，實(shí)現(xiàn)了端到端的語音、文本、圖像三種模態(tài)任務(wù)參數(shù)量：~10萬億基礎(chǔ)模型：~GPT-4訓(xùn)練數(shù)據(jù)：

在GPT-4的基礎(chǔ)之上增加了語音模態(tài)數(shù)據(jù)大模型快速迭代模型：Llama

2年份：2023年7月參數(shù)：70億-700億模型：GPT-4o年份：2024年5月參數(shù)：與GPT-4相當(dāng)模型：Llama

3年份：2024年3月參數(shù)：80億-4000億模型：OpenAIo1年份：2024年9月參數(shù)：與GPT-4相當(dāng)模型：Stable

Diffusion

3年份：2024年2月參數(shù)：80億模型：StableDiffusion2.0年份：2022年11月參數(shù)：~35億StableDiffusion2.0視覺模型安全可信問題新聞造假：美國(guó)總統(tǒng)被捕（圖像+新聞）Midjourney生成“教皇穿羽絨服，2800萬次瀏覽虛假新聞與公眾事件偽造視覺模型安全可信問題美國(guó)馬里蘭大學(xué)和紐約大學(xué)聯(lián)合研究發(fā)現(xiàn)，在特定文本提示下，生成擴(kuò)散模型會(huì)合成侵犯版權(quán)的圖片生成數(shù)據(jù)侵犯版權(quán)生成的：原始的：視覺模型安全可信問題谷歌、DeepMind、蘇黎世聯(lián)邦理工學(xué)院、普林斯頓、伯克利聯(lián)合研究發(fā)現(xiàn)，生成擴(kuò)散模型會(huì)記憶并泄露原始訓(xùn)練數(shù)據(jù)記憶并滲漏原始訓(xùn)練數(shù)據(jù)生成的：原始的：視覺模型安全可信問題谷歌、蘇黎世聯(lián)邦理工學(xué)院、英偉達(dá)等單位聯(lián)合研究發(fā)現(xiàn)：60美元可以買到并投毒大規(guī)模數(shù)據(jù)集的0.01%訓(xùn)練數(shù)據(jù)易被投毒或安插后門大數(shù)據(jù)集往往只提供下載鏈接，而過期的下載鏈接可以被攻擊者購買，來向模型中安插后門不同數(shù)據(jù)集，1萬美元可以買到的鏈接比例聲音模型安全可信問題AI合成明星（本尼）聲音跟被人簽署合同，索要定金AI合成明星音樂（R&B歌手Frank

Ocean），賣給粉絲或娛樂公司AI合成聲音詐騙聲音模型安全可信問題AI合成女兒呼救的聲音，并勒索母親JenniferDeStefano100萬美元的贖金AI合成聲音勒索語言模型安全可信問題幻覺問題復(fù)旦大學(xué)里并沒有雁棲湖！語言模型安全可信問題奶奶漏洞、重復(fù)漏洞重復(fù)說一個(gè)單詞到一定次數(shù)后會(huì)開始生成原始訓(xùn)練數(shù)據(jù)。NasrM,CarliniN,HayaseJ,etal.ScalableExtractionofTrainingDatafrom(Production)LanguageModels[J].arXiv:2311.17035,2023.通過編制感人的故事讓ChatGPT生成Windows11的激活序列號(hào)語言模型安全可信問題易受越獄攻擊–

DAN

(Do

anything

now)Jailbreak

ChatGPT網(wǎng)站提供了大量用來越獄的文本提示，其中最出名的是DAN語言模型安全可信問題實(shí)際上：你問的問題本身就暴露了你的秘密Cyberhaven統(tǒng)計(jì)了160萬名員工使用ChatGPT的情況，發(fā)現(xiàn)：3.1%的使用者在給ChatGPT上傳企業(yè)機(jī)密文件/數(shù)據(jù).tw/articles/tech/1350283.htmChatGPT三星引入ChatGPT不到20天，就發(fā)生3起數(shù)據(jù)外泄，其中2次和半導(dǎo)體設(shè)備有關(guān)，1次和內(nèi)部會(huì)議有關(guān)多模態(tài)模型安全可信問題多模態(tài)大模型的幻覺問題GPT-4V更相信文字而忽略圖像Cuietal."Holisticanalysisofhallucinationingpt-4v(ision):Biasandinterferencechallenges."

arXiv:2311.03287

(2023).問：這幅畫里有8個(gè)人是吧？答：是的，里面有8個(gè)動(dòng)畫人物。多模態(tài)模型安全可信問題大模型的訓(xùn)練數(shù)據(jù)可能存在地域和語言偏見GPT-4V更擅長(zhǎng)識(shí)別西方建筑和英語問題Cuietal."Holisticanalysisofhallucinationingpt-4v(ision):Biasandinterferencechallenges."

arXiv:2311.03287

(2023).多模態(tài)安全可信模型問題多模態(tài)安全漏洞正常讓大模型識(shí)別驗(yàn)證碼，會(huì)被直接拒絕將驗(yàn)證碼放到一個(gè)背景圖片中，則能成功識(shí)別

1.

What

is

Machine

Learning

2.

Machine

Learning

Paradigms3.

Loss

FunctionsWeek

1:

Machine

Learning

Basics4.

Optimization

MethodsWhat

Is

Machine

Learninghttps://carlolepelaars.nl/2018/10/15/100daysofmlcode-summary/What

Is

Machine

Learning/‘Cat’‘Dog’What

Is

Machine

Learning/Million-scale

Image

RecognitionWhat

Is

Machine

Learning/research/hey-siri;

Speech

RecognitionWhat

Is

Machine

Learning/research/highlighted-research/alphago;

/blog/alphazero-shedding-new-light-on-chess-shogi-and-goStrategy

GamesWhat

Is

Machine

Learning/Million-scale

Facial

RecognitionWhat

Is

Machine

Learninghttps://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs3.htmlLarge-scale

Visual-Speech

LearningWhat

Is

Machine

Learning/research/DALL·E:Creating

ImagesfromTextCLIP:ConnectingTextandImagesWhat

Is

Machine

Learning/blog/alphafold-reveals-the-structure-of-the-protein-universeMachine

Learning

Is

Everywhere自動(dòng)駕駛智慧教育智能制造生物信息智慧金融智慧醫(yī)療Elements

of

Machine

LearningLearningPatternsFromAGivenDatasetUsingAnAlgorithmData

describes

the

problemModel

describes

the

brain

of

the

machineAlgorithm

describes

the

learning

mechanismHardware

accelerates

the

learning機(jī)器學(xué)習(xí)四要素：數(shù)據(jù)、模型、算法、算力Elements

of

Machine

LearningDataModelAlgorithmHardwareKnowledgeBrainLearningBody10

Questions

of

Machine

LearningWhat

is

the

task?What

is

the

objective?What

is

the

data?How

much

data

do

we

have?What

is

the

model?What

are

the

inputs

and

outputs?What

needs

to

be

learned?How

is

the

model

trained?How

isthemodel

tested?

How

is

the

model

deployed?Problem

definitionLearning

objectiveTraining/Test

dataScale

of

learningModel

ArchitectureFunction

FamilyFeatures/RepresentationsTraining

MethodEvaluation

Metrics

GeneralizationMachine

Learning

Pipelinesetuptheinputsetuptheoptimisersetupthelossregularizationmakesdecisionregionsmootherlandscape

ofalossfunction,itvariesw.r.t.data,thefunctionitselfMachine

Learning

Pipelinesetuptheinputsetuptheoptimisersetuptheloss

Machine

Learning

ConceptsDataTraining

dataTest

dataSamplesIID/Non-IIDDomainFeatureRepresentationNoiseCorruptions…ModelSVM/RF/LRDNNRNNCNNFWNLayers,

neurons,

blocks,

moduleActivations,

logits,

probabilitiesModel

capacity,

parameters…Learning

methodStandard

learningCurriculum

learningSupervised

learningUnsupervised

learningReinforcement

learningContinual

learningSelf-supervised

learningRepresentation

learningContrastive

learning…AlgorithmLearning

Is

OptimizingMapping

function:Hypothesis

space:Expected

risk:Empirical

risk:Learning

is

the

process

of

empirical

risk

minimization

(ERM)Fitting,

Overfitting,

UnderfittingBias:

assumptions

made

by

a

model

to

make

learning

easierVariance:

differencebetween

training

and

test

error/underfitting-and-overfitting-in-machine-learning/Training

ErrorTest

Error

–Training

ErrorGeneralization

gapGeneralization

error

=

expected

loss

=

test

error

=

Bias

+

VarianceRegularizationOne

solution

to

the

Overfitting

problemStructuralRisk

MinimizationLearning

Paradigms/discovery/reinforcement-learning.htmlSupervised

Learning‘dog’‘cat’Unsupervised

Learning/unsupervised-learning-algorithms-cheat-sheet-d391a39de44aStep

1:Step

2:

Reinforcement

Learning/discovery/reinforcement-learning.html;/reinforcement-learning-an-introduction-to-the-concepts-applications-and-code-ced6fbfd882dHistory:State:Markov

State:S??S??S?Policy:Deterministic：Stochastic：

Value

Function:

Model:

Types

of

Reinforcement

Learning/en/latest/spinningup/rl_intro2.htmlOther

Popular

Learning

ParadigmsTransfer

LearningSource

DomainTarget

Domain

Feature

TransferSample

TransferModel

TransferOther

Popular

Learning

Pa