2024人工智能數(shù)據(jù)治理實(shí)踐指南

目錄TOC\o"1-3"\h\u5063 1919 710538（一） 7155791. 726192. 819713. 98628（二） 114832（三） 1224191 1218476 1226548 1327870數(shù)據(jù)治理運(yùn)營優(yōu)化與AI 131485（四） 161707（五） 174674 1912635（一） 192339 20129311） 20298072） 20173973） 21264244） 2148285） 22119916） 2383557) 23211738） 2423568 2532634（二） 2615421 2683542） 27133973） 28173514） 28200315） 28315186） 2927549 29248262） 3026570（三） 3111348 31273222) 3217043) 32317235) 335546 347622 3532664 3615648 3610043 3724002 381237 3829720 3927528 397549 3918177 3913243 4031594 4023991 408684 413690 4328236 4411399 4411878 4412424（二） 456806 45133067 4598098 451081 4614956 477165 4720218 4717001 4718585 47（一）語定義源自ISO/TR14872:2019HealthinformaticsIdentificationofmedicinalproducts—Coreprinciplesformaintenanceofidentifiersand準(zhǔn)從IT在國家標(biāo)準(zhǔn)中，最早出現(xiàn)的數(shù)據(jù)治理術(shù)語定義源自GB/T35295-2017《信息技術(shù)大數(shù)據(jù)術(shù)語》，將其定義為“對數(shù)據(jù)進(jìn)行第一階段，2080年代，隨著數(shù)據(jù)庫技術(shù)的發(fā)展，企業(yè)開始意識到數(shù)據(jù)的重要性。但當(dāng)時數(shù)據(jù)管理主要依靠數(shù)據(jù)庫管理系統(tǒng)（DBMS），1988年由麻省理工學(xué)院的兩位教授啟動了全面數(shù)第三階段，2120年代，以大模型為代表的生成式模型成為多的適配于面向BI時代的結(jié)構(gòu)化數(shù)據(jù)，在人工智能所需要的非結(jié)構(gòu)DataGovernanceforArtificialIntelligence）概念應(yīng)運(yùn)而生，它旨在通過創(chuàng)新的數(shù)據(jù)管理策略和技術(shù)，解決AI發(fā)展中的痛點(diǎn)問題。AIAI以及技術(shù)的創(chuàng)新，以確保AI技術(shù)的健康發(fā)展，并最大化其對人類社（二）人工智能：人工智能（AI，ArtificialIntelligence）是一個與認(rèn)知定義，但是從商業(yè)的角度來看，AI意味著使計(jì)算機(jī)能夠執(zhí)行各種高數(shù)據(jù)治理：根據(jù)IBM、標(biāo)準(zhǔn)要求、數(shù)據(jù)治理協(xié)會等研究（見附錄由此，我們可以認(rèn)為面向人工智能的數(shù)據(jù)治理（DG4AI，DataIntelligence性，數(shù)據(jù)能夠被準(zhǔn)確地用于訓(xùn)練和部署AI模型，同時保護(hù)數(shù)據(jù)的隱（三）和AI現(xiàn)狀，設(shè)定組織中各機(jī)構(gòu)和部門的職責(zé)、權(quán)力的利治理目標(biāo)：確保面向AI的數(shù)據(jù)治理得到必要的支持和資AI并基于數(shù)據(jù)治理所需的專項(xiàng)能力和業(yè)務(wù)價值目標(biāo)構(gòu)建支持面向AI數(shù)據(jù)治理運(yùn)營優(yōu)化與AI治理目標(biāo)AI應(yīng)用的規(guī)模化落地效果，實(shí)現(xiàn)數(shù)據(jù)治理與AI應(yīng)用的良性互動。進(jìn)一步，形成數(shù)據(jù)治理與AI應(yīng)工作重點(diǎn)AI模型的擬合效果，同時利用AI技術(shù)優(yōu)化數(shù)據(jù)治理流程，形成良性閉環(huán)系統(tǒng)。（四）AI系統(tǒng)的安全水平。此外，這項(xiàng)工作還能夠完善對未來全（五）論過程類似（如PDCA），但鑒于人工智能應(yīng)（一）數(shù)據(jù)標(biāo)注AI任務(wù)中，尤其是監(jiān)督學(xué)習(xí)場景下，模型公平的人工智能系統(tǒng)的基石，有助于避免AI應(yīng)用在社會生活中可能數(shù)據(jù)偏見檢測：數(shù)據(jù)偏見檢測主要通過統(tǒng)計(jì)分析、可視化手偏見矯正：在發(fā)現(xiàn)數(shù)據(jù)存在偏見后，數(shù)據(jù)質(zhì)量管理活動會采AI項(xiàng)目生命周期，模型訓(xùn)練階段的數(shù)據(jù)質(zhì)量監(jiān)控：在模型訓(xùn)練前，系統(tǒng)應(yīng)具備微調(diào)，以期得到精準(zhǔn)、可靠且具有泛化能力的AI模型。模型推理階段的數(shù)據(jù)質(zhì)量監(jiān)控：即使模型進(jìn)入推理階段，數(shù)8）AI技術(shù)的健康發(fā)展。類問題；緊跟AI技術(shù)發(fā)展，優(yōu)化數(shù)據(jù)采集、預(yù)處理、清洗、標(biāo)注等進(jìn)AI從數(shù)據(jù)獲取到模型應(yīng)用全程的數(shù)據(jù)質(zhì)量問題管理和控制，為AI模型自動化與智能標(biāo)注自動化標(biāo)注使用機(jī)器學(xué)習(xí)算法和計(jì)算機(jī)視覺技術(shù)自動識別和標(biāo)注數(shù)（二）數(shù)據(jù)的可用性，降低隱私風(fēng)險(xiǎn)，對AI數(shù)據(jù)安全治理起著核心作用。（三）責(zé)任與可追溯性技術(shù)AI通過利用DataOps1所強(qiáng)調(diào)的加強(qiáng)團(tuán)隊(duì)間協(xié)作溝通、要求數(shù)據(jù)流程以下我們將創(chuàng)新性的提出利用DataOps理念來賦能人工智能模型1aaO：數(shù)據(jù)研發(fā)運(yùn)營一體化（a）是數(shù)據(jù)開發(fā)的新范式，將敏捷、精益等理念融入數(shù)據(jù)開發(fā)過程，通過對數(shù)據(jù)相關(guān)人員、工具和流程的重新組織，打破協(xié)作壁壘，構(gòu)建集開發(fā)、治理、運(yùn)營于一體的自aaOsDG4AI技術(shù)、實(shí)踐和理論的成熟，DG4AI將更加標(biāo)準(zhǔn)化與隨著人工智能的快速發(fā)展，從ChatGPT迭代更新到Sora的重磅推出，人類的生產(chǎn)力和效率水平完成日益復(fù)雜人工智能在開發(fā)和應(yīng)用過程中面臨的嚴(yán)作為較早開展人工智能數(shù)據(jù)治理工作的量數(shù)據(jù)集和模型開發(fā)與評估以及個人隱私6年0公室（TP）發(fā)布《國家人工智能研究931并共享人工智能培訓(xùn)和測試專用公共數(shù)9年2

ecerrnMaaiigerianearsipinrtfcaltelece）中明確提出：所有相關(guān)機(jī)構(gòu)的負(fù)責(zé)人都應(yīng)該重新評估其會增加非聯(lián)邦A(yù)I檔，以實(shí)現(xiàn)發(fā)現(xiàn)和可用性，并應(yīng)根據(jù)I研究團(tuán)體的用戶反饋，優(yōu)先改進(jìn)I數(shù)據(jù)2年0月4辦公室（TP）發(fā)布《人工智能權(quán)利法案lertfranIillfit）提出將數(shù)據(jù)保護(hù)隱私作為人工智能技術(shù)應(yīng)統(tǒng)在特定用途的需求上需要征得用戶同意還指出要對敏感領(lǐng)域相關(guān)數(shù)據(jù)提供有額這些敏感領(lǐng)域相關(guān)的數(shù)據(jù)的自動化系統(tǒng)OrderontheSafe,Secure,andTrustworthyDevelopmentandUseofArtificial人工智能技術(shù)的迅速迭代以及應(yīng)用的快速普及，使得美國在人工智能立法層面近期人工智能提案的數(shù)據(jù)治理部分進(jìn)行2023211日，美國提出《確保人工或《評估人工智能法案》（AssuringSafe,Secure,Ethical,andStableSystemsforAIActorASSESSAIAct），該法案指示總統(tǒng)

組應(yīng)評估人工智能應(yīng)用和相關(guān)數(shù)據(jù)的現(xiàn)邦政府運(yùn)作中使用人工智能和相關(guān)數(shù)據(jù)由、公民權(quán)利和正當(dāng)程序。2023年7月13(AILEADAct）旨在設(shè)立首席人工智能官每個機(jī)構(gòu)的負(fù)責(zé)人應(yīng)確保該機(jī)構(gòu)負(fù)責(zé)地系統(tǒng)或能力包括保護(hù)個人權(quán)利和安全以及保護(hù)聯(lián)邦政府?dāng)?shù)據(jù)和其他信息的保護(hù)措施等。2023928日，美國國會提DeepFakeScamsAct)，社交媒體的普及使得不法分子更容易獲得潛在目標(biāo)的視頻取消費(fèi)者身份和實(shí)施欺詐可能導(dǎo)致的潛2023427日，美國國會提出《人工智能領(lǐng)導(dǎo)力培訓(xùn)法案》（AILeadership為聯(lián)邦管理官員和監(jiān)管人員及其他目的制定或以其他方式確保提供人工智能培中沒有使用具有足夠代表性的培訓(xùn)數(shù)據(jù)2023516日，美國國會提出《兒童人工智能保護(hù)法案》(AIShieldforKids未成年人父母同意的情況下向未成年人12日，美國國會《保護(hù)選舉免受欺騙性人工智能法案》(ProtectElectionsfrom選人及其他目的有關(guān)的具有欺騙性的人技術(shù)的最新進(jìn)步和深度偽造軟件的發(fā)展對個人保護(hù)自己的聲音和形象不被盜用(NoAIFRAUDAct)，該法如果通信包含全部或部分使用人工智能明顯的方式包括聲明。202365日，DisclosureAct）要求生成式人工智能披露法。2023912日，美國國會《人工智能生成內(nèi)容咨詢法案》(AdvisoryforAI-GeneratedContentAct)，指出為人工智

3年1月1(Iaegct）要求披露人工智能生成的內(nèi)容，其中輸出的元數(shù)據(jù)信息應(yīng)包括內(nèi)容為人工具的標(biāo)識以及創(chuàng)建內(nèi)容的日期和時間。3年2月2基礎(chǔ)模型透明度法案》（ItnMelsarcyct2023年10月25日，美國國會提出《人工智能問責(zé)法案》(ArtificialIntelligenceAccountabilityAct)，該法案要求美國國家智能系統(tǒng)的問責(zé)措施如何有助于彌合數(shù)體來說，NTIA必須研究、征求利益相關(guān)統(tǒng)是值得信賴的。2023年11月2日，美 ManagementAct)，該法案指示聯(lián)邦機(jī)構(gòu)使與NIST院長協(xié)商，提供合同語言草案，供各機(jī)構(gòu)在需要人工智能供應(yīng)商的采購中使用，包括提供對NIST院長定義的數(shù)分的測試和評估、驗(yàn)證和確認(rèn)。2023年11月15日，美國國會提出《人工智能研究、創(chuàng)新和責(zé)任法案》(Artificial AccountabilityAct)，為人工智能創(chuàng)新和問2018425日，歐盟委員會發(fā)布《歐洲人工智能戰(zhàn)略》(TheAgeofArtificialIntelligence:TowardsaEuropeanStrategyforHuman-CentricMachines）政策文件，首次系統(tǒng)地提出了歐盟版的人工智能發(fā)倡議和確定了歐洲人工智能發(fā)展的三大人工智能技術(shù)可能帶來的社會經(jīng)濟(jì)變革2019年48日發(fā)布了由人工智能專家委員會撰寫的《可信人工智能倫理指南》(EthicsGuidenelinesforTrustworthyAI)，旨在為人工智能技術(shù)的開發(fā)和應(yīng)用提供7個實(shí)踐原則的關(guān)鍵要求之一。2020219日歐盟發(fā)布了《人工智能(WhitePaperonArtificial（ecosystemofexcellence）和“信任生態(tài)2021421日歐盟發(fā)布更新版本《人2021(CoordinatedPlanonArtificialIntelligenceReview

挖掘數(shù)據(jù)潛能以充分釋放其潛力以及建2年7月5)(tgteatyfaasessedinariticeisaigsstes第一：以數(shù)據(jù)為中心。2018年5工智能的主要有：①GDPR要求人工智能5公平地并且以公開透明的方式對數(shù)據(jù)主體的個人數(shù)據(jù)進(jìn)行處理等。②GDPR22條指出數(shù)據(jù)主體有權(quán)不受僅基于自動第二：以平臺為中心。202275日，歐洲議會通過《數(shù)字服務(wù)法》（DigitalServicesAct，DSA）和《數(shù)字市場法》（DigitalMarketsAct，DMA），《數(shù)字服活躍于多個歐盟國家等條件的大型在線（gatekeeper它們的業(yè)務(wù)用戶訪問在使用平臺時生成第三，以人工智能為中心。20236（AIAct），這是世界上首部針對人工智取高質(zhì)量數(shù)據(jù)在提供結(jié)構(gòu)和確保許多人工智能系統(tǒng)的性能方面發(fā)揮著至關(guān)重要高質(zhì)量數(shù)據(jù)集需要實(shí)施適當(dāng)?shù)臄?shù)據(jù)治理10條數(shù)據(jù)和數(shù)據(jù)治

人群或人群組的特性。這些數(shù)據(jù)集的特性可以在單個數(shù)據(jù)集或其組合的水平上滿足盟指令（EU）2016/68010條和《歐洲議會條例（EU）2018/172510(1）顯著影響所追求目的的情況下采用加密（二）1 ISO/IEC Informationtechnology—Artificialintelligence—lifecycleISO/IECDIS5259- Artificialintelligence Dataqualityforanalyticsmachinelearning(ML)—Part1:Overview,terminology,andISO/IECDIS5259- Artificialintelligence Dataqualityforanalyticsmachinelearning(ML)—Part2:DataqualityISO/IECDIS5259- Artificialintelligence Dataqualityforanalyticsmachinelearning(ML)—Part3:DataqualitymanagementrequirementsandguidelinesISO/IECDIS5259- Artificialintelligence Dataqualityforanalyticsmachinelearning(ML)—Part4:DataqualityprocessISO/IECDIS5259- Ar