DB14-T 2465-2022 人工智能 數(shù)據(jù)標(biāo)注通.用工作規(guī)程

ICS33.160.40CCSA9114IDB14/T2465—2022前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4原則 5工作流程 6規(guī)劃要求 7實(shí)施要求 8監(jiān)控要求 9交付要求 參考文獻(xiàn) DB14/T2465—2022本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由山西省工業(yè)和信息化廳提出、組織實(shí)施和監(jiān)督檢查。山西省市場(chǎng)監(jiān)督管理局對(duì)標(biāo)準(zhǔn)的組織實(shí)施情況進(jìn)行監(jiān)督檢查。本文件由山西省物聯(lián)網(wǎng)和人工智能標(biāo)準(zhǔn)化技術(shù)委員會(huì)歸口。本文件起草單位：百度云計(jì)算技術(shù)（山西）有限公司、山西省大眾科技評(píng)估中心、山西靈波微步科技有限公司、山西物聯(lián)網(wǎng)行業(yè)技術(shù)中心（有限公司）、山西集智數(shù)據(jù)服務(wù)有限公司、山西省科技評(píng)估學(xué)會(huì)。本文件主要起草人：司文、施佳樑、王洋、閔楠、胡馳、尉赤、張辰妹、吳澤銜、查曉丹、郭瑞鵬、李先軍、趙波、李鵬、李鵬飛。1DB14/T2465—2022人工智能數(shù)據(jù)標(biāo)注通用工作規(guī)程本文件規(guī)定了人工智能機(jī)器學(xué)習(xí)中數(shù)據(jù)標(biāo)注生產(chǎn)所需要的通用工作要求，包括原則、流程、規(guī)劃、實(shí)施、監(jiān)控與交付。本文件適用于人工智能機(jī)器學(xué)習(xí)中數(shù)據(jù)標(biāo)注的企業(yè)、高校、研究機(jī)構(gòu)、政府機(jī)關(guān)。其他行業(yè)和機(jī)構(gòu)可參照?qǐng)?zhí)行。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。DB14/T2463人工智能數(shù)據(jù)標(biāo)注總體框架3術(shù)語(yǔ)和定義DB14/T2463界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1數(shù)據(jù)標(biāo)注合格率qualifiedrateofdataannotation一個(gè)標(biāo)注任務(wù)中，符合標(biāo)注規(guī)則要求的已標(biāo)注數(shù)據(jù)總量與已標(biāo)注數(shù)據(jù)總量的比值。3.2數(shù)據(jù)標(biāo)注質(zhì)量控制員dataannotationqualitycontroller數(shù)據(jù)標(biāo)注工作中，按照標(biāo)注規(guī)則從事數(shù)據(jù)審核等質(zhì)量控制工作的人員。3.3數(shù)據(jù)標(biāo)注任務(wù)dataannotationtask數(shù)據(jù)標(biāo)注機(jī)構(gòu)按照需方要求或合同約定，在特定的時(shí)間、成本、質(zhì)量要求下完成指定數(shù)據(jù)標(biāo)注的工作。4原則4.1數(shù)據(jù)標(biāo)注機(jī)構(gòu)對(duì)待標(biāo)注數(shù)據(jù)應(yīng)遵循數(shù)據(jù)安全、保密的原則。4.2制定數(shù)據(jù)標(biāo)注計(jì)劃制定時(shí)應(yīng)遵循合理性、可量化性、及時(shí)性和可調(diào)整性的原則。4.3數(shù)據(jù)標(biāo)注生產(chǎn)過(guò)程應(yīng)遵循全過(guò)程質(zhì)量控制原則，確保生產(chǎn)過(guò)程質(zhì)量可控。5工作流程數(shù)據(jù)標(biāo)注工作流程見圖1。2DB14/T2465—2022圖1數(shù)據(jù)標(biāo)注工作流程圖6規(guī)劃要求6.1明確需求數(shù)據(jù)標(biāo)注生產(chǎn)開始前，數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)及時(shí)獲取數(shù)據(jù)需求方數(shù)據(jù)標(biāo)注的需求說(shuō)明書，并應(yīng)包括以下內(nèi)容：a)明確數(shù)據(jù)標(biāo)注需求完成的時(shí)間節(jié)點(diǎn)；b)明確數(shù)據(jù)標(biāo)注的內(nèi)容；c)明確數(shù)據(jù)標(biāo)注的方法；d)明確數(shù)據(jù)驗(yàn)收規(guī)則；e)其他要求。6.2獲取數(shù)據(jù)數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)及時(shí)從數(shù)據(jù)需求方處獲取待標(biāo)注數(shù)據(jù)，數(shù)據(jù)獲取方式包括：a)平臺(tái)接口對(duì)接的方式；b)存儲(chǔ)介質(zhì)復(fù)制的方式。6.3規(guī)則驗(yàn)證與細(xì)化數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)按照標(biāo)注規(guī)劃進(jìn)行標(biāo)注規(guī)則驗(yàn)證與細(xì)化，并完成以下內(nèi)容：a)確定數(shù)據(jù)試標(biāo)數(shù)量：應(yīng)遵循數(shù)據(jù)標(biāo)注內(nèi)容覆蓋全面性及數(shù)據(jù)標(biāo)注成本最小化要求，抽取需求方指定數(shù)量作為試標(biāo)數(shù)量；b)進(jìn)行試標(biāo)：應(yīng)選擇中等以上技能的數(shù)據(jù)標(biāo)注員，按照標(biāo)注規(guī)則對(duì)抽樣數(shù)據(jù)進(jìn)行標(biāo)注，以驗(yàn)證標(biāo)注規(guī)則的合理性；c)細(xì)化數(shù)據(jù)標(biāo)注規(guī)則：應(yīng)遵循易理解、易操作的原則，且與數(shù)據(jù)需求方要求一致的原則，對(duì)數(shù)據(jù)試標(biāo)中發(fā)現(xiàn)的不合理規(guī)則進(jìn)行修改細(xì)化。6.4明確計(jì)劃數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)根據(jù)標(biāo)注需求、數(shù)據(jù)試標(biāo)效率確定標(biāo)注計(jì)劃。計(jì)劃內(nèi)容包括：進(jìn)度計(jì)劃、人員計(jì)劃、資金計(jì)劃、工具計(jì)劃、質(zhì)量控制計(jì)劃、驗(yàn)收計(jì)劃。6.5專項(xiàng)培訓(xùn)3DB14/T2465—2022數(shù)據(jù)標(biāo)注培訓(xùn)師應(yīng)按照標(biāo)注計(jì)劃和標(biāo)注規(guī)則，在數(shù)據(jù)標(biāo)注生產(chǎn)過(guò)程中對(duì)數(shù)據(jù)標(biāo)注員進(jìn)行有針對(duì)性的培訓(xùn)，確保標(biāo)注質(zhì)量。7實(shí)施要求7.1任務(wù)創(chuàng)建數(shù)據(jù)標(biāo)注任務(wù)負(fù)責(zé)人應(yīng)利用標(biāo)注工具創(chuàng)建數(shù)據(jù)標(biāo)注項(xiàng)目相關(guān)內(nèi)容。7.2任務(wù)分發(fā)數(shù)據(jù)標(biāo)注任務(wù)負(fù)責(zé)人應(yīng)利用標(biāo)注工具將數(shù)據(jù)標(biāo)注任務(wù)分派給數(shù)據(jù)標(biāo)注員或數(shù)據(jù)標(biāo)注團(tuán)隊(duì)。7.3任務(wù)實(shí)施數(shù)據(jù)標(biāo)注員或數(shù)據(jù)標(biāo)注團(tuán)隊(duì)?wèi)?yīng)使用數(shù)據(jù)標(biāo)注工具完成指派的數(shù)據(jù)標(biāo)注任務(wù)。8監(jiān)控要求8.1任務(wù)檢驗(yàn)8.1.1任務(wù)質(zhì)量檢驗(yàn)數(shù)據(jù)標(biāo)注質(zhì)量控制員在任務(wù)進(jìn)行過(guò)程中按照標(biāo)注規(guī)則進(jìn)行質(zhì)量檢驗(yàn)和質(zhì)量糾偏。8.1.2任務(wù)進(jìn)度檢驗(yàn)數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人在任務(wù)進(jìn)行中應(yīng)使用數(shù)據(jù)標(biāo)注工具，對(duì)數(shù)據(jù)標(biāo)注日產(chǎn)能和數(shù)據(jù)標(biāo)注計(jì)劃的數(shù)值偏差情況進(jìn)行檢驗(yàn)，并及時(shí)調(diào)整資源和日工作量要求。8.2任務(wù)數(shù)據(jù)回收數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)對(duì)標(biāo)注不合格數(shù)據(jù)進(jìn)行收回，并重新分派進(jìn)行標(biāo)注。9交付要求9.1驗(yàn)收數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)將審核結(jié)果達(dá)到數(shù)據(jù)標(biāo)注合格率要求的數(shù)據(jù)，交付需求方驗(yàn)收。9.2總結(jié)數(shù)據(jù)標(biāo)注項(xiàng)目負(fù)責(zé)人應(yīng)組織各工作角色參與項(xiàng)目的總結(jié)工作，編制總結(jié)報(bào)告，內(nèi)容包括：a)數(shù)據(jù)標(biāo)注項(xiàng)目基本信息：描述本次數(shù)據(jù)標(biāo)注項(xiàng)目的合作背景、數(shù)據(jù)標(biāo)注內(nèi)容及類型；b)數(shù)據(jù)標(biāo)注過(guò)程控制措施：描述本次數(shù)據(jù)標(biāo)注項(xiàng)目在執(zhí)行過(guò)程中采取的執(zhí)行方法，還原標(biāo)注過(guò)程；c)數(shù)據(jù)標(biāo)注方法總結(jié)：描述本次數(shù)據(jù)標(biāo)注項(xiàng)目遇到的困難及采取的有效措施，總結(jié)可行的方法做經(jīng)驗(yàn)復(fù)用；4DB14/T2465—2022d)數(shù)據(jù)標(biāo)注措施改進(jìn)：描述本次數(shù)據(jù)標(biāo)注項(xiàng)目控制過(guò)程的不足，總結(jié)可以改進(jìn)的方法和措施，應(yīng)對(duì)下次同類項(xiàng)目；e)其他需要總結(jié)的內(nèi)容。9.3售后數(shù)據(jù)需求方確認(rèn)數(shù)據(jù)標(biāo)注結(jié)果驗(yàn)收通過(guò)后，數(shù)據(jù)標(biāo)注機(jī)構(gòu)應(yīng)跟進(jìn)整個(gè)項(xiàng)目的售后工作。包括項(xiàng)目終期審計(jì)、項(xiàng)目綜合評(píng)價(jià)、數(shù)據(jù)檢查改進(jìn)和服務(wù)監(jiān)督處理。數(shù)據(jù)標(biāo)注機(jī)構(gòu)的項(xiàng)目管理部門應(yīng)在項(xiàng)目完成后或定期對(duì)生產(chǎn)過(guò)程文檔進(jìn)