T-AHAI 010-2024 文物圖像的元素語義分割與提取

ICS01.110CCSL62AHAI文物圖像的元素語義分割與提取ElementsemanticsegmentationandextractionofculturalrelicsimagesI 2規(guī)范性引用文件 3術(shù)語和定義 4技術(shù)要求 5測試方法 附錄A第三次全國文物普查不可移動文物分類標(biāo)準(zhǔn)） 1附錄B國有可移動文物普查——文物分類標(biāo)準(zhǔn)（試行 2本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由合肥工業(yè)大學(xué)等單位提出并由安徽省人工智能協(xié)會歸口。本文件起草單位：浙江大學(xué)、西北工業(yè)大學(xué)、杭州良渚古城遺址世界遺產(chǎn)監(jiān)測管理中心、合肥工業(yè)大學(xué)、科大訊飛股份有限公司、中國科學(xué)技術(shù)大學(xué)、北京理工大學(xué)。本文件主要起草人：趙磊、王勇超、賀小偉、唐益明、李琳、劉曉平、宋維濤、陳仁杰、李權(quán)、郜靜文、何永春、劉穎、程鳴、謝文軍、曹力。1文物圖像的元素語義分割與提取本文件規(guī)定了文物圖像的元素語義分割與提取的技術(shù)要求與測試方法。本文件適用于可移動與不可移動文物圖像的元素分割與提取。2規(guī)范性引用文件《中華人民共和國文物保護(hù)行業(yè)標(biāo)準(zhǔn)文物藏品檔案規(guī)范》(WW/T0020—2008國家文物局，2009年2月16日《博物館藏品信息指標(biāo)體系規(guī)范》，國家文物局（文物博發(fā)[2001]81號）3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1不可移動文物immovableculturalrelic具有歷史、藝術(shù)、科學(xué)價值的古文化遺址、古墓葬、古建筑、石窟寺和石刻、壁畫，以及與重大歷史事件、革命運(yùn)動或者著名人物有關(guān)的以及具有重要紀(jì)念意義、教育意義或者史料價值的近代現(xiàn)代重要史跡和代表性建筑等7類文物的統(tǒng)稱，文物分類的具體方法見附錄A。3.2文物圖像culturalimage古人根據(jù)使用和美化目的，按照材料并結(jié)合工藝、技術(shù)及經(jīng)濟(jì)條件等，通過藝術(shù)構(gòu)思，對器物的造型、色彩、裝飾紋樣等進(jìn)行設(shè)計(jì)，然后按設(shè)計(jì)方案制成的器物的圖像。狹義的文化圖像僅指文物上的裝飾紋樣和色彩。3.3紋樣pattern一種花紋圖案。主要題材分為自然景物和各種幾何圖形（包括變體文字等）兩大類，有寫實(shí)、寫意、變形等表現(xiàn)手法。3.4造型modelling以一定物質(zhì)材料（如繪畫用顏料、墨、絹、布、紙、木板等，雕塑、工藝用木、石、泥、玻璃、金屬等，建筑用多種建筑材料等）和手段所創(chuàng)造的可視、靜態(tài)的空間形象，來反映社會生活與表現(xiàn)藝術(shù)家的思想情感。它是一種再現(xiàn)空間藝術(shù)，也是一種靜態(tài)視覺藝術(shù)。23.5語義分割semanticsegmentation對將圖像中的每個像素標(biāo)記為特定語義類別。3.6元素提取elementextraction提取文化圖像中的元素對象，如圖像中包含的動物、人物、文字等。3.7實(shí)例分割instancesegmentation對文化圖像中的多個同類對象進(jìn)行區(qū)分，分別分割。3.8對象類別objectcategory文化圖像中包含的對象的種類，如動物、人物、文字等。3.9交互分割interactivesegmentation通過用戶交互對文化圖像中的元素進(jìn)行分割。3.10分割精準(zhǔn)度segmentationaccuracy文化圖像進(jìn)行分割的時候分出的對象和實(shí)際的對象的比。4技術(shù)要求4.1圖像分辨率的要求輸入圖像支持1024*1024以上的分辨率，對圖像的長和寬的比例不做要求，最大分辨率為4K*4K。4.2網(wǎng)絡(luò)傳輸帶寬系統(tǒng)網(wǎng)絡(luò)帶寬設(shè)計(jì)應(yīng)能滿足文化圖像快速傳輸?shù)膸捯螅⒘粲杏嗔?。傳輸帶寬?yīng)不低于2MB，對于4K分辨率的圖像，網(wǎng)絡(luò)帶寬宜大于20MB。4.3圖像的格式要求應(yīng)支持常規(guī)的圖像格式，比如JPG/BMP/PS/PNG等。4.4文物圖像的元素語義分割4.4.1語義分割的神經(jīng)網(wǎng)絡(luò)3圖像語義分割方法宜優(yōu)先采用基于卷積神經(jīng)網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型，以支持任意分辨率圖像的語義有效分割。但為了保證單機(jī)硬件條件下的圖像語義分割計(jì)算性能和速度，圖像分辨率大小應(yīng)遵循4.1要求。4.4.2分割軟件的架構(gòu)分割軟件的架構(gòu)可采用CS或者BS的基于網(wǎng)絡(luò)的架構(gòu)，但是為了更好地支持文化圖像的跨時間和空間的應(yīng)用，宜采用BS的架構(gòu)，這樣可為不同地點(diǎn)的用戶提供服務(wù)。4.4.3圖像元素的交互語義分割精準(zhǔn)度圖像元素的交互語義分割的精準(zhǔn)度大于99%。4.4.4交互響應(yīng)時間在交互分割的條件下，分割一個對象元素的時間應(yīng)該低于1秒的響應(yīng)時間。4.5文物圖像的元素提取要求4.5.1文物圖像元素的保存提取出來的圖像元素應(yīng)單獨(dú)保存，保存時背景應(yīng)透明。4.5.2文物圖像中紋樣的提取如果提取的圖像元素為紋樣，應(yīng)提取紋樣的輪廓，不應(yīng)包含有背景信息。4.5.3文物圖像中器物造型的提取如果提取的圖像元素為器物造型，應(yīng)提取造型的輪廓，不應(yīng)包含有背景信息。4.5.4文物圖像中元素的提取圖像中包含的所有的元素對象都應(yīng)提取出來，同一類的多個元素對象應(yīng)分別提取。4.5.5文物圖像中元素的命名應(yīng)包含原始的整幅圖像（或者相關(guān)文物）的名稱、元素本身的對象類別名稱、區(qū)別于同類其他元素的名稱。例如：韓熙載夜宴圖人物3（男）、韓熙載夜宴圖人物4（女）。4.5.6文物圖像中元素的描述首先需要將圖像元素所在的圖像進(jìn)行描述，然后再描述元素本身。圖像元素的所在的圖像描述必須包含如下信息：圖像對應(yīng)的文物名稱、文物時代、來源信息（出土地點(diǎn)或者其他）、價值屬性、文物類別、區(qū)域信息、存在形態(tài)信息、質(zhì)地信息、功用信息、屬性（性質(zhì)）等；文物分類的具體方法見附錄A和附錄B。圖像元素本身的描述，包括：幾何形體的描述（造型）、色彩、紋理、名稱、應(yīng)用場景（祭祀、祈福、喜慶等）44.5.7文物圖像交互提取的要求用戶點(diǎn)擊圖像的對應(yīng)的元素區(qū)域，系統(tǒng)或者模塊應(yīng)該能夠自動識別出該點(diǎn)擊對應(yīng)的圖像元素，并高亮顯示該區(qū)域，另外，還需要提供右鍵能力，實(shí)現(xiàn)復(fù)制、剪切、保存等功能。5測試方法5.1輸入輸出文物圖像的元素語義分割與提取軟件系統(tǒng)中輸入的數(shù)據(jù)應(yīng)為圖像數(shù)據(jù)，且應(yīng)屬于常規(guī)的格式，比如JPG/BMP/PNG等。文物圖像的元素語義分割與提取軟件系統(tǒng)中輸出的數(shù)據(jù)應(yīng)為圖像數(shù)據(jù)，且應(yīng)屬于常規(guī)的格式，比如JPG/BMP/PNG等。語義分割提取出來的元素需返回到系統(tǒng)中，以圖像的形式進(jìn)行保存。5.2圖像元素的交互語義分割精準(zhǔn)度指在交互過程中，系統(tǒng)識別的用戶分割結(jié)果正確分類的像素數(shù)量與總像素數(shù)量之間的比例。其中，正確分類的像素數(shù)量是指在預(yù)測結(jié)果中與真實(shí)標(biāo)注完全匹配的像素數(shù)量，總像素數(shù)量是圖像中的所有像素數(shù)量（包括前景和背景）。圖像元素的交互語義分割精準(zhǔn)度的測試應(yīng)按照以下步驟:a)選擇不少于30張文物圖像，進(jìn)行測試；b)系統(tǒng)進(jìn)行語義分割，對文物圖像像素進(jìn)行分類；c)通過系統(tǒng)給出的圖像像素分類結(jié)果和真實(shí)標(biāo)注進(jìn)行比對，統(tǒng)計(jì)正確分類的像素數(shù)量，計(jì)算其與總像素數(shù)量的比例，應(yīng)達(dá)到既定要求。5.3交互響應(yīng)時間交互響應(yīng)時間的計(jì)算具體如下：Tack=tr-te......................................................................(1)其中，Tack——響應(yīng)時間；tr——給出結(jié)果的時間點(diǎn)；te——圖像輸入結(jié)束的時間點(diǎn)。對于交互響應(yīng)時間的測試應(yīng)按照以下步驟進(jìn)行:a)選擇不少于30張文物圖像，進(jìn)行測試；b)系統(tǒng)記錄圖像輸入結(jié)束的時間點(diǎn)、給出結(jié)果的時間點(diǎn)；c)根據(jù)公式(1),系統(tǒng)計(jì)算出交互響應(yīng)時間；d)以平均的交互響應(yīng)時間為最終結(jié)果，應(yīng)符合既定要求。1T/AHAI010—2024附錄A：（第三次全國文物普查不可移動文物分類標(biāo)準(zhǔn)）第三次全國文物普查不可移動文物的分類，按照《中華人民共和國文物保護(hù)法》的分類原則劃分為六類，每類中包括若干子類。一處不可移動文物只能歸入一個文物類別，如果包含兩類以上文物，以其主要文物內(nèi)容歸類。分類標(biāo)準(zhǔn)如下：1.1洞穴址1.2聚落址1.3城址1.5窖藏址1.6礦冶遺址1.7古戰(zhàn)場1.8驛站古道遺址1.9軍事設(shè)施遺址1.10橋梁碼頭遺址1.11祭祀遺址1.12水下遺址1.13水利設(shè)施遺址1.14寺廟遺址1.15宮殿衙署遺址1.16其他古遺址2古墓葬2.1帝王陵寢2.2名人或貴族墓2.3普通墓葬2.4其他古墓葬3古建筑3.1城垣城樓3.2宮殿府邸3.3宅第民居3.4壇廟祠堂3.5衙署官邸3.6學(xué)堂書院3.7驛站會館3.8店鋪?zhàn)鞣?.9牌坊影壁3.10亭臺樓闕3.11寺觀塔幢3.12苑囿園林3.13橋涵碼頭3.14堤壩渠堰3.15池塘井泉3.16其他古建筑4石窟寺及石刻4.1石窟寺2T/AHAI010—20244.2摩崖石刻4.3碑刻4.4石雕4.5巖畫4.6其他石刻5近現(xiàn)代重要史跡及代表性建筑5.1重要?dú)v史事件和重要機(jī)構(gòu)舊址5.2重要?dú)v史事件及人物活動紀(jì)念地5.3名人故、舊居5.4傳統(tǒng)民居5.5宗教建筑5.6名人墓5.7烈士墓及紀(jì)念設(shè)施5.8工業(yè)建筑及附屬物5.9金融商貿(mào)建筑5.10中華老字號5.11水利設(shè)施及附屬物5.12文化教育建筑及附屬物5.13醫(yī)療衛(wèi)生建筑5.14軍事建筑及設(shè)施5.15交通道路設(shè)施5.16典型風(fēng)格建筑或構(gòu)筑物5.17其他近現(xiàn)代重要史跡及代表性建筑6其他（國有可移動文物普查——文物分類標(biāo)準(zhǔn)（試行））序號類別內(nèi)容及舉例1銅器除貨幣、雕塑和造像以外的，以銅為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。2鐵器除貨幣、雕塑和造像以外的，以鐵為主要材質(zhì)的各種生產(chǎn)工具、生活用品及工藝制品等。3陶、泥器彩陶、黑陶、紅陶、灰陶、釉陶、白陶、紫砂、彩繪陶、琺花、生坯、泥金餅、泥丸等工藝制品及陶制建筑構(gòu)件、陶制生產(chǎn)工具與生活用品等。4彩繪、顏色釉等各類瓷質(zhì)制品，5磚瓦畫像磚、城磚、磚雕、墓磚、影作、象眼、板瓦、筒瓦、瓦當(dāng)?shù)取?寶、玉石器玉、碧璽、瑪瑙、翡翠、各類寶石、珊瑚、琥珀、蜜蠟、鉆石、芙蓉石、松石、石榴石、晶石、橄欖石等制品及原材料。7石器石刻石質(zhì)工具、碑刻、墓志、經(jīng)幢、畫像石、法帖原石等。3T/AHAI010—20248漆木竹器各類漆制品、木質(zhì)家具、竹藤質(zhì)家具、生活用木器、木質(zhì)工具、木刻板、牌匾、竹木簡牘，以及竹、木、藤、草、核、匏質(zhì)工藝品等。9各類民間美術(shù)平面作品、中國畫、油畫、版畫、素描、速寫、壁畫、漆畫、宗教畫、織繡畫、連環(huán)畫、貼畫、漫畫、宣傳畫、剪紙、年畫、紙編畫等。創(chuàng)作作品、寫經(jīng)、對聯(lián)等。甲骨拓片、瓦當(dāng)拓片、古幣拓片、硯銘拓片、畫像磚石拓片、銅器拓片、碑刻拓片等?，m瑯器金屬胎琺瑯、瓷胎琺瑯、玻璃胎琺瑯等。玻璃器各種玻璃、琉璃等制品及料器等、。骨角牙器卜甲、卜骨、犀角、其他獸角骨、象牙、其他獸牙、玳瑁、硨磲、螺鈿制品及原材等。各類皮革制品。各類質(zhì)地的官印、璽、押、封泥、印章、印范等。文具、樂器、法器各類紙、墨、筆、硯等。樂器。法器。貝幣、銅錢、紙幣、錢范、鈔版、金銀鋌錠、金銀幣、紀(jì)念幣、其他金屬貨幣、外國貨幣、電子貨幣卡等。雕塑、造像各種質(zhì)地的立體雕塑和宗教造像等。古代人類遺體遺骸人類遺骨、遺體等?；照隆⒆C件勛章、胸章、臂章、領(lǐng)章、帽徽、肩章、列章、像章、紀(jì)念章、證章、獎牌、獎杯、出生證、身份證、出入證、工作證、學(xué)生證、準(zhǔn)考證、畢業(yè)證書、通行證、購物證、護(hù)照、士兵證、軍官證、聘書、代表證、結(jié)婚證、離婚證、死亡證等。郵票、實(shí)寄封、紀(jì)念封、明信片等。票據(jù)門票、車船票、機(jī)票、供應(yīng)證券、稅票、發(fā)票、儲蓄存單、存折、支票、彩票、獎券、金融券、單據(jù)等。音像制品原版照片、膠片、唱片、磁帶以及珍貴拷貝等各種錄音錄像制品。4T/AHAI010—2024交通、運(yùn)