DB37-T 4529-2022 海洋大數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)規(guī)范

37Technicalspecificationforhierarchicalstorageofoceanbigdata2022-07-25發(fā)布I 2 2 2 2 3 3 3 3 4 4 5 5 5 6本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定1海洋大數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)規(guī)范GB/T35295—2017信息技術(shù)理技術(shù)進(jìn)行有效組織、存儲(chǔ)、計(jì)算、分析和管4縮略語(yǔ)CPU：中央處理單元（CentralProcessingETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extract-Transform2ORC：列式存儲(chǔ)（OptimizedRowColSQL：結(jié)構(gòu)化查詢語(yǔ)言（StructuredQueryL來(lái)判斷，可分為高頻率訪問(wèn)的海洋大數(shù)據(jù)、一般頻率訪問(wèn)的5.2定級(jí)規(guī)則數(shù)據(jù)訪問(wèn)頻次從高到低，排序30%～1005.3分級(jí)等級(jí)及存儲(chǔ)要求1)應(yīng)實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)訪問(wèn)，訪問(wèn)延遲應(yīng)小于5ms；1)可實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)訪問(wèn)，訪問(wèn)延遲應(yīng)小于100ms；31)可實(shí)現(xiàn)數(shù)據(jù)延遲訪問(wèn)，訪問(wèn)延遲不高于5min；b)應(yīng)支持分布式存儲(chǔ)，包括分布式文件存儲(chǔ)、分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、分布式列式數(shù)據(jù)存儲(chǔ)、e)應(yīng)支持批處理計(jì)算功能，包括離線批量數(shù)據(jù)處理、在線批量數(shù)據(jù)處理等功能；b)應(yīng)支持依據(jù)海洋大數(shù)據(jù)的分級(jí)等級(jí)將海洋大數(shù)據(jù)存儲(chǔ)在相應(yīng)等級(jí)的存儲(chǔ)設(shè)備或系統(tǒng)中，海洋c)海洋大數(shù)據(jù)分級(jí)存儲(chǔ)前應(yīng)事先進(jìn)行數(shù)據(jù)處理，應(yīng)對(duì)缺失值數(shù)據(jù)進(jìn)行補(bǔ)齊，支持差異數(shù)據(jù)、臟d)應(yīng)定期評(píng)估海洋大數(shù)據(jù)的分級(jí)等級(jí)，分級(jí)等級(jí)發(fā)生變化的，應(yīng)將海洋大數(shù)據(jù)遷移至相應(yīng)等級(jí)2)采用數(shù)據(jù)抽取方式將海洋大數(shù)據(jù)遷移至相應(yīng)等級(jí)的存儲(chǔ)設(shè)備或系統(tǒng)，應(yīng)e)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的分級(jí)等級(jí)及存儲(chǔ)要求、數(shù)據(jù)訪問(wèn)量，進(jìn)行不同存儲(chǔ)方式之間的遷移f)應(yīng)支持根據(jù)遷移策略實(shí)現(xiàn)對(duì)海洋大數(shù)據(jù)的組合查詢；g)應(yīng)支持根據(jù)海洋大數(shù)據(jù)的遷移策略實(shí)現(xiàn)海洋大數(shù)據(jù)的自動(dòng)遷移4a)制定待遷移數(shù)據(jù)源的詳細(xì)說(shuō)明，包括數(shù)據(jù)的存儲(chǔ)方式、數(shù)據(jù)量、數(shù)據(jù)的時(shí)間跨度等；b)建立新舊系統(tǒng)數(shù)據(jù)庫(kù)的數(shù)據(jù)字典；f)建立新舊系統(tǒng)數(shù)據(jù)庫(kù)表的映射關(guān)系，并對(duì)無(wú)法映射的字段進(jìn)行處理；h)制定數(shù)據(jù)轉(zhuǎn)換的應(yīng)急措施。應(yīng)對(duì)重復(fù)、錯(cuò)誤、不完整、違反業(yè)務(wù)或邏輯規(guī)則等問(wèn)題數(shù)據(jù)進(jìn)行相應(yīng)的a)海洋大數(shù)據(jù)遷移后，應(yīng)對(duì)遷移后的海洋大數(shù)據(jù)進(jìn)行數(shù)據(jù)校驗(yàn)，可通過(guò)以下兩種方式對(duì)遷移后1)新舊系統(tǒng)查詢數(shù)據(jù)對(duì)比檢查，通過(guò)新舊系統(tǒng)各自的查詢工具，對(duì)相同指標(biāo)的數(shù)據(jù)進(jìn)行查2)將新系統(tǒng)的數(shù)據(jù)恢復(fù)到舊系統(tǒng)遷移前一天的狀態(tài)，并將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務(wù)2)數(shù)據(jù)長(zhǎng)度檢查：檢查數(shù)據(jù)的有效長(zhǎng)5支持分級(jí)存儲(chǔ)系統(tǒng)或設(shè)備的磁盤(pán)、CPU、內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息的查詢，以便實(shí)時(shí)了解分a)應(yīng)提供分級(jí)存儲(chǔ)系統(tǒng)的各個(gè)節(jié)點(diǎn)的服務(wù)情況的查詢功能，包括節(jié)點(diǎn)的主備、節(jié)點(diǎn)的容量和性b)應(yīng)提供用戶權(quán)限范圍內(nèi)的節(jié)點(diǎn)管理功能，c)應(yīng)及時(shí)了解資源的異常，若有必要應(yīng)采取適當(dāng)措施保證其正常運(yùn)行；d)應(yīng)提供CPU、內(nèi)存、存儲(chǔ)等資源e)應(yīng)支持靜態(tài)資源分配策略和動(dòng)態(tài)資源分配策h(yuǎn))宜提供作業(yè)自動(dòng)分配或手動(dòng)分配功能；1)應(yīng)提供靈活的分級(jí)存儲(chǔ)策略，包括異地存儲(chǔ)、加密存儲(chǔ)、壓縮存儲(chǔ)、同步或異步等存儲(chǔ)b)遷移策略管理：應(yīng)支持對(duì)海洋大數(shù)據(jù)遷移策略的設(shè)置、修改、刪除和查詢等；c)應(yīng)提供海洋大數(shù)據(jù)分級(jí)等級(jí)、分級(jí)存儲(chǔ)要a)應(yīng)定期對(duì)海洋大數(shù)據(jù)的分級(jí)等級(jí)進(jìn)行監(jiān)測(cè)，海洋大數(shù)據(jù)分級(jí)等級(jí)發(fā)生變化時(shí)，應(yīng)實(shí)現(xiàn)海洋大b)應(yīng)實(shí)時(shí)監(jiān)控