DB37T 4529-2022 海洋大數(shù)據(jù)分級存儲技術規(guī)范

37Technicalspecificationforhierarchicalstorageofoceanbigdata2022-07-25發(fā)布I 2 2 2 2 3 3 3 3 4 4 5 5 5 6本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定1海洋大數(shù)據(jù)分級存儲技術規(guī)范GB/T35295—2017信息技術理技術進行有效組織、存儲、計算、分析和管4縮略語CPU：中央處理單元（CentralProcessingETL：數(shù)據(jù)提取、轉換和加載（Extract-Transform2ORC：列式存儲（OptimizedRowColSQL：結構化查詢語言（StructuredQueryL來判斷，可分為高頻率訪問的海洋大數(shù)據(jù)、一般頻率訪問的5.2定級規(guī)則數(shù)據(jù)訪問頻次從高到低，排序30%～1005.3分級等級及存儲要求1)應實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應小于5ms；1)可實現(xiàn)數(shù)據(jù)實時訪問，訪問延遲應小于100ms；31)可實現(xiàn)數(shù)據(jù)延遲訪問，訪問延遲不高于5min；b)應支持分布式存儲，包括分布式文件存儲、分布式結構化數(shù)據(jù)存儲、分布式列式數(shù)據(jù)存儲、e)應支持批處理計算功能，包括離線批量數(shù)據(jù)處理、在線批量數(shù)據(jù)處理等功能；b)應支持依據(jù)海洋大數(shù)據(jù)的分級等級將海洋大數(shù)據(jù)存儲在相應等級的存儲設備或系統(tǒng)中，海洋c)海洋大數(shù)據(jù)分級存儲前應事先進行數(shù)據(jù)處理，應對缺失值數(shù)據(jù)進行補齊，支持差異數(shù)據(jù)、臟d)應定期評估海洋大數(shù)據(jù)的分級等級，分級等級發(fā)生變化的，應將海洋大數(shù)據(jù)遷移至相應等級2)采用數(shù)據(jù)抽取方式將海洋大數(shù)據(jù)遷移至相應等級的存儲設備或系統(tǒng)，應e)應支持根據(jù)海洋大數(shù)據(jù)的分級等級及存儲要求、數(shù)據(jù)訪問量，進行不同存儲方式之間的遷移f)應支持根據(jù)遷移策略實現(xiàn)對海洋大數(shù)據(jù)的組合查詢；g)應支持根據(jù)海洋大數(shù)據(jù)的遷移策略實現(xiàn)海洋大數(shù)據(jù)的自動遷移4a)制定待遷移數(shù)據(jù)源的詳細說明，包括數(shù)據(jù)的存儲方式、數(shù)據(jù)量、數(shù)據(jù)的時間跨度等；b)建立新舊系統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)字典；f)建立新舊系統(tǒng)數(shù)據(jù)庫表的映射關系，并對無法映射的字段進行處理；h)制定數(shù)據(jù)轉換的應急措施。應對重復、錯誤、不完整、違反業(yè)務或邏輯規(guī)則等問題數(shù)據(jù)進行相應的a)海洋大數(shù)據(jù)遷移后，應對遷移后的海洋大數(shù)據(jù)進行數(shù)據(jù)校驗，可通過以下兩種方式對遷移后1)新舊系統(tǒng)查詢數(shù)據(jù)對比檢查，通過新舊系統(tǒng)各自的查詢工具，對相同指標的數(shù)據(jù)進行查2)將新系統(tǒng)的數(shù)據(jù)恢復到舊系統(tǒng)遷移前一天的狀態(tài)，并將最后一天發(fā)生在舊系統(tǒng)上的業(yè)務2)數(shù)據(jù)長度檢查：檢查數(shù)據(jù)的有效長5支持分級存儲系統(tǒng)或設備的磁盤、CPU、內(nèi)存、電源、風扇、網(wǎng)口等信息的查詢，以便實時了解分a)應提供分級存儲系統(tǒng)的各個節(jié)點的服務情況的查詢功能，包括節(jié)點的主備、節(jié)點的容量和性b)應提供用戶權限范圍內(nèi)的節(jié)點管理功能，c)應及時了解資源的異常，若有必要應采取適當措施保證其正常運行；d)應提供CPU、內(nèi)存、存儲等資源e)應支持靜態(tài)資源分配策略和動態(tài)資源分配策h)宜提供作業(yè)自動分配或手動分配功能；1)應提供靈活的分級存儲策略，包括異地存儲、加密存儲、壓縮存儲、同步或異步等存儲b)遷移策略管理：應支持對海洋大數(shù)據(jù)遷移策略的設置、修改、刪除和查詢等；c)應提供海洋大數(shù)據(jù)分級等級、分級存儲要a)應定期對海洋大數(shù)據(jù)的分級等級進行監(jiān)測，海洋大數(shù)據(jù)分級等級發(fā)生變化時，應實現(xiàn)海洋大b)應實時監(jiān)控