(高清版)GB∕T 44216-2024 信息技術 大數(shù)據(jù) 批流融合計算技術要求

ICS35.240信息技術大數(shù)據(jù)批流融合計算技術要求2024-07-24發(fā)布2025-02-01實施I 12規(guī)范性引用文件 13術語和定義 14縮略語 2 2 36.1統(tǒng)一資源管理 36.2統(tǒng)一計算框架 4 4 56.5統(tǒng)一作業(yè)管理 6.6統(tǒng)一權限管理 6 6 7 7附錄A(資料性)批流融合計算應用場景 8A.1金融行業(yè) 8A.2智能制造行業(yè) 8A.3物聯(lián)網(wǎng) 8A.4航空航天 8附錄B(資料性)字符類型及操作中英文對照表 9 ⅢV12信息技術大數(shù)據(jù)批流融合計算技術要求3.23.33.4所需的計算被劃分并分布在多個節(jié)點上，整體結果由每個節(jié)點的結果合并而成的大數(shù)據(jù)集的處理3.53.62API:應用程序編程接口(ApplicationProgrammingIntCEP:復雜事件處理(ComplexEventProcessing)CPU:中央處理器(CentralProcessingUnit)DAG:有向無環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)SQL:結構化查詢語言(StructuredQueryLanguage)3生命周期生命周期接口窗口租戶級CPU算框架統(tǒng)一資源管理監(jiān)控配置上報統(tǒng)一作統(tǒng)一權限管理身份鑒別狀態(tài)數(shù)據(jù)任務級多移戶隊列級作業(yè)級編排內(nèi)存資源■批流融合計算技術應具備統(tǒng)一的資源調(diào)度和分配能力。統(tǒng)一的資源調(diào)度和分配能力具體包括：a)應支持使用同一套資源調(diào)度和分配系統(tǒng)，以滿足資源互相共享或削峰填谷；b)應支持CPU、內(nèi)存、GPU等異構資源調(diào)度和配置；c)應支持任務優(yōu)先級調(diào)度：能夠定義不同優(yōu)先級的任務，可實現(xiàn)部分場景中后啟動的高優(yōu)先級任務能夠獲取運行中的低優(yōu)先級任務釋放的資源；d)應支持靜態(tài)資源分配策略和動態(tài)資源分配策略；e)應提供匹配組織的層次結構，支持多層次的隊列資源管理；f)應實現(xiàn)隊列資源嚴格的隔離，即不超過分配給該隊列的資源上限；g)應支持彈性資源搶占：當有空閑資源時，租戶可以使用超過其配置資源，以提高系統(tǒng)資源整體h)應支持租戶的資源搶占：當系統(tǒng)繁忙時，其他租戶無法拿到配置應得的資源時，當前租戶超過配置部分的閑置資源可以被其他租戶搶占，保證各租戶的服務質量；i)應支持根據(jù)作業(yè)需求動態(tài)分配計算資源，自動管理回收資源；j)應支持作業(yè)級別資源隔離，資源類型包括CPU、內(nèi)存、GPU等；應支持多種運行模式，包括本地模式和集群模式；k)宜支持獨立部署模式。4d)應支持窗口切分：支持按事件時間進行窗口切分、支持按處理時間(或入口時間)進行窗口b)應在批/流數(shù)據(jù)集合之上統(tǒng)一支持常用的數(shù)據(jù)類型，涵蓋可變長字符串、字節(jié)型、布爾型、整3)宜支持高級聚合語句。1)應支持多條數(shù)據(jù)流使用任意關聯(lián)條件的連接、時間區(qū)間連接、維表連接、靜態(tài)維表連接、51)應支持保留最新的數(shù)據(jù)；2)應支持保留最老的數(shù)據(jù)。1)消息隊列；2)鍵值存儲；3)復雜數(shù)據(jù)結構存儲；4)關系型數(shù)據(jù)庫；5)搜索引擎；6)分布式文件系統(tǒng)。61)應具備在線擴容能力，融合系統(tǒng)集群具備集群擴展能力，且性能能夠隨之提升；1)不同并發(fā)度下作業(yè)的調(diào)度耗時；2)作業(yè)彼此無影響的情況下支持的任務并發(fā)度。2)檢查大流量時的作業(yè)穩(wěn)定性。1)無狀態(tài)數(shù)據(jù)；2)少量狀態(tài)數(shù)據(jù)；3)大量狀態(tài)數(shù)據(jù)。78批流融合計算應用場景A.4航空航天(資料性)中文名稱英文名稱可變長字符串VARCHAR字節(jié)型BYTE布爾型BOOLEAN整型大整型BIGINT單精度浮點型FLOAT雙精度浮點型DOUBLE小數(shù)DECIMAL日期DATE時間戳TIMESTAMP數(shù)組ARRAY行聚合GroupBy滾動窗口TumbleWindow滑動窗口HopWindow會話窗口SessionWindow累積窗口CumulativeWindow連接內(nèi)連接左外連接LEFTOUTERJOIN右外連接RIGHTOUTERJOIN全外連接FULLOUTERJOIN合并UNION合并所有