GB∕T 44216-2024 信息技術(shù) 大數(shù)據(jù) 批流融合計算技術(shù)要求

ICS35.240信息技術(shù)大數(shù)據(jù)批流融合計算技術(shù)要求2024-07-24發(fā)布2025-02-01實施I 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 2 2 36.1統(tǒng)一資源管理 36.2統(tǒng)一計算框架 4 4 56.5統(tǒng)一作業(yè)管理 56.6統(tǒng)一權(quán)限管理 6 6 7 7附錄A(資料性)批流融合計算應(yīng)用場景 8A.1金融行業(yè) 8A.2智能制造行業(yè) 8A.3物聯(lián)網(wǎng) 8A.4航空航天 8附錄B(資料性)字符類型及操作中英文對照表 9 ⅢGB/T44216—2024梁鋼、王新根、臧一超、張煜、周研、劉宇峰、王晉暉、張勇、李傲鐵、李正、段智琛、傅彥、12信息技術(shù)大數(shù)據(jù)批流融合計算技術(shù)要求3.23.33.4所需的計算被劃分并分布在多個節(jié)點上，整體結(jié)果由每個節(jié)點的結(jié)果合并而成的大數(shù)據(jù)集的處理3.53.623.73.8CPU:中央處理器(CentralProcessingUnit)DAG:有向無環(huán)圖(DirectedAcyclicGraph)GPU:圖形處理器(GraphicsProcessingUnit)SQL:結(jié)構(gòu)化查詢語言(StructuredQueryLanguage)3生命周期生命周期接口窗口租戶級CPU統(tǒng)一計統(tǒng)一資源管理監(jiān)控配置上報統(tǒng)一作業(yè)管理統(tǒng)一權(quán)身份鑒別狀態(tài)數(shù)據(jù)任務(wù)級隊列級作業(yè)級編排內(nèi)存資源■批流融合計算技術(shù)應(yīng)具備統(tǒng)一的資源調(diào)度和分配能力。統(tǒng)一的資源調(diào)度和分配能力具體包括：a)應(yīng)支持使用同一套資源調(diào)度和分配系統(tǒng)，以滿足資源互相共享或削峰填谷；b)應(yīng)支持CPU、內(nèi)存、GPU等異構(gòu)資源調(diào)度和配置；c)應(yīng)支持任務(wù)優(yōu)先級調(diào)度：能夠定義不同優(yōu)先級的任務(wù)，可實現(xiàn)部分場景中后啟動的高優(yōu)先級任務(wù)能夠獲取運行中的低優(yōu)先級任務(wù)釋放的資源；d)應(yīng)支持靜態(tài)資源分配策略和動態(tài)資源分配策略；e)應(yīng)提供匹配組織的層次結(jié)構(gòu)，支持多層次的隊列資源管理；f)應(yīng)實現(xiàn)隊列資源嚴(yán)格的隔離，即不超過分配給該隊列的資源上限；g)應(yīng)支持彈性資源搶占：當(dāng)有空閑資源時，租戶可以使用超過其配置資源，以提高系統(tǒng)資源整體h)應(yīng)支持租戶的資源搶占：當(dāng)系統(tǒng)繁忙時，其他租戶無法拿到配置應(yīng)得的資源時，當(dāng)前租戶超過配置部分的閑置資源可以被其他租戶搶占，保證各租戶的服務(wù)質(zhì)量；i)應(yīng)支持根據(jù)作業(yè)需求動態(tài)分配計算資源，自動管理回收資源；j)應(yīng)支持作業(yè)級別資源隔離，資源類型包括CPU、內(nèi)存、GPU等；應(yīng)支持多種運行模式，包括本地模式和集群模式；k)宜支持獨立部署模式。4b)應(yīng)在批/流數(shù)據(jù)集合之上統(tǒng)一支持常用的數(shù)據(jù)類型，涵蓋可變長字符串、字節(jié)型、布爾型、整3)宜支持高級聚合語句。5j)支持針對批/流數(shù)據(jù)集合的去重操作，包括基于窗口的去重和基于任意普通字段的去重，去重1)應(yīng)支持保留最新的數(shù)據(jù)；2)應(yīng)支持保留最老的數(shù)據(jù)。1)應(yīng)支持自定義函數(shù)，包括用戶自定義函數(shù)(UDF)、用戶自定義表函數(shù)(UDTF)、用戶自定1)消息隊列；2)鍵值存儲；3)復(fù)雜數(shù)據(jù)結(jié)構(gòu)存儲；4)關(guān)系型數(shù)據(jù)庫；5)搜索引擎；6)分布式文件系統(tǒng)。62)檢查大流量時的作業(yè)穩(wěn)定性。1)無狀態(tài)數(shù)據(jù)；2)少量狀態(tài)數(shù)據(jù)；3)大量狀態(tài)數(shù)據(jù)。78(資料性)(資料性)中文名稱英文名稱可變長字符串VARCHAR字節(jié)型BYTE布爾型BOOLEAN整型大整型BIGINT單精度浮點型FLOAT雙精度浮點型DOUBLE小數(shù)DECIMAL日期DATE時間戳TIMESTAMP數(shù)組ARRAY行聚合GroupBy滾動窗口TumbleWindow滑動窗口HopWindow會話窗口SessionWindow累積窗口CumulativeWindow連接內(nèi)連接左外連接LEFTOUTERJOIN右外連接RIGHTOUTERJOIN全外連接FULLOUTERJOIN合并UNION合并所有UNION