GB/T 37722-2019信息技術(shù)大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

ICS35240

L67.

中華人民共和國國家標(biāo)準(zhǔn)

GB/T37722—2019

信息技術(shù)

大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

Informationtechnology—

Technicalrequirementsforbigdatastorageandprocessingsystems

2019-08-30發(fā)布2020-03-01實(shí)施

國家市場監(jiān)督管理總局發(fā)布

中國國家標(biāo)準(zhǔn)化管理委員會

GB/T37722—2019

目次

前言

…………………………Ⅲ

范圍

1………………………1

規(guī)范性引用文件

2…………………………1

術(shù)語和定義

3………………1

縮略語

4……………………2

概述

5………………………2

大數(shù)據(jù)存儲子系統(tǒng)功能要求

6……………3

基本要求

6.1……………3

分布式文件存儲

6.2……………………3

分布式結(jié)構(gòu)化數(shù)據(jù)存儲

6.3……………3

分布式列式數(shù)據(jù)存儲

6.4………………3

分布式圖數(shù)據(jù)存儲

6.5…………………4

大數(shù)據(jù)處理子系統(tǒng)功能要求

7……………4

基本要求

7.1……………4

批處理框架

7.2…………………………4

流處理框架

7.3…………………………4

圖計算框架

7.4…………………………5

內(nèi)存計算框架

7.5………………………5

批流融合計算框架

7.6…………………5

Ⅰ

GB/T37722—2019

前言

本標(biāo)準(zhǔn)按照給出的規(guī)則起草

GB/T1.1—2009。

請注意本文件的某些內(nèi)容可能涉及專利本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任

。。

本標(biāo)準(zhǔn)由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會提出并歸口

(SAC/TC28)。

本標(biāo)準(zhǔn)起草單位華為技術(shù)有限公司中國電子技術(shù)標(biāo)準(zhǔn)化研究院浪潮電子信息產(chǎn)業(yè)股份有限公

:、、

司上海計算機(jī)軟件技術(shù)開發(fā)中心勤智數(shù)碼科技股份有限公司深圳市金蝶天燕中間件股份有限公司

、、、、

新華三技術(shù)有限公司中興通訊股份有限公司杭州中奧科技有限公司天津南大通用數(shù)據(jù)技術(shù)股份有

、、、

限公司

。

本標(biāo)準(zhǔn)主要起草人趙華符海芳衛(wèi)鳳林張群蘇志遠(yuǎn)趙江陳敏剛劉振宇蔡立志劉宇峰

:、、、、、、、、、、

李正林琳潘子健吳文峰張東濤朱松沈貝倫陸韻武新張紹勇李冰尹卓孫嘉陽

、、、、、、、、、、、、。

Ⅲ

GB/T37722—2019

信息技術(shù)

大數(shù)據(jù)存儲與處理系統(tǒng)功能要求

1范圍

本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)存儲與處理系統(tǒng)的分布式文件存儲分布式結(jié)構(gòu)化數(shù)據(jù)存儲分布式列式數(shù)據(jù)

、、

存儲分布式圖數(shù)據(jù)存儲批處理框架流處理框架圖計算框架內(nèi)存計算框架和批流融合計算框架等

、、、、、

的功能要求

。

本標(biāo)準(zhǔn)適用于大數(shù)據(jù)存儲與處理系統(tǒng)的設(shè)計開發(fā)和應(yīng)用部署

、。

2規(guī)范性引用文件

下列文件對于本文件的應(yīng)用是必不可少的凡是注日期的引用文件僅注日期的版本適用于本文

。,

件凡是不注日期的引用文件其最新版本包括所有的修改單適用于本文件

。,()。

信息技術(shù)大數(shù)據(jù)術(shù)語

GB/T35295—2017

3術(shù)語和定義

界定的以及下列術(shù)語和定義適用于本文件

GB/T35295—2017。

31

.

圖數(shù)據(jù)庫graphdatabase

一種應(yīng)用圖理論存儲實(shí)體及其之間關(guān)系信息的非關(guān)系型數(shù)據(jù)庫

。

注1圖數(shù)據(jù)庫的數(shù)據(jù)模型由節(jié)點(diǎn)及邊組成即節(jié)點(diǎn)間關(guān)系

:()。

注2圖數(shù)據(jù)庫支持圖查詢圖遍歷及圖分析等功能適用于復(fù)雜關(guān)系的探索與發(fā)現(xiàn)

:、,。

32

.

批處理batchprocessing

將一個大型作業(yè)分解成為多個任務(wù)交由多個節(jié)點(diǎn)分別處理再將分解后多個任務(wù)處理的結(jié)果匯總

,

起來得出最終的分析結(jié)果的計算框架具備高可用高擴(kuò)展高并發(fā)等能力

,,、、。

33

.

流處理streamprocessing

能夠?qū)哂袑?shí)時