安全數(shù)據(jù)湖的敏捷數(shù)據(jù)原則

最高威脅工作組官網(wǎng)地址是：/research/working-groups/top-threats/@2023

云安全聯(lián)盟大中華區(qū)-保留所有權(quán)利。你可以在你的電腦上下載、儲(chǔ)存、展示、查看及打印，或者訪(fǎng)問(wèn)云安全聯(lián)盟大中華區(qū)官網(wǎng)（）。須遵守以下：(a)本文只可作個(gè)人、信息獲取、非商業(yè)用途；(b)

本文內(nèi)容不得篡改；(c)本文不得轉(zhuǎn)發(fā)；(d)該商標(biāo)、版權(quán)或其他聲明不得刪除。在遵循

中華人民共和國(guó)著作權(quán)法相關(guān)條款情況下合理使用本文內(nèi)容，使用時(shí)請(qǐng)注明引用于云安全聯(lián)盟大中華區(qū)。?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有2?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有3致謝《安全數(shù)據(jù)湖的敏捷數(shù)據(jù)（An

Agile

Data

Doctrine

for

a

Secure

Data

Lake）》由

CSA

工作組專(zhuān)家編寫(xiě)，CSA

大中華區(qū)秘書(shū)處組織翻譯并審校。中文版翻譯專(zhuān)家組（排名不分先后）：翻譯組：胡鑫

牛媛媛研究協(xié)調(diào)員：趙鵬感謝以下單位的支持與貢獻(xiàn)：杭州美創(chuàng)科技股份有限公司原文英文版編寫(xiě)專(zhuān)家組主要作者：Dr.

Dianne

MurphyTheresa

KushnerClaire

Lehnert

(graphic

design)John

YeohOliver

ForbesCSA

分析師：Sean

HeideStephen

Lumpe

(cover

illustration)在此感謝以上專(zhuān)家。如譯文有不妥當(dāng)之處，敬請(qǐng)讀者聯(lián)系CSA

GCR秘書(shū)處給予雅正!

聯(lián)系郵箱research@；國(guó)際云安全聯(lián)盟CSA公眾號(hào)。?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有4序言數(shù)據(jù)湖作為目前正在廣泛運(yùn)用的一種技術(shù)，是一種集中式的數(shù)據(jù)倉(cāng)庫(kù)，用于接收、存儲(chǔ)和保護(hù)大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，有效集成與分析各類(lèi)數(shù)據(jù)源，為相應(yīng)的組織增加了巨大的價(jià)值。雖然這是對(duì)于數(shù)據(jù)聚合的一個(gè)關(guān)鍵解決方案，但光有數(shù)據(jù)湖技術(shù)是不夠的，需要企業(yè)范圍的數(shù)據(jù)原則來(lái)確保數(shù)據(jù)是可信的。而且，在整個(gè)數(shù)據(jù)社區(qū)中最大限度地實(shí)現(xiàn)其價(jià)值并確保遵守越來(lái)越多的法規(guī)要求至關(guān)重要。報(bào)告考察了當(dāng)數(shù)據(jù)湖作為一種主要數(shù)據(jù)管理技術(shù)而呈現(xiàn)的數(shù)據(jù)原則的基本參數(shù)，包括確保數(shù)據(jù)的安全和隱私，并且為數(shù)據(jù)湖的整體保護(hù)和執(zhí)行提供了架構(gòu)。希望為組織提供一套能夠貫穿始終的數(shù)據(jù)原則思路。建立包含敏捷思維的整體數(shù)據(jù)戰(zhàn)略，實(shí)現(xiàn)數(shù)據(jù)安全和有效的隱私控制，在最大程度降低總成本的同時(shí)，提高數(shù)據(jù)湖中數(shù)據(jù)資產(chǎn)的價(jià)值。李雨航

Yale

LiCSA

大中華區(qū)主席兼研究院院長(zhǎng)?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有5目錄致謝....................................................................................................................................................................4序言....................................................................................................................................................................5介紹....................................................................................................................................................................7問(wèn)題....................................................................................................................................................................7什么是數(shù)據(jù)社區(qū)？............................................................................................................................................8理論與應(yīng)用........................................................................................................................................................9解決方案..........................................................................................................................................................10結(jié)語(yǔ)..................................................................................................................................................................12?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有6介紹數(shù)據(jù)是橫向和縱向跨越多個(gè)行業(yè)和組織的重要資產(chǎn)。無(wú)論是對(duì)政府、企業(yè)還是非營(yíng)利組織，資產(chǎn)的使用和安全都至關(guān)重要。然而，隨著數(shù)據(jù)在規(guī)模性、多樣性、高速性和變化性（即所謂的

“大數(shù)據(jù)”）方面的增長(zhǎng)，在收集、存儲(chǔ)和檢索數(shù)據(jù)時(shí)要求保障安全性、隱私性的需求以及性?xún)r(jià)比更高的技術(shù)也在不斷發(fā)展。一種目前正在廣泛運(yùn)用的技術(shù)是數(shù)據(jù)湖。具體來(lái)說(shuō)，數(shù)據(jù)湖是一種集中式的數(shù)據(jù)庫(kù)，用于接收、存儲(chǔ)和保護(hù)大量結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。雖然數(shù)據(jù)湖是數(shù)據(jù)聚合的一個(gè)關(guān)鍵解決方案，但光有數(shù)據(jù)湖技術(shù)是不夠的，需要企業(yè)范圍的數(shù)據(jù)原則來(lái)確保數(shù)據(jù)是可信的。而且，在整個(gè)數(shù)據(jù)社區(qū)中最大限度地實(shí)現(xiàn)其價(jià)值并確保遵守越來(lái)越多的法規(guī)要求至關(guān)重要。本文觀(guān)點(diǎn)考察了當(dāng)吧數(shù)據(jù)湖作為一種主要數(shù)據(jù)管理技術(shù)而呈現(xiàn)出的數(shù)據(jù)原則的基本參數(shù)，包括確保數(shù)據(jù)的安全和隱私，并且不基于任何供應(yīng)商的解決方案，而是考慮到數(shù)據(jù)湖的整體保護(hù)，并為這些原則的執(zhí)行提供了架構(gòu)。問(wèn)題數(shù)據(jù)湖通過(guò)提供對(duì)廣泛的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源進(jìn)行有效集成與分析，為相應(yīng)組織增加巨大的價(jià)值。一般而言，數(shù)據(jù)湖以原始形式存儲(chǔ)從多個(gè)數(shù)據(jù)源收集的海量數(shù)據(jù)，直到需要數(shù)據(jù)時(shí)才定義數(shù)據(jù)結(jié)構(gòu)和用戶(hù)需求。如果組織要使用數(shù)據(jù)并確保其安全和隱私，數(shù)據(jù)湖必須遵守嚴(yán)格的數(shù)據(jù)原則政策和相關(guān)程序。且需要得到數(shù)據(jù)社區(qū)（DC）中所有人的信任。為了從數(shù)據(jù)湖中獲取最高的靈活性和性能，保障DC中的任何用戶(hù)能輕而易舉的獲取正確的數(shù)據(jù)，在適當(dāng)?shù)臅r(shí)候，跨多個(gè)數(shù)據(jù)集進(jìn)行可靠的數(shù)據(jù)集成。執(zhí)行此操作時(shí)，必須確信數(shù)據(jù)是安全、準(zhǔn)確和最高質(zhì)量的。數(shù)據(jù)原則包括角色和責(zé)任，是數(shù)據(jù)湖“良好”持續(xù)數(shù)據(jù)管理的先決條件，并決定了整個(gè)DC所需的決策，從而確保有效管理和安全。?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有7什么是數(shù)據(jù)社區(qū)？社區(qū)定義為在特定領(lǐng)域具有共同利益的個(gè)人的統(tǒng)一團(tuán)體；廣義來(lái)說(shuō)，是指將分散在一個(gè)更大的社會(huì)或團(tuán)體的人員和專(zhuān)家，由共同的興趣和政策聯(lián)系在一起形成一個(gè)共同的團(tuán)體。因此，數(shù)據(jù)社區(qū)是由平時(shí)分散在組織中投入研究數(shù)據(jù)的個(gè)人，通過(guò)常見(jiàn)的數(shù)據(jù)政策（如隱私政策）聯(lián)系在一起而組成的統(tǒng)一團(tuán)體。確保組織中的DC正常運(yùn)轉(zhuǎn)是數(shù)據(jù)治理人員或者團(tuán)隊(duì)的職責(zé)。《數(shù)據(jù)治理：如何設(shè)計(jì)、部署和維持有效的數(shù)據(jù)治理計(jì)劃》一書(shū)的作者John

Ladley將數(shù)據(jù)治理定義為信息管理、企業(yè)信息管理和數(shù)據(jù)架構(gòu)的一個(gè)組成部分。正如財(cái)務(wù)會(huì)計(jì)師使用一個(gè)流程和一套原則管理公司的財(cái)務(wù)一樣，負(fù)責(zé)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)經(jīng)理也需要流程和規(guī)則。這些原則由數(shù)據(jù)治理建立，并由信息管理團(tuán)隊(duì)實(shí)施。Ladley指出，“數(shù)據(jù)治理不是由管理信息的人員履行的職能。”相反，數(shù)據(jù)治理是一種管理監(jiān)督，有助于為數(shù)據(jù)管理過(guò)程提供秩序和框架。數(shù)據(jù)社區(qū)是圍繞關(guān)鍵數(shù)據(jù)集建立的。例如，一個(gè)社區(qū)可能負(fù)責(zé)財(cái)務(wù)數(shù)據(jù)管理，另一個(gè)負(fù)責(zé)客戶(hù)數(shù)據(jù)。這些社區(qū)確保其影響范圍內(nèi)的數(shù)據(jù)準(zhǔn)確、及時(shí)、一致、安全，并提供給其他社區(qū)。任何社區(qū)的首要價(jià)值是為其成員提供歸屬感和安全感。數(shù)據(jù)社區(qū)也不例外。因此，確保數(shù)據(jù)安全應(yīng)該是社區(qū)章程的一部分，為數(shù)據(jù)用戶(hù)提供了對(duì)收集和管理的數(shù)據(jù)的安全訪(fǎng)問(wèn)。?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有8理論與應(yīng)用數(shù)據(jù)原則、政策和實(shí)施規(guī)則必須平衡數(shù)據(jù)本身的管理和控制及整個(gè)數(shù)據(jù)社區(qū)數(shù)據(jù)湖潛在用戶(hù)的需求，確保：1.

信任：用戶(hù)必須知道，從數(shù)據(jù)湖開(kāi)發(fā)的可視化和報(bào)表是基于可識(shí)別和可靠來(lái)源的準(zhǔn)確數(shù)據(jù)（“真相”），以便組織避免根據(jù)“不良數(shù)據(jù)”的分析結(jié)果做出錯(cuò)誤的決定或行動(dòng)2.

數(shù)據(jù)血源可追溯性：用戶(hù)必須能夠通過(guò)數(shù)據(jù)生命周期中的多次躍程輕松識(shí)別數(shù)據(jù)的血緣和安全性，包括數(shù)據(jù)的原始來(lái)源、任何中間轉(zhuǎn)換過(guò)程中流程的細(xì)節(jié)和算法的使用、安全控制以及復(fù)制數(shù)據(jù)轉(zhuǎn)換路徑中使用的任何數(shù)據(jù)的能力。3.

使用情況跟蹤：組織必須知道誰(shuí)訪(fǎng)問(wèn)了數(shù)據(jù)，包括特權(quán)用戶(hù)、他們?cè)L問(wèn)了什么、是否進(jìn)行了更改以及更改的方式和時(shí)間，以便組織能夠滿(mǎn)足任何法規(guī)要求，如《健康保險(xiǎn)流通與責(zé)任法案（HIPAA）》或《塞班斯-奧克斯利法案（SOX）》。4.

啟用發(fā)現(xiàn)：數(shù)據(jù)湖的內(nèi)容可能很復(fù)雜，因此必須對(duì)數(shù)據(jù)有效標(biāo)記，包括添加元數(shù)據(jù)，并且文件需要被開(kāi)發(fā)，例如開(kāi)發(fā)數(shù)據(jù)目錄，以便可以使用與用戶(hù)群體相關(guān)的術(shù)語(yǔ)識(shí)別相關(guān)的數(shù)據(jù)集。5.

數(shù)據(jù)安全：系統(tǒng)必須確保數(shù)據(jù)只能由授權(quán)用戶(hù)訪(fǎng)問(wèn)，尊重?cái)?shù)據(jù)的機(jī)密性和隱私（例如，個(gè)人身份信息或PII），并允許及時(shí)識(shí)別任何利用外部或內(nèi)部數(shù)據(jù)的威脅及其補(bǔ)救措施。此外，還必須考慮高度機(jī)密的數(shù)據(jù)應(yīng)該存入指定的數(shù)據(jù)湖中。支付卡信息或SSN等數(shù)據(jù)可能永遠(yuǎn)不存在于數(shù)據(jù)湖中，這是非常合理的。6.

數(shù)據(jù)混淆：為了最大限度地提高可用性，當(dāng)多個(gè)用戶(hù)可以檢索同一數(shù)據(jù)記錄時(shí)，必須保護(hù)敏感和個(gè)人數(shù)據(jù)元素的機(jī)密性，這些用戶(hù)可能只有權(quán)查看某些指定的數(shù)據(jù)元素，而不能查看其他數(shù)據(jù)元素（如工資信息）。這包括數(shù)據(jù)脫敏、加密和標(biāo)記化等技術(shù)。7.

可審計(jì)性：必須確保內(nèi)部和外部審計(jì)師可根據(jù)需要獲得所有數(shù)據(jù)血緣和數(shù)?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有9據(jù)訪(fǎng)問(wèn)信息，促進(jìn)對(duì)欺詐、風(fēng)險(xiǎn)和合規(guī)性的審計(jì)。8.

性能：數(shù)據(jù)原則流程不得對(duì)數(shù)據(jù)湖的性能產(chǎn)生重大不利影響，包括從多個(gè)來(lái)源獲取數(shù)據(jù)和發(fā)現(xiàn)數(shù)據(jù)的過(guò)程。9.

故障排除：必須有現(xiàn)成的技術(shù)解決由數(shù)據(jù)的安全性、可信度或質(zhì)量引起的問(wèn)題，并確保及時(shí)采取適當(dāng)?shù)募m正措施。10.

保留、歸檔和處置：數(shù)據(jù)湖必須遵守?cái)?shù)據(jù)生命周期中的所有法律保留要求，確保遵守高于組織之上的任何條件（例如，執(zhí)法授權(quán)）。11.

監(jiān)控：必須建立數(shù)據(jù)湖監(jiān)控規(guī)范，并且必須圍繞數(shù)據(jù)分類(lèi)分級(jí)和組織合規(guī)報(bào)告的要求，配置基于數(shù)據(jù)分類(lèi)分級(jí)和使用模式（如下載數(shù)據(jù)、修改數(shù)據(jù)、刪除數(shù)據(jù)等）的警報(bào)通知。其中許多要求并不新鮮，但組織在實(shí)施“良好”安全和隱私的同時(shí)，通常為了創(chuàng)造或保持競(jìng)爭(zhēng)優(yōu)勢(shì)，越來(lái)越多的關(guān)注于從其數(shù)據(jù)資產(chǎn)中獲得最大價(jià)值。長(zhǎng)期以來(lái)，包括數(shù)據(jù)治理在內(nèi)的數(shù)據(jù)原則一直被認(rèn)為是從數(shù)據(jù)中獲得業(yè)務(wù)價(jià)值的關(guān)鍵成功因素。盡管如此，也許是時(shí)候在新技術(shù)的背景下重新審視數(shù)據(jù)治理的原則，比如數(shù)據(jù)湖，以及對(duì)安全和隱私的日益關(guān)注。解決方案隨著數(shù)據(jù)湖對(duì)組織的價(jià)值越來(lái)越高，組織對(duì)有效數(shù)據(jù)治理和管理的需求也在不斷增加。為了應(yīng)對(duì)這種情況，必須實(shí)施一套數(shù)據(jù)原則框架，該框架包括安全的數(shù)據(jù)管道，確保在整個(gè)企業(yè)數(shù)據(jù)社區(qū)需要時(shí)，能以正確的格式提供最新的、可信的數(shù)據(jù)。該數(shù)據(jù)原則框架必須是靈活的，因?yàn)殡S著數(shù)據(jù)爆炸性的增長(zhǎng)，數(shù)據(jù)生態(tài)系統(tǒng)在不斷發(fā)展變化，增加了數(shù)據(jù)源的可變性，導(dǎo)致會(huì)增加更多的數(shù)據(jù)管道，產(chǎn)生新的數(shù)據(jù)架構(gòu)，進(jìn)而也增加了對(duì)數(shù)據(jù)隱私和合規(guī)性的關(guān)注。與此同時(shí)，高明的黑客、民族國(guó)家活動(dòng)、惡意內(nèi)部員工和意外數(shù)據(jù)丟失都給數(shù)據(jù)安全帶來(lái)了越來(lái)越大的挑戰(zhàn)。此外，隨著執(zhí)法力度的加大，制定了新的隱私法規(guī)，數(shù)據(jù)隱私已成為社會(huì)關(guān)注的問(wèn)題。最后，數(shù)據(jù)也越來(lái)越分散，沒(méi)有清晰的邊界：在核心（內(nèi)置好的開(kāi)箱即用和多云部署情況）和邊緣的多源頭接收、存儲(chǔ)、運(yùn)算上，用戶(hù)的終端要做更多處理。敏捷數(shù)據(jù)原則框架必須提供一個(gè)靈活的正式結(jié)構(gòu)控制數(shù)據(jù)的定義、收集、存儲(chǔ)、處理和使?

2023

云安全聯(lián)盟大中華區(qū)版權(quán)所有10用，管理風(fēng)險(xiǎn)并確保數(shù)據(jù)的質(zhì)量和可用性，從而支持整個(gè)企業(yè)數(shù)據(jù)社區(qū)的數(shù)據(jù)驅(qū)動(dòng)決策。傳統(tǒng)的數(shù)據(jù)治理主要是防御性的，主要側(cè)重在減輕風(fēng)險(xiǎn)，延長(zhǎng)數(shù)據(jù)可用性，因?yàn)橥度氤杀靖叨辉嵅　Ｈ欢?，與其他敏捷方法一樣，敏捷數(shù)據(jù)原則應(yīng)該涉及整個(gè)數(shù)據(jù)社區(qū)（技術(shù)、商業(yè)和管理），應(yīng)該對(duì)持續(xù)的變化和提升做出反應(yīng)，并且應(yīng)該嵌入到數(shù)據(jù)社區(qū)所有人員的日?；顒?dòng)中，同時(shí)確保數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、數(shù)據(jù)安全和數(shù)據(jù)隱私。敏捷數(shù)據(jù)湖

威脅模型

框架需要首先讓組織的數(shù)據(jù)社區(qū)定義以下治理因素，重點(diǎn)關(guān)注角色和職責(zé)：a.

為了維護(hù)和提高數(shù)據(jù)質(zhì)量，并在不斷發(fā)展的數(shù)據(jù)湖環(huán)境中維護(hù)安全和隱私，敏捷數(shù)據(jù)治理需要哪些必要的政策和標(biāo)準(zhǔn)b.

在整個(gè)數(shù)據(jù)社區(qū)中，哪些術(shù)語(yǔ)應(yīng)該被定義好（例如數(shù)據(jù)質(zhì)量、及時(shí)性、訪(fǎng)問(wèn)和授權(quán)的定義）？c.

數(shù)據(jù)社區(qū)中存在哪些數(shù)據(jù)資產(chǎn)？誰(shuí)是數(shù)據(jù)的所有者？如何將持續(xù)不斷的識(shí)別出的數(shù)據(jù)集放到資產(chǎn)列表中?d.

元數(shù)據(jù)是數(shù)據(jù)湖的基本優(yōu)先事項(xiàng)：現(xiàn)在有哪些描述性信息（例如，數(shù)據(jù)目錄）？誰(shuí)負(fù)責(zé)持續(xù)創(chuàng)建和維護(hù)元數(shù)據(jù)？確保技術(shù)標(biāo)簽?zāi)軌蚍g以供使用？e.

如何管理數(shù)據(jù)管道和儲(chǔ)存？從而可以確保遵守政策時(shí)，在監(jiān)管要求下，不影響數(shù)據(jù)的可用性，保證數(shù)據(jù)可訪(fǎng)問(wèn)。f.

數(shù)據(jù)管道的哪些部分需要自動(dòng)化，以及如何自動(dòng)化，包括機(jī)器學(xué)習(xí)等先進(jìn)技術(shù)？g.

如何將數(shù)據(jù)治理標(biāo)準(zhǔn)和政策集成到工作流程中，避免處理延遲或數(shù)據(jù)可用性受到限制？在數(shù)據(jù)使用中，時(shí)效是很重要的。h.

數(shù)據(jù)原則政策和標(biāo)準(zhǔn)如何與正在使用的進(jìn)程、工具、技術(shù)和平臺(tái)（包括云平臺(tái)和內(nèi)部設(shè)施）集成？i.

誰(shuí)管理數(shù)據(jù)湖（角色和職責(zé)），包括訪(fǎng)問(wèn)控制、元數(shù)據(jù)管理、接收監(jiān)