《安全數(shù)據(jù)湖的敏捷數(shù)據(jù)原則》

目錄致謝 4序言 5介紹 7問題 7什么是數(shù)據(jù)社區(qū)？ 8理論與應(yīng)用 9解決方案 10結(jié)語 12?2023云安全聯(lián)盟大中華區(qū)版權(quán)所有 6介紹即所謂的“大數(shù)據(jù)”）本文觀點(diǎn)考察了當(dāng)吧數(shù)據(jù)湖作為一種主要數(shù)據(jù)管理技術(shù)而呈現(xiàn)出的數(shù)據(jù)原則的基本參數(shù)，包括確保數(shù)據(jù)的安全和隱私，并且不基于任何供應(yīng)商的解決方案，而是考慮到數(shù)據(jù)湖的整體保護(hù)，并為這些原則的執(zhí)行提供了架構(gòu)。問題數(shù)據(jù)湖通過提供對廣泛的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)源進(jìn)行有效集成與分析，為相應(yīng)組織增加巨大的價值。一般而言，數(shù)據(jù)湖以原始形式存儲從多個數(shù)據(jù)源收集的海量數(shù)據(jù)，直到需要數(shù)據(jù)時才定義數(shù)據(jù)結(jié)構(gòu)和用戶需求。如果組織要使用數(shù)據(jù)并確保其安全和隱私，數(shù)據(jù)湖必須遵守嚴(yán)格的數(shù)據(jù)原則政策和相關(guān)程序。且需要得到數(shù)據(jù)社區(qū)（DC）中所有人的信任。為了從數(shù)據(jù)湖中獲取最高的靈活性和性能，保障DC中的任何用戶能輕而易舉的獲取正確的數(shù)據(jù)，在適當(dāng)?shù)臅r候，跨多個數(shù)據(jù)集進(jìn)行可靠的數(shù)據(jù)集成。執(zhí)行此操作時，必須確信數(shù)據(jù)是安全、準(zhǔn)確和最高質(zhì)量的。數(shù)據(jù)原則包括角色和責(zé)任，是數(shù)據(jù)湖“良好”持續(xù)數(shù)據(jù)管理的先決條件，并決定了整個DC所需的決策，從而確保有效管理和安全。什么是數(shù)據(jù)社區(qū)？社區(qū)定義為在特定領(lǐng)域具有共同利益的個人的統(tǒng)一團(tuán)體；廣義來說，是指將分散在一個更大的社會或團(tuán)體的人員和專家，由共同的興趣和政策聯(lián)系在一起形成一個共同的團(tuán)體。因此，數(shù)據(jù)社區(qū)是由平時分散在組織中投入研究數(shù)據(jù)的個人，通過常見的數(shù)據(jù)政策（如隱私政策）聯(lián)系在一起而組成的統(tǒng)一團(tuán)體。JohnLadleyLadley“”數(shù)據(jù)社區(qū)是圍繞關(guān)鍵數(shù)據(jù)集建立的。例如，一個社區(qū)可能負(fù)責(zé)財(cái)務(wù)數(shù)據(jù)管理，另一個負(fù)責(zé)客戶數(shù)據(jù)。這些社區(qū)確保其影響范圍內(nèi)的數(shù)據(jù)準(zhǔn)確、及時、一致、安全，并提供給其他社區(qū)。任何社區(qū)的首要價值是為其成員提供歸屬感和安全感。數(shù)據(jù)社區(qū)也不例外。因此，確保數(shù)據(jù)安全應(yīng)該是社區(qū)章程的一部分，為數(shù)據(jù)用戶提供了對收集和管理的數(shù)據(jù)的安全訪問。理論與應(yīng)用數(shù)據(jù)原則、政策和實(shí)施規(guī)則必須平衡數(shù)據(jù)本身的管理和控制及整個數(shù)據(jù)社區(qū)數(shù)據(jù)湖潛在用戶的需求，確保： 信任：用戶必須知道，從數(shù)據(jù)湖開發(fā)的可視化和報表是基于可識別和可靠 數(shù)據(jù)血源可追溯性：用戶必須能夠通過數(shù)據(jù)生命周期中的多次躍程輕松識 使用情況跟蹤：組織必須知道誰訪問了數(shù)據(jù)，包括特權(quán)用戶、他們訪問了（SOX）》。 啟用發(fā)現(xiàn)：數(shù)據(jù)湖的內(nèi)容可能很復(fù)雜，因此必須對數(shù)據(jù)有效標(biāo)記，包括添 數(shù)據(jù)安全：系統(tǒng)必須確保數(shù)據(jù)只能由授權(quán)用戶訪問，尊重?cái)?shù)據(jù)的機(jī)密性和PII）數(shù)據(jù)湖中。支付卡信息或SSN等數(shù)據(jù)可能永遠(yuǎn)不存在于數(shù)據(jù)湖中，這是非常 數(shù)據(jù)混淆：為了最大限度地提高可用性，當(dāng)多個用戶可以檢索同一數(shù)據(jù)記（如工資信息）。這包括數(shù)據(jù)可審計(jì)性：必須確保內(nèi)部和外部審計(jì)師可根據(jù)需要獲得所有數(shù)據(jù)血緣和數(shù)據(jù)訪問信息，促進(jìn)對欺詐、風(fēng)險和合規(guī)性的審計(jì)。 性能：數(shù)據(jù)原則流程不得對數(shù)據(jù)湖的性能產(chǎn)生重大不利影響，包括從多個 故障排除：必須有現(xiàn)成的技術(shù)解決由數(shù)據(jù)的安全性、可信度或質(zhì)量引起的 （）。 監(jiān)控：必須建立數(shù)據(jù)湖監(jiān)控規(guī)范，并且必須圍繞數(shù)據(jù)分類分級和組織合規(guī)（如下載數(shù)據(jù)、修改數(shù)據(jù)、）其中許多要求并不新鮮，但組織在實(shí)施“良好”安全和隱私的同時，通常為了創(chuàng)造或保持競爭優(yōu)勢，越來越多的關(guān)注于從其數(shù)據(jù)資產(chǎn)中獲得最大價值。長期以來，包括數(shù)據(jù)治理在內(nèi)的數(shù)據(jù)原則一直被認(rèn)為是從數(shù)據(jù)中獲得業(yè)務(wù)價值的關(guān)鍵成功因素。盡管如此，也許是時候在新技術(shù)的背景下重新審視數(shù)據(jù)治理的原則，比如數(shù)據(jù)湖，以及對安全和隱私的日益關(guān)注。解決方案隨著數(shù)據(jù)湖對組織的價值越來越高，組織對有效數(shù)據(jù)治理和管理的需求也在不斷增加。為了應(yīng)對這種情況，必須實(shí)施一套數(shù)據(jù)原則框架，該框架包括安全的數(shù)據(jù)管道，確保在整個企業(yè)數(shù)據(jù)社區(qū)需要時，能以正確的格式提供最新的、可信的數(shù)據(jù)。該數(shù)據(jù)原則框架必須是靈活的，因?yàn)殡S著數(shù)據(jù)爆炸性的增長，數(shù)據(jù)生態(tài)系統(tǒng)在不斷發(fā)展變化，增加了數(shù)據(jù)源的可變性，導(dǎo)致會增加更多的數(shù)據(jù)管道，產(chǎn)生新的數(shù)據(jù)架構(gòu)，進(jìn)而也增加了對數(shù)據(jù)隱私和合規(guī)性的關(guān)注。與此同時，高明的黑客、民族國家活動、惡意內(nèi)部員工和意外數(shù)據(jù)丟失都給數(shù)據(jù)安全帶來了越來越大的挑戰(zhàn)。此外，隨著執(zhí)法力度的加大，制定了新的隱私法規(guī)，數(shù)據(jù)隱私已成為社會關(guān)注的問題。最后，數(shù)據(jù)也越來越分散，沒有清晰的邊界：在核心（內(nèi)置好的開箱即用和多云部署情況）和邊緣的多源頭接收、存儲、運(yùn)算上，用戶的終端要做更多處理。敏捷數(shù)據(jù)原則框架必須提供一個靈活的正式結(jié)構(gòu)控制數(shù)據(jù)的定義收集存儲處理和使用，管理風(fēng)險并確保數(shù)據(jù)的質(zhì)量和可用性，從而支持整個企業(yè)數(shù)據(jù)社區(qū)的數(shù)據(jù)驅(qū)動決策。傳統(tǒng)的數(shù)據(jù)治理主要是防御性的，主要側(cè)重在減輕風(fēng)險，延長數(shù)據(jù)可用性，因?yàn)橥度氤杀靖叨辉嵅?。然而，與其他敏捷方法一樣，敏捷數(shù)據(jù)原則應(yīng)該涉及整個數(shù)據(jù)社區(qū)（技術(shù)、商業(yè)和管理），應(yīng)該對持續(xù)的變化和提升做出反應(yīng)，并且應(yīng)該嵌入到數(shù)據(jù)社區(qū)所有人員的日常活動中，同時確保數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、數(shù)據(jù)安全和數(shù)據(jù)隱私。）？?）一旦計(jì)劃好，數(shù)據(jù)原則就必須作為數(shù)據(jù)湖管理計(jì)劃的組成部分堅(jiān)決實(shí)施。為了滿足當(dāng)下的敏捷環(huán)境，自動化是確保最小化持續(xù)投入成本，最大化保證數(shù)據(jù)的安全性和隱私性的必要條件。結(jié)語NTTDATA相信，在最大程度降低總成本的同時，提高數(shù)據(jù)湖中數(shù)據(jù)資產(chǎn)的價值，確保安全性和隱私性不僅是專業(yè)人員的責(zé)任，也需要數(shù)據(jù)社區(qū)中包括所有數(shù)據(jù)用戶在內(nèi)的每個人的共同努力。敏捷技術(shù)已經(jīng)成功地實(shí)現(xiàn)了軟件開發(fā)的現(xiàn)代化，也為不斷發(fā)展的數(shù)據(jù)生態(tài)系統(tǒng)做出了類似的承諾。此外，數(shù)據(jù)操作在實(shí)施過程中可能具有一定價值，但在此之前，組織需要先仔細(xì)考慮，形成一套能夠貫穿始終的數(shù)據(jù)原則。數(shù)