Hadoop平臺(tái)的安全保障 省賽獲獎(jiǎng)

Hadoop平臺(tái)的安全保障系統(tǒng)安全01運(yùn)營(yíng)安全02Content目錄01系統(tǒng)安全系統(tǒng)安全1、身份驗(yàn)證和授權(quán)基于角色的權(quán)限訪問(wèn)控制（RBAC）是整個(gè)訪問(wèn)控制的核心，RBAC就是把角色和權(quán)限進(jìn)行關(guān)聯(lián)，這個(gè)關(guān)聯(lián)包括了角色、組、表、標(biāo)簽以及其他各種可用數(shù)據(jù)。認(rèn)證和授權(quán)在大型企業(yè)里，是需要跨團(tuán)隊(duì)的合作的，比如與SSO的集成是和IT打配合，數(shù)據(jù)字段密級(jí)的顆粒控制和數(shù)據(jù)平臺(tái)配合實(shí)現(xiàn)。Hadoop生態(tài)里，身份是個(gè)比較復(fù)雜的內(nèi)容，Hadoop在設(shè)計(jì)的時(shí)候就盡可能的與權(quán)威身份源松耦合，Hadoop默認(rèn)使用Kerberos作為認(rèn)證協(xié)議，但Kerberos對(duì)更高級(jí)的身份特征認(rèn)證支持是不夠的。系統(tǒng)安全2、靜態(tài)數(shù)據(jù)保護(hù)靜態(tài)數(shù)據(jù)的保護(hù)其實(shí)就是指加密，HDFS支持原生靜態(tài)加密，防止直接從磁盤(pán)讀取數(shù)據(jù)。但是敏感數(shù)據(jù)可不僅僅存在于HDFS層，日志、交換文件、消息隊(duì)列、元數(shù)據(jù)庫(kù)等其他地方也會(huì)有大量敏感數(shù)據(jù)存在。3、多租戶Hadoop通常都是為多租戶提供服務(wù)，例如我所在的公司，租戶包括了不同的bg，也包括收購(gòu)?fù)顿Y的公司，也有與外部合作的租戶。租戶之間的數(shù)據(jù)應(yīng)該隔離或者加密，有的公司用的ACL來(lái)控制，而在云端，多數(shù)是通過(guò)區(qū)域密鑰加密。系統(tǒng)安全4、節(jié)點(diǎn)通信舉例來(lái)說(shuō)，Hadoop和MongoDB默認(rèn)是非安全通信方式，用的是基于TCP/IP，未加密的RPC。雖然提供了TLS和SSL，但是很少用在節(jié)點(diǎn)之間。5、客戶端交互Client是和resourcemanager、node之間交互的，見(jiàn)圖一。因此Client可以做出攻擊行為，比如惡意占用資源、利用漏洞攻擊。而Hadoop是一個(gè)分布型的架構(gòu)，傳統(tǒng)上的防火墻之類的工具不適合。系統(tǒng)安全6、分布式節(jié)點(diǎn)有一句話很經(jīng)典，移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)便宜，數(shù)據(jù)在有資源的地方計(jì)算，從而實(shí)現(xiàn)大規(guī)模并行處理。分布式會(huì)讓環(huán)境更復(fù)雜，從而產(chǎn)生更多的攻擊面，補(bǔ)丁、配置管理、身份驗(yàn)證、靜態(tài)數(shù)據(jù)保護(hù)、一致性都成為問(wèn)題。02運(yùn)營(yíng)安全運(yùn)營(yíng)安全1、身份驗(yàn)證和授權(quán)身份和身份驗(yàn)證是安全的核心，在這方面Hadoop做了大量的集成，從最初不提供認(rèn)證，到集成LDAP，ActiveDirectory，Kerberos、X.509，通過(guò)這些集成，可以基于角色映射授權(quán)，也可以擴(kuò)展到更細(xì)粒度的授權(quán)（比如ApacheSentry），再到自定義。2、特權(quán)訪問(wèn)在公司里，可能負(fù)責(zé)操作系統(tǒng)的是一個(gè)管理員，Hadoop是另一個(gè)管理員，他們都可以訪問(wèn)集群的文件，所以需要分隔管理角色，把不必要的訪問(wèn)限制到最低。對(duì)于直接訪問(wèn)數(shù)據(jù)，可以通過(guò)基于角色授權(quán)、訪問(wèn)控制列表等的組合管理方式。對(duì)于管理角色則可以通過(guò)三權(quán)分立來(lái)分隔。再?gòu)?qiáng)一些，則是加密和密鑰管理，HDFS加密。運(yùn)營(yíng)安全3、配置和補(bǔ)丁管理集群可能有幾百個(gè)節(jié)點(diǎn)，對(duì)這些節(jié)點(diǎn)統(tǒng)一做配置和補(bǔ)丁管理是個(gè)難題，比如新增節(jié)點(diǎn)和原有節(jié)點(diǎn)配置不統(tǒng)一這類問(wèn)題?，F(xiàn)有的配置管理工具都是在底層平臺(tái)上，NoSQL系統(tǒng)還沒(méi)有對(duì)應(yīng)的配置管理，另外市面上也沒(méi)有針對(duì)Hadoop做特定檢查的掃描器。4、軟件依賴Hadoop有很多不同組件，每個(gè)組件有自己的配置、補(bǔ)丁、驗(yàn)證方式。好在Docker