大數(shù)據(jù)安全資料

一）大數(shù)據(jù)安全從收集大數(shù)據(jù)開始（1）為了從安全的角度來對付“大數(shù)據(jù)”，企業(yè)應(yīng)該怎么做？很多企業(yè)會希望整合大量不同的數(shù)據(jù)源，但大部分企業(yè)沒有這樣做的原因在于：這是一個長期而具有挑戰(zhàn)性的過程。為了利用大數(shù)據(jù)來加強(qiáng)企業(yè)信息安全，我們需要部署哪些技術(shù)和流程？日志管理？SIEM部署？我們需要進(jìn)行什么樣的培訓(xùn)？保護(hù)數(shù)據(jù)中心需要怎么做？在本文中，筆者將提供現(xiàn)實(shí)的建議，讓企業(yè)信息安全團(tuán)隊(duì)知道他們必須部署什么樣的技術(shù)以及必須部署什么樣的流程以充分利用大數(shù)據(jù)。什么是大數(shù)據(jù)？為什么它對信息安全意義重大？就像電影《黑客帝國》中的感知機(jī)器人或者《終結(jié)者》電影中的Skynet一樣，現(xiàn)在的大數(shù)據(jù)環(huán)境由大規(guī)模并行處理數(shù)據(jù)庫產(chǎn)品（不過所幸的是，它們沒有自我感知能力）組成，這些產(chǎn)品通過處理PB級（1015）到ZB級（1021）看似不同的數(shù)據(jù)來創(chuàng)建趨勢和數(shù)據(jù)映射。通過建立這種宏觀層面的信息，大數(shù)據(jù)可以讓企業(yè)了解到他們的產(chǎn)品是如何以前所未有的經(jīng)濟(jì)理解水平在運(yùn)行。也就是說，通過以新方式來結(jié)合和分析海量數(shù)據(jù)，我們可以實(shí)現(xiàn)新的業(yè)務(wù)洞察力。雖然大數(shù)據(jù)在商業(yè)世界有很多有價值的應(yīng)用，重要的是要記住，這些大數(shù)據(jù)信息對于企業(yè)信息安全團(tuán)隊(duì)同樣具有價值。那么，安全團(tuán)隊(duì)?wèi)?yīng)該怎樣利用大數(shù)據(jù)以加強(qiáng)企業(yè)安全—同時抵御內(nèi)部和外部威脅？保護(hù)大數(shù)據(jù)：基礎(chǔ)設(shè)施準(zhǔn)備首先，對于利用大數(shù)據(jù)系統(tǒng)來分析企業(yè)內(nèi)活動的安全工具，企業(yè)安全團(tuán)隊(duì)必須了解傳統(tǒng)安全修復(fù)工具和它們之間的基礎(chǔ)設(shè)施差異。在現(xiàn)在的企業(yè)安全辦公室，我們并不難找到報(bào)告不同類型安全數(shù)據(jù)（試圖查找問題的安全分析師會對這些數(shù)據(jù)感興趣）的各種安全工具，日志記錄工具、安全監(jiān)控工具、外圍安全設(shè)備、應(yīng)用程序訪問控制設(shè)備、配置系統(tǒng)、供應(yīng)商風(fēng)險分析程序、GRC產(chǎn)品等，這些工具收集了大量信息，企業(yè)安全團(tuán)隊(duì)必須分解和規(guī)范化這些信息以確定安全風(fēng)險。雖然這些傳統(tǒng)工具針對其特定類型的控制提供了數(shù)據(jù)視圖，但這些系統(tǒng)的輸出往往不是統(tǒng)一的，又或者這些數(shù)據(jù)被分解成匯總數(shù)據(jù)，并被輸入到一個或者多個SIEM工具以在視覺上顯示安全團(tuán)隊(duì)感興趣的預(yù)定事件。一旦確定了某個趨勢或者潛在事故，安全專業(yè)人士團(tuán)隊(duì)就必須從大量輸出數(shù)據(jù)中篩選出證據(jù)以發(fā)現(xiàn)任何未經(jīng)授權(quán)或惡意的活動。對于安全管理而言，這種“松散結(jié)合”的方法通?？尚校俣群苈?，很容易錯過良好偽裝的惡意事件，并且要在對大量歷史數(shù)據(jù)進(jìn)行收集、分析和總結(jié)后，才能發(fā)現(xiàn)嚴(yán)重的安全事件。相比之下，大數(shù)據(jù)安全環(huán)境的創(chuàng)建需要依賴于前面提到的工具，為安全信息輸入單一邏輯大數(shù)據(jù)安全信息倉庫。這種倉庫的優(yōu)勢在于，它將數(shù)據(jù)作為更大的安全生態(tài)系統(tǒng)的一部分，這個安全生態(tài)系統(tǒng)具有強(qiáng)大的分析和趨勢分析工具來識別威脅，威脅需要通過檢查多個數(shù)據(jù)集才能被確認(rèn)，而不像傳統(tǒng)的方法那樣---安全團(tuán)隊(duì)通過虛擬放大鏡來篩選松散耦合的數(shù)據(jù)集保護(hù)大數(shù)據(jù)：基礎(chǔ)設(shè)施支持當(dāng)然在其核心，這種新環(huán)境將需要對基礎(chǔ)設(shè)施進(jìn)行調(diào)整，使其能夠收集和分析數(shù)據(jù)。為了創(chuàng)建支持大數(shù)據(jù)環(huán)境的基礎(chǔ)設(shè)施，我們需要一個安全且高速的網(wǎng)絡(luò)來收集很多安全系統(tǒng)數(shù)據(jù)源，從而滿足大數(shù)據(jù)收集要求。鑒于大數(shù)據(jù)基礎(chǔ)設(shè)施的虛擬化和分布式性質(zhì)，企業(yè)需要將虛擬網(wǎng)絡(luò)作為底層通信基礎(chǔ)設(shè)施。此外，從承載大數(shù)據(jù)的角度來看，在數(shù)據(jù)中心和虛擬設(shè)備之間使用VLAN等技術(shù)作為虛擬主機(jī)（已經(jīng)部署了虛擬交換機(jī)）內(nèi)的網(wǎng)絡(luò)是最佳選擇。由于防火墻需要檢查通過防火墻的每個會話的每個數(shù)據(jù)包，它們成了大數(shù)據(jù)快速計(jì)算能力的瓶頸。因此，企業(yè)需要分離傳統(tǒng)用戶流量與構(gòu)成大數(shù)據(jù)安全數(shù)據(jù)的流量。通過確保只有受信任的服務(wù)器流量流經(jīng)加密網(wǎng)絡(luò)通道以及消除之間的傳統(tǒng)基礎(chǔ)設(shè)施防火墻，這個系統(tǒng)就能夠以所需要的不受阻礙的速度進(jìn)行通信。接著，這個安全數(shù)據(jù)倉庫的虛擬服務(wù)器需要受到保護(hù)。最好的做法是，確保這些服務(wù)器按照NIST標(biāo)準(zhǔn)進(jìn)行加強(qiáng)，卸載不必要的服務(wù)（例如FTP工具）以及確保有一個良好的補(bǔ)丁管理流程。鑒于這些服務(wù)器上的數(shù)據(jù)的重要性，我們還需要為大數(shù)據(jù)中心部署備份服務(wù)。此外，這些備份還必須加密--無論是通過磁帶介質(zhì)還是次級驅(qū)動器的備份，畢竟在很多時候，安全數(shù)據(jù)站點(diǎn)發(fā)生數(shù)據(jù)泄露事故都是因?yàn)閭浞菝浇榈膩G失或者被盜。另外，應(yīng)該定時進(jìn)行系統(tǒng)更新，同時，為了進(jìn)行集中監(jiān)控和控制，還應(yīng)該部署具有正式運(yùn)營中心的系統(tǒng)監(jiān)視工具。大數(shù)據(jù)安全：整合現(xiàn)有工具和流程為了確保大數(shù)據(jù)安全倉庫位于安全事件生態(tài)系統(tǒng)的頂端，我們還必須整合現(xiàn)有安全工具和流程。當(dāng)然，這些整合點(diǎn)應(yīng)該平行于現(xiàn)有的連接，因?yàn)槠髽I(yè)不能為了大數(shù)據(jù)的基礎(chǔ)設(shè)施改組而放棄其安全分析功能。對于一項(xiàng)新部署，最好的方法是盡量減少連接數(shù)量—通過連接企業(yè)和/或業(yè)務(wù)線的SIEM工具的輸出到大數(shù)據(jù)安全倉庫。由于這些數(shù)據(jù)已經(jīng)被預(yù)處理，它將允許企業(yè)開始測試其分析算法與加工后的數(shù)據(jù)集。在與安全信息和事件管理工具的整合工作完成后，初始趨勢和事件將開始顯現(xiàn)，我們還需要開發(fā)一個程序來去耦SIEM工具的輸入使其直接進(jìn)入倉庫。最好的做法是為輸入選擇一個良好定義的標(biāo)準(zhǔn)化數(shù)據(jù)格式，這將大大較少所需要的整合和規(guī)范化步驟，確保對數(shù)據(jù)倉庫改善后的分析算法的持續(xù)驗(yàn)證。隨著時間的推移，改進(jìn)的分析功能將使數(shù)據(jù)倉庫成為企業(yè)安全工具的主要收集點(diǎn)，企業(yè)的安全辦公室將擁有對安全事件分析的單一入口點(diǎn)。最后，由于大數(shù)據(jù)在一個新的不同的環(huán)境運(yùn)行，我們還需要為安全辦公人員定制一個培訓(xùn)計(jì)劃。培訓(xùn)計(jì)劃應(yīng)該著眼于新開發(fā)的分析和修復(fù)過程，因?yàn)榘踩髷?shù)據(jù)倉庫將通過這些過程來標(biāo)記和報(bào)告不尋常的活動和網(wǎng)絡(luò)流量。大數(shù)據(jù)生態(tài)系統(tǒng)的實(shí)際操作有著非常標(biāo)準(zhǔn)化的功能，未經(jīng)授權(quán)的更改或者訪問將很容易被發(fā)現(xiàn)。大數(shù)據(jù)將為安全團(tuán)隊(duì)帶來新的工作方式，而不會出現(xiàn)科幻電影中“機(jī)器接管人類”的戲劇化的一幕。通過了解大數(shù)據(jù)的優(yōu)勢、制定切合實(shí)際的目標(biāo)以及利用現(xiàn)有安全技術(shù)的優(yōu)勢安全管理人員將會發(fā)現(xiàn)他們在大數(shù)據(jù)進(jìn)行的投資是值得的。大數(shù)據(jù)是把雙刃劍機(jī)遇和風(fēng)險并存對于大多數(shù)企業(yè)來說，大數(shù)據(jù)已經(jīng)成為左右戰(zhàn)局的決定性力量，安全風(fēng)險也隨之更加凸顯。企業(yè)已經(jīng)搜集并存儲了所有的數(shù)據(jù)，接下來他們該干些什么？他們?nèi)绾螌@些數(shù)據(jù)進(jìn)行保護(hù)？而且最為重要的是，他們?nèi)绾伟踩戏ǖ乩眠@些數(shù)據(jù)？無論是從企業(yè)存儲策略與環(huán)境來看，還是從數(shù)據(jù)與存儲操作的角度來看，大數(shù)據(jù)帶來的“管理風(fēng)險”不僅日益突出，而且如果不能妥善解決，將肯定會造成“大數(shù)據(jù)就是大風(fēng)險”的可怕后果。從信息安全的角度來看，圍繞大數(shù)據(jù)的問題主要集中在以下五個方面：1.網(wǎng)絡(luò)安全隨著線交易、在線對話、在線互動，在線數(shù)據(jù)越來越多，黑客們的犯罪動機(jī)也比以往任何時候都來得強(qiáng)烈。如今的黑客們組織性更強(qiáng)，更加專業(yè)，作案工具也是更加強(qiáng)大，作案手段更是層出不窮。相比于以往一次性數(shù)據(jù)泄露或者黑客攻擊事件的小打小鬧，現(xiàn)在數(shù)據(jù)一旦泄露，對整個企業(yè)可以說是一著不慎滿盤皆輸，不僅會導(dǎo)致聲譽(yù)受損、造成巨大的經(jīng)濟(jì)損失，嚴(yán)重的還要承擔(dān)法律責(zé)任。所以在大數(shù)據(jù)時代，網(wǎng)絡(luò)的恢復(fù)能力以及防范策略可以說是至關(guān)重要。2.云數(shù)據(jù)目前來看，企業(yè)快速采用和實(shí)施諸如云服務(wù)等新技術(shù)還是存在不小的壓力，因?yàn)樗鼈兛赡軒頍o法預(yù)料的風(fēng)險和造成意想不到的后果。而且，云端的大數(shù)據(jù)對于黑客們來說是個極具吸引力的獲取信息的目標(biāo)，所以這就對企業(yè)制定安全正確的云計(jì)算采購策略提出了更高的要求。3.消費(fèi)化眾所周知，數(shù)據(jù)的搜集、存儲、訪問、傳輸必不可少的需要借助移動設(shè)備，所以大數(shù)據(jù)時代的來臨也帶動了移動設(shè)備的猛增。隨之而來的是BYOD(bringyourowndevice)風(fēng)潮的興起，越來越多的員工帶自己的移動設(shè)備進(jìn)行辦公。不可否認(rèn)的是，BYOD確實(shí)為人們的工作帶來了便利，而且也幫助企業(yè)節(jié)省很大一筆開支，但也給企業(yè)帶來了更大的安全隱患。曾幾何時，手持設(shè)備被當(dāng)成黑客入侵內(nèi)網(wǎng)的絕佳跳板，所以企業(yè)管理和確保員工個人設(shè)備的安全性也相應(yīng)增加了難度。4.互相聯(lián)系的供應(yīng)鏈每個企業(yè)都是復(fù)雜的、全球化的、相互依存的供應(yīng)鏈中的一部分，而供應(yīng)鏈很可能就是最薄弱的環(huán)節(jié)。信息將供應(yīng)鏈緊密地聯(lián)系在一起，從簡單的數(shù)據(jù)到商業(yè)機(jī)密再到知識產(chǎn)權(quán)，而信息的泄露可能導(dǎo)致名譽(yù)受損、經(jīng)濟(jì)損失、甚至是法律制裁。信息安全的重要性也就不言而喻了，它在協(xié)調(diào)企業(yè)之間承包和供應(yīng)等業(yè)務(wù)關(guān)系扮演著舉足輕重的角色。5.隱私隨著產(chǎn)生、存儲、分析的數(shù)據(jù)量越來越大，隱私問題在未來的幾年也將愈加凸顯。所以新的數(shù)據(jù)保護(hù)要求以及立法機(jī)構(gòu)和監(jiān)管部門的完善應(yīng)當(dāng)提上日程。拋開以上提到的問題，數(shù)據(jù)聚合以及大數(shù)據(jù)分析就像是企業(yè)營銷情報(bào)的寶庫?；谟脩暨^去的購買方式，情緒以及先前的個人偏好進(jìn)行目標(biāo)客戶的定位，對市場營銷者來說絕對是再合適不過了。但是那些出于商業(yè)利益考慮而迫切想要采用新技術(shù)的企業(yè)領(lǐng)導(dǎo)者會被建議先去了解法律和其他方面的限制，這些限制可能涉及多個司法機(jī)構(gòu)；此外，他們應(yīng)該實(shí)施一些隱私最佳實(shí)踐，并將其設(shè)計(jì)成分析程序，增加透明度和實(shí)行問責(zé)制度，而且不應(yīng)該忽視大數(shù)據(jù)對人們、對技術(shù)的影響。很顯然，保證數(shù)據(jù)輸入以及大數(shù)據(jù)輸出的安全性是個很艱巨的挑戰(zhàn)，它不僅會影響到潛在的商業(yè)活動和機(jī)會，而且有著深遠(yuǎn)的法律內(nèi)含。我們應(yīng)該保持敏捷性并在問題出現(xiàn)前對監(jiān)管規(guī)則作出適當(dāng)?shù)母淖?，而不是坐等問題的出現(xiàn)再亡羊補(bǔ)牢。當(dāng)然，一切都還處于初級階段，而且目前也沒有太多外在要求來強(qiáng)制企業(yè)保證信息的完整性。然而，企業(yè)每天處理的數(shù)據(jù)規(guī)模依然在保持增長，大數(shù)據(jù)分析使得商務(wù)決策越來越接近原生數(shù)據(jù)，信息的質(zhì)量也變得愈加重要。如果同樣復(fù)雜的分析可以運(yùn)用到相關(guān)安全數(shù)據(jù)上面，那么大數(shù)據(jù)甚至可以用來改善信息安全。雖然目前這些解決方案很難普及開來，但是他們正在和大數(shù)據(jù)分析一起用于防騙，網(wǎng)絡(luò)安全檢測，社會分析以及多通道實(shí)時監(jiān)測等過個領(lǐng)域?？偟恼f來，大數(shù)據(jù)應(yīng)該說是具有相當(dāng)大的價值，但同時它又存在巨大的安全隱患，一旦落入非法分子手中，勢必對企業(yè)和個人造成巨大的損失。套用一句話，世界是很公平的，收入與風(fēng)險是成正比的。三）大數(shù)據(jù)的安全挑戰(zhàn)大數(shù)據(jù)架構(gòu)和平臺算是新事物，而且還在以一種非凡的速度不斷發(fā)展著。商業(yè)和開源的開發(fā)團(tuán)隊(duì)幾乎每月都在發(fā)布其平臺的新功能。當(dāng)今的大數(shù)據(jù)集群將會與將來我們看到的數(shù)據(jù)集群有極大不同。適應(yīng)這種新困難的安全工具也將發(fā)生變化。在采用大數(shù)據(jù)的生命周期中，業(yè)界仍處于早期階段，但公司越早開始應(yīng)對大數(shù)據(jù)的安全問題，任務(wù)就越容易。如果安全成為大數(shù)據(jù)集群發(fā)展過程中的一種重要需求，集群就不容易被黑客破壞。此外，公司也能夠避免把不成熟的安全功能放在關(guān)鍵的生產(chǎn)環(huán)境中。“大數(shù)據(jù)”一詞常被誤解。事實(shí)上，使用頻率太高反而使它幾乎沒有什么意義了。大數(shù)據(jù)確實(shí)存儲并處理大量的數(shù)據(jù)集合，但其特性體現(xiàn)遠(yuǎn)不止于此。在著手解決大數(shù)據(jù)問題時，將其看作是一種觀念而不是特定的規(guī)?；蚣夹g(shù)非常有益。就其最簡單的表現(xiàn)來說，大數(shù)據(jù)現(xiàn)象由三個大趨勢的交集所推動：包含寶貴信息的大量數(shù)據(jù)、廉價的計(jì)算資源、幾乎免費(fèi)的分析工具。如今，有很多特別重視不同數(shù)據(jù)類型（例如，地理位置數(shù)據(jù)）的大數(shù)據(jù)管理系統(tǒng)。這些系統(tǒng)使用多種不同的查詢模式、不同的數(shù)據(jù)存儲模式、不同的任務(wù)管理和協(xié)調(diào)、不同的資源管理工具。雖然大數(shù)據(jù)常被描述為“反關(guān)系型”的，但這個概念還無法抓住大數(shù)據(jù)的本質(zhì)。為了避免性能問題，大數(shù)據(jù)確實(shí)拋棄了許多關(guān)系型數(shù)據(jù)庫的核心功能，卻也沒犯什么錯誤：有些大數(shù)據(jù)環(huán)境提供關(guān)系型結(jié)構(gòu)、業(yè)務(wù)連續(xù)性和結(jié)構(gòu)化查詢處理。由于傳統(tǒng)的定義無法抓住大數(shù)據(jù)的本質(zhì)，我們不妨根據(jù)組成大數(shù)據(jù)環(huán)境的關(guān)鍵要素思考一下大數(shù)據(jù)。這些關(guān)鍵要素使用了許多分布式的數(shù)據(jù)存儲和管理節(jié)點(diǎn)。這些要素存儲多個數(shù)據(jù)副本，在多個節(jié)點(diǎn)之間將數(shù)據(jù)變成“碎片”。這意味著在單一節(jié)點(diǎn)發(fā)生故障時，數(shù)據(jù)查詢將會轉(zhuǎn)向處理資源可用的數(shù)據(jù)。正是這種能夠彼此協(xié)作的分布式數(shù)據(jù)節(jié)點(diǎn)集群，可以解決數(shù)據(jù)管理和數(shù)據(jù)查詢問題，才使得大數(shù)據(jù)如此不同。

leckfltt^get中國MrtdflaU<Hanw.replim?」:leckfltt^get中國MrtdflaU<Hanw.replim?」:/lK>m色怦<H“d吉茁ih」r□5]丁1E>iJR圖顯示的是一個Hadoop文件系統(tǒng)的架構(gòu)圖，顯示出數(shù)據(jù)節(jié)點(diǎn)和客戶端如何交互。節(jié)點(diǎn)的松散聯(lián)系帶來了許多性能優(yōu)勢，但也帶來了獨(dú)特的安全挑戰(zhàn)。大數(shù)據(jù)數(shù)據(jù)庫并不使用集中化的“圍墻花園”模式（與“完全開放”的互聯(lián)網(wǎng)相對而言，它指的是一個控制用戶對網(wǎng)頁內(nèi)容或相關(guān)服務(wù)進(jìn)行訪問的環(huán)境），內(nèi)部的數(shù)據(jù)庫并不隱藏自己而使其它應(yīng)用程序無法訪問。在這兒沒有“內(nèi)部的”概念，而大數(shù)據(jù)并不依賴數(shù)據(jù)訪問的集中點(diǎn)。大數(shù)據(jù)將其架構(gòu)暴露給使用它的應(yīng)用程序，而客戶端在操作過程中與許多不同的節(jié)點(diǎn)進(jìn)行通信。大勰擔(dān)無群在大童節(jié)點(diǎn)I同許儁大壁敷克數(shù)齬節(jié)點(diǎn)［栽據(jù)塊k 外部宅謂昔理fiadoop堆棧外部宅謂昔理貝件丟注怕密敷轉(zhuǎn)—怕密敷轉(zhuǎn)—龐虹規(guī)模、實(shí)時性和分布式處理：大數(shù)據(jù)的本質(zhì)特征（使大數(shù)據(jù)解決超過以前數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)管理和處理需求，例如，在容量、實(shí)時性、分布式架構(gòu)和并行處理等方面）使得保障這些系統(tǒng)的安全更為困難。大數(shù)據(jù)集群具有開放性和自我組織性，并可以使用戶與多個數(shù)據(jù)節(jié)點(diǎn)同時通信。驗(yàn)證哪些數(shù)據(jù)節(jié)點(diǎn)和哪些客戶應(yīng)當(dāng)訪問信息是很困難的。別忘了，大數(shù)據(jù)的本質(zhì)屬性意味著新節(jié)點(diǎn)自動連接到集群中，共享數(shù)據(jù)和查詢結(jié)果，解決客戶任務(wù)。嵌入式安全：在涉及大數(shù)據(jù)的瘋狂競賽中，大部分的開發(fā)資源都用于改善大數(shù)據(jù)的可升級、易用性和分析功能上。只有很少的功能用于增加安全功能。但是，你希望得到嵌入到大數(shù)據(jù)平臺中的安全功能。你希望開發(fā)人員在設(shè)計(jì)和部署階段能夠支持所需要的功能。你希望安全功能就像大數(shù)據(jù)集群一樣可升級、高性能、自組織。問題是，開源系統(tǒng)或多數(shù)商業(yè)系統(tǒng)一般都不包括安全產(chǎn)品。而且許多安全產(chǎn)品無法嵌入到Hadoop或其它的非關(guān)系型數(shù)據(jù)庫中。多數(shù)系統(tǒng)提供最少的安全功能，但不足以包括所有的常見威脅。在很大程度上，你需要自己構(gòu)建安全策略。應(yīng)用程序：面向大數(shù)據(jù)集群的大多數(shù)應(yīng)用都是Web應(yīng)用。它們利用基于Web的技術(shù)和無狀態(tài)的基于REST的API。雖然全面討論大數(shù)據(jù)安全的這個問題超出了本文的范圍，但基于Web的應(yīng)用程序和API給這些大數(shù)據(jù)集群帶來了一種最重大的威脅。在遭受攻擊或破壞后，它們可以提供對大數(shù)據(jù)集群中所存儲數(shù)據(jù)的無限制訪問。應(yīng)用程序安全、用戶訪問管理及授權(quán)控制非常重要，與重點(diǎn)保障大數(shù)據(jù)集群安全的安全措施一樣都不可或缺。數(shù)據(jù)安全：存儲在大數(shù)據(jù)集群中的數(shù)據(jù)基本上都保存在文件中。每一個客戶端應(yīng)用都可以維持其自己的包含數(shù)據(jù)的設(shè)計(jì)，但這種數(shù)據(jù)是存儲在大量節(jié)點(diǎn)上的。存儲在集群中的數(shù)據(jù)易于遭受正常文件容易感染的所有威脅，因而需要對這些文件進(jìn)行保護(hù)，避免遭受非法的查看和復(fù)制。在Hadoop中保護(hù)大數(shù)據(jù)安全的9個技巧當(dāng)企業(yè)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動的機(jī)器時，其潛力是巨大的：企業(yè)所擁有的數(shù)據(jù)可能成為獲得競爭優(yōu)勢的關(guān)鍵。因此，企業(yè)的數(shù)據(jù)和基礎(chǔ)設(shè)施的安全也變得比以往任何時候都重要。在許多情況下，企業(yè)或組織都可能得到Forrester所說的“有毒的數(shù)據(jù)”例如，一家無線公司正在收集誰登錄哪一個天線塔、他們在線逗留多長時間、他們使用多少數(shù)據(jù)、他們是在移動還是處于靜止?fàn)顟B(tài)等數(shù)據(jù)，這些數(shù)據(jù)可用來了解用戶行為的狀況。這家無線公司也許有許多用戶生成的數(shù)據(jù)：信用卡號碼、社會保險號碼、購買習(xí)慣數(shù)據(jù)和用戶使用任何信息的方式等。關(guān)聯(lián)這種數(shù)據(jù)和從這些數(shù)據(jù)中提取推斷結(jié)果的能力是有價值的，但是，這種做法也是有害的，如果這種關(guān)聯(lián)的數(shù)據(jù)泄露到機(jī)構(gòu)外部并且落入他人手中，這將給個人和機(jī)構(gòu)造成災(zāi)難性的損失。應(yīng)用大數(shù)據(jù)，不要忘記法規(guī)遵從和控制。下面是保證大數(shù)據(jù)安全的9個技巧。在啟動大數(shù)據(jù)項(xiàng)目之前要考慮安全問題。不應(yīng)該等到發(fā)生數(shù)據(jù)突破事件之后再采取保證數(shù)據(jù)安全的措施。組織的IT安全團(tuán)隊(duì)和參加大數(shù)據(jù)項(xiàng)目的其他人員在向分布式計(jì)算(Hadoop)集群安裝和發(fā)送大數(shù)據(jù)之前應(yīng)該認(rèn)真地討論安全問題?？紤]要存儲什么數(shù)據(jù)。在計(jì)劃使用Hadoop存儲和運(yùn)行要提交給監(jiān)管部門的數(shù)據(jù)時，可能需要遵守具體的安全要求。即使所存儲的數(shù)據(jù)不受監(jiān)管部門的管轄，也要評估風(fēng)險，如果個人身份信息等數(shù)據(jù)丟失，造成的風(fēng)險將包括信譽(yù)損失和收入損失。責(zé)任集中?，F(xiàn)在，企業(yè)的數(shù)據(jù)可能存在于多個機(jī)構(gòu)的豎井之中和數(shù)據(jù)集中。集中的數(shù)據(jù)安全的責(zé)任可保證在所有這些豎井中強(qiáng)制執(zhí)行一致的政策和訪問控制。加密靜態(tài)和動態(tài)數(shù)據(jù)。在文件層增加透明的數(shù)據(jù)加密。SSL(安全套接層)加密能夠在數(shù)據(jù)在節(jié)點(diǎn)和應(yīng)用程序之間移動時保護(hù)大數(shù)據(jù)。安全研究與顧問公司Securosis的首席技術(shù)官和分析師阿德里安?萊恩(AdrianLane)稱，文件加密解決了繞過正常的應(yīng)用安全控制的兩種攻擊方式。在惡意用戶或者管理員獲得數(shù)據(jù)節(jié)點(diǎn)的訪問權(quán)限和直接檢查文件的權(quán)限以及可能竊取文件或者不可讀的磁盤鏡像的情況下，加密可以起到保護(hù)作用。這是解決一些數(shù)據(jù)安全威脅的節(jié)省成本的途徑。把密鑰與加密的數(shù)據(jù)分開。把加密數(shù)據(jù)的密鑰存儲在加密數(shù)據(jù)所在的同一臺服務(wù)器中等于是鎖上大門，然后把鑰匙懸掛在鎖頭上。密鑰管理系統(tǒng)允許組織安全地存儲加密密鑰，把密鑰與要保護(hù)的數(shù)據(jù)隔離開。Hadoop中的數(shù)據(jù)。這是避免流氓節(jié)點(diǎn)和應(yīng)用進(jìn)入集群的一種有效的方法。萊恩說，這能夠幫助保護(hù)網(wǎng)絡(luò)控制接入，使管理功能很難被攻破。我們知道，設(shè)置Kerberos比較困難，驗(yàn)證或重新驗(yàn)證新的節(jié)點(diǎn)和應(yīng)用可以發(fā)揮作用。但是，沒有建立雙向的信任，欺騙Hadoop允許惡意應(yīng)用進(jìn)入這個集群、或者接受引進(jìn)的惡意節(jié)點(diǎn)是很容易的。這個惡意節(jié)點(diǎn)以后可以增加、修改或者提取數(shù)據(jù)。Kerberos協(xié)議是可以控制的最有效的安全控制措施。Kerberos建在Hadoop基礎(chǔ)設(shè)施中，因此，請使用它。使用安全自動化。企業(yè)是在處理一個多節(jié)點(diǎn)環(huán)境，因此，部署的一致性是很難保證的°Chef和Puppet等自動化工具能夠幫助企業(yè)更好地使用補(bǔ)丁、配置應(yīng)用程序、更新Hadoop棧、收集可信賴的機(jī)器鏡像、證書和平臺的不一致性等信息。事先建立這些腳本需要一些時間，但是，以后會得到減少管理時間的回報(bào)，并且額外地保證每一個節(jié)點(diǎn)都有基本的安全。向Hadoop集群增加記錄。大數(shù)據(jù)很自然地適合收集和管理記錄數(shù)據(jù)。許多網(wǎng)站公司開始使用大數(shù)據(jù)專門管理記錄文件。為什么不向現(xiàn)有的集群增加記錄呢?這會讓企業(yè)觀察到什么時候出現(xiàn)的故障或者是否有人以為企業(yè)已經(jīng)被黑客攻破了。沒有一個事件跟蹤記錄，你就是一個瞎子。記錄MR請求和其它集群活動是很容易的并且可以稍微提高存儲和處理需求。但是，當(dāng)有需要的時候，這些數(shù)據(jù)是不可或缺的。節(jié)點(diǎn)之間以及節(jié)點(diǎn)與應(yīng)用之間采用安全通信。要做到這一點(diǎn)，需要部署一個SSL/TLS（安全套接層/傳輸層安全）協(xié)議保護(hù)企業(yè)的全部網(wǎng)絡(luò)通信，而不是僅僅保護(hù)一個子網(wǎng)。就像許多云服務(wù)提供商一樣，Cloudera等Hadoop提供商已經(jīng)在做這件事。如果設(shè)置上沒有這種能力，就需要把這些服務(wù)集成到應(yīng)用棧中。企業(yè)轉(zhuǎn)型必備：九大技巧保護(hù)大數(shù)據(jù)安全當(dāng)企業(yè)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動的機(jī)器時，其潛力是巨大的：企業(yè)所擁有的數(shù)據(jù)可能成為獲得競爭優(yōu)勢的關(guān)鍵。因此，企業(yè)的數(shù)據(jù)和基礎(chǔ)設(shè)施的安全也變得比以往任何時候都重要。在許多情況下，企業(yè)或組織都可能得到Forrester所說的“有毒的數(shù)據(jù)”例如，一家無線公司正在收集誰登錄哪一個天線塔、他們在線逗留多長時間、他們使用多少數(shù)據(jù)、他們是在移動還是處于靜止?fàn)顟B(tài)等數(shù)據(jù)，這些數(shù)據(jù)可用來了解用戶行為的狀況。這家無線公司也許有許多用戶生成的數(shù)據(jù)：信用卡號碼、社會保險號碼、購買習(xí)慣數(shù)據(jù)和用戶使用任何信息的方式等。關(guān)聯(lián)這種數(shù)據(jù)和從這些數(shù)據(jù)中提取推斷結(jié)果的能力是有價值的，但是，這種做法也是有害的，如果這種關(guān)聯(lián)的數(shù)據(jù)泄露到機(jī)構(gòu)外部并且落入他人手中，這將給個人和機(jī)構(gòu)造成災(zāi)難性的損失。應(yīng)用大數(shù)據(jù)，不要忘記法規(guī)遵從和控制。下面是保證大數(shù)據(jù)安全的9個技巧。在啟動大數(shù)據(jù)項(xiàng)目之前要考慮安全問題。不應(yīng)該等到發(fā)生數(shù)據(jù)突破事件之后再采取保證數(shù)據(jù)安全的措施。組織的IT安全團(tuán)隊(duì)和參加大數(shù)據(jù)項(xiàng)目的其他人員在向分布式計(jì)算(Hadoop)集群安裝和發(fā)送大數(shù)據(jù)之前應(yīng)該認(rèn)真地討論安全問題。考慮要存儲什么數(shù)據(jù)。在計(jì)劃使用出血叫存儲和運(yùn)行要提交給監(jiān)管部門的數(shù)據(jù)時，可能需要遵守具體的安全要求。即使所存儲的數(shù)據(jù)不受監(jiān)管部門的管轄，也要評估風(fēng)險，如果個人身份信息等數(shù)據(jù)丟失，造成的風(fēng)險將包括信譽(yù)損失和收入損失。責(zé)任集中?，F(xiàn)在，企業(yè)的數(shù)據(jù)可能存在于多個機(jī)構(gòu)的豎井之中和數(shù)據(jù)集中。集中的數(shù)據(jù)安全的責(zé)任可保證在所有這些豎井中強(qiáng)制執(zhí)行一致的政策和訪問控制。加密靜態(tài)和動態(tài)數(shù)據(jù)。在文件層增加透明的數(shù)據(jù)加密。SSL(安全套接層)加密能夠在數(shù)據(jù)在節(jié)點(diǎn)和應(yīng)用程序之間移動時保護(hù)大數(shù)據(jù)。安全研究與顧問公司Securosis的首席技術(shù)官和分析師阿德里安?萊恩(AdrianLane)稱，文件加密解決了繞過正常的應(yīng)用安全控制的兩種攻擊方式。在惡意用戶或者管理員獲得數(shù)據(jù)節(jié)點(diǎn)的訪問權(quán)限和直接檢查文件的權(quán)限以及可能竊取文件或者不可讀的磁盤鏡像的情況下，加密可以起到保護(hù)作用。這是解決一些數(shù)據(jù)安全威脅的節(jié)省成本的途徑。把密鑰與加密的數(shù)據(jù)分開。把加密數(shù)據(jù)的密鑰存儲在加密數(shù)據(jù)所在的同一臺服務(wù)器中等于是鎖上大門，然后把鑰匙懸掛在鎖頭上。密鑰管理系統(tǒng)允許組織安全地存儲加密密鑰，把密鑰與要保護(hù)的數(shù)據(jù)隔離開。Hadoop中的數(shù)據(jù)。這是避免流氓節(jié)點(diǎn)和應(yīng)用進(jìn)入集群的一種有效的方法。萊恩說，這能夠幫助保護(hù)網(wǎng)絡(luò)控制接入，使管理功能很難被攻破。我們知道，設(shè)置Kerberos比較困難，驗(yàn)證或重新驗(yàn)證新的節(jié)點(diǎn)和應(yīng)用可以發(fā)揮作用。但是，沒有建立雙向的信任，欺騙Hadoop允許惡意應(yīng)用進(jìn)入這個集群、或者接受引進(jìn)的惡意節(jié)點(diǎn)是很容易的。這個惡意節(jié)點(diǎn)以后可以增加、修改或者提取數(shù)據(jù)。Kerberos協(xié)議是可以控制的最有效的安全控制措施。Kerberos建在Hadoop基礎(chǔ)設(shè)施中，因此，請使用它。使用安全自動化。企業(yè)是在處理一個多節(jié)點(diǎn)環(huán)境，因此，部署的一致性是很難保證的°Chef和Puppet等自動化工具能夠幫助企業(yè)更好地使用補(bǔ)丁、配置應(yīng)用程序、更新Hadoop棧、收集可信賴的機(jī)器鏡像、證書和平臺的不一致性等信息。事先建立這些腳本需要一些時間，但是，以后會得到減少管理時間的回報(bào)，并且額外地保證每一個節(jié)點(diǎn)都有基本的安全。向Hadoop集群增加記錄。大數(shù)據(jù)很自然地適合收集和管理記錄數(shù)據(jù)。許多網(wǎng)站公司開始使用大數(shù)據(jù)專門管理記錄文件。為什么不向現(xiàn)有的集群增加記錄呢?這會讓企業(yè)觀察到什么時候出現(xiàn)的故障或者是否有人以為企業(yè)已經(jīng)被黑客攻破了。沒有一個事件跟蹤記錄，你就是一個瞎子。記錄MR請求和其它集群活動是很容易的并且可以稍微提高存儲和處理需求。但是，當(dāng)有需要的時候，這些數(shù)據(jù)是不可或缺的。節(jié)點(diǎn)之間以及節(jié)點(diǎn)與應(yīng)用之間采用安全通信。要做到這一點(diǎn)，需要部署一個SSL/TLS（安全套接層/傳輸層安全）協(xié)議保護(hù)企業(yè)的全部網(wǎng)絡(luò)通信，而不是僅僅保護(hù)一個子網(wǎng)。就像許多云服務(wù)提供商一樣，Cloudera等Hadoop提供商已經(jīng)在做這件事。如果設(shè)置上沒有這種能力，就需要把這些服務(wù)集成到應(yīng)用棧中。李鑫：華為大數(shù)據(jù)安全實(shí)踐2013年4月26日-27日，由51CT0傳媒集團(tuán)旗下WOT(WorldOfTech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng)，解決大規(guī)模數(shù)據(jù)引發(fā)的問題，探索大數(shù)據(jù)基礎(chǔ)的解決方案，激發(fā)數(shù)據(jù)挖掘帶來的競爭力，讓數(shù)據(jù)發(fā)出聲音o51CTO作為本次峰會的主辦方，將全程視頻、圖文直播報(bào)道這場數(shù)據(jù)的盛宴，更多內(nèi)容請點(diǎn)擊專題：2013大數(shù)據(jù)全球技術(shù)峰會。??2IH3K??2IH3K數(shù)堀全搖技術(shù)曜分BioDataGlobalSummit2013301i.<H,2fi-27r取IB?無JT/ HB2013大數(shù)據(jù)全球技術(shù)峰會專題在下午的云計(jì)算與大數(shù)據(jù)專場論壇中，華為安全智能中心高級架構(gòu)師李鑫發(fā)表了主題為“大數(shù)據(jù)中的安全解決之道”的演講。李鑫談到了數(shù)據(jù)的安全形勢，并分享了華為的安全實(shí)踐。華為安全智能中心高級架構(gòu)師李鑫

他表示，大數(shù)據(jù)面臨大的安全問題，現(xiàn)在互聯(lián)網(wǎng)用戶27億、移動寬帶用戶20億，大量的數(shù)據(jù)帶來大量威脅，調(diào)查顯示，每天新增惡意軟件20000個，大部分以網(wǎng)絡(luò)為傳播媒介，大量的惡意數(shù)據(jù)混雜在正常數(shù)據(jù)中，且惡意軟件制造越來越專業(yè)化、產(chǎn)業(yè)化，有很多逃避檢測的方法，通過安全檢測與大數(shù)據(jù)融合的方式，通過收集、提煉、檢測可以發(fā)現(xiàn)威脅。其中，數(shù)據(jù)提煉可以從多維度分類，華為主要有三個維度：內(nèi)容、功能、平臺，數(shù)據(jù)提煉是對數(shù)據(jù)生命周期的評估。關(guān)聯(lián)分析上，通過郵件的關(guān)聯(lián)、域名關(guān)聯(lián)、IP關(guān)聯(lián)等來判定惡意域。安全檢測上，經(jīng)過數(shù)據(jù)提煉和關(guān)聯(lián)分析后的數(shù)據(jù)將會進(jìn)入華為掃描集群，由此形成樣本千萬級文件關(guān)聯(lián)分析上，通過郵件的關(guān)聯(lián)、域名關(guān)聯(lián)、IP關(guān)聯(lián)等來判定惡意域。安全檢測上，經(jīng)過數(shù)據(jù)提煉和關(guān)聯(lián)分析后的數(shù)據(jù)將會進(jìn)入華為掃描集群，由此形成樣本千萬級文件目1庫，進(jìn)而進(jìn)行相關(guān)分析（靜態(tài)特征、行為特征、對抗性學(xué)習(xí)??），從中獲得的知識和特征應(yīng)用于安全管理和集群掃描集群。大數(shù)據(jù)需要全新安全計(jì)劃隨著大數(shù)據(jù)工作負(fù)載的處理和分析成為企業(yè)業(yè)務(wù)計(jì)劃策略的一部分，至少有兩件事是我們可以預(yù)期的：不斷增長的帶寬需求，以及逐漸出現(xiàn)的新的安全問題。不論數(shù)據(jù)量大小，IT員工都需要有能力將其捕獲和存儲起來，進(jìn)行適當(dāng)?shù)恼{(diào)整、凈化、分析或其它什么處理過程，使其可以安全高效的被其它各種企業(yè)應(yīng)用提取。信息安全公司RSASecurity總裁ArtCoviello在IT安全系統(tǒng)領(lǐng)域從業(yè)長達(dá)30年之久，但每天仍然要學(xué)習(xí)與信息安全有關(guān)的新內(nèi)容。他告訴記者“隨著數(shù)據(jù)表面積的增大，我們所面臨的安全漏洞也就更多”。我們傳送的數(shù)據(jù)量越大，傳送數(shù)據(jù)的渠道和節(jié)點(diǎn)越多，在傳送過程中就越有可能遇到問題。有鑒于此，我們聯(lián)合網(wǎng)絡(luò)安全公司Stonesoft推出了有關(guān)大數(shù)據(jù)安全的最佳范例。Stonesoft公司技術(shù)副總裁PhilLerner提供了本文的相關(guān)內(nèi)容。發(fā)現(xiàn)并保護(hù)你全部的數(shù)據(jù)資產(chǎn)為了有效的保護(hù)你的重要數(shù)據(jù)資產(chǎn)，你首先要知道這些數(shù)據(jù)在哪里。如果云計(jì)算平臺出現(xiàn)安全漏洞，你需要知道你存儲在云平臺上的數(shù)據(jù)是否會受到影響。如果受到影響，你需要確定誰該對此負(fù)責(zé)。在選擇云計(jì)算服務(wù)供應(yīng)商時，要仔細(xì)考察供應(yīng)商的服務(wù)等級協(xié)議(SLA),這樣可以避免一旦發(fā)生數(shù)據(jù)丟失事故，你的企業(yè)不會處于被動吃虧的境地。獲知是誰入侵了你的數(shù)據(jù)庫源代碼或應(yīng)用程序，同樣很重要。擁有一套企業(yè)應(yīng)急響應(yīng)預(yù)案就算云服務(wù)供應(yīng)商的SLA已經(jīng)將數(shù)據(jù)損失的責(zé)任完全承擔(dān)了，但為了防止數(shù)據(jù)意外損失，你必須要擁有一套應(yīng)急響應(yīng)方案以及數(shù)據(jù)回收策略。云平臺可能會使得公共網(wǎng)絡(luò)和企業(yè)內(nèi)部網(wǎng)絡(luò)的界線變得模糊，同時會讓責(zé)任劃分變得不夠明確。