分析：大數(shù)據(jù)的四個趨勢

分析：大數(shù)據(jù)的四個趨勢

第一個趨勢，實時的數(shù)據(jù)的分析。看一下全球的情況，有90億的設(shè)備是和互聯(lián)網(wǎng)相關(guān)的，到2020年會有150億的設(shè)備，包括手機、機器、感應(yīng)器。我們的數(shù)據(jù)量是不斷爆炸的，機器量會比人們原來帶來的數(shù)據(jù)大很多，這是一個大的趨勢。舉一個例子，比如我這次坐的飛機，每小時會帶來22T的數(shù)據(jù)。每天24小時生成的數(shù)據(jù)是非常巨大的，我們生活在這個世界當(dāng)中，每一分鐘都有不同的數(shù)據(jù)產(chǎn)生。數(shù)據(jù)在現(xiàn)階段是最有效的，所以在全球我們必須進行實時的數(shù)據(jù)處理。不進行數(shù)據(jù)處理，你都沒有辦法進行很好的儲存，這就是我們?yōu)槭裁匆紤]對實時的數(shù)據(jù)進行處理。我們曾經(jīng)投資過一家公司，叫做DATATORRENT。Hadoop會處理你的數(shù)據(jù)，每天每小時會發(fā)給你報告，告訴你數(shù)據(jù)的變化。對于DATATORRENT也是這樣的，在Hadoop上可以利用這樣的架構(gòu)，給你一個實時的可精簡的流數(shù)據(jù)。你可能只有一個小的硬件，每小時、每分鐘你都可以處理很多的數(shù)據(jù)，做一些可預(yù)測的分析。為什么這一點是非常重要的?因為你可以進行實時的數(shù)據(jù)的監(jiān)測，也可以讓業(yè)務(wù)的狀態(tài)實時的來進行更新。這就是我們所說的實時的平臺，它的實時性是非常重要的?，F(xiàn)在很多反饋都可以生成數(shù)據(jù)，像金融行業(yè)。金融詐騙發(fā)生的時候，你需要找到金融詐騙的渠道?；蛘咴谑豌@井的平臺上，你發(fā)現(xiàn)哪一口井的油壓發(fā)生的問題，這都是需要實時數(shù)據(jù)分析的。圖像就是一個一個的節(jié)點聚在一起，放在一起數(shù)據(jù)量是非常大的。在Hadoog數(shù)據(jù)當(dāng)中，我們通過一定的形式來存儲數(shù)據(jù)。現(xiàn)在全球的形勢是非常復(fù)雜的，社交網(wǎng)絡(luò)實際上就是圖表的一種。運輸網(wǎng)絡(luò)、供應(yīng)鏈等等這些設(shè)備，一個機器是來自于全球幾千個部件組合在一起的，每一個企業(yè)都有自己的運輸網(wǎng)絡(luò)。如果有一家企業(yè)出現(xiàn)了問題，或者他們的運輸線，或者鐵路線出現(xiàn)了問題，你要對圖表進行分析，測量它產(chǎn)生的影響。這是很難的，因為對于圖表的分析，這也是大數(shù)據(jù)分析當(dāng)中很困難的一點。這方面也有一個技術(shù)，我們對其進行了投資。充分的利用圖表當(dāng)中有效的數(shù)字進行不斷的擴展和升級。為什么圖表的數(shù)據(jù)非常重要?比特幣最近炒的很熱。在銀行帳戶當(dāng)中里可以進行資金的轉(zhuǎn)移，如果你想知道這個人是不是在“洗錢”。A把錢給了B，在金融的交易當(dāng)中，正常的銀行帳戶會有一個記錄，錢從賬戶A挪到了賬戶B。但是現(xiàn)在有上百萬的金融數(shù)據(jù)，你想追蹤，從A賬戶到B賬戶，你沒有數(shù)據(jù)庫就沒有辦法來做。對于客戶來說也有一些客戶的數(shù)據(jù)，我們可以通過幾百萬的數(shù)據(jù)中來看A是不是給B發(fā)送了錢。所以對于金融行業(yè)來說這也是非常重要的。這就是我們所說的圖表的重要性。對于圖表型的數(shù)據(jù)，你可以進行分析，它不僅僅應(yīng)用在社交網(wǎng)絡(luò)，還可以應(yīng)用在其他的領(lǐng)域，像基礎(chǔ)設(shè)施。另外一個趨勢，隨著人們大量的使用云計算，你有沒有能力管理。人們已經(jīng)看到了這種變化，就像集裝箱把一個東西發(fā)送到另一個地點。在軟件的領(lǐng)域你沒有辦法很容易的把軟件像集裝箱一樣打包進行轉(zhuǎn)移。但有一家企業(yè)docker他們可以讓人們將數(shù)據(jù)打包，應(yīng)用可以很容易的像集裝箱一樣打包。現(xiàn)在在云上每個人都在用虛擬化，打包的方式變得更加的容易。可以把你的網(wǎng)絡(luò)流程進行分類，不一定是只有虛擬化才能夠?qū)崿F(xiàn)。你有整個的操作體系，你有你的硬件，在這個基礎(chǔ)之上你有自己的瀏覽器，對于每一個應(yīng)用都要進行收集，在此基礎(chǔ)之上進行分析。這是很復(fù)雜的流程，docker公司可以將你的軟件進行打包，放在集裝箱當(dāng)中，可以在同一個操作系統(tǒng)上部署。你可以更加的準(zhǔn)確應(yīng)用所有的應(yīng)用，我們可以通過虛擬化的方式獲得所有的收益。這家公司有開源的軟件，google等其他的合作伙伴都在與他合作。docker未來可以做更多的事情，可以把整個流程打包，從開發(fā)生產(chǎn)到拓展實現(xiàn)一體化，以非常簡單的方式就可以實現(xiàn)。最后一個趨勢，軟件定義數(shù)據(jù)中心。出現(xiàn)云之前，所有技術(shù)都是基于硬件基礎(chǔ)之上的，現(xiàn)在我們需要對架構(gòu)進行重新的思考。老的數(shù)據(jù)中心有一些機器有比較低的平衡度，這是非常常見的數(shù)據(jù)中心的結(jié)構(gòu)，發(fā)明了云之后，我們可以對硬件進行應(yīng)用虛擬化，在云的環(huán)境當(dāng)中運行?？匆幌戮W(wǎng)絡(luò)，這個網(wǎng)絡(luò)仍然是硬件，我們需要進行串聯(lián)，現(xiàn)在有辦法進行一些改變。所以現(xiàn)在的計算是由軟件所定義的。有一家公司PLURI