數(shù)據(jù)基礎(chǔ)知識(shí)及數(shù)據(jù)處理

1、數(shù)據(jù)處理（從小數(shù)據(jù)到大數(shù)據(jù)）一、小數(shù)據(jù)1、信息的度量在計(jì)算機(jī)中：最小數(shù)據(jù)單位：位（bit）Bit: 0 或1 （由電的狀態(tài)產(chǎn)生：有電1，無(wú)電0）基本數(shù)據(jù)單位：字節(jié)（Byte, B）1B=8bit1KB=1024B1MB=1024KB1GB=1024MB1TB=1024GB。2、不同數(shù)制的表示方法十進(jìn)制(Decimal notation),如 120, (120) 10,120D二進(jìn)制(Binary notation),如(1010)2 , 1010B八進(jìn)制(Octal notation),如(175)8 , 175O十六進(jìn)制數(shù)(Hexdecimal notation),如(2BF)16,2BF

2、03H十進(jìn)制數(shù)二進(jìn)制數(shù)八進(jìn)制數(shù)十六進(jìn)制數(shù)000011112102231133410044510155611066711177810001089100111910101012A11101113B12110014C13110115D14111016E15111117F161000020103、不同數(shù)制之間的轉(zhuǎn)換方法（1）任意其他進(jìn)制（二、八、十六）轉(zhuǎn)換成十進(jìn)制，可“利用按 權(quán)展開式展開”。例如：10110.101B=1 X24 + 0X23+1X22+1 X21+0X20+1 X2-1 +0X2-2 +1 X2-3=22.625D347.6O=3X82+4X81+7X80+6X8-1=231.75

3、DD5.6H=DX 16i + 5 X 16。+6X I6-1 =213.375D（2）十進(jìn)制轉(zhuǎn)換成任意其他進(jìn)制（二、八、十六），整數(shù)部分的 轉(zhuǎn)換可按“除基取余，倒序排列”的方法，小數(shù)部分的轉(zhuǎn)換可按“乘 基取整，順序排列”的方法（除倒取，乘正?。├M(jìn)制數(shù)59轉(zhuǎn)換為二進(jìn)制數(shù)111011B TOC o 1-5 h z HYPERLINK l bookmark4 o Current Document 59余 V-H 29余 12| 14 今。二3不I I I(59). - (111011)/例:十進(jìn)制數(shù)0.8125轉(zhuǎn)換為二進(jìn)制數(shù)0.1101B同理：317 D= 100111101B = 475O

4、 = 13DH0.4375D = 0.0111B = 0.34O = 0.7H（3）八進(jìn)制數(shù)轉(zhuǎn)換成二進(jìn)制數(shù)，可按“逐位轉(zhuǎn)換，一位拆三件 的方法。（8421法）例如：3107.460=3107.4 6O=011 001 000 111 . 100 110 B=11001000111.10011B（4）十六進(jìn)制數(shù)轉(zhuǎn)換成二進(jìn)制數(shù)，可按“逐位轉(zhuǎn)換,一位拆四位，的方法（8421法）例如：4A7.1CH=4 A 7.1 CH= 0100 1010 0111 . 0001 1100 B=10010100111.000111B（5）二進(jìn)制數(shù)轉(zhuǎn)換成八進(jìn)制數(shù)，可按“三位合一位，分節(jié)轉(zhuǎn)換 的方法（8421法，三位時(shí)

5、為421法）例如： 11010101.1101B= 011 010 101 . 110 100 B= 325 .6 4 O=325.64 O（6）二進(jìn)制數(shù)轉(zhuǎn)換成十六進(jìn)制數(shù)可按“四位合一位，分節(jié) 轉(zhuǎn)換”的方法。例如：1011010101.11101B=0010 1101 0101. 1110 1000 B= 2 D 5 . E 8 H=2D5.E8H二、大數(shù)據(jù)大數(shù)據(jù)（big data），指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn) 行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的 決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)特征：（Volume大量）、（V

6、ariety多樣）（Velocity高速）、（Value （價(jià)值）核心特征）（一）Volume （大量，1PB）1 PB= 1,024 TB = 1,048,576 GB1 EB= 1,024 PB = 1,048,576 TB1 ZB= 1,024 EB = 1,048,576 PB1 YB= 1,024 ZB = 1,048,576 EB1 BB= 1,024 YB = 1,048,576 ZB1 NB= 1,024 BB = 1,048,576 YB1 DB= 1,024 NB = 1,048,576 BB576GB這相當(dāng)號(hào)2t，97臺(tái)硬蠱木/卜溝5CC6的電腦;W!（二）Variety

7、 （多樣）在大數(shù)據(jù)這個(gè)房間里，住著各種各樣的“人”，它們分別叫做視頻、聊天記錄、人口普查結(jié)果、天氣預(yù)報(bào) HYPERLINK （三）Velocity （高速）二-1大數(shù)據(jù)以一個(gè)存儲(chǔ)1PB的數(shù)據(jù)為例，即使帶寬（網(wǎng)速）能達(dá)到1G/s，且電腦的容量足夠且24小時(shí)運(yùn)行，要將1PB的數(shù)據(jù)存入電腦也需要 12天。大數(shù)據(jù)通過(guò)云計(jì)算，可以實(shí)現(xiàn)將12天才能存儲(chǔ)完畢的數(shù)據(jù)， 在20分鐘之內(nèi)完成。潔尚存注個(gè)需要笫翁7 需要12式20分鐘4、Value (價(jià)值)這是大數(shù)據(jù)的核心特征，其最大價(jià)值在于從大量不相關(guān)的各類數(shù) 據(jù)中，挖掘出對(duì)未來(lái)趨勢(shì)與模式預(yù)測(cè)分析有價(jià)值的數(shù)據(jù)，并通過(guò)機(jī)器 學(xué)習(xí)(MachineLearning)、

8、人工智能(ArtificialIntelligencS 或數(shù)據(jù)挖掘(DataMining)等方法深度分析，發(fā)現(xiàn)新規(guī)律和新知識(shí)，并運(yùn)用于社會(huì)各領(lǐng)域，從而達(dá)到改善社會(huì)治理、提高生產(chǎn)效率、推進(jìn)科學(xué)研究的效果。云計(jì)算云計(jì)算，作為一個(gè)新興的技術(shù)時(shí)尚名詞，正受到計(jì)算機(jī)軟件和互聯(lián)網(wǎng)技能人 員及商業(yè)模式研究人員的高度追捧，他們百折不回地認(rèn)為云計(jì)算能把他們帶出創(chuàng) 新枯竭的互聯(lián)網(wǎng)應(yīng)用沙漠，并讓他們躍升到同行中更高的崗位。他們視其為救命稻草，他們計(jì)劃抓住云計(jì)算這根看起來(lái)模模糊糊的稻草，正 是如此，云計(jì)算文章鋪天蓋地，種種格局的研討會(huì)此起彼伏，以致已經(jīng)生長(zhǎng)到以 訛傳訛、神乎其神、不能自拔的田地了。到底什么才是云計(jì)算呢

9、？來(lái)看看下面這 段對(duì)話吧！最開始，人們使用算盤后來(lái)，人們用電腦冠HiTM： ：loJd_ird再后來(lái)，人們有了網(wǎng)絡(luò)超序號(hào):cluud_zrclU同七口精再后來(lái)，中國(guó)人口大爆炸，男女比例：男的比女的多3700萬(wàn)，這三千多萬(wàn) 人沒(méi)事干，都去上網(wǎng)。于是服務(wù)器吃不消了。于是人們就發(fā)明了很牛的技術(shù)，用更好更多的服務(wù)器再后來(lái)，人更多了，于是服務(wù)器也更多了&便國(guó)啕.!鳥server但事實(shí)上這樣的效果并不好，過(guò)度繁重的結(jié)構(gòu)加大了網(wǎng)站設(shè)計(jì)和構(gòu)架的難度， 而且越是復(fù)雜的系統(tǒng)越是不穩(wěn)定。有可能一個(gè)出問(wèn)題，這樣一個(gè)完整的系統(tǒng)就徹 底掛掉。如果考慮到系統(tǒng)的崩潰情況，那勢(shì)必要引入一個(gè)更復(fù)雜的方案來(lái)保證不 同的服務(wù)器可以做

10、不同的支援。這是一個(gè)無(wú)解的循環(huán)，大量的計(jì)算資源被浪費(fèi)在 無(wú)限制的互相糾結(jié)中，很快到了瓶頸。-2初言號(hào)：日沙乂工因人們想，那我不用這么亂七八糟復(fù)雜的系統(tǒng)，我上個(gè)極其牛的服務(wù)器不就好 了？可是，太貴了而且最牛的也還沒(méi)制造出來(lái)于是人們突然想到了一個(gè)好辦法：把所有計(jì)算資源集結(jié)起來(lái)看成是一個(gè)整體 （一朵云 ），通過(guò)并發(fā) 使用資源完成操作請(qǐng)求。每個(gè)操作請(qǐng)求都可以按照 一定的規(guī)則分割成小片段，分發(fā)給不同的機(jī)器同時(shí)運(yùn)算，每個(gè)機(jī)器其實(shí)只要做很 小的計(jì)算就可以，哪怕286機(jī)器都輕松完成的。最后將這些機(jī)器的計(jì)算結(jié)果整合， 輸出給用戶。對(duì)用戶看來(lái)，他其實(shí)根本面對(duì)的不是許多機(jī)器，而是一個(gè)似乎真正存在的計(jì) 算能力巨牛無(wú)比

11、的單個(gè)服務(wù)器。事實(shí)上這個(gè)服務(wù)器是不存在的，但它擁有著成千 上萬(wàn)臺(tái)服務(wù)器的能力。大數(shù)據(jù)技術(shù)基礎(chǔ)知識(shí)大數(shù)據(jù)的概念“大數(shù)據(jù)”作為時(shí)下最火熱的IT行業(yè)的詞匯，隨之而來(lái)的數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)安全、數(shù)據(jù) 分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)商業(yè)價(jià)值的利用，已逐漸成為行業(yè)人士爭(zhēng)相追捧的利潤(rùn)焦點(diǎn)。早在1980年，著名未來(lái)學(xué)家阿爾文托夫勒便在第三次浪潮一書中，將大數(shù)據(jù)熱情 地贊頌為“第三次浪潮的華彩樂(lè)章”。不過(guò)，大約從2009年開始，“大數(shù)據(jù)”才成為互聯(lián)網(wǎng) 信息技術(shù)行業(yè)的流行詞匯。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng) 50%， 每?jī)赡瓯銓⒎环壳笆澜缟?90%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)又并 非單

12、純指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車、電表上有著無(wú)數(shù)的數(shù)碼傳 感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化， 也產(chǎn)生了海量的數(shù)據(jù)信息。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行 專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提 高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然 無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘， 但它必須依托云計(jì)算的分布式處理、分布式

13、數(shù)據(jù)庫(kù)、云存儲(chǔ)和或虛擬化技術(shù)。隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注。著云臺(tái)的分析師 團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在 下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起， 因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce 一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電 腦分配工作。大數(shù)據(jù)分析相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用，具有數(shù)據(jù)量大、查詢分析復(fù)雜等特點(diǎn)。計(jì)算 機(jī)學(xué)報(bào)刊登的“架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望”一文列舉了大數(shù)據(jù)分析平臺(tái)需要具備的 幾個(gè)重要特性，對(duì)當(dāng)前的主流實(shí)現(xiàn)平臺(tái)一并行數(shù)據(jù)庫(kù)、MapRedu

14、ce及基于兩者的混合架構(gòu) 進(jìn)行了分析歸納，指出了各自的優(yōu)勢(shì)及不足，同時(shí)也對(duì)各個(gè)方向的研究現(xiàn)狀及作者在大數(shù)據(jù) 分析方面的努力進(jìn)行了介紹，對(duì)未來(lái)研究做了展望。對(duì)于“大數(shù)據(jù)”，研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才 能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。從某種程度上說(shuō)，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡(jiǎn)言之，從各種各樣類型的數(shù)據(jù)中， 快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該 技術(shù)具備走向眾多企業(yè)的潛力。大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域。目前人們談 論最多的是大數(shù)

15、據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。工程和科學(xué)問(wèn)題尚未被重視。大數(shù)據(jù)工程指大數(shù)據(jù)的 規(guī)劃建設(shè)運(yùn)營(yíng)管理的系統(tǒng)工程；大數(shù)據(jù)科學(xué)關(guān)注大數(shù)據(jù)網(wǎng)絡(luò)發(fā)展和運(yùn)營(yíng)過(guò)程中發(fā)現(xiàn)和驗(yàn)證大 數(shù)據(jù)的規(guī)律及其與自然和社會(huì)活動(dòng)之間的關(guān)系。大數(shù)據(jù)的特征大數(shù)據(jù)的4個(gè)“V”，或者說(shuō)特點(diǎn)有四個(gè)層面：（1）數(shù)據(jù)體量巨大從TB級(jí)別，躍升到PB級(jí)別。最小的基本單位是Byte，按順序給出所有單位:bit、Byte、 KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，它們按照進(jìn)率 1 024（2 的十次 方）來(lái)計(jì)算。Byte = 8 bit1 KB = 1 024 Bytes1 MB = 1 024 KB = 1 048 576 Bytes

16、1 GB = 1 024 MB = 1 048 576 KB1 TB = 1 024 GB = 1 048 576 MB1 PB = 1 024 TB = 1 048 576 GB1 EB = 1 024 PB = 1 048 576 TB1 ZB = 1 024 EB = 1 048 576 PB1 YB = 1 024 ZB = 1 048 576 EB1 BB = 1 024 YB = 1 048 576 ZB1 NB = 1 024 BB = 1 048 576 YB1 DB = 1 024 NB = 1 048 576 BB（2）數(shù)據(jù)類型繁多諸如網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等。

17、（3）價(jià)值密度低，商業(yè)價(jià)值高以視頻為例，連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅有一兩秒。（4）處理速度快1秒定律。最后這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。業(yè)界將其歸納為 4 個(gè) “V” Volume （大量）、Velocity （高速）、Variety （多樣）、Veracity （精確）。物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板電腦、PC以及遍布地球各個(gè)角落 的各種各樣的傳感器，無(wú)一不是數(shù)據(jù)來(lái)源或者承載的方式。數(shù)據(jù)與機(jī)遇眾所周知，企業(yè)數(shù)據(jù)本身就蘊(yùn)藏著價(jià)值，但是將有用的數(shù)據(jù)與沒(méi)有價(jià)值的數(shù)據(jù)進(jìn)行區(qū)分 看起來(lái)可能是一個(gè)棘手的問(wèn)題。顯然，您所掌握的人員情況、工資表和客戶記錄對(duì)于企業(yè)

18、的運(yùn)轉(zhuǎn)至關(guān)重要，但是其他數(shù) 據(jù)也擁有轉(zhuǎn)化為價(jià)值的力量。一段記錄人們?nèi)绾卧谀纳痰隇g覽購(gòu)物的視頻、人們?cè)谫?gòu)買您 的服務(wù)前后的所作所為、如何通過(guò)社交網(wǎng)絡(luò)聯(lián)系您的客戶、是什么吸引合作伙伴加盟、客戶 如何付款以及供應(yīng)商喜歡的收款方式等，所有這些場(chǎng)景都提供了很多指向，將它們抽絲剝繭， 透過(guò)特殊的棱鏡觀察，將其與其他數(shù)據(jù)集對(duì)照，或者以與眾不同的方式分析解剖，就能讓您 的行事方式發(fā)生天翻地覆的轉(zhuǎn)變。但是屢見不鮮的是，很多公司仍然只是將信息簡(jiǎn)單堆在一起，僅將其當(dāng)作為滿足公司治 理規(guī)則而必須要保存的信息加以處理，而不是將它們作為戰(zhàn)略轉(zhuǎn)變的工具。畢竟，數(shù)據(jù)和人員是業(yè)務(wù)部門僅有的兩筆無(wú)法被競(jìng)爭(zhēng)對(duì)手復(fù)制的財(cái)富。在善用

19、的人手中， 好的數(shù)據(jù)是所有管理決策的基礎(chǔ)，帶來(lái)的是對(duì)客戶的深入了解和競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)是業(yè)務(wù)部門 的生命線，必須讓數(shù)據(jù)在決策和行動(dòng)時(shí)無(wú)縫且安全地流到人們手中。所以，數(shù)據(jù)應(yīng)該隨時(shí)為決策提供依據(jù)?？纯丛谡_道路和公共交通的使用信息這樣 看起來(lái)甚至有點(diǎn)晦澀的數(shù)據(jù)時(shí)會(huì)發(fā)生什么：這些數(shù)據(jù)來(lái)源為一些私營(yíng)公司提供了巨大的價(jià)值， 這些公司能夠善用這些數(shù)據(jù)，創(chuàng)造滿足潛在需求的新產(chǎn)品和服務(wù)。企業(yè)需要向創(chuàng)造和取得數(shù)據(jù)方面的投入索取回報(bào)。有效管理來(lái)自新舊來(lái)源的數(shù)據(jù)以及獲 取能夠破解龐大數(shù)據(jù)集含義的工具只是等式的一部分，但是這種挑戰(zhàn)不容低估。產(chǎn)生的數(shù)據(jù) 在數(shù)量上持續(xù)膨脹；音頻、視頻和圖像等富媒體需要新的方法來(lái)發(fā)現(xiàn)；電子

20、郵件、IM、tweet 和社交網(wǎng)絡(luò)等合作和交流系統(tǒng)以非結(jié)構(gòu)化文本的形式保存數(shù)據(jù)，必須用一種智能的方式來(lái)解 讀。但是，應(yīng)該將這種復(fù)雜性看成是一種機(jī)會(huì)而不是問(wèn)題。處理方法正確時(shí)，產(chǎn)生的數(shù)據(jù)越 多，結(jié)果就會(huì)越成熟可靠。傳感器、GPS系統(tǒng)和社交數(shù)據(jù)的新世界將帶來(lái)轉(zhuǎn)變運(yùn)營(yíng)的驚人 新視角和機(jī)會(huì)。數(shù)據(jù)屬于所有人有些人會(huì)說(shuō)，數(shù)據(jù)中蘊(yùn)含的價(jià)值只能由專業(yè)人員來(lái)解讀。但是澤字節(jié)經(jīng)濟(jì)并不只是數(shù)據(jù) 科學(xué)家和高級(jí)開發(fā)員的天下。數(shù)據(jù)的價(jià)值在于將正確的信息在正確的時(shí)間交付到正確的人手中。未來(lái)將屬于那些能夠 駕馭所擁有數(shù)據(jù)的公司，這些數(shù)據(jù)與公司自身的業(yè)務(wù)和客戶相關(guān)，通過(guò)對(duì)數(shù)據(jù)的利用，發(fā)現(xiàn) 新的洞見，幫助他們找出競(jìng)爭(zhēng)優(yōu)勢(shì)。數(shù)據(jù)就

21、是機(jī)遇自從有了 IT部門，董事會(huì)就一直在要求信息管理專家提供洞察力。實(shí)際上，早在1951 年，對(duì)預(yù)測(cè)小吃店蛋糕需求的訴求就催生了計(jì)算機(jī)的首次商業(yè)應(yīng)用。自那以后，我們利用技 術(shù)來(lái)識(shí)別趨勢(shì)和制定戰(zhàn)略戰(zhàn)術(shù)的能力不斷呈指數(shù)級(jí)日臻完善。今天，商業(yè)智能 （使用數(shù)據(jù)模式看清曲線周圍的一切） 穩(wěn)居 CXO 們的重中之重。在 理想的世界中，IT是巨大的杠桿，改變了公司的影響力，帶來(lái)競(jìng)爭(zhēng)差異、節(jié)省金錢、增加 利潤(rùn)、愉悅買家、獎(jiǎng)賞忠誠(chéng)用戶、將潛在客戶轉(zhuǎn)化為客戶、增加吸引力、打敗競(jìng)爭(zhēng)對(duì)手、開 拓用戶群并創(chuàng)造市場(chǎng)。大數(shù)據(jù)分析是商業(yè)智能的演進(jìn)。當(dāng)今，傳感器、GPS系統(tǒng)、QR碼、社交網(wǎng)絡(luò)等正在 創(chuàng)建新的數(shù)據(jù)流。所有這些都可

22、以得到發(fā)掘，正是這種真正廣度和深度的信息在創(chuàng)造不勝枚 舉的機(jī)會(huì)。要使大數(shù)據(jù)言之有物，以便讓大中小企業(yè)都能通過(guò)更加貼近客戶的方式取得競(jìng)爭(zhēng) 優(yōu)勢(shì)，數(shù)據(jù)集成和數(shù)據(jù)管理是核心所在。面臨從全球化到衰退威脅的風(fēng)暴，IT部門領(lǐng)導(dǎo)需要在掘金大數(shù)據(jù)中打頭陣，新經(jīng)濟(jì)環(huán) 境中的贏家將會(huì)是最好地理解哪些指標(biāo)影響其大步前進(jìn)的人。當(dāng)然，企業(yè)仍將需要聰明的人員做出睿智的決策，了解他們面臨著什么，在充分利用的 情況下，大數(shù)據(jù)可以賦予人們近乎超感官知覺(jué)的能力。Charles Duigg是習(xí)慣的力量一 書的作者，他找出的一個(gè)黃金案例分析的例子是美國(guó)零售商Target，其發(fā)現(xiàn)婦女在懷孕的中 間三個(gè)月會(huì)經(jīng)常購(gòu)買沒(méi)有氣味的護(hù)膚液和某些

23、維生素。通過(guò)鎖定這些購(gòu)物者，商店可提供將 這些婦女變成忠誠(chéng)客戶的優(yōu)惠券。實(shí)際上，Target知道一位婦女懷孕時(shí)，那位婦女甚至還沒(méi) 有告訴最親近的親朋好友，更不要說(shuō)商店自己了。很明顯，在可以預(yù)見的將來(lái)，隱私將仍是重要的考量，但是歸根結(jié)底，用于了解行為的 技術(shù)會(huì)為方方面面帶來(lái)雙贏，讓賣家了解買家，讓買家喜歡買到的東西。再看一下作家兼科學(xué)家Stephen Wolfram的例子，他收集有關(guān)自身習(xí)慣的數(shù)據(jù)，以分析 他的個(gè)人行為，預(yù)測(cè)事件在未來(lái)的可能性。大數(shù)據(jù)將會(huì)放大我們的能力，了解看起來(lái)難以理解和隨機(jī)的事物。對(duì)其前途的了解提供 了獲取嶄新知識(shí)和能力的機(jī)會(huì)，將改變您的企業(yè)運(yùn)作的方式。數(shù)據(jù)回報(bào)率簡(jiǎn)而言之，企

24、業(yè)可以通過(guò)思考數(shù)據(jù)戰(zhàn)略的總體回報(bào)，來(lái)應(yīng)對(duì)大數(shù)據(jù)的挑戰(zhàn)，抓住大數(shù)據(jù) 的機(jī)會(huì)。Informatica所指的“數(shù)據(jù)回報(bào)率”是為幫助高級(jí)IT和業(yè)務(wù)部門領(lǐng)導(dǎo)者進(jìn)行大數(shù)據(jù) 基本的戰(zhàn)術(shù)和戰(zhàn)略含義的討論而設(shè)計(jì)的一個(gè)簡(jiǎn)單概念。等式非常簡(jiǎn)單：如果您提高數(shù)據(jù)對(duì)于 業(yè)務(wù)部門的價(jià)值，同時(shí)降低管理數(shù)據(jù)的成本，從數(shù)據(jù)得到的回報(bào)就會(huì)增加，無(wú)論是用金錢衡 量，還是更好的決策。數(shù)據(jù)回報(bào)率=數(shù)據(jù)價(jià)值/數(shù)據(jù)成本在技術(shù)層面，數(shù)據(jù)回報(bào)率為數(shù)據(jù)集成、數(shù)據(jù)管理、商業(yè)智能和分析方面的投入提供了業(yè) 務(wù)背景和案例。它還與解決業(yè)務(wù)的基礎(chǔ)有關(guān)：掙錢、省錢、創(chuàng)造機(jī)會(huì)和管理風(fēng)險(xiǎn)。它涉及對(duì) 效率的考慮，同時(shí)推動(dòng)了改變游戲規(guī)則的洞察力。云計(jì)算基礎(chǔ)知識(shí)云計(jì)算的

25、概念云計(jì)算是一種通過(guò)Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化資源的計(jì)算模式。美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院(NIST)定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種 模式提供可用的、便捷的、按需的網(wǎng)絡(luò)訪問(wèn)，進(jìn)入可配置的計(jì)算資源共享池(資源包括網(wǎng)絡(luò)， 服務(wù)器，存儲(chǔ)，應(yīng)用軟件，服務(wù)等)，這些資源能夠被快速提供，只需投入很少的管理工作， 或與服務(wù)供應(yīng)商進(jìn)行很少的交互?！霸朴?jì)算”概念被大量運(yùn)用到生產(chǎn)環(huán)境中，國(guó)內(nèi)的“阿里 云”與云谷公司的XenSystem，以及在國(guó)外已經(jīng)非常成熟的Intel和IBM，各種“云計(jì)算” 的服務(wù)范圍正日漸擴(kuò)大，影響力也無(wú)可估量。云計(jì)算常與網(wǎng)格計(jì)算、效用計(jì)算、自主計(jì)算相混淆。網(wǎng)

26、格計(jì)算：分布式計(jì)算的一種，由一群松散耦合的計(jì)算機(jī)組成的一個(gè)超級(jí)虛擬計(jì)算機(jī)， 常用來(lái)執(zhí)行一些大型任務(wù)；效用計(jì)算：IT資源的一種打包和計(jì)費(fèi)方式，比如按照計(jì)算、存儲(chǔ)分別計(jì)量費(fèi)用，像傳 統(tǒng)的電力等公共設(shè)施一樣；自主計(jì)算：具有自我管理功能的計(jì)算機(jī)系統(tǒng)。事實(shí)上，許多云計(jì)算部署依賴于計(jì)算機(jī)集群(但與網(wǎng)格的組成、體系結(jié)構(gòu)、目的、工作 方式大相徑庭)，也吸收了自主計(jì)算和效用計(jì)算的特點(diǎn)。云計(jì)算由一系列可以動(dòng)態(tài)升級(jí)和被虛擬化的資源組成，這些資源被所有云計(jì)算的用戶共 享并且可以方便地通過(guò)網(wǎng)絡(luò)訪問(wèn)，用戶無(wú)需掌握云計(jì)算的技術(shù)，只需要按照個(gè)人或者團(tuán)體的 需要租賃云計(jì)算的資源。繼個(gè)人計(jì)算機(jī)變革、互聯(lián)網(wǎng)變革之后，云計(jì)算被看作第

27、三次IT浪潮，是中國(guó)戰(zhàn)略性新 興產(chǎn)業(yè)的重要組成部分。它將帶來(lái)生活、生產(chǎn)方式和商業(yè)模式的根本性改變，云計(jì)算將成為 當(dāng)前全社會(huì)關(guān)注的熱點(diǎn)。云計(jì)算(Cloud Computing)是分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)、網(wǎng)絡(luò)存儲(chǔ)(Network Storage Technologies)、虛 擬化(Virtualization)、負(fù)載均衡(Load Balance)等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。云計(jì)算的特征通過(guò)使計(jì)算分布在大量的分布式計(jì)算機(jī)上，而非本地計(jì)算機(jī)或遠(yuǎn)程服務(wù)器中，企

28、業(yè)數(shù)據(jù) 中心的運(yùn)行將與互聯(lián)網(wǎng)更相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問(wèn) 計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。好比是從古老的單臺(tái)發(fā)電機(jī)模式轉(zhuǎn)向了電廠集中供電的模式。它意味著計(jì)算能力也可以 作為一種商品進(jìn)行流通，就像煤氣、水電一樣，取用方便，費(fèi)用低廉。最大的不同在于，它 是通過(guò)互聯(lián)網(wǎng)進(jìn)行傳輸?shù)摹；ヂ?lián)網(wǎng)上的云計(jì)算服務(wù)特征和自然界的云、水循環(huán)具有一定的相似性，因此，云是一個(gè) 相當(dāng)貼切的比喻。云計(jì)算具有以下幾個(gè)主要特征：(1)資源配置動(dòng)態(tài)化。根據(jù)消費(fèi)者的需求動(dòng)態(tài)劃分或釋放不同的物理和虛擬資源，當(dāng) 增加一個(gè)需求時(shí)，可通過(guò)增加可用的資源進(jìn)行匹配，實(shí)現(xiàn)資源的快速?gòu)椥蕴峁?；如果用戶?再使用這部分資源時(shí)，可釋放

29、這些資源。云計(jì)算為客戶提供的這種能力是無(wú)限的，實(shí)現(xiàn)了 IT資源利用的可擴(kuò)展性。(2)需求服務(wù)自助化。云計(jì)算為客戶提供自助化的資源服務(wù)，用戶無(wú)需同提供商交互 就可自動(dòng)得到自助的計(jì)算資源能力。同時(shí)云系統(tǒng)為客戶提供一定的應(yīng)用服務(wù)目錄，客戶可采 用自助方式選擇滿足自身需求的服務(wù)項(xiàng)目和內(nèi)容。（3）以網(wǎng)絡(luò)為中心。云計(jì)算的組件和整體構(gòu)架由網(wǎng)絡(luò)連接在一起并存在于網(wǎng)絡(luò)中，同 時(shí)通過(guò)網(wǎng)絡(luò)向用戶提供服務(wù)。而客戶可借助不同的終端設(shè)備，通過(guò)標(biāo)準(zhǔn)的應(yīng)用實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的 訪問(wèn)，從而使得云計(jì)算的服務(wù)無(wú)處不在。（4）資源的池化和透明化。對(duì)云服務(wù)提供者而言，各種底層資源（計(jì)算、儲(chǔ)存、網(wǎng)絡(luò)、 資源邏輯等）的異構(gòu)性（如果存在某種異構(gòu)性）

30、被屏蔽，邊界被打破，所有的資源可以被統(tǒng) 一管理和調(diào)度，成為所謂的“資源池”，從而為用戶提供按需服務(wù)；對(duì)用戶而言，這些資源 是透明的，無(wú)限大的，用戶無(wú)須了解內(nèi)部結(jié)構(gòu)，只關(guān)心自己的需求是否得到滿足即可。云安全云安全（Cloud Security）是一個(gè)從“云計(jì)算”演變而來(lái)的新名詞。云安全的策略構(gòu)想是： 使用者越多，每個(gè)使用者就越安全，因?yàn)槿绱她嫶蟮挠脩羧?，足以覆蓋互聯(lián)網(wǎng)的每個(gè)角落， 只要某個(gè)網(wǎng)站被掛馬或某個(gè)新木馬病毒出現(xiàn)，就會(huì)立刻被截獲。“云安全”通過(guò)網(wǎng)狀的大量客戶端對(duì)網(wǎng)絡(luò)中軟件行為的異常監(jiān)測(cè)，獲取互聯(lián)網(wǎng)中木馬、 惡意程序的最新信息，推送到Server端進(jìn)行自動(dòng)分析和處理，再把病毒和木馬的解決方案

31、 分發(fā)到每一個(gè)客戶端。云應(yīng)用（1）云物聯(lián)應(yīng)用云計(jì)算和物聯(lián)網(wǎng)之間的關(guān)系可以用一個(gè)形象的比喻來(lái)說(shuō)明：“云計(jì)算”是“互聯(lián)網(wǎng)”中 的神經(jīng)系統(tǒng)的雛形，“物聯(lián)網(wǎng)”是“互聯(lián)網(wǎng)”正在出現(xiàn)的末梢神經(jīng)系統(tǒng)的萌芽。隨著物聯(lián)網(wǎng)業(yè)務(wù)量的增加，對(duì)數(shù)據(jù)存儲(chǔ)和計(jì)算量的需求將帶來(lái)對(duì)“云計(jì)算”能力的要求：第一，云計(jì)算從計(jì)算中心到數(shù)據(jù)中心在物聯(lián)網(wǎng)的初級(jí)階段，POP即可滿足需求；第二，在物聯(lián)網(wǎng)高級(jí)階段，可能出現(xiàn)MVNO/MMO營(yíng)運(yùn)商（國(guó)外已存在多年），需要 虛擬化云計(jì)算技術(shù)，SOA等技術(shù)的結(jié)合實(shí)現(xiàn)互聯(lián)網(wǎng)的泛在服務(wù):TaaS（Testing As A Service）（2）云存儲(chǔ)應(yīng)用云存儲(chǔ)是在云計(jì)算（cloud computing）概

32、念上延伸和發(fā)展出來(lái)的一個(gè)新的概念，是指通過(guò) 集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲(chǔ)設(shè)備通過(guò) 應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。當(dāng)云計(jì) 算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲(chǔ)和管理時(shí)，云計(jì)算系統(tǒng)中就需要配置大量的存儲(chǔ) 設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成為一個(gè)云存儲(chǔ)系統(tǒng)，所以云存儲(chǔ)是一個(gè)以數(shù)據(jù)存儲(chǔ)和管理為 核心的云計(jì)算系統(tǒng)。（3）云呼叫應(yīng)用云呼叫中心是基于云計(jì)算技術(shù)而搭建的呼叫中心系統(tǒng)，企業(yè)無(wú)需購(gòu)買任何軟、硬件系統(tǒng)， 只需具備人員、場(chǎng)地等基本條件，就可以快速擁有屬于自己的呼叫中心，軟硬件平臺(tái)、通信 資源、日常維護(hù)與服務(wù)由服務(wù)器商提供

33、。具有建設(shè)周期短、投入少、風(fēng)險(xiǎn)低、部署靈活、系 統(tǒng)容量伸縮性強(qiáng)、運(yùn)營(yíng)維護(hù)成本低等眾多特點(diǎn)；無(wú)論是電話營(yíng)銷中心、客戶服務(wù)中心，企業(yè) 只需按需租用服務(wù)，便可建立一套功能全面、穩(wěn)定、可靠、座席可分布全國(guó)各地，全國(guó)呼叫 接入的呼叫中心系統(tǒng)。（4）私有云應(yīng)用私有云（Private Cloud）是將云基礎(chǔ)設(shè)施與軟硬件資源創(chuàng)建在防火墻內(nèi)，以供機(jī)構(gòu)或企 業(yè)內(nèi)各部門共享數(shù)據(jù)中心內(nèi)的資源。創(chuàng)建私有云，除了硬件資源外，一般還有云設(shè)備（IaaS） 軟件；現(xiàn)時(shí)商業(yè)軟件有VMware的vSphere和Platform Computing的ISF,開放源代碼的 云設(shè)備軟件主要有Eucalyptus和OpenStack。至2013年可以提供私有云的平臺(tái)有:Eucalyptus、 3A Cloud、聯(lián)想網(wǎng)盤和OATOS企業(yè)網(wǎng)盤等。（5）云游戲應(yīng)用云游