大數(shù)據(jù)分析趨勢(shì)淺析

大數(shù)據(jù)分析趨勢(shì)淺析01大數(shù)據(jù)簡(jiǎn)介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢(shì)目錄01大數(shù)據(jù)簡(jiǎn)介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢(shì)目錄1大數(shù)據(jù)簡(jiǎn)介2012年初的一天，一位父親進(jìn)入他家附近的某超市向超市負(fù)責(zé)人興師問(wèn)罪。原因是超市把嬰兒用品的優(yōu)惠券寄給他17歲的女兒。一個(gè)月后，這位父親又向超市經(jīng)理致歉—他的女兒確實(shí)懷孕了。原來(lái)，這家超市建立了一個(gè)客戶購(gòu)買體系，其中用25種典型商品的消費(fèi)數(shù)據(jù)構(gòu)建了“懷孕預(yù)測(cè)指數(shù)”，這樣即可準(zhǔn)確地辨別出孕婦群體，以便更好地為她們提供服務(wù)商品。這個(gè)故事被刊登在《紐約時(shí)報(bào)》，轟動(dòng)了全美，被稱為“大數(shù)據(jù)的第一課”。1大數(shù)據(jù)簡(jiǎn)介2012年的總統(tǒng)大選時(shí)，花銷不到3億美元的奧巴馬卻擊敗了開支近4億美元的羅姆尼，成為美國(guó)新一屆總統(tǒng)。奧巴馬的競(jìng)選發(fā)言人說(shuō)，對(duì)于競(jìng)選團(tuán)隊(duì)來(lái)說(shuō)，并不能只是面對(duì)一個(gè)籠統(tǒng)的選民概念，而主要針對(duì)每一個(gè)選民，深入挖掘他們被說(shuō)服的因素是什么，這種具有針對(duì)性的方式，使得奧巴馬的募捐方案和游說(shuō)計(jì)劃得到了意外的支持。那么，到底是什么支持了奧巴馬的募捐方案和游說(shuō)計(jì)劃昵，是大數(shù)據(jù)。1大數(shù)據(jù)簡(jiǎn)介回顧自2009年淘寶在11月11日發(fā)起的“品牌商品五折優(yōu)惠”活動(dòng)以來(lái)的5年問(wèn)，當(dāng)天成交額由2009年的1億元經(jīng)過(guò)2010年的9.36億元、2011年的52億元、2012年的191億元，一直狂飄到2013年的350.19億元，正式超越美國(guó)“網(wǎng)絡(luò)星期一”創(chuàng)造的單日120億元(人民幣)的記錄，成為全球最大的購(gòu)物狂歡節(jié)。這一系列的驚人創(chuàng)舉的背后也是大數(shù)據(jù)，是大數(shù)據(jù)造就了天貓的輝煌。1.1大數(shù)據(jù)定義及特征大數(shù)據(jù)(bigdata)或稱巨量資料，這些資料的規(guī)模巨大到無(wú)法使用目前的主流軟件工具，在合理的時(shí)問(wèn)內(nèi)通過(guò)采集、管理、處理并整理而成為幫助企業(yè)經(jīng)營(yíng)決策的信息。維基百科將大數(shù)據(jù)定義為“無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的大量而復(fù)雜的數(shù)據(jù)集合”。Volume大量Velocity高速Variety多樣三V特征1.2大數(shù)據(jù)處理的主要環(huán)節(jié)1.3大數(shù)據(jù)發(fā)展趨勢(shì)1.3大數(shù)據(jù)十大發(fā)展趨勢(shì)結(jié)合智能計(jì)算的大數(shù)據(jù)分析成為熱點(diǎn)數(shù)據(jù)科學(xué)帶動(dòng)多學(xué)科融合，但是數(shù)據(jù)科學(xué)作為新型的學(xué)科，其學(xué)科基礎(chǔ)問(wèn)題體系尚不明朗，數(shù)據(jù)科學(xué)自身的發(fā)展尚未成體系與行業(yè)數(shù)據(jù)結(jié)合，實(shí)現(xiàn)跨領(lǐng)域應(yīng)用與“物云移社”融合，產(chǎn)生綜合價(jià)值大數(shù)據(jù)多樣化處理模式與軟硬件基礎(chǔ)設(shè)施逐步夯實(shí)大數(shù)據(jù)安全和隱私新的計(jì)算模式將取得突破各種可視化技術(shù)和工具提升大數(shù)據(jù)分析大數(shù)據(jù)技術(shù)課程體系建設(shè)和人才培養(yǎng)是需要高度關(guān)注的問(wèn)題開源系統(tǒng)將成為大數(shù)據(jù)領(lǐng)域的主流技術(shù)和系統(tǒng)選擇01大數(shù)據(jù)簡(jiǎn)介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢(shì)目錄2大數(shù)據(jù)分析簡(jiǎn)介及趨勢(shì)概況大數(shù)據(jù)分析的核心是從數(shù)據(jù)中獲取價(jià)值，價(jià)值體現(xiàn)在從大數(shù)據(jù)中獲取更準(zhǔn)確、更深層次的知識(shí)，而非對(duì)數(shù)據(jù)的簡(jiǎn)單統(tǒng)計(jì)分析。神經(jīng)計(jì)算01深度學(xué)習(xí)02人工智能04語(yǔ)義計(jì)算03大數(shù)據(jù)分析01大數(shù)據(jù)簡(jiǎn)介02大數(shù)據(jù)分析03大數(shù)據(jù)分析發(fā)展趨勢(shì)目錄3.1云中的大數(shù)據(jù)分析如今已有很多技術(shù)可用于處理云中的數(shù)據(jù)。實(shí)例包括亞馬遜Redshift所托管的BI數(shù)據(jù)倉(cāng)庫(kù)、谷歌BigQuery數(shù)據(jù)分析服務(wù)、IBMBluemix云平臺(tái)，以及亞馬遜Kinesis數(shù)據(jù)處理服務(wù)等?！按髷?shù)據(jù)的未來(lái)狀態(tài)將是企業(yè)端和云端的某種混合態(tài)?！?.2 Hadoop:新的企業(yè)數(shù)據(jù)操作系統(tǒng)各種分布式分析框架，如MapReduce正在演變?yōu)榉植际劫Y源管理器，它們會(huì)逐漸地將Hadoop轉(zhuǎn)變?yōu)橐环N通用的數(shù)據(jù)操作系統(tǒng)。有了Hadoop這樣的分布式文件存儲(chǔ)系統(tǒng)，你就能執(zhí)行很多不同的數(shù)據(jù)操控和分析任務(wù)。3.3

大數(shù)據(jù)湖數(shù)據(jù)湖也稱之企業(yè)數(shù)據(jù)湖或企業(yè)數(shù)據(jù)集中庫(kù)，會(huì)將各種數(shù)據(jù)資源傾倒進(jìn)一個(gè)大的Hadoop倉(cāng)庫(kù)中去，而不會(huì)事先設(shè)計(jì)什么數(shù)據(jù)模型。提供各種工具，再配上對(duì)數(shù)據(jù)湖中現(xiàn)存數(shù)據(jù)的頂層定義，供人們?nèi)シ治鰯?shù)據(jù)。人們就可隨著對(duì)數(shù)據(jù)湖的逐步深入而構(gòu)建起自己的數(shù)據(jù)視圖。這正是構(gòu)建一個(gè)大規(guī)模數(shù)據(jù)庫(kù)增量化的、有機(jī)的模型。3.4

更有預(yù)測(cè)性的分析有了大數(shù)據(jù)，分析師們不僅有了更多的數(shù)據(jù)可用，而且具備了處理大量多屬性記錄的能力?？梢蕴幚砗Ａ康挠涗?，以及對(duì)每條記錄的海量屬性進(jìn)行處理，從而提高了預(yù)測(cè)能力。大數(shù)據(jù)與計(jì)算能力相互結(jié)合，還能讓分析師們?nèi)パ芯啃碌男袨閿?shù)據(jù)。例如消費(fèi)者所訪問(wèn)的網(wǎng)站或位置信息等“稀疏數(shù)據(jù)”。3.5

SQLonHadoop:更快、更好ApacheHive就可為Hadoop提供一種結(jié)構(gòu)化的、類SQL的查詢語(yǔ)言。來(lái)自Cloudera,Pivotal軟件、IBM和其他一些廠商的產(chǎn)品，不但可提供更好的性能，而且還能讓查詢進(jìn)行的更快速。這些工具讓Hadoop能更好地適用于“迭代分析”，也就是在詢問(wèn)了一個(gè)問(wèn)題并得到答案后，可以在此基礎(chǔ)上查詢新的問(wèn)題。這樣的工作傳統(tǒng)上是需要構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)才能進(jìn)行的。3.6

更多、更好的NoSQL可取代傳統(tǒng)基于SQL關(guān)系數(shù)據(jù)庫(kù)的技術(shù)叫做NoSQL數(shù)據(jù)庫(kù)，它正迅速普及，并用于一些特定的分析應(yīng)用中。相比于傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)，它可提供一種更快速、更直接的方式來(lái)分析客戶或銷售人員的關(guān)系網(wǎng)絡(luò)。一個(gè)NoSQL鍵值組合數(shù)據(jù)庫(kù)則可專門用于處理這樣的情形，而且性能高，還是輕量級(jí)的。3.7

深度學(xué)習(xí)深度學(xué)習(xí)是近年來(lái)受到廣泛關(guān)注的一個(gè)機(jī)器學(xué)習(xí)子領(lǐng)域，在MTT《技術(shù)評(píng)論》中當(dāng)選為Zam十大突破性技術(shù)之首。它以學(xué)習(xí)表示方式的多個(gè)層次為基礎(chǔ)，這些層次對(duì)應(yīng)于特征、因素或者是概念的分層結(jié)構(gòu)。高層次的概念由低層次的概念定義；低層次的概念可以用來(lái)形成很不同的多高層次概念。它是基于表示學(xué)習(xí)的機(jī)器學(xué)習(xí)方法，因?yàn)楸硎疽粋€(gè)對(duì)象有很多種方式，而對(duì)于特定的任務(wù)，某些表示方式會(huì)使得學(xué)習(xí)任務(wù)更加容易完成。3.8

內(nèi)存分析使用內(nèi)存數(shù)據(jù)庫(kù)來(lái)提速分析處理流程已越來(lái)越流行，而且收益頗大。事實(shí)上，很多企業(yè)已經(jīng)在采用混合