《大數(shù)據(jù)應(yīng)用》課件

《大數(shù)據(jù)應(yīng)用》課件1《大數(shù)據(jù)應(yīng)用》課件2《大數(shù)據(jù)應(yīng)用》課件3《大數(shù)據(jù)應(yīng)用》課件4《大數(shù)據(jù)應(yīng)用》課件5《大數(shù)據(jù)應(yīng)用》課件6《大數(shù)據(jù)應(yīng)用》課件7《大數(shù)據(jù)應(yīng)用》課件8《大數(shù)據(jù)應(yīng)用》課件9《大數(shù)據(jù)應(yīng)用》課件10《大數(shù)據(jù)應(yīng)用》課件11《大數(shù)據(jù)應(yīng)用》課件12《大數(shù)據(jù)應(yīng)用》課件13《大數(shù)據(jù)應(yīng)用》課件14《大數(shù)據(jù)應(yīng)用》課件15《大數(shù)據(jù)應(yīng)用》課件16《大數(shù)據(jù)應(yīng)用》課件17《大數(shù)據(jù)應(yīng)用》課件18《大數(shù)據(jù)應(yīng)用》課件19《大數(shù)據(jù)應(yīng)用》課件20《大數(shù)據(jù)應(yīng)用》課件21《大數(shù)據(jù)應(yīng)用》課件22《大數(shù)據(jù)應(yīng)用》課件23《大數(shù)據(jù)應(yīng)用》課件24《大數(shù)據(jù)應(yīng)用》課件25《大數(shù)據(jù)應(yīng)用》課件26《大數(shù)據(jù)應(yīng)用》課件27《大數(shù)據(jù)應(yīng)用》課件28《大數(shù)據(jù)應(yīng)用》課件29《大數(shù)據(jù)應(yīng)用》課件30《大數(shù)據(jù)應(yīng)用》課件31《大數(shù)據(jù)應(yīng)用》課件32《大數(shù)據(jù)應(yīng)用》課件33《大數(shù)據(jù)應(yīng)用》課件34《大數(shù)據(jù)應(yīng)用》課件35《大數(shù)據(jù)應(yīng)用》課件36《大數(shù)據(jù)應(yīng)用》課件37《大數(shù)據(jù)應(yīng)用》課件38《大數(shù)據(jù)應(yīng)用》課件39《大數(shù)據(jù)應(yīng)用》課件40《大數(shù)據(jù)應(yīng)用》課件41《大數(shù)據(jù)應(yīng)用》課件42《大數(shù)據(jù)應(yīng)用》課件43《大數(shù)據(jù)應(yīng)用》課件44《大數(shù)據(jù)應(yīng)用》課件45《大數(shù)據(jù)應(yīng)用》課件46《大數(shù)據(jù)應(yīng)用》課件47《大數(shù)據(jù)應(yīng)用》課件48《大數(shù)據(jù)應(yīng)用》課件49《大數(shù)據(jù)應(yīng)用》課件50《大數(shù)據(jù)應(yīng)用》課件51《大數(shù)據(jù)應(yīng)用》課件52《大數(shù)據(jù)應(yīng)用》課件53《大數(shù)據(jù)應(yīng)用》課件54《大數(shù)據(jù)應(yīng)用》課件55《大數(shù)據(jù)應(yīng)用》課件56《大數(shù)據(jù)應(yīng)用》課件57《大數(shù)據(jù)應(yīng)用》課件58《大數(shù)據(jù)應(yīng)用》課件59大數(shù)據(jù)大數(shù)據(jù)60數(shù)據(jù)的本質(zhì)數(shù)據(jù)本質(zhì)是生產(chǎn)資料和資產(chǎn)數(shù)據(jù)生產(chǎn)資料資產(chǎn)數(shù)據(jù)的本質(zhì)數(shù)據(jù)本質(zhì)是生產(chǎn)資料和資產(chǎn)數(shù)據(jù)生產(chǎn)資料資產(chǎn)61大數(shù)據(jù)的提出在1980年，著名未來學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書中，明確提出“數(shù)據(jù)就是財富”，將大數(shù)據(jù)稱為“第三次浪潮的華彩樂章”。第二次浪潮第三次浪潮第一次浪潮農(nóng)業(yè)階段，約1萬年前開始工業(yè)階段，17世紀末開始信息化階段，20世紀50年代后期開始“如果說IBM的主機拉開了信息化革命的大幕，那么大數(shù)據(jù)才是第三次浪潮的華彩樂章?！贝髷?shù)據(jù)的提出在1980年，著名未來學(xué)家阿爾文·托夫勒便在《62從“數(shù)據(jù)”到“大數(shù)據(jù)”事件一事件二事件三時至今日，“數(shù)據(jù)”變身“大數(shù)據(jù)”，“開啟了一次重大的時代轉(zhuǎn)型”“大數(shù)據(jù)”這一概念的形成，有三個標(biāo)志性事件：2008年9月，美國《自然》（Nature）雜志?？猅henextgoogle，第一次正式提出“大數(shù)據(jù)”概念。2011年2月1日，《科學(xué)》（Science）雜志?？狣ealingwithdata，通過社會調(diào)查的方式，第一次綜合分析了大數(shù)據(jù)對人們生活造成的影響，詳細描述了人類面臨的“數(shù)據(jù)困境”。2011年5月，麥肯錫研究院發(fā)布報告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次給大數(shù)據(jù)做出相對清晰的定義：“大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫工具獲取、儲存、管理和分析能力的數(shù)據(jù)集。”從“數(shù)據(jù)”到“大數(shù)據(jù)”事件一事件二事件三時至今日，“數(shù)據(jù)”變63大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍64大數(shù)據(jù)的來源隨著智能手機的普及，網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和使用各種手機應(yīng)用的程度越來越深，用戶的行為、位置、甚至身體生理等每一點變化都成為了可被記錄和分析的數(shù)據(jù)，數(shù)據(jù)量呈現(xiàn)爆炸式增長。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；據(jù)IDC研究機構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB=2^50字節(jié)1EB=2^60字節(jié)1ZB=2^70字節(jié)TBPBEB ZB在2011年，這個數(shù)字達到了1.8ZB。GB數(shù)據(jù)大爆炸大數(shù)據(jù)的來源隨著智能手機的普及，網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和使用各種65大數(shù)據(jù)的來源互聯(lián)網(wǎng)每天產(chǎn)生的全部內(nèi)容可以刻滿6.4億張DVDGoogle每天需要處理24PB的數(shù)據(jù)網(wǎng)民每天在Facebook上要花費234億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達44PB全球每秒發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不停地讀5.5年每天會有2.88萬個小時的視頻上傳到Y(jié)ouTube，足夠一個人晝夜不停地觀看3.3年Twitter上每天發(fā)布5000萬條消息，假設(shè)10秒就瀏覽一條消息，足夠一個人晝夜不停地瀏覽16年大數(shù)據(jù)到底有多大？

以上一組互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)的來源互聯(lián)網(wǎng)每天產(chǎn)生的全部內(nèi)容可以刻滿6.4億張DVD66大數(shù)據(jù)的來源來自大量傳感器的機器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)數(shù)據(jù)來自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)智能終端拍照、拍視頻發(fā)微博、發(fā)微信其他互聯(lián)網(wǎng)數(shù)據(jù)隨著人類活動的進一步擴展，數(shù)據(jù)規(guī)模會急劇膨脹，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的各行業(yè)累積的數(shù)據(jù)量越來越大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個概念才會應(yīng)運而生。大數(shù)據(jù)的來源來自大量傳感器的機器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)67大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)（交易數(shù)據(jù)、交互數(shù)據(jù)）+針對海量數(shù)據(jù)處理的解決方案海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、微博、及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。注：大數(shù)據(jù)不僅僅指的是數(shù)據(jù)量龐大，更為重要的是數(shù)據(jù)類型復(fù)雜大交易數(shù)據(jù)大交互數(shù)據(jù)大數(shù)據(jù)處理大數(shù)據(jù)集成大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)（交易數(shù)據(jù)、交互數(shù)據(jù)）+針對海68大數(shù)據(jù)4V特征4V特征種類多（Variety）速度快（Velocity）價值高（Value）體量大（Volume）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)來源廣、維度多、類型雜，各種機器儀表在自動產(chǎn)生數(shù)據(jù)的同時，人自身的生活行為也在不斷創(chuàng)造數(shù)據(jù)；不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)的外部數(shù)據(jù)。隨著現(xiàn)代感測、互聯(lián)網(wǎng)、計算機技術(shù)的發(fā)展，數(shù)據(jù)生成、儲存、分析、處理的速度遠遠超出人們的想象力，這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)或小數(shù)據(jù)的顯著特征。大數(shù)據(jù)有巨大的潛在價值，但同其呈幾何指數(shù)爆發(fā)式增長相比，某一對象或模塊數(shù)據(jù)的價值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。從2013年至2020年，人類的數(shù)據(jù)規(guī)模將擴大50倍，每年產(chǎn)生的數(shù)據(jù)量將增長到44萬億GB，相當(dāng)于美國國家圖書館數(shù)據(jù)量的數(shù)百萬倍，且每18個月翻一番。大數(shù)據(jù)4V特征4V種類多（Variety）速度快（Vel69大數(shù)據(jù)4V特征—價值高（Value）大數(shù)據(jù)有巨大的潛在價值，但同其呈幾何指數(shù)爆發(fā)式增長相比，某一對象或模塊數(shù)據(jù)的價值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；大數(shù)據(jù)4V特征—價值高（Value）大數(shù)據(jù)有巨大的潛在價值，70大數(shù)據(jù)4V特征—體量大（Volume）從2013年至2020年，人類的數(shù)據(jù)規(guī)模將擴大50倍，每年產(chǎn)生的數(shù)據(jù)量將增長到44萬億GB，相當(dāng)于美國國家圖書館數(shù)據(jù)量的數(shù)百萬倍，且每18個月翻一番。1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書館藏書信息內(nèi)容5EB相當(dāng)于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類體內(nèi)的微細胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進行計量的大數(shù)據(jù)4V特征—體量大（Volume）從2013年至202071大數(shù)據(jù)4V特征—速度快（Velocity）82254132215327源自英國Coda研究咨詢公司大數(shù)據(jù)的增長速度快大數(shù)據(jù)的處理速度快實時數(shù)據(jù)流處理的要求，是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)，BI技術(shù)的關(guān)鍵差別之一；1s是臨界點，對于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案，否則處理結(jié)果就是過時和無效的；現(xiàn)在及未來幾年內(nèi)美國的移動網(wǎng)絡(luò)數(shù)據(jù)流量增長（PB/月）大數(shù)據(jù)4V特征—速度快（Velocity）82254132272大數(shù)據(jù)4V特征—種類多（Variety）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)來源廣、維度多、類型雜，各種機器儀表在自動產(chǎn)生數(shù)據(jù)的同時，人自身的生活行為也在不斷創(chuàng)造數(shù)據(jù)；不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)的外部數(shù)據(jù)。數(shù)據(jù)來源多企業(yè)內(nèi)部多個應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源。數(shù)據(jù)類型多保存在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關(guān)聯(lián)性。物聯(lián)網(wǎng)數(shù)據(jù)行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)4V特征—種類多（Variety）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比73大數(shù)據(jù)帶來的思維變革大數(shù)據(jù)大數(shù)據(jù)的核心代表著我們分析信息時的三個轉(zhuǎn)變，這些轉(zhuǎn)變將改變我們理解和組建社會的方法更多更雜更好更多不是隨機樣本，而是全體數(shù)據(jù)更好不是因果關(guān)系，而是相關(guān)關(guān)系更雜不是精確性，而是混雜性大數(shù)據(jù)帶來的思維變革大數(shù)據(jù)大數(shù)據(jù)的核心代表著我們分析信息時的74大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準時點，對全國人口普遍地、逐戶逐人地進行的一次性調(diào)查登記；主要特點是調(diào)查組織高度集中性，普查對象的全面完整性；人口大普查耗時耗費，一般來講是十年一次，新中國成立以來共進行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用是指在75大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式人口大普查是一種耗時耗費的工程，一般是以十年為單位；各國每年需要進行幾百次的小規(guī)模人口調(diào)查，采取隨機采樣分析的方式，這是一種樣本模式；源于實用并且很好的創(chuàng)新！隨機采樣分析是小數(shù)據(jù)時代的產(chǎn)物；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用人口大76大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對的——相撲比賽所有數(shù)據(jù)存儲還不需要一個TB，但是是所有的數(shù)據(jù)！在大數(shù)據(jù)時代采用隨機采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機采樣法，但是慢慢地我們會放棄它；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用我們已77大數(shù)據(jù)帶來的思維變革—更好佛教《三世因果經(jīng)》主要講：一是人的命是自己造就的；二是怎樣為自己造一個好命；三是行善積德與行兇作惡干壞事的因果循環(huán)報應(yīng)規(guī)律。佛教關(guān)于因果報應(yīng)的解釋原因和結(jié)果是揭示客觀世界中普遍聯(lián)系著的事物具有先后相繼、彼此制約的一對范疇。原因是指引起一定現(xiàn)象的現(xiàn)象，結(jié)果是指由于原因的作用而引起的現(xiàn)象。哲學(xué)范疇的因果關(guān)系大數(shù)據(jù)的相關(guān)關(guān)系，而不強調(diào)因果關(guān)系；（舍恩伯格），其實這個只是一種對無法探究因果的妥協(xié)，人類應(yīng)該去探尋因果，因為世界存在客觀的運轉(zhuǎn)規(guī)律；舍恩伯格對大數(shù)據(jù)的相關(guān)性解釋Kaggle，一個為所有人提供數(shù)據(jù)挖掘競賽的公司，在一次關(guān)于二手車的數(shù)據(jù)分析比賽中得到，橙色汽車有質(zhì)量問題的可能性是其它顏色汽車的一半。為什么？探尋事物的因果關(guān)系是人類的本性，但是大數(shù)據(jù)時代可以做某種程度的妥協(xié)，可以只需要關(guān)注“是什么”，而忽略“為什么？”大數(shù)據(jù)帶來的思維變革—更好佛教《三世因果經(jīng)》主要講：一是人的78大數(shù)據(jù)帶來的思維變革—更雜從皮尺到哈勃望遠鏡，人類一直在追求測量的精確性，一方面源于對未知世界的認知；一方面也源于收集信息的有限性；大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效；IBM的機器翻譯VSGoogle的機器翻譯；紛繁的數(shù)據(jù)越多越好；大數(shù)據(jù)時代要求我們重新審視數(shù)據(jù)精確性的優(yōu)略；大數(shù)據(jù)不僅讓我們不再期待精確性，也讓我們無法實現(xiàn)精確性；錯誤不是大數(shù)據(jù)固有的問題，而是一個需要我們?nèi)ソ鉀Q的問題，而且會將長期存在；混雜性，不是竭力避免，而是標(biāo)準途徑；大數(shù)據(jù)帶來的思維變革—更雜從皮尺到哈勃望遠鏡，人類一直在追求79大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)N個應(yīng)用場景環(huán)境教育行業(yè)醫(yī)療行業(yè)農(nóng)業(yè)智慧城市零售行業(yè)金融行業(yè)大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)N個應(yīng)用場景環(huán)境教育行業(yè)醫(yī)療行業(yè)80大數(shù)據(jù)商業(yè)價值—大數(shù)據(jù)為“未來的新石油”2013年，世界上存儲的數(shù)據(jù)預(yù)計能達到約1.2澤（約12億TB）字節(jié)，如果把這些數(shù)據(jù)全部印刷成書，這些書可以覆蓋整個美國52次，如果將之存儲于標(biāo)準的光盤，這些光盤可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奧巴馬政府宣布投資2億美元拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家戰(zhàn)略。奧巴馬政府甚至將大數(shù)據(jù)定義為“未來的新石油”。大數(shù)據(jù)未來的新石油大數(shù)據(jù)商業(yè)價值—大數(shù)據(jù)為“未來的新石油”2013年，世界上存81大數(shù)據(jù)商業(yè)價值—企業(yè)經(jīng)營決策某商店賣牛奶，通過數(shù)據(jù)分析，知道在本店買了牛奶的顧客以后常常會再去另一店買包子，人數(shù)還不少，那么這家店就可以考慮與包子店合作，或直接在店里出售包子。大數(shù)據(jù)商業(yè)價值—企業(yè)經(jīng)營決策某商店賣牛奶，通過數(shù)據(jù)分析，知道82大數(shù)據(jù)商業(yè)價值—個性化營銷某商店賣牛奶，通過數(shù)據(jù)分析，知道在本店買了牛奶的顧客以后常常會再去另一店買包子，人數(shù)還不少，那么這家店就可以考慮與包子店合作，或直接在店里出售包子。大數(shù)據(jù)商業(yè)價值—個性化營銷某商店賣牛奶，通過數(shù)據(jù)分析，知道在83大數(shù)據(jù)商業(yè)價值—互聯(lián)網(wǎng)金融的核心是大數(shù)據(jù)互聯(lián)網(wǎng)金融并非簡單的把傳統(tǒng)金融業(yè)務(wù)搬到網(wǎng)上去，而是充分利用大數(shù)據(jù)來顛覆銀企之間信息不對稱的問題。數(shù)據(jù)是一個平臺，因為數(shù)據(jù)是新產(chǎn)品和新商業(yè)模式的基石。推動互聯(lián)網(wǎng)金融發(fā)展的核心正是大數(shù)據(jù)的價值。大數(shù)據(jù)商業(yè)價值—互聯(lián)網(wǎng)金融的核心是大數(shù)據(jù)互聯(lián)網(wǎng)金融并非簡單的84謝謝觀看謝謝觀看85《大數(shù)據(jù)應(yīng)用》課件86《大數(shù)據(jù)應(yīng)用》課件87《大數(shù)據(jù)應(yīng)用》課件88《大數(shù)據(jù)應(yīng)用》課件89《大數(shù)據(jù)應(yīng)用》課件90《大數(shù)據(jù)應(yīng)用》課件91《大數(shù)據(jù)應(yīng)用》課件92《大數(shù)據(jù)應(yīng)用》課件93《大數(shù)據(jù)應(yīng)用》課件94《大數(shù)據(jù)應(yīng)用》課件95《大數(shù)據(jù)應(yīng)用》課件96《大數(shù)據(jù)應(yīng)用》課件97《大數(shù)據(jù)應(yīng)用》課件98《大數(shù)據(jù)應(yīng)用》課件99《大數(shù)據(jù)應(yīng)用》課件100《大數(shù)據(jù)應(yīng)用》課件101《大數(shù)據(jù)應(yīng)用》課件102《大數(shù)據(jù)應(yīng)用》課件103《大數(shù)據(jù)應(yīng)用》課件104《大數(shù)據(jù)應(yīng)用》課件105《大數(shù)據(jù)應(yīng)用》課件106《大數(shù)據(jù)應(yīng)用》課件107《大數(shù)據(jù)應(yīng)用》課件108《大數(shù)據(jù)應(yīng)用》課件109《大數(shù)據(jù)應(yīng)用》課件110《大數(shù)據(jù)應(yīng)用》課件111《大數(shù)據(jù)應(yīng)用》課件112《大數(shù)據(jù)應(yīng)用》課件113《大數(shù)據(jù)應(yīng)用》課件114《大數(shù)據(jù)應(yīng)用》課件115《大數(shù)據(jù)應(yīng)用》課件116《大數(shù)據(jù)應(yīng)用》課件117《大數(shù)據(jù)應(yīng)用》課件118《大數(shù)據(jù)應(yīng)用》課件119《大數(shù)據(jù)應(yīng)用》課件120《大數(shù)據(jù)應(yīng)用》課件121《大數(shù)據(jù)應(yīng)用》課件122《大數(shù)據(jù)應(yīng)用》課件123《大數(shù)據(jù)應(yīng)用》課件124《大數(shù)據(jù)應(yīng)用》課件125《大數(shù)據(jù)應(yīng)用》課件126《大數(shù)據(jù)應(yīng)用》課件127《大數(shù)據(jù)應(yīng)用》課件128《大數(shù)據(jù)應(yīng)用》課件129《大數(shù)據(jù)應(yīng)用》課件130《大數(shù)據(jù)應(yīng)用》課件131《大數(shù)據(jù)應(yīng)用》課件132《大數(shù)據(jù)應(yīng)用》課件133《大數(shù)據(jù)應(yīng)用》課件134《大數(shù)據(jù)應(yīng)用》課件135《大數(shù)據(jù)應(yīng)用》課件136《大數(shù)據(jù)應(yīng)用》課件137《大數(shù)據(jù)應(yīng)用》課件138《大數(shù)據(jù)應(yīng)用》課件139《大數(shù)據(jù)應(yīng)用》課件140《大數(shù)據(jù)應(yīng)用》課件141《大數(shù)據(jù)應(yīng)用》課件142《大數(shù)據(jù)應(yīng)用》課件143《大數(shù)據(jù)應(yīng)用》課件144大數(shù)據(jù)大數(shù)據(jù)145數(shù)據(jù)的本質(zhì)數(shù)據(jù)本質(zhì)是生產(chǎn)資料和資產(chǎn)數(shù)據(jù)生產(chǎn)資料資產(chǎn)數(shù)據(jù)的本質(zhì)數(shù)據(jù)本質(zhì)是生產(chǎn)資料和資產(chǎn)數(shù)據(jù)生產(chǎn)資料資產(chǎn)146大數(shù)據(jù)的提出在1980年，著名未來學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書中，明確提出“數(shù)據(jù)就是財富”，將大數(shù)據(jù)稱為“第三次浪潮的華彩樂章”。第二次浪潮第三次浪潮第一次浪潮農(nóng)業(yè)階段，約1萬年前開始工業(yè)階段，17世紀末開始信息化階段，20世紀50年代后期開始“如果說IBM的主機拉開了信息化革命的大幕，那么大數(shù)據(jù)才是第三次浪潮的華彩樂章。”大數(shù)據(jù)的提出在1980年，著名未來學(xué)家阿爾文·托夫勒便在《147從“數(shù)據(jù)”到“大數(shù)據(jù)”事件一事件二事件三時至今日，“數(shù)據(jù)”變身“大數(shù)據(jù)”，“開啟了一次重大的時代轉(zhuǎn)型”“大數(shù)據(jù)”這一概念的形成，有三個標(biāo)志性事件：2008年9月，美國《自然》（Nature）雜志專刊——Thenextgoogle，第一次正式提出“大數(shù)據(jù)”概念。2011年2月1日，《科學(xué)》（Science）雜志?？狣ealingwithdata，通過社會調(diào)查的方式，第一次綜合分析了大數(shù)據(jù)對人們生活造成的影響，詳細描述了人類面臨的“數(shù)據(jù)困境”。2011年5月，麥肯錫研究院發(fā)布報告——Bigdata:Thenextfrontierforinnovation,competition,andproductivity,第一次給大數(shù)據(jù)做出相對清晰的定義：“大數(shù)據(jù)是指其大小超出了常規(guī)數(shù)據(jù)庫工具獲取、儲存、管理和分析能力的數(shù)據(jù)集?！睆摹皵?shù)據(jù)”到“大數(shù)據(jù)”事件一事件二事件三時至今日，“數(shù)據(jù)”變148大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的定義大數(shù)據(jù)（bigdata），指無法在一定時間范圍149大數(shù)據(jù)的來源隨著智能手機的普及，網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和使用各種手機應(yīng)用的程度越來越深，用戶的行為、位置、甚至身體生理等每一點變化都成為了可被記錄和分析的數(shù)據(jù)，數(shù)據(jù)量呈現(xiàn)爆炸式增長。地球上至今總共的數(shù)據(jù)量：在2006年，個人用戶才剛剛邁進TB時代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；據(jù)IDC研究機構(gòu)預(yù)測：到2020年，整個世界的數(shù)據(jù)總量將會增長44倍，達到35.2ZB（1ZB=10億TB）！1PB=2^50字節(jié)1EB=2^60字節(jié)1ZB=2^70字節(jié)TBPBEB ZB在2011年，這個數(shù)字達到了1.8ZB。GB數(shù)據(jù)大爆炸大數(shù)據(jù)的來源隨著智能手機的普及，網(wǎng)民參與互聯(lián)網(wǎng)產(chǎn)品和使用各種150大數(shù)據(jù)的來源互聯(lián)網(wǎng)每天產(chǎn)生的全部內(nèi)容可以刻滿6.4億張DVDGoogle每天需要處理24PB的數(shù)據(jù)網(wǎng)民每天在Facebook上要花費234億分鐘，被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達44PB全球每秒發(fā)送290萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不停地讀5.5年每天會有2.88萬個小時的視頻上傳到Y(jié)ouTube，足夠一個人晝夜不停地觀看3.3年Twitter上每天發(fā)布5000萬條消息，假設(shè)10秒就瀏覽一條消息，足夠一個人晝夜不停地瀏覽16年大數(shù)據(jù)到底有多大？

以上一組互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)的來源互聯(lián)網(wǎng)每天產(chǎn)生的全部內(nèi)容可以刻滿6.4億張DVD151大數(shù)據(jù)的來源來自大量傳感器的機器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)數(shù)據(jù)來自“大人群”泛互聯(lián)網(wǎng)數(shù)據(jù)智能終端拍照、拍視頻發(fā)微博、發(fā)微信其他互聯(lián)網(wǎng)數(shù)據(jù)隨著人類活動的進一步擴展，數(shù)據(jù)規(guī)模會急劇膨脹，包括金融、汽車、零售、餐飲、電信、能源、政務(wù)、醫(yī)療、體育、娛樂等在內(nèi)的各行業(yè)累積的數(shù)據(jù)量越來越大，數(shù)據(jù)類型也越來越多、越來越復(fù)雜，已經(jīng)超越了傳統(tǒng)數(shù)據(jù)管理系統(tǒng)、處理模式的能力范圍，于是“大數(shù)據(jù)”這樣一個概念才會應(yīng)運而生。大數(shù)據(jù)的來源來自大量傳感器的機器數(shù)據(jù)科學(xué)研究及行業(yè)多結(jié)構(gòu)專業(yè)152大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)（交易數(shù)據(jù)、交互數(shù)據(jù)）+針對海量數(shù)據(jù)處理的解決方案海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營交易信息主要包括聯(lián)機交易數(shù)據(jù)和聯(lián)機分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過關(guān)系數(shù)據(jù)庫進行管理和訪問的靜態(tài)、歷史數(shù)據(jù)。通過這些數(shù)據(jù)，我們能了解過去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、微博、及其他來源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來會發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開放源碼、在商品硬件群中運行的ApacheHadoop。注：大數(shù)據(jù)不僅僅指的是數(shù)據(jù)量龐大，更為重要的是數(shù)據(jù)類型復(fù)雜大交易數(shù)據(jù)大交互數(shù)據(jù)大數(shù)據(jù)處理大數(shù)據(jù)集成大數(shù)據(jù)的構(gòu)成大數(shù)據(jù)=海量數(shù)據(jù)（交易數(shù)據(jù)、交互數(shù)據(jù)）+針對海153大數(shù)據(jù)4V特征4V特征種類多（Variety）速度快（Velocity）價值高（Value）體量大（Volume）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)來源廣、維度多、類型雜，各種機器儀表在自動產(chǎn)生數(shù)據(jù)的同時，人自身的生活行為也在不斷創(chuàng)造數(shù)據(jù)；不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)的外部數(shù)據(jù)。隨著現(xiàn)代感測、互聯(lián)網(wǎng)、計算機技術(shù)的發(fā)展，數(shù)據(jù)生成、儲存、分析、處理的速度遠遠超出人們的想象力，這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)或小數(shù)據(jù)的顯著特征。大數(shù)據(jù)有巨大的潛在價值，但同其呈幾何指數(shù)爆發(fā)式增長相比，某一對象或模塊數(shù)據(jù)的價值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。從2013年至2020年，人類的數(shù)據(jù)規(guī)模將擴大50倍，每年產(chǎn)生的數(shù)據(jù)量將增長到44萬億GB，相當(dāng)于美國國家圖書館數(shù)據(jù)量的數(shù)百萬倍，且每18個月翻一番。大數(shù)據(jù)4V特征4V種類多（Variety）速度快（Vel154大數(shù)據(jù)4V特征—價值高（Value）大數(shù)據(jù)有巨大的潛在價值，但同其呈幾何指數(shù)爆發(fā)式增長相比，某一對象或模塊數(shù)據(jù)的價值密度較低，這無疑給我們開發(fā)海量數(shù)據(jù)增加了難度和成本。挖掘大數(shù)據(jù)的價值類似沙里淘金，從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息；價值密度低，是大數(shù)據(jù)的一個典型特征；大數(shù)據(jù)4V特征—價值高（Value）大數(shù)據(jù)有巨大的潛在價值，155大數(shù)據(jù)4V特征—體量大（Volume）從2013年至2020年，人類的數(shù)據(jù)規(guī)模將擴大50倍，每年產(chǎn)生的數(shù)據(jù)量將增長到44萬億GB，相當(dāng)于美國國家圖書館數(shù)據(jù)量的數(shù)百萬倍，且每18個月翻一番。1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1PB相當(dāng)于50%的全美學(xué)術(shù)研究圖書館藏書信息內(nèi)容5EB相當(dāng)于至今全世界人類所講過的話語1ZB如同全世界海灘上的沙子數(shù)量總和1YB相當(dāng)于7000位人類體內(nèi)的微細胞總和一般情況下，大數(shù)據(jù)是以PB、EB、ZB為單位進行計量的大數(shù)據(jù)4V特征—體量大（Volume）從2013年至2020156大數(shù)據(jù)4V特征—速度快（Velocity）82254132215327源自英國Coda研究咨詢公司大數(shù)據(jù)的增長速度快大數(shù)據(jù)的處理速度快實時數(shù)據(jù)流處理的要求，是區(qū)別大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù)，BI技術(shù)的關(guān)鍵差別之一；1s是臨界點，對于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案，否則處理結(jié)果就是過時和無效的；現(xiàn)在及未來幾年內(nèi)美國的移動網(wǎng)絡(luò)數(shù)據(jù)流量增長（PB/月）大數(shù)據(jù)4V特征—速度快（Velocity）822541322157大數(shù)據(jù)4V特征—種類多（Variety）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比，數(shù)據(jù)來源廣、維度多、類型雜，各種機器儀表在自動產(chǎn)生數(shù)據(jù)的同時，人自身的生活行為也在不斷創(chuàng)造數(shù)據(jù)；不僅有企業(yè)組織內(nèi)部的業(yè)務(wù)數(shù)據(jù)，還有海量相關(guān)的外部數(shù)據(jù)。數(shù)據(jù)來源多企業(yè)內(nèi)部多個應(yīng)用系統(tǒng)的數(shù)據(jù)、互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的興起，帶來了微博、社交網(wǎng)站、傳感器等多種來源。數(shù)據(jù)類型多保存在關(guān)系數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù)只占少數(shù)，70~80%的數(shù)據(jù)是如圖片、音頻、視頻、模型、連接信息、文檔等非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。關(guān)聯(lián)性強數(shù)據(jù)之間頻繁交互，比如游客在旅行途中上傳的圖片和日志，就與游客的位置、行程等信息有了很強的關(guān)聯(lián)性。物聯(lián)網(wǎng)數(shù)據(jù)行業(yè)/企業(yè)內(nèi)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)4V特征—種類多（Variety）大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)相比158大數(shù)據(jù)帶來的思維變革大數(shù)據(jù)大數(shù)據(jù)的核心代表著我們分析信息時的三個轉(zhuǎn)變，這些轉(zhuǎn)變將改變我們理解和組建社會的方法更多更雜更好更多不是隨機樣本，而是全體數(shù)據(jù)更好不是因果關(guān)系，而是相關(guān)關(guān)系更雜不是精確性，而是混雜性大數(shù)據(jù)帶來的思維變革大數(shù)據(jù)大數(shù)據(jù)的核心代表著我們分析信息時的159大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式是指在國家統(tǒng)一規(guī)定的時間內(nèi)，按照統(tǒng)一的方法、統(tǒng)一的項目、統(tǒng)一的調(diào)查表和統(tǒng)一的標(biāo)準時點，對全國人口普遍地、逐戶逐人地進行的一次性調(diào)查登記；主要特點是調(diào)查組織高度集中性，普查對象的全面完整性；人口大普查耗時耗費，一般來講是十年一次，新中國成立以來共進行了6次人口大普查；人口大普查是一種典型的全數(shù)據(jù)模式；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用是指在160大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式人口大普查是一種耗時耗費的工程，一般是以十年為單位；各國每年需要進行幾百次的小規(guī)模人口調(diào)查，采取隨機采樣分析的方式，這是一種樣本模式；源于實用并且很好的創(chuàng)新！隨機采樣分析是小數(shù)據(jù)時代的產(chǎn)物；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用人口大161大數(shù)據(jù)帶來的思維變革—更多人口大普查全數(shù)據(jù)模式隨機采樣樣本模式大數(shù)據(jù)應(yīng)用全數(shù)據(jù)模式我們已具備了大數(shù)據(jù)的各種技術(shù)能力，思維需要轉(zhuǎn)換到大數(shù)據(jù)的全數(shù)據(jù)模式：樣本=全部；大數(shù)據(jù)不用隨機分析法這樣的捷徑，而采用所有數(shù)據(jù)的方法；這里的“大”是相對的——相撲比賽所有數(shù)據(jù)存儲還不需要一個TB，但是是所有的數(shù)據(jù)！在大數(shù)據(jù)時代采用隨機采樣法，就像在汽車時代騎馬一樣，雖然特定情況下仍可采樣隨機采樣法，但是慢慢地我們會放棄它；大數(shù)據(jù)時代小數(shù)據(jù)時代大數(shù)據(jù)帶來的思維變革—更多人口大普查隨機采樣大數(shù)據(jù)應(yīng)用我們已162大數(shù)據(jù)帶來的思維變革—更好佛教《三世因果經(jīng)》主要講：一是人的命是自己造就的；二是怎樣為自己造一個好命；三是行善積德與行兇作惡干壞事的因果循環(huán)報應(yīng)規(guī)律。佛教關(guān)于因果報應(yīng)的解釋原因