數(shù)據(jù)與大數(shù)據(jù)分析ppt課件

.,.,Contents,我們可以做些什么,實(shí)操分享,大數(shù)據(jù)，你從哪來(lái),你是誰(shuí),.,中國(guó)網(wǎng)民數(shù)量：7.51億半年增長(zhǎng)率：2.7%,中國(guó)注冊(cè)網(wǎng)站數(shù)量：344.3萬(wàn)個(gè),手機(jī)網(wǎng)民：7.236億占網(wǎng)民總數(shù)：96.3%,月均網(wǎng)絡(luò)交易：16億筆,每日新發(fā)微博數(shù)量：1億+條,注冊(cè)微博用戶(hù)數(shù)：2.9071億,發(fā)布的網(wǎng)頁(yè)數(shù)量：866億頁(yè)年增速：40%,網(wǎng)絡(luò)直播用戶(hù)：3.43億占網(wǎng)民總數(shù)：47.1%,.,很多人還沒(méi)搞清楚什么是PC互聯(lián)網(wǎng)，移動(dòng)互聯(lián)來(lái)了；我們還沒(méi)搞清楚移動(dòng)互聯(lián)的時(shí)候，大數(shù)據(jù)時(shí)代又來(lái)了！馬云,.,數(shù)據(jù)爆炸式的增長(zhǎng),數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),需要更高性?xún)r(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式,需要不同的數(shù)據(jù)管理策略,01,你從哪里來(lái)？,.,數(shù)據(jù)爆炸式的增長(zhǎng),.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),數(shù)據(jù)資產(chǎn),數(shù)據(jù)資產(chǎn)管理,傳統(tǒng)數(shù)據(jù)管理方式面臨挑戰(zhàn),.,需要更高性?xún)r(jià)比的數(shù)據(jù)計(jì)算與儲(chǔ)存方式,計(jì)算更快存儲(chǔ)更省,10萬(wàn)GB,10萬(wàn)TB,1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,1Bity,1KB,1MB,1GB,1TB,1PB,1EB,1ZB,1YB,.,需要不同的數(shù)據(jù)管理策略,15%結(jié)構(gòu)化的DB/DW,殘缺,當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺(jué)：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過(guò)長(zhǎng)，time-to-value受限成本過(guò)高，cost-efficiency受限,.,概念（Concept）特征（Features）變革（Change）技術(shù)（Technology）,數(shù)據(jù)庫(kù)（database）,大數(shù)據(jù)（bigdata）,你是什么？,02,.,大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)就是“未來(lái)的新石油”。,全球信息咨詢(xún)機(jī)構(gòu)國(guó)際數(shù)據(jù)公司（IDC）對(duì)大數(shù)據(jù)的技術(shù)定義是：通過(guò)高速捕捉、發(fā)現(xiàn)或分析，從大容量數(shù)據(jù)中獲取價(jià)值的一種新的技術(shù)架構(gòu)。,所謂“大數(shù)據(jù)”(bigdata)指的是這樣一種現(xiàn)象：一個(gè)公司日常運(yùn)營(yíng)所生成和積累用戶(hù)行為數(shù)據(jù)“增長(zhǎng)如此之快，以至于難以使用現(xiàn)有的數(shù)據(jù)庫(kù)管理工具來(lái)駕馭，困難存在于數(shù)據(jù)的獲取、存儲(chǔ)、搜索、共享、分析和可視化等方面。”這些數(shù)據(jù)量是如此之大，已經(jīng)不是以我們所熟知的多少G和多少T為單位來(lái)衡量，而是以P(1000個(gè)T)，E(一百萬(wàn)個(gè)T)或Z(10億個(gè)T)為計(jì)量單位，所以稱(chēng)之為大數(shù)據(jù)。,概念,.,數(shù)據(jù)類(lèi)型多越來(lái)越多非結(jié)構(gòu)化數(shù)據(jù)；音頻、食品，地理位置信息等多類(lèi)型數(shù)據(jù)對(duì)數(shù)據(jù)處理能力提出更高要求。,數(shù)據(jù)價(jià)值高海量數(shù)據(jù)帶來(lái)了巨大的商業(yè)價(jià)值。數(shù)據(jù)之間關(guān)聯(lián)性支持深層的數(shù)據(jù)挖掘。,大數(shù)據(jù)的特點(diǎn)-4V理論,數(shù)據(jù)處理速度快對(duì)數(shù)據(jù)實(shí)時(shí)處理有著極高的要求，通過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)查詢(xún)方式得到的“當(dāng)前結(jié)果”很可能已經(jīng)沒(méi)有價(jià)值。,數(shù)據(jù)規(guī)模大從TB躍升到PB甚至EB。一組公式：1024GB=1TB;1024TB=1PB;1024PB=1EB。,.,。,大數(shù)據(jù)改變生活,.,IBMC&PIndustry,需求海量數(shù)據(jù)存儲(chǔ)技術(shù)實(shí)時(shí)數(shù)據(jù)處理技術(shù)數(shù)據(jù)高速傳輸技術(shù)搜索技術(shù),描述分布式文件系統(tǒng)流計(jì)算引擎服務(wù)器/存儲(chǔ)間高速通信文本檢索、智能搜索、實(shí)時(shí)搜索,技術(shù)Hadoop，x86/MPPMapReduceStreamingDataInfiniBandEnterpriseSearch,數(shù)據(jù)分析技術(shù),大數(shù)據(jù)涉及的關(guān)鍵技術(shù),TextAnalyticsEngine自然語(yǔ)言處理、文本情感分析、VisualDataModeling機(jī)器學(xué)習(xí)、聚類(lèi)關(guān)聯(lián)、數(shù)據(jù)模型,.,顧客一次購(gòu)買(mǎi)商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚(yú)3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚(yú)、雞5雞蛋、面包、黃油6鮭魚(yú)、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,顧客一次購(gòu)買(mǎi)商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚(yú)3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚(yú)、雞5雞蛋、面包、黃油6鮭魚(yú)、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,概念（Concept）分類(lèi)（Features）流程（Technologicalprocess）,03,我們可以做些什么？,.,大數(shù)據(jù)時(shí)代的核心價(jià)值數(shù)據(jù)分析,什么是數(shù)據(jù)分析,.,數(shù)據(jù)分析有哪些類(lèi)型,初級(jí)數(shù)據(jù)分析,高級(jí)數(shù)據(jù)分析,.,數(shù)據(jù)分析的一般環(huán)節(jié),.,04,關(guān)于數(shù)據(jù)分析的分享與交流,理論模型統(tǒng)計(jì)方法可視化,.,數(shù)據(jù)分析方法論,.,4P（productpriceplacepromotion）,.,5W2H,.,KANO模型,對(duì)顧客的不同需求進(jìn)行分區(qū)處理，幫助團(tuán)隊(duì)識(shí)別對(duì)產(chǎn)品來(lái)說(shuō)較為關(guān)鍵的客戶(hù)需求層次，盡快完成規(guī)劃。,興奮型需求,期望型需求,基本型需求,.,數(shù)據(jù)分析統(tǒng)計(jì)方法,聚類(lèi)分析,01,回歸分析,02,時(shí)間序列分析,03,因子分析和主成分分析,04,數(shù)據(jù)分析軟件MATLABSASSpssStataEviewsExcel,.,可視化方法,ECHARTS,EASELY,PPT,附：1、ECHARTS,.,THEEND,.,用戶(hù)行為理論,用戶(hù)行為理論的用途較單一，就是用于用戶(hù)行為研究分析用戶(hù)使用行為：認(rèn)知-熟悉-試用-使用-忠誠(chéng)利用用戶(hù)行為理論，梳理網(wǎng)站分析的各關(guān)鍵指標(biāo)之間的邏輯關(guān)系，構(gòu)建符合公司實(shí)際業(yè)務(wù)的網(wǎng)站分析指標(biāo)體系：,.,ADDYOURTITLEHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,TEXTHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)分析統(tǒng)計(jì)方法,01,02,04,03,聚類(lèi)分析,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)分析統(tǒng)計(jì)方法聚類(lèi)分析回歸分析因子分析和主成分分析時(shí)間序列分析,數(shù)據(jù)分析軟件MATLABSASSpssStataEviewsExcel,.,1.績(jī)效指標(biāo)必須是具體的（Specific）2.績(jī)效指標(biāo)必須是可以衡量的（Measurable）3.績(jī)效指標(biāo)必須是可以達(dá)到的（Attainable）4.績(jī)效指標(biāo)是要與其他目標(biāo)具有一定的相關(guān)性(Relevant)5.績(jī)效指標(biāo)必須具有明確的截止期限（Time-bound）無(wú)論是制定團(tuán)隊(duì)的工作目標(biāo)還是員工的績(jī)效目標(biāo)都必須符合上述原則，五個(gè)原則缺一不可,.,ADDYOURTITLEHERE,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,03,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,數(shù)據(jù)資產(chǎn)管理的挑戰(zhàn),.,.,.,軟件是大數(shù)據(jù)的引擎,和數(shù)據(jù)中心（DataCenter）一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力.軟件改變世界!,.,中央政府對(duì)大數(shù)據(jù)的重視程度,.,零售業(yè),制造業(yè),信息產(chǎn)業(yè),移動(dòng)通信,金融證券,數(shù)據(jù)量大,挖掘潛力大,數(shù)據(jù)意識(shí)強(qiáng),IT基礎(chǔ)好,這些產(chǎn)業(yè)在大數(shù)據(jù)分析應(yīng)用方面具有如下優(yōu)勢(shì)：,數(shù)據(jù)化讓產(chǎn)業(yè)績(jī)效大幅提升,電子商務(wù),醫(yī)療服務(wù),.,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.01,Thisisanexampletext.Goaheadandreplaceit.02,Thisisanexampletext.Goaheadandreplaceit.03,Thisisanexampletext.Goaheadandreplaceit.04,80%,47%,57%,67%,.,數(shù)據(jù)分析的一般環(huán)節(jié),.,數(shù)據(jù)分析的一般環(huán)節(jié),AADDYOURTEXEHERE,BADDYOURTEXEHERE,CADDYOURTEXEHERE,EADDYOURTEXEHERE,DADDYOURTEXEHERE,.,.,.,在項(xiàng)目投資分析之外，數(shù)據(jù)分析的價(jià)值在企業(yè)經(jīng)營(yíng)管理上起到更加舉足輕重的作用。各種量化的模型、量化分析方法的應(yīng)用，使數(shù)據(jù)下面隱藏的規(guī)律得以展現(xiàn)，讓企業(yè)在運(yùn)營(yíng)管理上、市場(chǎng)營(yíng)銷(xiāo)上、客戶(hù)服務(wù)體驗(yàn)上，越來(lái)越精細(xì)化，讓企業(yè)在激烈的競(jìng)爭(zhēng)中取勝！,.,數(shù)據(jù)分析的營(yíng)銷(xiāo)價(jià)值-預(yù)測(cè)消費(fèi)行為,數(shù)據(jù)分析的營(yíng)銷(xiāo)價(jià)值-優(yōu)化營(yíng)銷(xiāo)策略,數(shù)據(jù)分析的營(yíng)銷(xiāo)價(jià)值-消費(fèi)者描述,數(shù)據(jù)分析的營(yíng)銷(xiāo)價(jià)值-個(gè)性化營(yíng)銷(xiāo),數(shù)據(jù)分析的營(yíng)銷(xiāo)價(jià)值-廣告精準(zhǔn)投放,通過(guò)分析以下幾個(gè)方面的關(guān)聯(lián)性，為消費(fèi)者推薦具體的產(chǎn)品和內(nèi)容：產(chǎn)品本身的關(guān)聯(lián)性客戶(hù)消費(fèi)習(xí)慣的關(guān)聯(lián)性客戶(hù)喜好的關(guān)聯(lián)性客戶(hù)品牌的關(guān)聯(lián)性產(chǎn)品價(jià)格和價(jià)值的關(guān)聯(lián)性客戶(hù)習(xí)性的一致性等等,.,01,什么是大數(shù)據(jù),.,數(shù)據(jù)挖掘,1.從數(shù)據(jù)中提取出隱含的過(guò)去未知的有價(jià)值的潛在信息2.從大量數(shù)據(jù)或者數(shù)據(jù)庫(kù)中提取有用信息的科學(xué),典型事例：購(gòu)物籃分析顧客一次購(gòu)買(mǎi)商品1面包、黃油、尿布、牛奶2咖啡、糖、小甜餅、鮭魚(yú)3面包、黃油、咖啡、尿布、牛奶、雞蛋4面包、黃油、鮭魚(yú)、雞5雞蛋、面包、黃油6鮭魚(yú)、尿布、牛奶7面包、茶葉、糖、雞蛋8咖啡、糖、雞、雞蛋9面包、尿布、牛奶、鹽10茶葉、雞蛋、小甜餅、尿布、牛奶,.,SocialMedia,Machine/Sensor,DOC/Media,WebClickstream,Apps,CallLog,Log,什么是數(shù)據(jù)？,半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù),.,何為大？數(shù)據(jù)度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes,什么是大數(shù)據(jù)？,.,數(shù)據(jù)分析的流程,.,ADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,THETITLEADDYOURTITLEHEREADDYOURTITLEHEREADDYOURTITLEHERE,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,02,ADDYOURTITLEHERE,Thisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,60%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,80%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,50%ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,ADDYOURTITLEHEREThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,19%Thisisanexampletext.Goaheadandreplaceit.,43%Thisisanexampletext.Goaheadandreplaceit.,25%Thisisanexampletext.Goaheadandreplaceit.,MAINIDEAThisisanexampletext.Goaheadandreplaceit.,.,ADDYOURTITLEHERE,ADDYOURTITLEHEREThisisanexamplet