行業(yè)大數(shù)據(jù)技術(shù)架構(gòu)介紹(24p)課件

1、行業(yè)大數(shù)據(jù)部署思路淺析大數(shù)據(jù)的特點理解大數(shù)據(jù)相關(guān)技術(shù)與應(yīng)用什么是大數(shù)據(jù)？ 海量數(shù)據(jù)本身+處理方法*大數(shù)據(jù)的4V特征體量Volume多樣性Variety價值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的8090%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析（機器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報告等）實時分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效*1、密不可分的大數(shù)據(jù)與云計算商

2、業(yè)模式驅(qū)動應(yīng)用需求驅(qū)動云計算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)據(jù)是落地的云云計算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲、訪問和計算。當(dāng)前云計算更偏重海量存儲和計算，以及提供的云服務(wù)，運行云應(yīng)用，但是缺乏盤活數(shù)據(jù)資產(chǎn)的能力，挖掘價值性信息和預(yù)測性分析，為國家、企業(yè)、個人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計算的最終方向。*2、大數(shù)據(jù)不僅僅是“大”多大？至少PB 級比大更重要的是數(shù)據(jù)的復(fù)雜性，有時甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價值*4、大數(shù)據(jù)的應(yīng)用不僅僅是精準(zhǔn)營銷通過用戶行為分析實現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)的典型應(yīng)用，但是大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具

3、有廣闊的應(yīng)用前景消費行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象*5、管理大數(shù)據(jù)“易”理解大數(shù)據(jù)“難”雖然大數(shù)據(jù)是一個重大問題，真正的問題是讓大數(shù)據(jù)更有意義目前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲的橫向擴展，但對非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解仍缺乏實質(zhì)性的突破和進展，這是實現(xiàn)大數(shù)據(jù)資源化、知識化、普適化的核心非結(jié)構(gòu)化海量信息的智能化處理：自然語言理解、多媒體內(nèi)容理解、機器學(xué)習(xí)等挖掘內(nèi)部需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個冷冰冰的系統(tǒng)，而變成了推動業(yè)務(wù)發(fā)展，挖掘客戶內(nèi)心需求的真正推動劑；大數(shù)據(jù)將催生更多的應(yīng)用領(lǐng)域需求。數(shù)據(jù)源內(nèi)部結(jié)構(gòu)化數(shù)據(jù)外部其他渠道網(wǎng)絡(luò)/應(yīng)用

4、 日志EDW（內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)）用戶基本信息數(shù)據(jù)庫Hadoop（內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)）Hadoop/GPFS ClusterMapReduce & Analytics網(wǎng)絡(luò)日志分析內(nèi)容分析交互數(shù)據(jù)分析個體分析用戶購買記錄數(shù)據(jù)庫用戶維修記錄數(shù)據(jù)庫內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)社會化媒體數(shù)據(jù)生產(chǎn)、銷售、服務(wù)、售后數(shù)據(jù)數(shù)據(jù)應(yīng)用倉庫用戶在線瀏覽據(jù)庫用戶安裝配送數(shù)據(jù)庫。其他數(shù)據(jù)集清洗整合用戶數(shù)據(jù)清洗整合規(guī)則確定ETLDQ數(shù)據(jù)清洗、整合、轉(zhuǎn)換開發(fā)清洗整合規(guī)則自動調(diào)度規(guī)則與標(biāo)準(zhǔn)制定用戶信息歸屬規(guī)則確定用戶數(shù)據(jù)使用權(quán)限與流程確定用戶數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)確定數(shù)據(jù)應(yīng)用/服務(wù)營銷/關(guān)懷活動自動化管理商業(yè)智能管理駕駛艙業(yè)務(wù)報表專題分析嵌入運營

5、系統(tǒng)的大數(shù)據(jù)應(yīng)用信息可視化工具CRMSCMMESPLM平臺化企業(yè)，需要大數(shù)據(jù)架構(gòu)的支撐大數(shù)據(jù)時代的企業(yè)發(fā)展更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部*數(shù)據(jù)的再利用： 由于在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數(shù)據(jù)，但他們并不急需使用也不擅長再次利用這些數(shù)據(jù)。例如，移動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數(shù)據(jù)只有狹窄的技術(shù)用途。但當(dāng)它被一些發(fā)布個性化位置廣告服務(wù)和促銷活動的公司再次利用時，則變得更有價值。大數(shù)據(jù)價值鏈的3大構(gòu)成：數(shù)據(jù)本身、技能與思維谷歌公司三者兼具，在剛開始收集數(shù)據(jù)的時候就已經(jīng)有多次使用數(shù)據(jù)的想法。比方說，它的街景采集車手機全球定位系統(tǒng)數(shù)據(jù)不光是為了創(chuàng)建

6、谷歌地圖，也是為了制成全自動汽車以及谷歌眼鏡等與實景交匯的產(chǎn)品。未來，企業(yè)會依靠洞悉數(shù)據(jù)中的信息更加了解自己，也更加了解客戶。大數(shù)據(jù)時代傳統(tǒng)行業(yè)最終都會轉(zhuǎn)變?yōu)榇髷?shù)據(jù)行業(yè)，無論是金融服務(wù)也、醫(yī)藥還是制造業(yè)。大數(shù)據(jù)的未來和機遇大數(shù)據(jù)相關(guān)技術(shù)分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計和分析：A/B test; top N排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計算結(jié)果展現(xiàn)：云計算；標(biāo)簽云；關(guān)系圖等存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)

7、計、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計算（twitter的storm和yahoo！的S4）什么是hadoop開源Apache 項目,靈感來源于Google的MapReduce白皮書和Google文件系(GFS),Yahoo完成了絕大部分初始設(shè)計和開發(fā)Hadoop 核心組件包括:-分布式文件系統(tǒng)-Map/Reduce 分布式計算用Java編寫運行平臺:Linux, Mac OS/X, Solaris, Windows普通的X86硬件平臺為什

8、么hadoop很重要非結(jié)構(gòu)化數(shù)據(jù)暴增:估計未來5年，企業(yè)的數(shù)據(jù)將增長650%，其中80%都是非結(jié)構(gòu)化數(shù)據(jù)比如FACEBOOK每天收集100TB的數(shù)據(jù)，Twitter會有每天產(chǎn)生3500億的tweets非結(jié)構(gòu)化的數(shù)據(jù)同樣蘊藏巨大價值需要新方法利用所有數(shù)據(jù)進行業(yè)務(wù)分析 Apache Hadoop作為一個分析存儲大量數(shù)據(jù)的關(guān)鍵數(shù)據(jù)平臺出現(xiàn)hadoop與大數(shù)據(jù)Hadoop是致力于“大數(shù)據(jù)”處理的最重要平臺之一 能夠輕松擴展到PB級別的數(shù)據(jù)存儲，處理規(guī)模 帶有高度容錯能力的并行處理架構(gòu)基于普通的X86平臺硬件架構(gòu)，硬件成本低廉 用內(nèi)置格式存儲/處理數(shù)據(jù)基于開源項目，擁有當(dāng)量的代碼來源，并且傳統(tǒng)廠商也日益

9、重視對其的支持，它已經(jīng)成為重要的并行處理架構(gòu)標(biāo)準(zhǔn)之一企業(yè)級Hadoop堆棧數(shù)據(jù)存儲與訪問方式大數(shù)據(jù)與應(yīng)用總體設(shè)計行業(yè)大數(shù)據(jù)建設(shè)思考1.思考的問題使用當(dāng)前數(shù)據(jù)資源建設(shè)大數(shù)據(jù)平臺能做什么？ 實現(xiàn)以前無法實現(xiàn)的應(yīng)用需求針對當(dāng)前業(yè)務(wù)狀況，為什么需要建設(shè)大數(shù)據(jù)平臺改善現(xiàn)狀，為未來發(fā)展奠定基礎(chǔ)具備什么樣的條件才能建設(shè)大數(shù)據(jù)平臺？硬件和網(wǎng)絡(luò)資源具備了嗎？數(shù)據(jù)應(yīng)用業(yè)務(wù)需求明確了嗎？已有業(yè)務(wù)遷移到大數(shù)據(jù)平臺可行嗎？2.建設(shè)步驟分析當(dāng)前及未來數(shù)據(jù)量及數(shù)據(jù)類型（不止是原始數(shù)據(jù)哦，還有新產(chǎn)生的大數(shù)據(jù)應(yīng)用中間及結(jié)果數(shù)據(jù)）明確大數(shù)據(jù)應(yīng)用業(yè)務(wù)需求（包括已有業(yè)務(wù)遷移和未來面對海量數(shù)據(jù)進行的以前無法做到的新型業(yè)務(wù)需求和模式）根

10、據(jù)需求確定數(shù)據(jù)存儲模式及結(jié)構(gòu)（與應(yīng)用相關(guān)）根據(jù)需求確定大數(shù)據(jù)應(yīng)用建設(shè)技術(shù)路線 批處理模式 實時訪問技術(shù) 流式計算 大規(guī)模并行計算統(tǒng)計分析 OLAP分析 數(shù)據(jù)挖掘 智能搜索。搭建系統(tǒng)運行及監(jiān)控平臺3.行業(yè)大數(shù)據(jù)人才需求數(shù)據(jù)科學(xué)家 數(shù)據(jù)分析師 數(shù)據(jù)挖掘工程師能力：1.具備分布式架構(gòu)HADOOP上的變成能力，熟悉R語言等等挖掘分析技術(shù)2.具備概率統(tǒng)計，數(shù)據(jù)挖掘等數(shù)學(xué)基礎(chǔ)3.行業(yè)數(shù)據(jù)科學(xué)展示能力4.行業(yè)決策制定5.跨界人才：能夠在IT技術(shù)，數(shù)據(jù)分析，商業(yè)決策之間架起橋梁的復(fù)合型人才1、不是井里沒有水，而是你挖的不夠深。不是成功來得慢，而是你努力的不夠多。2、孤單一人的時間使自己變得優(yōu)秀，給來的人一個驚

11、喜，也給自己一個好的交代。3、命運給你一個比別人低的起點是想告訴你，讓你用你的一生去奮斗出一個絕地反擊的故事，所以有什么理由不努力!4、心中沒有過分的貪求，自然苦就少?？诶锊徽f多余的話，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒有過分欲，自然憂就少。大悲是無淚的，同樣大悟無言。緣來盡量要惜，緣盡就放。人生本來就空，對人家笑笑，對自己笑笑，笑著看天下，看日出日落，花謝花開，豈不自在，哪里來的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽光自然就會蔓延開來。陽光那么好，何必自尋煩惱，過好每一個當(dāng)下，一萬個美麗的未來抵不過一個溫暖的現(xiàn)在。6、無論你正遭遇著什么，你都要從落魄中站起來重振旗鼓

12、，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過一樣。7、生命的美麗，永遠展現(xiàn)在她的進取之中;就像大樹的美麗，是展現(xiàn)在它負勢向上高聳入云的蓬勃生機中;像雄鷹的美麗，是展現(xiàn)在它搏風(fēng)擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強。人生無完美，曲折亦風(fēng)景。別把失去看得過重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風(fēng)景就在下一個拐彎處。10、有些事想開

13、了，你就會明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費盡周折繞過去，不如勇敢地攀登，或許這會鑄就你人生的高點。12、有些壓力總是得自己扛過去，說出來就成了充滿負能量的抱怨。尋求安慰也無濟于事，還徒增了別人的煩惱。13、認識到我們的所見所聞都是假象，認識到此生都是虛幻，我們才能真正認識到佛法的真相。錢多了會壓死你，你承受得了嗎?帶，帶不走，放，放不下。時時刻刻發(fā)悲心，饒益眾生為他人。14、夢想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動人的生命奇跡。15、懶惰不會讓你一下子跌

14、倒，但會在不知不覺中減少你的收獲;勤奮也不會讓你一夜成功，但會在不知不覺中積累你的成果。人生需要挑戰(zhàn)，更需要堅持和勤奮!16、人生在世：可以缺錢，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不能盜名;可以低落，但不能墮落;可以放松，但不能放縱;可以虛榮，但不能虛偽;可以平凡，但不能平庸;可以浪漫，但不能浪蕩;可以生氣，但不能生事。17、人生沒有筆直路，當(dāng)你感到迷茫、失落時，找?guī)撞窟@種充滿正能量的電影，坐下來靜靜欣賞，去發(fā)現(xiàn)生命中真正重要的東西。18、在人生的舞臺上，當(dāng)有人愿意在臺下陪你度過無數(shù)個沒有未來的夜時，你就更想展現(xiàn)精彩絕倫的自己。但愿每個被努力支撐的靈魂能吸引更

15、多的人同行。1、想要體面生活，又覺得打拼辛苦；想要健康身體，又無法堅持運動。人最失敗的，莫過于對自己不負責(zé)任，連答應(yīng)自己的事都辦不到，又何必抱怨這個世界都和你作對？人生的道理很簡單，你想要什么，就去付出足夠的努力。2、時間是最公平的，活一天就擁有24小時，差別只是珍惜。你若不相信努力和時光，時光一定第一個辜負你。有夢想就立刻行動，因為現(xiàn)在過的每一天，都是余生中最年輕的一天。3、無論正在經(jīng)歷什么，都請不要輕言放棄，因為從來沒有一種堅持會被辜負。誰的人生不是荊棘前行，生活從來不會一蹴而就，也不會永遠安穩(wěn)，只要努力，就能做獨一無二平凡可貴的自己。4、努力本就是年輕人應(yīng)有的狀態(tài)，是件充實且美好的事，可

16、一旦有了表演的成分，就會顯得廉價，努力，不該是為了朋友圈多獲得幾個贊，不該是每次長篇贅述后的自我感動，它是一件平凡而自然而然的事，最佳的努力不過是：但行好事，莫問前程。愿努力，成就更好的你！5、付出努力卻沒能實現(xiàn)的夢想，愛了很久卻沒能在一起的人，活得用力卻平淡寂寞的青春，遺憾是每一次小的挫折，它磨去最初柔軟的心智、讓我們懂得累積時間的力量；那些孤獨沉寂的時光，讓我們學(xué)會守候內(nèi)心的平和與堅定。那些脆弱的不完美，都會在努力和堅持下，改變模樣。6、人生中總會有一段艱難的路，需要自己獨自走完，沒人幫助，沒人陪伴，不必畏懼，昂頭走過去就是了，經(jīng)歷所有的挫折與磨難，你會發(fā)現(xiàn)，自己遠比想象中要強大得多。多走

17、彎路，才會找到捷徑，經(jīng)歷也是人生，修煉一顆強大的內(nèi)心，做更好的自己！7、“一定要成功”這種內(nèi)在的推動力是我們生命中最神奇最有趣的東西。一個人要做成大事，絕不能缺少這種力量，因為這種力量能夠驅(qū)動人不停地提高自己的能力。一個人只有先在心里肯定自己，相信自己，才能成就自己！8、人生的旅途中，最清晰的腳印，往往印在最泥濘的路上，所以，別畏懼暫時的困頓，即使無人鼓掌，也要全情投入，優(yōu)雅堅持。真正改變命運的，并不是等來的機遇，而是我們的態(tài)度。9、這世上沒有所謂的天才，也沒有不勞而獲的回報，你所看到的每個光鮮人物，其背后都付出了令人震驚的努力。請相信，你的潛力還遠遠沒有爆發(fā)出來，不要給自己的人生設(shè)限，你自以

18、為的極限，只是別人的起點。寫給渴望突破瓶頸、實現(xiàn)快速跨越的你。10、生活中，有人給予幫助，那是幸運，沒人給予幫助，那是命運。我們要學(xué)會在幸運青睞自己的時候?qū)W會感恩，在命運磨練自己的時候?qū)W會堅韌。這既是對自己的尊重，也是對自己的負責(zé)。11、失敗不可怕，可怕的是從來沒有努力過，還怡然自得地安慰自己，連一點點的懊悔都被麻木所掩蓋下去。不能怕，沒什么比自己背叛自己更可怕。12、跌倒了，一定要爬起來。不爬起來，別人會看不起你，你自己也會失去機會。在人前微笑，在人后落淚，可這是每個人都要學(xué)會的成長。13、要相信，這個世界上永遠能夠依靠的只有你自己。所以，管別人怎么看，堅持自己的堅持，直到堅持不下去為止。14、也許你想要的未來在別人眼里不值一提，也許你已經(jīng)很努力了可還是有人不滿意，也許你的理想離你的距離從來沒有拉近過.但請你繼續(xù)向前走，因為別人看不到你的努力，你卻始終看得見自己。15、所有的輝煌和偉大，一定伴隨著挫折和跌倒；所有的風(fēng)光背后，一定都是一串串揉和著淚水和汗水的腳印。16、成功的反義詞不是失敗，而是從未行動。有一天你總會明白，遺憾比失敗更讓你