大數(shù)據(jù)基礎(chǔ)知識(shí)培訓(xùn)(21p)課件

1、大數(shù)據(jù)基礎(chǔ)知識(shí)電信云大數(shù)據(jù)產(chǎn)品線(xiàn)第1頁(yè)，共22頁(yè)。目錄大數(shù)據(jù)定義大數(shù)據(jù)價(jià)值大數(shù)據(jù)產(chǎn)業(yè)鏈第2頁(yè)，共22頁(yè)。1. 大數(shù)據(jù)定義共識(shí)， 全球數(shù)據(jù)量每年 +50% 的速度指數(shù)遞增 工業(yè)、生產(chǎn)數(shù)據(jù)遠(yuǎn)大于我們 現(xiàn)在關(guān)注的消費(fèi)數(shù)據(jù) 大量即時(shí)數(shù)據(jù)在價(jià)值未流失之前等待處理大數(shù)據(jù)營(yíng)銷(xiāo)， 根據(jù)企業(yè)數(shù)據(jù)需要組織挖掘分析，并基于IT系統(tǒng)實(shí)時(shí)把分析提供給需要決策幫助的內(nèi)部企業(yè)成員。 互聯(lián)網(wǎng)統(tǒng)計(jì) 大數(shù)據(jù)是一個(gè)服務(wù)行業(yè)。 大數(shù)據(jù)是傳統(tǒng)統(tǒng)計(jì)與互聯(lián)網(wǎng)相結(jié)合的行業(yè)。第3頁(yè)，共22頁(yè)。1. 大數(shù)據(jù)定義大數(shù)據(jù)定義： 所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的

2、資訊。主要的特點(diǎn):Volume 數(shù)據(jù)體量Velocity 數(shù)據(jù)速度Variety 數(shù)據(jù)多樣Veracity 數(shù)據(jù)真實(shí)第4頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值在闡述大數(shù)據(jù)價(jià)值時(shí)，先一起先學(xué)習(xí)下數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識(shí) 智慧數(shù)據(jù)是約定俗成的數(shù)值量化，對(duì)客觀(guān)事物的數(shù)量、熟悉、位置及其相互關(guān)系進(jìn)行抽象表示， 以適合在這個(gè)領(lǐng)域中用人工或自然的方式進(jìn)行保存、傳遞和處理。第5頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識(shí) 智慧信息是在時(shí)效內(nèi)的一定含義的， 經(jīng)過(guò)加工處理對(duì)決策有價(jià)值的數(shù)據(jù)流。第6頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識(shí) 智慧通過(guò)人們的參與對(duì)信息進(jìn)行歸納、演繹、 比較等手段

3、進(jìn)行挖掘， 使其有價(jià)值的部分沉淀下來(lái)， 并于已存在的人類(lèi)知識(shí)體系相結(jié)合， 這部分有價(jià)值的信息就轉(zhuǎn)變成知識(shí)。第7頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識(shí) 智慧智慧是人類(lèi)基于已有的知識(shí)， 針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問(wèn)題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來(lái)創(chuàng)造價(jià)值。第8頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值 數(shù)據(jù) 信息 知識(shí) 智慧智慧是人類(lèi)基于已有的知識(shí)， 針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問(wèn)題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能

4、力來(lái)創(chuàng)造價(jià)值。第9頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值在此大數(shù)據(jù)作為服務(wù)工具，是數(shù)據(jù)分析能力的表現(xiàn)對(duì)大數(shù)據(jù)分析，主要分為五個(gè)方面（提供大數(shù)據(jù)解決方案時(shí)的價(jià)值輸出載體）：可視化分析（Analytic Visualization）數(shù)據(jù)挖掘算法（Date Mining Algorithms）預(yù)測(cè)性分析能力（Predictive Analytic Capabilities）語(yǔ)義引擎（Semantic Engines）數(shù)據(jù)質(zhì)量管理（Data Quality Management）第10頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值可視化分析（Analytic Visualization）第11頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值數(shù)

5、據(jù)挖掘算法（Date Mining Algorithms）數(shù)據(jù)挖掘算法是大數(shù)據(jù)分析的理論核心，其本質(zhì)是一組根據(jù)算法事先定義好的數(shù)學(xué)公式，將收集到的數(shù)據(jù)作為參數(shù)變量帶入其中，從而能夠從大量復(fù)雜的數(shù)據(jù)中提取到有價(jià)值的信息。著名的“啤酒和尿布”的故事就是數(shù)據(jù)挖掘算法的經(jīng)典案例。沃爾瑪通過(guò)對(duì)啤酒和尿布購(gòu)買(mǎi)數(shù)據(jù)的分析，挖掘出以前未知的兩者間的聯(lián)系，并利用這種聯(lián)系，提升了商品的銷(xiāo)量。亞馬遜的推薦引擎和谷歌的廣告系統(tǒng)都大量使用了數(shù)據(jù)挖掘算法。第12頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值語(yǔ)義引擎（Semantic Engines）語(yǔ)義引擎是機(jī)器學(xué)習(xí)的成果之一。過(guò)去，計(jì)算機(jī)對(duì)用戶(hù)輸入內(nèi)容的理解僅僅停留在字符階段，不能很

6、好的理解輸入內(nèi)容的意思，因此常常不能準(zhǔn)確的了解用戶(hù)的需求。通過(guò)對(duì)大量復(fù)雜的數(shù)據(jù)進(jìn)行分析，讓計(jì)算機(jī)從中自我學(xué)習(xí)，可以使計(jì)算機(jī)能夠盡量精確的了解用戶(hù)輸入內(nèi)容的意思，從而把握住用戶(hù)的需求，提供更好的用戶(hù)體驗(yàn)。蘋(píng)果的Siri和谷歌的Google Now都采用了語(yǔ)義引擎。第13頁(yè)，共22頁(yè)。2. 大數(shù)據(jù)價(jià)值大數(shù)據(jù)解決方案在企業(yè)知識(shí)管理項(xiàng)目上的價(jià)值點(diǎn)：1. 提供專(zhuān)業(yè)團(tuán)隊(duì)（數(shù)據(jù)建模、挖掘技術(shù)）與客戶(hù)（行業(yè)專(zhuān)家）進(jìn)行企業(yè)數(shù)據(jù)價(jià)值勘探。2. 提供統(tǒng)一可擴(kuò)展的元數(shù)據(jù)規(guī)則庫(kù)構(gòu)建方案。避免組織內(nèi)產(chǎn)生不同信息和知識(shí)體系，保證數(shù)據(jù)的信息流通、知識(shí)管理、智慧創(chuàng)新。3. 在公共大數(shù)據(jù)挖掘平臺(tái)。 定制數(shù)據(jù)匯集，并依托平臺(tái)集約化

7、的全面高效支持的時(shí)效、海量、彈性、關(guān)聯(lián)等核心能力下快速構(gòu)建解決和集成實(shí)施方案。4. 提供私有大數(shù)據(jù)挖掘平臺(tái)解決、集成方案，并建設(shè)性開(kāi)放安全數(shù)據(jù)接口避免“數(shù)據(jù)孤島”。第14頁(yè)，共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈，關(guān)鍵點(diǎn)，1. 基礎(chǔ)設(shè)施提供商2. 基礎(chǔ)系統(tǒng)提供商3. 大數(shù)據(jù)解決方案提供商4. 平臺(tái)服務(wù)提供商 第15頁(yè)，共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈1. 基礎(chǔ)設(shè)施提供商a. 采集卡 / 視頻采集卡、監(jiān)控采集卡、空氣質(zhì)量采集器b. 網(wǎng)絡(luò)帶寬 / 電信 c. 存儲(chǔ)介質(zhì) / d. 計(jì)算設(shè)備 /e. 數(shù)據(jù)提供商 2. 基礎(chǔ)系統(tǒng)提供商- 目前最熱門(mén)的開(kāi)源生態(tài)系統(tǒng)：hadoop 分布式計(jì)算框架 - Yarn

8、: MR / Spark / Storm 分布式文件系統(tǒng) - Hdfs 分布式結(jié)構(gòu)化存儲(chǔ) - Hbase / Cassandra第16頁(yè)，共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈3. 大數(shù)據(jù)解決方案提供商 a. 行業(yè)、政府解決方案 發(fā)現(xiàn)周期規(guī)律、促進(jìn)數(shù)據(jù)關(guān)聯(lián)、 b. 企業(yè)大數(shù)據(jù)解決方案 加強(qiáng)數(shù)據(jù)一致，信息流通，知識(shí)積累 b. 企業(yè)面向主題解決方案 面向 市場(chǎng)營(yíng)銷(xiāo)、推廣回報(bào)比 、渠道質(zhì)量、投資風(fēng)險(xiǎn) 、產(chǎn)品定價(jià) 等主題 c. 企業(yè)面向運(yùn)營(yíng)解決方案 發(fā)現(xiàn)異常、跟蹤質(zhì)量、客戶(hù)管理、預(yù)警風(fēng)險(xiǎn) 解決方案 第17頁(yè)，共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺(tái)服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線(xiàn) 我們致力于云計(jì)算.大數(shù)據(jù)生態(tài)

9、環(huán)境的建設(shè)，全面提供集約化面向企業(yè)提供大數(shù)據(jù)平臺(tái)和技術(shù)服務(wù)支持，在核心技術(shù)上我們已經(jīng)完成， a. 大規(guī)模數(shù)據(jù)分析 支持Map、Reduce、Join、Union 等多種數(shù)據(jù)節(jié)點(diǎn)處理模式，支持直接使用SQL 語(yǔ)句對(duì)海量數(shù)據(jù)進(jìn)行離線(xiàn)分析 提供與ANSI SQL 高度兼容的語(yǔ)法支持，支持用戶(hù)復(fù)雜的數(shù)據(jù)分析需求。第18頁(yè)，共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺(tái)服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線(xiàn) b. 分布式文件系統(tǒng) 分布式文件系統(tǒng)擁有高可擴(kuò)展性，支持上億個(gè)文件和PB以上量級(jí)的文件存儲(chǔ) 實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的快速讀寫(xiě)功能，實(shí)現(xiàn)了文件并行操作的高效機(jī)制 支持大規(guī)模并發(fā)讀寫(xiě)，充分利用分布式并行帶寬 第19頁(yè)，

10、共22頁(yè)。3. 大數(shù)據(jù)產(chǎn)業(yè)鏈4. 平臺(tái)服務(wù)提供商 / 電信云.大數(shù)據(jù)產(chǎn)品線(xiàn) c. 任務(wù)調(diào)度 采用數(shù)據(jù)驅(qū)動(dòng)的多級(jí)流水線(xiàn)并行計(jì)算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Spark等多種編程模式 高可擴(kuò)展性，支持十萬(wàn)以上級(jí)的并行任務(wù)調(diào)度 自動(dòng)檢測(cè)故障和系統(tǒng)熱點(diǎn)，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運(yùn)行完成 第20頁(yè)，共22頁(yè)。大數(shù)據(jù)基礎(chǔ)知識(shí)Q&A第21頁(yè)，共22頁(yè)。1、不是井里沒(méi)有水，而是你挖的不夠深。不是成功來(lái)得慢，而是你努力的不夠多。2、孤單一人的時(shí)間使自己變得優(yōu)秀，給來(lái)的人一個(gè)驚喜，也給自己一個(gè)好的交代。3、命運(yùn)給你一個(gè)比別人低的起點(diǎn)是想告訴你，讓你用你的一生去奮

11、斗出一個(gè)絕地反擊的故事，所以有什么理由不努力!4、心中沒(méi)有過(guò)分的貪求，自然苦就少?？诶锊徽f(shuō)多余的話(huà)，自然禍就少。腹內(nèi)的食物能減少，自然病就少。思緒中沒(méi)有過(guò)分欲，自然憂(yōu)就少。大悲是無(wú)淚的，同樣大悟無(wú)言。緣來(lái)盡量要惜，緣盡就放。人生本來(lái)就空，對(duì)人家笑笑，對(duì)自己笑笑，笑著看天下，看日出日落，花謝花開(kāi)，豈不自在，哪里來(lái)的塵埃!5、心情就像衣服，臟了就拿去洗洗，曬曬，陽(yáng)光自然就會(huì)蔓延開(kāi)來(lái)。陽(yáng)光那么好，何必自尋煩惱，過(guò)好每一個(gè)當(dāng)下，一萬(wàn)個(gè)美麗的未來(lái)抵不過(guò)一個(gè)溫暖的現(xiàn)在。6、無(wú)論你正遭遇著什么，你都要從落魄中站起來(lái)重振旗鼓，要繼續(xù)保持熱忱，要繼續(xù)保持微笑，就像從未受傷過(guò)一樣。7、生命的美麗，永遠(yuǎn)展現(xiàn)在她的進(jìn)

12、取之中;就像大樹(shù)的美麗，是展現(xiàn)在它負(fù)勢(shì)向上高聳入云的蓬勃生機(jī)中;像雄鷹的美麗，是展現(xiàn)在它搏風(fēng)擊雨如蒼天之魂的翱翔中;像江河的美麗，是展現(xiàn)在它波濤洶涌一瀉千里的奔流中。8、有些事，不可避免地發(fā)生，陰晴圓缺皆有規(guī)律，我們只能坦然地接受;有些事，只要你愿意努力，矢志不渝地付出，就能慢慢改變它的軌跡。9、與其埋怨世界，不如改變自己。管好自己的心，做好自己的事，比什么都強(qiáng)。人生無(wú)完美，曲折亦風(fēng)景。別把失去看得過(guò)重，放棄是另一種擁有;不要經(jīng)常艷羨他人，人做到了，心悟到了，相信屬于你的風(fēng)景就在下一個(gè)拐彎處。10、有些事想開(kāi)了，你就會(huì)明白，在世上，你就是你，你痛痛你自己，你累累你自己，就算有人同情你，那又怎樣

13、，最后收拾殘局的還是要靠你自己。11、人生的某些障礙，你是逃不掉的。與其費(fèi)盡周折繞過(guò)去，不如勇敢地攀登，或許這會(huì)鑄就你人生的高點(diǎn)。12、有些壓力總是得自己扛過(guò)去，說(shuō)出來(lái)就成了充滿(mǎn)負(fù)能量的抱怨。尋求安慰也無(wú)濟(jì)于事，還徒增了別人的煩惱。13、認(rèn)識(shí)到我們的所見(jiàn)所聞都是假象，認(rèn)識(shí)到此生都是虛幻，我們才能真正認(rèn)識(shí)到佛法的真相。錢(qián)多了會(huì)壓死你，你承受得了嗎?帶，帶不走，放，放不下。時(shí)時(shí)刻刻發(fā)悲心，饒益眾生為他人。14、夢(mèng)想總是跑在我的前面。努力追尋它們，為了那一瞬間的同步，這就是動(dòng)人的生命奇跡。15、懶惰不會(huì)讓你一下子跌倒，但會(huì)在不知不覺(jué)中減少你的收獲;勤奮也不會(huì)讓你一夜成功，但會(huì)在不知不覺(jué)中積累你的成果。人生需要挑戰(zhàn)，更需要堅(jiān)持和勤奮!16、人生在世：可以缺錢(qián)，但不能缺德;可以失言，但不能失信;可以倒下，但不能跪下;可以求名，但不