大數(shù)據(jù)及云計(jì)算應(yīng)用介紹

大數(shù)據(jù)及云計(jì)算應(yīng)用介紹PPT2019一、云計(jì)算構(gòu)建新型信息基礎(chǔ)設(shè)施二、大數(shù)據(jù)將變革既有的數(shù)據(jù)觀提綱五、云計(jì)算大數(shù)據(jù)相關(guān)案例一、云計(jì)算構(gòu)建新型信息基礎(chǔ)設(shè)施什么是云計(jì)算：云的業(yè)務(wù)模式Gartner高級分析師BenPring評價(jià)道：“它正在成為一個(gè)大眾化的詞語。”但是，問題是似乎每個(gè)人對于云計(jì)算的理解各不相同。作為一個(gè)對互聯(lián)網(wǎng)的比喻，“云”是很容易理解的。但是一旦同“計(jì)算”聯(lián)系起來，它的意義就擴(kuò)展了，而且開始變得模糊起來。有些分析師和公司把云計(jì)算僅僅定義為計(jì)算的升級版——基本上就是互聯(lián)網(wǎng)上提供的眾多虛擬服務(wù)器。另外一些人把云計(jì)算定義的更加寬泛，他們認(rèn)為用戶在防火墻保護(hù)之外消費(fèi)的任何事物都處于“云”之中。人云亦云眾說紛紜提交請求硬件軟件服務(wù)存儲網(wǎng)絡(luò)云用戶按需付費(fèi)服務(wù)什么是云計(jì)算:業(yè)務(wù)模式同時(shí)滿足以上三個(gè)條件的是云計(jì)算1服務(wù)可租用：用戶所需資源不在客戶一端而在網(wǎng)絡(luò)2服務(wù)可計(jì)量：服務(wù)能力具有分鐘級或秒級的計(jì)量能力3高性價(jià)比：具有較之傳統(tǒng)模式5倍以上的性價(jià)比優(yōu)勢云計(jì)算云計(jì)算的定義與特征（12345）通過網(wǎng)絡(luò)接入彈性可擴(kuò)展的物理或虛擬資源池，并可以以按需、自服務(wù)的方式對資源進(jìn)行部署和管理的服務(wù)模式1個(gè)定義1：提供者以租代售，由賣產(chǎn)品變?yōu)橘u服務(wù)，提高資源利用率并降低服務(wù)成本2：使用者以租代買，提高投資回報(bào)率2個(gè)角色3種模式1：SAAS(軟件即服務(wù))2：PAAS（平臺即服務(wù)）3：IAAS（基礎(chǔ)設(shè)施即服務(wù)）1：私有云2：社區(qū)云3：公有云4：混合云4種部署1：寬帶網(wǎng)絡(luò)接入2：按需服務(wù)3：資源共享4：快速彈性擴(kuò)展5：服務(wù)可度量5個(gè)特點(diǎn)什么是云計(jì)算：技術(shù)特性虛擬化技術(shù)硬件虛擬化系統(tǒng)虛擬化應(yīng)用虛擬化并行運(yùn)算技術(shù)映射（Map)歸約（Reduce)云計(jì)算的4大支撐技術(shù)四大技術(shù)是拆分分布技術(shù)是合成一機(jī)變多機(jī)一算變多算一存變多存海量數(shù)據(jù)管理技術(shù)列族存貯主服務(wù)器子表服務(wù)器海量數(shù)據(jù)存貯技術(shù)元數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)一庫變多庫IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率1212IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率IAAS云：虛擬機(jī)統(tǒng)一調(diào)度和管理提高資源效率214343云的四大效能：對客戶的價(jià)值整體高效、資源共效按需分配、均衡統(tǒng)籌互聯(lián)互通數(shù)據(jù)統(tǒng)一云最大的優(yōu)勢有效解決資源、信息孤島問題共享硬件資源：計(jì)算、存儲、網(wǎng)絡(luò)統(tǒng)一管理業(yè)務(wù)、應(yīng)用、數(shù)據(jù)統(tǒng)一安全服務(wù)統(tǒng)一管理服務(wù)標(biāo)準(zhǔn)、規(guī)范、法規(guī)體系專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)專網(wǎng)信息基礎(chǔ)網(wǎng)絡(luò)設(shè)施全球廣泛建立云數(shù)據(jù)中心世界領(lǐng)先IT公司服務(wù)器持有量名稱服務(wù)器數(shù)量備注谷歌（Google）100萬臺2010年底依能耗推算數(shù)據(jù)為90萬臺，總數(shù)約占全球的2%，Google2005年建成的一個(gè)單體數(shù)據(jù)中心的服務(wù)器數(shù)量就高達(dá)4.5萬臺。估算當(dāng)前全球的服務(wù)器數(shù)量(30多個(gè)數(shù)據(jù)中心)數(shù)量應(yīng)在100萬臺。亞馬遜45.4萬臺據(jù)中國軟件網(wǎng)推測，這些服務(wù)器分布于全球7100個(gè)機(jī)架上，過去6個(gè)月每月新增110個(gè)機(jī)架惠普（HP/EDS）38萬臺HP收購的EDS運(yùn)營著180個(gè)數(shù)據(jù)中心微軟30萬臺2008年，微軟那時(shí)有21.8萬臺服務(wù)器。微軟在芝加哥的新服務(wù)器農(nóng)場能容下30萬臺服務(wù)器百度25臺據(jù)華為稱，百度服務(wù)器數(shù)量每年以10萬臺以上的速度增長，百度數(shù)據(jù)中心采用了華為S9300設(shè)備。從市場份額和業(yè)務(wù)量推算從2009年以來，百度服務(wù)器應(yīng)在40萬臺。騰訊20萬臺主要分布在深圳、上海、北京、天津、成都。其中騰訊天津數(shù)據(jù)中心，2009年初開建，投資5億美元，服務(wù)器托管能力超過10萬臺。2011年開工建設(shè)的騰訊深汕云計(jì)算數(shù)據(jù)中心，總用地面積20萬平方米，服務(wù)器20萬臺，總投資額20億元人民幣。Facebook6萬臺全球擁有8億用戶，在俄勒岡州普賴因維爾(Prineville)建造的新數(shù)據(jù)中心投資達(dá)2.1億美元，數(shù)據(jù)中心第一期工程已于2011年建設(shè)完成，建設(shè)面積為30萬平方英尺云計(jì)算產(chǎn)業(yè)市場前景據(jù)IDC估計(jì)和推算，從2009年底到2015年底，云計(jì)算能為全球帶來12,103億美元的新業(yè)務(wù)收入，為中國帶來超過20,483億人民幣（3,012億美元）的新凈業(yè)務(wù)收入服務(wù)的創(chuàng)新孵化作用預(yù)測，以廣東省為例，至2015年累計(jì)可研制孵化3000多個(gè)互聯(lián)網(wǎng)服務(wù)，只要其中千分之三的服務(wù)能夠達(dá)到騰訊的規(guī)模，就能產(chǎn)生千億元產(chǎn)值孵化數(shù)20112012201320142015當(dāng)年1002004008001600累計(jì)10030070015003100截止到2012年8月，國內(nèi)眾多省市、行業(yè)都規(guī)劃、啟動(dòng)、應(yīng)用了云計(jì)算服務(wù)。北京“祥云”計(jì)劃上?！霸坪！庇?jì)劃深圳“鯤云”計(jì)劃重慶“云端”計(jì)劃寧波“星云”計(jì)劃、無錫“云谷”計(jì)劃蘇州“彩云”計(jì)劃哈爾濱“云飛揚(yáng)”計(jì)劃惠州“惠云”計(jì)劃廣州“天云”計(jì)劃內(nèi)蒙古“藍(lán)天白云”計(jì)劃……云計(jì)算在中國中國的云要自己建

去IOE和八大金剛，及去開源IOE:IBMORACLEEMC2八大金剛：思科、IBM、谷歌、高通、英特爾、蘋果、甲骨文、微軟——美國的“八大金剛”在中國長驅(qū)直入，占據(jù)政府、海關(guān)、郵政、金融、鐵路、民航、醫(yī)療、軍警等關(guān)鍵領(lǐng)域，它們與美國政府、軍隊(duì)保持著緊密的聯(lián)系，美國情報(bào)部門通過它們的設(shè)備、軟件、網(wǎng)絡(luò)獲取信息，也幾乎零門檻。開源云社區(qū)：Opensource\Openstack非常活躍，應(yīng)用也較為廣泛；檢查每一行代碼，每一類庫是不可能的任務(wù)；開源社區(qū)的掌握實(shí)際還是歐美產(chǎn)業(yè)界，并不完全是理想的騎士們；產(chǎn)品過度用開源，服務(wù)得不到保障，另也會(huì)被開源綁架；一些半開源真品也同樣混淆我們的視聽。美國的9家互聯(lián)網(wǎng)公司在棱鏡項(xiàng)目中暴露云平臺的規(guī)劃：總體技術(shù)架構(gòu)

云平臺的建設(shè)依托于云計(jì)算技術(shù)，是新型的計(jì)算資源利用模式。它將計(jì)算任務(wù)分布在由數(shù)臺服務(wù)器構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取計(jì)算能力、存儲空間和信息服務(wù)。設(shè)計(jì)理念：安全是前提應(yīng)用是核心管控是關(guān)鍵利舊，擴(kuò)展性云操作系統(tǒng)：整個(gè)云平臺的管理者氣象應(yīng)用位置應(yīng)用GIS應(yīng)用桌面云應(yīng)用…桌面云APP資源管理子系統(tǒng)云中間件層應(yīng)用層資源驅(qū)動(dòng)層Xen驅(qū)動(dòng)KVM驅(qū)動(dòng)VMware驅(qū)動(dòng)虛擬化驅(qū)動(dòng)集合LocalDisk驅(qū)動(dòng)NAS驅(qū)動(dòng)IP-SAN驅(qū)動(dòng)存儲驅(qū)動(dòng)集合FC-SAN驅(qū)動(dòng)分布式存儲驅(qū)動(dòng)Switch驅(qū)動(dòng)Firewall驅(qū)動(dòng)LB驅(qū)動(dòng)網(wǎng)絡(luò)與外設(shè)驅(qū)動(dòng)集合VPN驅(qū)動(dòng)監(jiān)控驅(qū)動(dòng)通訊適配層消息隊(duì)列消息格式轉(zhuǎn)換傳輸協(xié)議支持網(wǎng)絡(luò)通訊插件生命周期管理消息路由插件服務(wù)定義插件管理JavaC/C++Python...異構(gòu)語言適配其他設(shè)備OS硬件安全體系管理體系計(jì)算資源管理存儲資源管理網(wǎng)絡(luò)資源管理任務(wù)管理子系統(tǒng)任務(wù)過程管理任務(wù)計(jì)劃管理監(jiān)控管理子系統(tǒng)基本監(jiān)控信息管理定制監(jiān)控信息管理…策略管理子系統(tǒng)調(diào)度策略管理容錯(cuò)策略管理節(jié)能策略管理動(dòng)態(tài)遷移策略管理用戶管理子系統(tǒng)用戶管理授權(quán)管理分組管理OS管理集合單機(jī)OS管理存儲OS管理交換機(jī)OS管理防火墻OS管理硬件管理集合服務(wù)器兼容管理存儲設(shè)備兼容管理網(wǎng)絡(luò)設(shè)備兼容管理…負(fù)載均衡OS管理應(yīng)用安全集合應(yīng)用訪問控制應(yīng)用信息隱藏Web攻擊防護(hù)URL信息防護(hù)網(wǎng)絡(luò)安全集合網(wǎng)絡(luò)流量控制網(wǎng)絡(luò)流量分析網(wǎng)絡(luò)訪問控制虛擬私有云（VPC）OS層服務(wù)器單機(jī)OS插件管理子系統(tǒng)故障管理子系統(tǒng)接口層自助服務(wù)：管理員入口普通用戶入口API維護(hù)人員入口系統(tǒng)漏洞防護(hù)弱口令防破解用戶安全認(rèn)證行為審計(jì)系統(tǒng)系統(tǒng)安全集合自助申請與交付組織管理與業(yè)務(wù)流程審批資源編排云操作系統(tǒng)：資源的全局監(jiān)控對云平臺的配置、優(yōu)化、管理的策略和經(jīng)驗(yàn)的積累電子政務(wù)云實(shí)施：傳統(tǒng)電子政務(wù)建設(shè)面臨的問題

近年來，我國的電子政務(wù)建設(shè)迅猛發(fā)展，全國絕大部分地區(qū)都已經(jīng)建設(shè)了以電子政務(wù)基礎(chǔ)網(wǎng)絡(luò)平臺、政府門戶網(wǎng)站和辦公自動(dòng)化系統(tǒng)等為代表的一系列電子政務(wù)項(xiàng)目，國家電子政務(wù)總體框架已見雛形。但是，隨著電子政務(wù)建設(shè)的不斷推進(jìn)，許多矛盾和困難也隨之不斷涌現(xiàn)出來。

隨著政府信息化的逐步深入，電子政務(wù)云平臺的發(fā)展推動(dòng)了政務(wù)信息的互聯(lián)互通、信息共享、業(yè)務(wù)協(xié)同，強(qiáng)化了信息資源的整合，規(guī)范了采集和發(fā)布，加強(qiáng)了社會(huì)綜合開發(fā)利用。建設(shè)電子政務(wù)公共平臺是電子政務(wù)發(fā)展到深化應(yīng)用、突出實(shí)效階段的重要舉措。電子政務(wù)云的定義及目標(biāo)電子政務(wù)云的定義

“電子政務(wù)云”（E-governmentcloud）是運(yùn)用云計(jì)算技術(shù)，統(tǒng)籌利用機(jī)房資源、計(jì)算資源、存儲資源、網(wǎng)絡(luò)資源、信息資源、應(yīng)用支撐等資源和條件，發(fā)揮云計(jì)算虛擬化、高可靠性、通用性、高可擴(kuò)展性以及快速、按需、彈性的服務(wù)等特征，為區(qū)域政府單位用戶提供基礎(chǔ)設(shè)施、支撐軟件、應(yīng)用功能、信息資源、運(yùn)行保障和信息安全等多方面不同類型不同級別服務(wù)的電子政務(wù)綜合性服務(wù)平臺。電子政務(wù)云的目標(biāo)

電子政務(wù)云緊緊圍繞各級政務(wù)部門深化電子政務(wù)應(yīng)用、提高履行職責(zé)能力的迫切需要，為各部門實(shí)現(xiàn)政務(wù)、業(yè)務(wù)目標(biāo)提供公共的技術(shù)環(huán)境和服務(wù)支撐。滿足業(yè)務(wù)不斷發(fā)展和改革的需要。滿足跨地區(qū)、跨部門、跨層級信息共享，以及行業(yè)系統(tǒng)與地方應(yīng)用條塊結(jié)合的需要。滿足大量數(shù)據(jù)訪問、存儲和智能化處理的需要。滿足安全可靠運(yùn)行的需要。電子政務(wù)云的價(jià)值推動(dòng)電子政務(wù)向科學(xué)發(fā)展方式轉(zhuǎn)變提高基礎(chǔ)設(shè)施資源利用率促進(jìn)互聯(lián)互通和信息共享提升電子政務(wù)信息安全保障能力四大價(jià)值

云計(jì)算具有超強(qiáng)的計(jì)算能力和低成本、高安全性等特性，將其應(yīng)用于電子政務(wù)領(lǐng)域具有十分重要的價(jià)值和意義。電子政務(wù)云的應(yīng)用價(jià)值主要包括以下幾方面：電子政務(wù)云的總體部署架構(gòu)4朵云-省級電子政務(wù)云-民生服務(wù)云-業(yè)務(wù)專有云-市級電子政務(wù)云N+1+N容災(zāi)模式-N個(gè)市級政務(wù)云采用省級政務(wù)云平臺作為異地備份中心-省級政務(wù)云選擇1個(gè)市級政務(wù)云建設(shè)異地災(zāi)備中心-N個(gè)市級政務(wù)云的同城備份中心省-市兩級互補(bǔ)-省-地市：模板下發(fā)、資源調(diào)度、備份、數(shù)據(jù)共享交換；-政務(wù)云-業(yè)務(wù)專有云：數(shù)據(jù)共享交換-政務(wù)云-民生服務(wù)云：數(shù)據(jù)共享交換電子政務(wù)云的總體邏輯架構(gòu)5層兩翼、3體系1門戶電子政務(wù)云的主要建設(shè)內(nèi)容建設(shè)內(nèi)容建設(shè)內(nèi)容五部分建設(shè)內(nèi)容:典型案例東莞市電子政務(wù)云平臺典型案例

東莞市電子政務(wù)云平臺的建設(shè)，在國內(nèi)首個(gè)采用自主安全可控的G-Cloud云操作系統(tǒng)，整合全市電子政務(wù)信息資源，創(chuàng)新服務(wù)交付模式，走集約、低碳、節(jié)能、高效建設(shè)之路，并取得了顯著的成效。目前，東莞市電子政務(wù)云平臺有效整合了132臺物理服務(wù)器、145TB存儲、100個(gè)虛擬網(wǎng)絡(luò)資源的統(tǒng)一監(jiān)控管理，承載近500個(gè)電子政務(wù)業(yè)務(wù)應(yīng)用，為東莞市32個(gè)鎮(zhèn)/區(qū)和近80個(gè)市屬單位的用戶提供統(tǒng)一的IT資源服務(wù)。通過該平臺的建設(shè)，一方面提高了基礎(chǔ)設(shè)施資源的利用率，每年節(jié)省電費(fèi)約80%，另一方面優(yōu)化了資源審批流程，將新上線業(yè)務(wù)應(yīng)用的部署周期從2天以上縮短至2個(gè)小時(shí)。東莞電子政務(wù)云總體網(wǎng)絡(luò)部署架構(gòu)一期網(wǎng)絡(luò)部署架構(gòu)

電子政務(wù)辦有兩個(gè)機(jī)房，分別為位于市政府的中心機(jī)房和位于大朗的災(zāi)備機(jī)房。四框刀片服務(wù)器中災(zāi)備機(jī)房部署一框刀片服務(wù)器作為備份節(jié)點(diǎn)，另三框刀片服務(wù)器和2個(gè)存儲設(shè)備都部署到中心機(jī)房。二期網(wǎng)絡(luò)部署架構(gòu)

二期G-cloud網(wǎng)絡(luò)主要包括DMZ區(qū)、服務(wù)器區(qū)、電子政務(wù)網(wǎng)、存儲網(wǎng)等四個(gè)部分。其中關(guān)鍵設(shè)備，如核心交換機(jī)、匯聚交換機(jī)等均采用冗余設(shè)計(jì)，用以保證網(wǎng)絡(luò)連接持續(xù)性和穩(wěn)定性。東莞電子政務(wù)云規(guī)模東莞市電子政務(wù)云規(guī)模東莞電子政務(wù)云應(yīng)用部署情況東莞電子政務(wù)云應(yīng)用部署情況

東莞市電子政務(wù)云平臺承載近500個(gè)電子政務(wù)業(yè)務(wù)應(yīng)用。政務(wù)為東莞市32個(gè)鎮(zhèn)/區(qū)和近80個(gè)市屬單位的用戶提供統(tǒng)一的IT資源服務(wù)。編號應(yīng)用分類VM數(shù)量1OA212門戶923數(shù)據(jù)庫754應(yīng)用系統(tǒng)2395郵件56運(yùn)維系統(tǒng)39電子政務(wù)云平臺案例序號客戶名稱投資/規(guī)?？蛻魞r(jià)值1東莞電子政務(wù)云一期投入1600萬，管理600臺服務(wù)器資金投入降低30%，能耗降低50%，資源利用率提高50%，利舊率80%2廣州海珠區(qū)投入200萬，管理100臺服務(wù)器降低管理成本50%，系統(tǒng)故障時(shí)間降低35%，利舊率90%3成都市政府采用BT模式建設(shè)，管理1000臺服務(wù)器管理人員減少40%，服務(wù)器當(dāng)機(jī)時(shí)間減少30%4北京市信息中心管理150臺服務(wù)器平臺網(wǎng)絡(luò)有效隔離，可評估安全風(fēng)險(xiǎn)減少50%5國家發(fā)改委一期投入500元，管理50臺服務(wù)器降低維護(hù)的復(fù)雜性，提高正常運(yùn)行時(shí)間30%6哈爾濱動(dòng)漫產(chǎn)業(yè)基地一期投入2000萬元，管理2000臺服務(wù)器3D應(yīng)用移植成功率100%，有效支持動(dòng)漫基礎(chǔ)設(shè)施云化7海南生態(tài)軟件園一期投入1800萬元，管理服務(wù)器150臺提供完全的虛擬化解決方案，支持園區(qū)企業(yè)500家用戶：東莞市中小學(xué)、學(xué)生、家長；產(chǎn)品&服務(wù)：G-Cloud云操作系統(tǒng)、教育云在線平臺、國云中間件服務(wù)東莞200萬學(xué)生，10萬教師可靠和安全的數(shù)據(jù)存儲中心，降低成本3.4億元按需提供信息化建設(shè)定制方案；提供可定制的網(wǎng)絡(luò)學(xué)習(xí)平臺；提供移動(dòng)辦公、學(xué)習(xí)的支持。典型案例：教育云教育云平臺序號客戶名稱投資/規(guī)?？蛻魞r(jià)值1東莞教育云平臺一期投入1994萬，租用中科院IDC數(shù)據(jù)中心全國第一個(gè)城市級教育云平臺，支持100萬用戶，10萬人在線，2萬人并發(fā)2廣東粵教育云平臺總體投入4000萬提供開放的接入平臺，提供可用資源2PB，實(shí)現(xiàn)省市教育云的資源平臺對接3貴州省教育資源云平臺采用BT模式建設(shè)，管理服務(wù)器500臺，存儲10PB提供班班通資源支持平臺，支持學(xué)校676所，實(shí)現(xiàn)教育部資源班班通的建設(shè)目標(biāo)。4畢節(jié)市扶貧教育云平臺總體擬投入1.2億提供整體解決方案，包括數(shù)據(jù)中心及三通兩平臺解決方案5山東世紀(jì)金榜電子出版內(nèi)容平臺一期投入5000萬元，管理200臺服務(wù)器，20PB資源世紀(jì)金榜是中國最大的教輔材料提供商，平臺支持500萬用戶，50萬在線，5萬人并發(fā)訪問。云計(jì)算國防應(yīng)用：軍民融合云計(jì)算平臺軍民融合云計(jì)算平臺資源聚合技術(shù)資源協(xié)同技術(shù)

軍民信息化基礎(chǔ)設(shè)施的安全對接機(jī)制

軍民信息化基礎(chǔ)設(shè)施的安全隔離方法安全環(huán)境下信息化基礎(chǔ)設(shè)施的動(dòng)員和征用體系軍用數(shù)據(jù)中心信息化基礎(chǔ)設(shè)施民用數(shù)據(jù)中心

智慧城市規(guī)劃“一張網(wǎng)”、“一張圖”、“一片云”、“一套庫”、“一張表”5個(gè)統(tǒng)一的信息化建設(shè)，提升城市基礎(chǔ)設(shè)施的集約化、系統(tǒng)化和承載能力；以互聯(lián)互通和共享協(xié)同為主線，建設(shè)智慧城市。云數(shù)據(jù)中心運(yùn)營商數(shù)據(jù)中心全市網(wǎng)絡(luò)基礎(chǔ)設(shè)施（一張網(wǎng)）中國自主架構(gòu)云計(jì)算平臺（一片云）全市統(tǒng)一地理信息系統(tǒng)（一張圖）全市統(tǒng)一基礎(chǔ)信息數(shù)據(jù)庫（一套庫）全市統(tǒng)一聯(lián)合審批（一張表）公共服務(wù)社會(huì)管理經(jīng)濟(jì)調(diào)節(jié)政務(wù)管理市場監(jiān)督百姓服務(wù)產(chǎn)業(yè)發(fā)展“七”大應(yīng)用版塊是核心、“五”個(gè)基礎(chǔ)是關(guān)鍵、“三”個(gè)標(biāo)準(zhǔn)是支撐基于云計(jì)算的智慧城市建設(shè)框架二、大數(shù)據(jù)將變革既有的數(shù)據(jù)觀我們來到大數(shù)據(jù)時(shí)代數(shù)據(jù)極簡主義大數(shù)據(jù)：一切數(shù)據(jù)皆有用數(shù)據(jù)觀、技術(shù)、成本的變化（硬件、軟件和除理技術(shù)、來源）全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個(gè)人晝夜不息的讀5.5年…每天會(huì)有

2.88萬個(gè)小時(shí)的視頻上傳到Y(jié)outube，足夠一個(gè)人晝夜不息的觀看3.3年…推特上每天發(fā)布5千萬條消息，假設(shè)10秒鐘瀏覽一條信息，這些消息足夠一個(gè)人晝夜不息的瀏覽16年…每天亞馬遜上將產(chǎn)生6.3百萬筆訂單…每個(gè)月網(wǎng)民在Facebook上要花費(fèi)7千億分鐘，被移動(dòng)互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達(dá)1.3EB…Google上每天需要處理24PB的數(shù)據(jù)…人們從信息的被動(dòng)接受者變成了主動(dòng)創(chuàng)造者我們來到大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代的爆炸增長想駕馭這龐大的數(shù)據(jù)，我們必須了解大數(shù)據(jù)的特征。地球上至今總共的數(shù)據(jù)量：在2006年，個(gè)人用戶才剛剛邁進(jìn)TB時(shí)代，全球一共新產(chǎn)生了約180EB的數(shù)據(jù)；在2011年，這個(gè)數(shù)字達(dá)到了1.8ZB。而有市場研究機(jī)構(gòu)預(yù)測：到2020年，整個(gè)世界的數(shù)據(jù)總量將會(huì)增長44倍，達(dá)到35.2ZB（1ZB=10億TB）！1PB（拍字節(jié)）=2^50字節(jié)1EB（艾字節(jié)）=2^60字節(jié)1ZB（澤字節(jié)）=2^70字節(jié)20世紀(jì)90年代，數(shù)據(jù)倉庫之父的BillInmon就經(jīng)常提及BigData2011年5月，在“云計(jì)算相遇大數(shù)據(jù)”為主題的EMCWorld2011會(huì)議中，EMC拋出了BigData概念什么是大數(shù)據(jù)：BigData名詞由來什么是大數(shù)據(jù)（NO-SQL,NotOnlySQL)

不同“看”數(shù)據(jù)的方式45可視：結(jié)構(gòu)化資料15%未視：半/非結(jié)構(gòu)化數(shù)據(jù)85%DB/DW主管們看的戰(zhàn)情數(shù)位儀表板，其實(shí)是殘缺的…85%半/非結(jié)構(gòu)化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile

什么是大數(shù)據(jù)：不同的數(shù)據(jù)管理對象當(dāng)我們想要擴(kuò)充時(shí)，才發(fā)覺：架構(gòu)只能scale-up，scale-out不易處理時(shí)間過長，

time-to-value受限成本過高，

cost-efficiency受限15%結(jié)構(gòu)化的DB/DW遺憾殘缺

大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型數(shù)據(jù)

增長如此之塊，以至于難以使用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭，困難在于數(shù)據(jù)的獲取、存貯、搜索、共享、分析和可視化等方面大數(shù)據(jù)的定義數(shù)據(jù)量復(fù)雜性：種類和速度銷量庫存薪酬表客戶信息合約ERP/CRMWEB2.0廣告博客搜索營銷文本/圖像網(wǎng)絡(luò)日志大數(shù)據(jù)社會(huì)情緒音頻/視頻傳感器RFID維基/博客微博金融信息個(gè)人數(shù)據(jù)位置信息政府信息氣象數(shù)據(jù)保險(xiǎn)信息EBPBTBGB維基的大數(shù)據(jù)定義

任何超過一臺計(jì)算機(jī)處理能力的龐大數(shù)據(jù)量亞馬遜的大數(shù)據(jù)定義

大數(shù)據(jù)是由局部數(shù)據(jù)匯聚而成能反映出整體的數(shù)據(jù)，整體的數(shù)據(jù)又隨時(shí)空在不斷膨脹。Informatica的大數(shù)據(jù)定義

大數(shù)據(jù)=交易數(shù)據(jù)+互動(dòng)數(shù)據(jù)+觀測數(shù)據(jù)中國電信的大數(shù)據(jù)定義中心的大數(shù)據(jù)定義

如果自然界中的事件完全不可預(yù)測地隨機(jī)發(fā)生，人們的生活將無法忍受；與此相反，如果每一件事情都是確定的、完全可以預(yù)測的，則生活將是無趣的。利用因果關(guān)系解釋觀測的現(xiàn)象或預(yù)測未來存在邏輯和實(shí)際上的困難。大數(shù)據(jù)的理性認(rèn)知[美]C.R勞

與傳統(tǒng)比較，大數(shù)據(jù)的分析處理的核心是預(yù)測和推斷，根本的變革在于不刻意追求因果關(guān)系，而更多關(guān)注相關(guān)關(guān)系。也就是說，只要知道和什么有關(guān)，而不必強(qiáng)求為什么有關(guān)。[英]舍恩伯格

大數(shù)據(jù)時(shí)代來臨，使人類第一次有機(jī)會(huì)和條件在非常多和非常深入的層次獲得和使用全面數(shù)據(jù)、完整數(shù)據(jù)和系統(tǒng)數(shù)據(jù)，簡而言之就是樣本=總體。[英]舍恩伯格

大數(shù)據(jù)為政府統(tǒng)計(jì)提供了總體性、非結(jié)構(gòu)化、豐富真實(shí)的原始資料，可以極大地縮短數(shù)據(jù)采集時(shí)間，減少報(bào)表填報(bào)任務(wù)，減輕調(diào)查對象負(fù)擔(dān)，提高統(tǒng)計(jì)數(shù)據(jù)質(zhì)量。國家統(tǒng)計(jì)局馬建堂大數(shù)據(jù)，也叫全局?jǐn)?shù)據(jù)、總體數(shù)據(jù)，數(shù)據(jù)量越大其預(yù)測和推斷的準(zhǔn)確性越高1.Volume2.

Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)：4V特性數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量

大數(shù)據(jù)要上升為國家戰(zhàn)略國家時(shí)間政策備注美國2012-3-29《大數(shù)據(jù)研究與發(fā)展計(jì)劃》推動(dòng)政府開放、提升政策預(yù)見性（糧食、天氣、流感等）、提高政府服務(wù)水平、降底運(yùn)營開支英國2010-5數(shù)據(jù)權(quán)、我的數(shù)據(jù)日本2012-5ICT戰(zhàn)略中國2012-5互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)創(chuàng)新研究大數(shù)據(jù)不僅僅是數(shù)據(jù)“大”多大？PB級比大更重要的是數(shù)據(jù)的復(fù)雜性、全面性，有時(shí)甚至大數(shù)據(jù)中的小數(shù)據(jù)如一條微博就具有顛覆性的價(jià)值軟件是大數(shù)據(jù)的引擎大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫的區(qū)別云計(jì)算與大數(shù)據(jù)大數(shù)據(jù)應(yīng)用運(yùn)行在云平臺之上如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏；云計(jì)算就是挖掘和利用寶藏的利器！沒有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)的存儲和積淀，云計(jì)算也只能是殺雞用的宰牛刀！大數(shù)據(jù)市場分析12011年-2016年中國大數(shù)據(jù)市場規(guī)模2各行業(yè)大數(shù)據(jù)市場規(guī)模政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場份額。由于各個(gè)行業(yè)都存在大數(shù)據(jù)應(yīng)用需求，潛在市場空間非?？捎^。2011年是中國大數(shù)據(jù)市場元年，一些大數(shù)據(jù)產(chǎn)品已經(jīng)推出，部分行業(yè)也有大數(shù)據(jù)應(yīng)用案例的產(chǎn)生。2012年-2016年，將迎來大數(shù)據(jù)市場的飛速發(fā)展。2012年中國大數(shù)據(jù)市場規(guī)模達(dá)到4.7億元，2013年大數(shù)據(jù)市場將迎來增速為138.3%的飛躍，到2016年，整個(gè)市場規(guī)模逼近百億。國際企業(yè)角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購數(shù)據(jù)庫軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o論在流量、種類、速度還是活力上都是爆炸式增長IBM一直致力于擴(kuò)大對包括數(shù)據(jù)倉庫中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進(jìn)行了23項(xiàng)相關(guān)并購，其中包括：2010年9月收購數(shù)據(jù)庫分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬美元2007年花費(fèi)20億美元收購商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場最近，微軟的HPC部門開發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫和數(shù)據(jù)庫軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware大數(shù)據(jù)的產(chǎn)業(yè)價(jià)值鏈數(shù)據(jù)數(shù)據(jù)的掌控者，擁有或者可以收集大量數(shù)據(jù)的公司。海量的數(shù)據(jù)就是財(cái)富，可以考慮自己分析或者賣數(shù)據(jù)給其他公司。技術(shù)技術(shù)供應(yīng)商或者分析公司。掌握了從海量數(shù)據(jù)中分析出有用信息的技能或者工具，但本身不一定擁有數(shù)據(jù)。思維有創(chuàng)新思維的人或者公司。他們對大數(shù)據(jù)敏感，有怎樣挖掘數(shù)據(jù)的新價(jià)值的獨(dú)特想法。分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測：預(yù)測模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存儲；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等大數(shù)據(jù)技術(shù)體系：取、存、管、用存儲結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)的查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存儲不利于檢索、查詢和存儲半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存儲按照非結(jié)構(gòu)化存儲解決方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitter的storm和yahoo！的S4）大數(shù)據(jù)核心技術(shù)需求高并發(fā)讀寫大數(shù)據(jù)核心技術(shù)需求高效率存儲和訪問高可擴(kuò)展性和高可用性低成本建設(shè)運(yùn)維保證一致性的開銷過大，難以實(shí)現(xiàn)高并發(fā)存儲性能受限于控制器，性能難以保證關(guān)系型表單存儲難以適應(yīng)不同數(shù)據(jù)類型上億行數(shù)據(jù)的超級達(dá)標(biāo)效率極低傳統(tǒng)基于盤陣的存儲設(shè)備，造價(jià)昂貴，且市場壟斷嚴(yán)重，建設(shè)成本居高不下，擴(kuò)容成本尤其高許可和維護(hù)花費(fèi)高昂無法簡單的通過添加服務(wù)節(jié)點(diǎn)來擴(kuò)展數(shù)據(jù)容量和負(fù)載能力，難以進(jìn)行橫向擴(kuò)展數(shù)據(jù)庫升級需要停機(jī)維護(hù)和數(shù)據(jù)遷移，導(dǎo)致服務(wù)中斷不保證遵循ACID原則，提高并發(fā)讀寫性能

Schema-Free存儲適應(yīng)不同數(shù)據(jù)類型舍棄SQL標(biāo)準(zhǔn)功能，盡量簡化數(shù)據(jù)操作，提升效率MapReduce實(shí)現(xiàn)高效訪問基于X86設(shè)備，價(jià)格低廉開源系統(tǒng)，節(jié)省許可費(fèi)用支持水平擴(kuò)展，可簡單的通過添加服務(wù)節(jié)點(diǎn)來擴(kuò)展數(shù)據(jù)容量和負(fù)載能力數(shù)據(jù)庫升級不影響服務(wù)持續(xù)大數(shù)據(jù)的分析模型研究對象由組織、用戶、大數(shù)據(jù)和工具構(gòu)成的運(yùn)行系統(tǒng)研究內(nèi)容大數(shù)據(jù)的構(gòu)成

大數(shù)據(jù)的行為大數(shù)據(jù)的行為和數(shù)據(jù)的組織研究方法知識工程解構(gòu)大數(shù)據(jù)系統(tǒng)研發(fā)工程支撐大數(shù)據(jù)系統(tǒng)價(jià)值工程牽引大數(shù)據(jù)系統(tǒng)研究目標(biāo)大數(shù)據(jù)生產(chǎn)平臺大數(shù)據(jù)開發(fā)平臺大數(shù)據(jù)采集平臺大數(shù)據(jù)應(yīng)用平臺研究重點(diǎn)數(shù)據(jù)分而治之資源組織調(diào)度邏輯復(fù)制遷移組織大數(shù)據(jù)用戶工具知識工程研發(fā)工程價(jià)值工程社會(huì)價(jià)值結(jié)構(gòu)功能信源信宿信道控制狀態(tài)協(xié)同生產(chǎn)采集存儲應(yīng)用傳遞展現(xiàn)概念定議劃分經(jīng)濟(jì)價(jià)值科技價(jià)值商業(yè)價(jià)值為什么是什么怎么做大數(shù)據(jù)變革既有數(shù)據(jù)觀：以變革始大數(shù)據(jù)是組織的一種資產(chǎn)

數(shù)據(jù)資源已經(jīng)是上升為國家的戰(zhàn)略資源。人類已進(jìn)入“后信息經(jīng)濟(jì)時(shí)代”，即智慧經(jīng)濟(jì)。

智慧經(jīng)濟(jì)是一種創(chuàng)新形態(tài)的萌生經(jīng)濟(jì)，能實(shí)現(xiàn)經(jīng)濟(jì)與環(huán)境、能源、社會(huì)最大限度的可持續(xù)發(fā)展。

大數(shù)據(jù)是智慧經(jīng)濟(jì)的基礎(chǔ)。從哪里來、當(dāng)前在哪里、要到哪里去大數(shù)據(jù)是一種資產(chǎn)

三個(gè)小故事：智者善用數(shù)據(jù)和工具

孟德爾碗豆雜交實(shí)驗(yàn)，基于數(shù)十年實(shí)驗(yàn)數(shù)據(jù)，經(jīng)過采集、分析、歸納、推導(dǎo)、預(yù)測找到其規(guī)律。（一）使用數(shù)據(jù)

曹沖稱象，大而劃之、分而治之。秤是分析，算盤是匯總。（二）處理數(shù)據(jù)

平民傳奇，分布式文件系統(tǒng)、分布式數(shù)據(jù)庫系統(tǒng)，解決對象的切分與存貯；MR編程模式解決分析與歸納。（三）構(gòu)建系統(tǒng)大數(shù)據(jù)處理行為技術(shù)特征數(shù)據(jù)無限分而治之功能有限復(fù)制分發(fā)

大數(shù)據(jù)系統(tǒng)的定義

是一個(gè)以人為主導(dǎo)，利用計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他辦公設(shè)備，進(jìn)行信息的收集、傳輸、加工、儲存、更新、拓展和維護(hù)的系統(tǒng)

是一個(gè)將各類信息系統(tǒng)產(chǎn)生的數(shù)據(jù)作為存貯、分析和利用的信息系統(tǒng)，通過借助計(jì)算機(jī)硬件、軟件、網(wǎng)絡(luò)通信設(shè)備以及其他設(shè)備，實(shí)現(xiàn)對數(shù)據(jù)的收集、存貯、處理、傳遞、備份的系統(tǒng)。管理信息系統(tǒng)大數(shù)據(jù)系統(tǒng)

大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)目標(biāo)大數(shù)據(jù)系統(tǒng)的邏輯架構(gòu)數(shù)據(jù)應(yīng)用層外部系統(tǒng)層數(shù)據(jù)計(jì)算層[數(shù)據(jù)節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]綜合管控層信息安全保障體系標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)分析層

[定制計(jì)算子系統(tǒng)][數(shù)據(jù)分析子系統(tǒng)][數(shù)據(jù)倉庫子系統(tǒng)][數(shù)據(jù)域節(jié)點(diǎn)子系統(tǒng)][任務(wù)節(jié)點(diǎn)子系統(tǒng)]名稱節(jié)點(diǎn)子系統(tǒng)作業(yè)節(jié)點(diǎn)子系統(tǒng)數(shù)據(jù)庫主節(jié)點(diǎn)子系統(tǒng)統(tǒng)一協(xié)同節(jié)點(diǎn)子系統(tǒng)備份節(jié)點(diǎn)子系統(tǒng)

[數(shù)據(jù)調(diào)用子系統(tǒng)][數(shù)據(jù)呈現(xiàn)子系統(tǒng)][數(shù)據(jù)采集子系統(tǒng)][ERP系統(tǒng)][電子商務(wù)網(wǎng)站][……]大數(shù)據(jù)庫系統(tǒng)界面產(chǎn)品研發(fā)成果：云數(shù)據(jù)庫虛擬化平臺截圖：

與現(xiàn)有系統(tǒng)的關(guān)系現(xiàn)有系統(tǒng)大數(shù)據(jù)系統(tǒng)數(shù)據(jù)輸入分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出現(xiàn)有系統(tǒng)調(diào)用大數(shù)據(jù)系統(tǒng)分布節(jié)點(diǎn)1分布節(jié)點(diǎn)2分布節(jié)點(diǎn)3輸出HADOOPMaHout主流大數(shù)據(jù)庫使用現(xiàn)狀大數(shù)據(jù)系統(tǒng)體系建設(shè)規(guī)劃搭平臺采數(shù)據(jù)建模型編代碼圖呈現(xiàn)第一階段一次建逐步擴(kuò)可查詢簡應(yīng)用巧婦有米可炊第二階段重復(fù)迭代持續(xù)可分析深入用巧婦百變花樣

搭平臺-系統(tǒng)布署規(guī)劃類型名稱配置IP安裝內(nèi)容備注分布式應(yīng)用MR-PIG主頻為2.4Ghz以上內(nèi)存：16G硬盤：500G192.168.4.1MR系統(tǒng)和Pig系統(tǒng)兩個(gè)系統(tǒng)裝在一臺機(jī)上Hive-Chukwa192.168.4.2Hive系統(tǒng)和Chukwa系統(tǒng)兩個(gè)系統(tǒng)裝在一臺機(jī)上mysql192.168.4.3mysql數(shù)據(jù)庫系統(tǒng)存放hive和chukwa的元數(shù)據(jù)信息HDFS集群主節(jié)點(diǎn)NameNode192.168.1.1Hdfs系統(tǒng)JobTracker-Second192.168.1.2同時(shí)作為secondNmaenodeHDFS集群從節(jié)點(diǎn)DataNode1192.168.1.3DataNode2192.168.1.4DataNode3192.168.1.5Hbase集群主節(jié)點(diǎn)Hmaster192.168.2.1Hbase系統(tǒng)Hbase集群從節(jié)點(diǎn)HregionServer192.168.2.2ZooKeeper集群ZooKeeper192.168.3.1ZooKeeper系統(tǒng)

采數(shù)據(jù)-數(shù)據(jù)采集模型

建模型-建立四大模型

建模型-建模所需基礎(chǔ)知識概率論隨機(jī)變量數(shù)字特征參數(shù)估計(jì)假設(shè)檢驗(yàn)

建模型-十大精典算法

建模型-算法的典型應(yīng)用關(guān)聯(lián)規(guī)則

建模型-算法的典型應(yīng)用決策樹

編代碼-開發(fā)環(huán)境的安裝圖呈現(xiàn)：

圖形設(shè)計(jì)技術(shù)數(shù)據(jù)描述視覺編碼：大小、顏色、紋理、形狀；線段、圖表、樹；聽覺編碼：聲音、語言數(shù)據(jù)表示

在時(shí)空局限下采用滾動(dòng)、變形、抑制、縮放、快速序列來展現(xiàn)數(shù)據(jù)。交互

連續(xù)、漸進(jìn)、被動(dòng)、混合多種交互方式，大數(shù)據(jù)展現(xiàn)技術(shù)總結(jié)：數(shù)據(jù)呈現(xiàn)技術(shù)是大數(shù)據(jù)能否讓智慧經(jīng)濟(jì)走進(jìn)尋常百姓家的最后一公里，利用信息可視可聽使大數(shù)據(jù)的有價(jià)信息以可感性認(rèn)知的方式呈現(xiàn)出來至關(guān)重要。

圖呈現(xiàn)：

一圖勝千言

圖呈現(xiàn)-圖形開發(fā)工具DataWrangler斯坦福大學(xué)可視化組（SUVG）設(shè)計(jì)的基于web的服務(wù)的圖形化工具計(jì)算量大GoogleRefine用戶在電腦上運(yùn)行這個(gè)應(yīng)用程序后就可以通過瀏覽器訪問之GoogleFusion