大數(shù)據(jù)開發(fā)框架課件10可視化

廈門大學(xué)計算機科學(xué)系2017年2月版本

10數(shù)據(jù)可視化

提綱10.1可視化概述10.2可視化工具10.3可視化典型案例10.4可視化工具實踐10.1可視化概述10.1.1 什么是數(shù)據(jù)可視化10.1.2 可視化的發(fā)展歷程10.1.3 可視化的重要作用10.1.1什么是數(shù)據(jù)可視化數(shù)據(jù)可視化是指將大型數(shù)據(jù)集中的數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息的處理過程數(shù)據(jù)可視化技術(shù)的基本思想是將數(shù)據(jù)庫中每一個數(shù)據(jù)項作為單個圖元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進行更深入的觀察和分析10.1.2可視化的發(fā)展歷程圖

反映霍亂患者分布與水井分布的地圖霍亂地圖分析了霍亂患者分布與水井分布之間的關(guān)系，發(fā)現(xiàn)在有一口井的供水范圍內(nèi)患者明顯偏多，據(jù)此找到了霍亂爆發(fā)的根源是一個被污染的水泵10.1.2可視化的發(fā)展歷程數(shù)據(jù)可視化歷史上的另一個經(jīng)典之作是1857年“提燈女神”南丁格爾設(shè)計的“雞冠花圖”(又稱玫瑰圖)，它以圖形的方式直觀地呈現(xiàn)了英國在克里米亞戰(zhàn)爭中犧牲的戰(zhàn)士數(shù)量和死亡原因，有力地說明了改善軍隊醫(yī)院的醫(yī)療條件對于減少戰(zhàn)爭傷亡的重要性10.1.2可視化的發(fā)展歷程20世紀(jì)50年代，隨著計算機的出現(xiàn)和計算機圖形學(xué)的發(fā)展，人們可以利用計算機技術(shù)在電腦屏幕上繪制出各種圖形圖表，可視化技術(shù)開啟了全新的發(fā)展階段。最初，可視化技術(shù)被大量應(yīng)用于統(tǒng)計學(xué)領(lǐng)域，用來繪制統(tǒng)計圖表，比如圓環(huán)圖、柱狀圖和餅圖、直方圖、時間序列圖、等高線圖、散點圖等，后來，又逐步應(yīng)用于地理信息系統(tǒng)、數(shù)據(jù)挖掘分析、商務(wù)智能工具等，有效促進了人類對不同類型數(shù)據(jù)的分析與理解

隨著大數(shù)據(jù)時代的到來，每時每刻都有海量數(shù)據(jù)在不斷生成，需要我們對數(shù)據(jù)進行及時、全面、快速、準(zhǔn)確的分析，呈現(xiàn)數(shù)據(jù)背后的價值，這就更需要可視化技術(shù)協(xié)助我們更好地理解和分析數(shù)據(jù)，可視化成為大數(shù)據(jù)分析最后的一環(huán)和對用戶而言最重要的一環(huán)10.1.3可視化的重要作用在大數(shù)據(jù)時代，可視化技術(shù)可以支持實現(xiàn)多種不同的目標(biāo)：（1）觀測、跟蹤數(shù)據(jù)10.1.3可視化的重要作用（2）分析數(shù)據(jù)10.1.3可視化的重要作用（3）輔助理解數(shù)據(jù)圖

微軟“人立方”展示的人物關(guān)系圖10.1.3可視化的重要作用（4）增強數(shù)據(jù)吸引力10.2可視化工具10.2.1 入門級工具10.2.2 信息圖表工具10.2.3 地圖工具10.2.4 時間線工具10.2.5 高級分析工具10.2.1入門級工具Excel是微軟公司的辦公軟件Office家族的系列軟件之一，可以進行各種數(shù)據(jù)的處理、統(tǒng)計分析和輔助決策操作，已經(jīng)廣泛地應(yīng)用于管理、統(tǒng)計、金融等領(lǐng)域10.2.2信息圖表工具

信息圖表是信息、數(shù)據(jù)、知識等的視覺化表達，它利用人腦對于圖形信息相對于文字信息更容易理解的特點，更高效、直觀、清晰地傳遞信息，在計算機科學(xué)、數(shù)學(xué)以及統(tǒng)計學(xué)領(lǐng)域有著廣泛的應(yīng)用。1.GoogleChartAPI谷歌公司的制圖服務(wù)接口GoogleChartAPI，可以用來為統(tǒng)計數(shù)據(jù)并自動生成圖片，該工具使用非常簡單，不需要安裝任何軟件，可以通過瀏覽器在線查看統(tǒng)計圖表。圖

通過瀏覽器在線查看GoogleChart統(tǒng)計圖表10.2.2信息圖表工具2.D3D3是最流行的可視化庫之一，是一個用于網(wǎng)頁作圖、生成互動圖形的JavaScript函數(shù)庫，提供了一個D3對象，所有方法都通過這個對象調(diào)用。D3能夠提供大量線性圖和條形圖之外的復(fù)雜圖表樣式，例如Voronoi圖、樹形圖、圓形集群和單詞云等（如圖10-8所示）。圖

通過瀏覽器在線查看GoogleChart統(tǒng)計圖表10.2.2信息圖表工具3.Visual.lyVisual.ly是一款非常流行的信息圖制作工具，非常好用，不需要任何設(shè)計相關(guān)的知識，就可以用它來快速創(chuàng)建自定義的、樣式美觀且具有強烈視覺沖擊力的信息圖表。4.TableauTableau是桌面系統(tǒng)中最簡單的商業(yè)智能工具軟件，更適合企業(yè)和部門進行日常數(shù)據(jù)報表和數(shù)據(jù)可視化分析工作。Tableau實現(xiàn)了數(shù)據(jù)運算與美觀的圖表的完美結(jié)合，用戶只要將大量數(shù)據(jù)拖放到數(shù)字“畫布”上，轉(zhuǎn)眼間就能創(chuàng)建好各種圖表。5.大數(shù)據(jù)魔鏡大數(shù)據(jù)魔鏡是一款優(yōu)秀的國產(chǎn)數(shù)據(jù)分析軟件，它豐富的數(shù)據(jù)公式和算法可以讓用戶真正理解探索分析數(shù)據(jù)，用戶只要通過一個直觀的拖放界面就可創(chuàng)造交互式的圖表和數(shù)據(jù)挖掘模型。10.2.3地圖工具地圖工具在數(shù)據(jù)可視化中較為常見，它在展現(xiàn)數(shù)據(jù)基于空間或地理分布上有很強的表現(xiàn)力，可以直觀地展現(xiàn)各分析指標(biāo)的分布、區(qū)域等特征。當(dāng)指標(biāo)數(shù)據(jù)要表達的主題跟地域有關(guān)聯(lián)時，就可以選擇以地圖作為大背景，從而幫助用戶更加直觀地了解整體的數(shù)據(jù)情況，同時也可以根據(jù)地理位置快速地定位到某一地區(qū)來查看詳細(xì)數(shù)據(jù)。圖10-9就是以數(shù)據(jù)地圖形式呈現(xiàn)的2008年世界各國GDP數(shù)據(jù)，圖中，顏色越深的國家，其GDP越高。圖2008年世界各國GDP數(shù)據(jù)地圖10.2.3地圖工具1.GoogleFusionTablesGoogleFusionTables讓一般使用者也可以輕松制作出專業(yè)的統(tǒng)計地圖。該工具可以讓數(shù)據(jù)表呈現(xiàn)為圖表、圖形和地圖，從而幫助發(fā)現(xiàn)一些隱藏在數(shù)據(jù)背后的模式和趨勢。2.ModestMapsModestMaps是一個小型、可擴展、交互式的免費庫，提供了一套查看衛(wèi)星地圖的API，只有10KB大小，是目前最小的可用地圖庫，它也是一個開源項目，有強大的社區(qū)支持，是在網(wǎng)站中整合地圖應(yīng)用的理想選擇。3.LeafletLeaflet是一個小型化的地圖框架，通過小型化和輕量化來滿足移動網(wǎng)頁的需要。10.2.4時間線工具

時間線是表現(xiàn)數(shù)據(jù)在時間維度的演變的有效方式，它通過互聯(lián)網(wǎng)技術(shù)，依據(jù)時間順序，把一方面或多方面的事件串聯(lián)起來，形成相對完整的記錄體系，再運用圖文的形式呈現(xiàn)給用戶。時間線可以運用于不同領(lǐng)域，最大的作用就是把過去的事物系統(tǒng)化、完整化、精確化。自2010年Facebook在F8大會上發(fā)布了以時間線格式組織內(nèi)容的功能后，時間線工具在國內(nèi)外社交網(wǎng)站中開始大面積流行。

圖10-10顯示了我國戶籍制度在1994年到2014年間隨時間的演變情況，它采用了時間線表示方法。10.2.4時間線工具1.TimetoastTimetoast是在線創(chuàng)作基于時間軸事件記載服務(wù)的網(wǎng)站，提供個性化的時間線服務(wù)，可以用不同的時間線來記錄你某個方面的發(fā)展歷程、心理路程、進度過程等等。Timetoast基于flash平臺，可以在類似flash時間軸上任意加入事件，定義每個事件的時間、名稱、圖像、描述，最終在時間軸上顯示事件在時間序列上的發(fā)展，事件顯示和切換十分流暢，隨著鼠標(biāo)點擊可顯示相關(guān)事件，操作簡單。2.XtimelineXtimeline是一個免費的繪制時間線的在線工具網(wǎng)站，操作簡便，用戶通過添加事件日志的形式構(gòu)建時間表，同時也可給日志配上相應(yīng)的圖表。不同于Timetoast的是，Xtimeline是一個社區(qū)類型的時間軸網(wǎng)站，其中加入了組群功能和更多的社會化因素，除了可以分享和評論時間軸外，還可以建立組群討論所制作的時間軸。10.2.5高級分析工具1.RR是屬于GNU系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具，使用難度較高。R的功能包括數(shù)據(jù)存儲和處理系統(tǒng)、數(shù)組運算工具（具有強大的向量、矩陣運算功能）、完整連貫的統(tǒng)計分析工具、優(yōu)秀的統(tǒng)計制圖功能、簡便而強大的編程語言，可操縱數(shù)據(jù)的輸入和輸出，實現(xiàn)分支、循環(huán)以及用戶可自定義功能等，通常用于大數(shù)據(jù)集的統(tǒng)計與分析。2.WekaWeka是一款免費的、基于Java環(huán)境的、開源的機器學(xué)習(xí)以及數(shù)據(jù)挖掘軟件，不但可以進行數(shù)據(jù)分析，還可以生成一些簡單圖表。3.GephiGephi是一款比較特殊也很復(fù)雜的軟件，主要用于社交圖譜數(shù)據(jù)可視化分析，可以生成非?？犰诺目梢暬瘓D形。10.3 可視化典型案例10.3.1 全球黑客活動10.3.2 互聯(lián)網(wǎng)地圖10.3.3 編程語言之間的影響力關(guān)系圖10.3.4 百度遷徙10.3.5 世界國家健康與財富之間的關(guān)系10.3.6 3D可視化互聯(lián)網(wǎng)地圖APP10.3.1全球黑客活動

安全供應(yīng)商Norse打造了一張能夠反映全球范圍內(nèi)黑客攻擊頻率的地圖（），它利用Norse的“蜜罐”攻擊陷阱顯示出所有實時滲透攻擊活動。如圖10-11所示，地圖中的每一條線代表的都是一次攻擊活動，借此可以了解每一天、每一分鐘甚至每一秒世界上發(fā)生了多少次惡意滲透。圖

一張能夠反映全球范圍內(nèi)黑客攻擊頻率的地圖10.3.2互聯(lián)網(wǎng)地圖為了探究互聯(lián)網(wǎng)這個龐大的宇宙，俄羅斯工程師RuslanEnikeev根據(jù)2011年底的數(shù)據(jù)，將全球196個國家的35萬個網(wǎng)站數(shù)據(jù)整合起來，并根據(jù)200多萬個網(wǎng)站鏈接將這些“星球”通過關(guān)系鏈聯(lián)系起來，每一個“星球”的大小根據(jù)其網(wǎng)站流量來決定，而“星球”之間的距離遠近則根據(jù)鏈接出現(xiàn)的頻率、強度和用戶跳轉(zhuǎn)時創(chuàng)建的鏈接來確定，由此繪制得到了“互聯(lián)網(wǎng)地圖”（），如圖10-10所示。圖

俄羅斯工程師繪制的“互聯(lián)網(wǎng)地圖”10.3.3編程語言之間的影響力關(guān)系圖RamioGómez利用來自Freebase上的編程語言維護表里的數(shù)據(jù)，繪制了編程語言之間的影響力關(guān)系圖，如圖10-13所示，圖中的每個節(jié)點代表一種編程語言，之間的連線代表該編程語言對其他語言有影響，有影響力的語言會連線多個語言，相應(yīng)的節(jié)點也會越大。圖

編程語言之間的影響力關(guān)系圖10.3.4百度遷徙2014年1月25日晚間，央視與百度合作，啟用百度地圖定位可視化大數(shù)據(jù)播報春節(jié)期間全國人口遷徙情況（如圖10-14所示），引起廣泛關(guān)注。圖

百度遷徙展示的全國8小時遷徙圖10.3.5世界國家健康與財富之間的關(guān)系如圖10-15所示，“世界國家健康與財富之間的關(guān)系”利用可視化技術(shù)，把世界上200個國家，從1810年到2010年歷時200年其各國國民的健康、財富變化數(shù)據(jù)（收集了1千多萬個數(shù)據(jù)）制作成三維動畫進行了直觀展示（/Index/whn）。圖

世界國家健康與財富之間的關(guān)系圖10.3.63D可視化互聯(lián)網(wǎng)地圖APP3D可視化是描繪和理解數(shù)據(jù)的一種手段，是數(shù)據(jù)的一種表征形式，并非模擬技術(shù)。3D可視化以一種獨特的立體視角為用戶呈現(xiàn)數(shù)據(jù)，可以幫助用戶發(fā)現(xiàn)一些在2D模式下無法察覺的內(nèi)容。Peer1開發(fā)了一個稱為“互聯(lián)網(wǎng)地圖”的APP（如圖10-16所示），這是一個建立在小盒子形式上的3D地圖。圖Peer1開發(fā)的“互聯(lián)網(wǎng)地圖”Echarts簡介Jsp+Echarts展示Mysql中數(shù)據(jù)10.4可視化工具實踐-ECharts

Echarts簡介ECharts是一款由百度前端技術(shù)部開發(fā)的，基于JavaScript的數(shù)據(jù)可視化圖表庫，提供直觀，生動，可交互，可個性化定制的數(shù)據(jù)可視化圖表，現(xiàn)在是由Apache孵化器贊助的Apache開源基金會孵化的項目。

（官方網(wǎng)站是/zh/）示例：bar1.html,bar2.html,bar3.html,line1.html,bar-line1.htmlJsp+Echarts展示Mysql中數(shù)據(jù)1、開發(fā)環(huán)境：（1）Centos中使用Eclipse較為卡頓，因此開發(fā)工作在Window下進行，訪問的數(shù)據(jù)庫是Centos下的。（2）訪問非本地的Mysql（比如window下訪問Centos下Mysql或遠程訪問等），Mysql所在機器需要關(guān)閉防火墻，且mysql下添加授權(quán)用戶(用戶名和密碼均為guest)。systemctl

status

firewalld.service//查看防火墻狀態(tài)systemctl

stop

firewalld.service//關(guān)閉防火墻systemctl

disable

firewalld.service//禁止開機啟動grant

select,insert,update,delete

on

test.*

to

guest@"%"

identified

by

"guest";2、window下Mysql客戶端Navicat的使用。3、Java訪問Mysql數(shù)據(jù)庫（參考mysql實驗文檔或課件網(wǎng)站-java-第10章數(shù)據(jù)庫編程）4、Eclipse下開發(fā)Web項目參考echarts操作文檔或課件網(wǎng)站-javaweb-第1章JavaWeb開發(fā)入門（