數(shù)據(jù)可視化課件：數(shù)據(jù)可視化概述

數(shù)據(jù)可視化概述1

數(shù)據(jù)可視化的內(nèi)涵和意義2

數(shù)據(jù)可視化的發(fā)展歷史3

數(shù)據(jù)可視化的應(yīng)用4

數(shù)據(jù)可視化的挑戰(zhàn)5

可視化分析與編程工具本章主要內(nèi)容1.

數(shù)據(jù)可視化的內(nèi)涵和意義號輸入并行處理器,最高帶寬為每秒100MB,具有很強的模式識別能力,對

可視符號的感知速度比對數(shù)字或文本

快多個數(shù)量級,且大量的視覺信息的

處理發(fā)生在潛意識階段。視覺是獲取信息的最重要通道,超過50%的人腦功能用于視覺

的感知,包括解碼可視信息、層次可視信息處理和思考可視符號。人眼是一個高帶寬的巨量視覺信可視化對應(yīng)兩個英文單詞：

VISUALIZE

和VISUALIZATION?VISUALIZE是動詞，意即“生成符合人類感知”的圖像；通過

可視元素傳遞信息。?VISUALIZATION是名詞，表達“使某物、某事可見的動作或

事實”；對某個原本不可見的事物在人的大腦中形成一幅可

感知的心理圖片的過程或能力。VISUALIZATION，也可以用于表達對某目標(biāo)進行可視化的結(jié)果，即一幀圖像或動畫。利用人眼的感知能力對數(shù)據(jù)進行交互的可視表達以增強認知的技術(shù)，稱為可視化。它將不可見或難以直接顯示的數(shù)據(jù)轉(zhuǎn)化為可

感知的圖形、符號、顏色、紋理等，增強數(shù)據(jù)識別效率，傳遞有效信息。表.

4個二維數(shù)據(jù)點集

誤差和、相關(guān)系數(shù)等統(tǒng)計屬

性均相同單維度均值、最小二乘法回

歸線方程、誤差的平方和、方差的回歸和、均方誤差的可視化是認知的過程，即形成某個物體的感知圖像，強化認知理解。可視化的終極目的是對事物規(guī)律的洞悉。包含多重含義：發(fā)現(xiàn)、決策、解釋、分析、探索和學(xué)習(xí)?？梢暬珊喢鞯囟x為“通過可視表達，增強人們完成某些任務(wù)的效率”。

對信息的推理和分析可視化的作用信息傳播與協(xié)同信息記錄抽象Harry

Beck,1933令科學(xué)可視化(Scientific

Visualization)令信息可視化(Information

Visualization)數(shù)據(jù)可視化分類科學(xué)可視化(Scientific

Visualization)D

面向的領(lǐng)域主要是自然科學(xué)，如物理、化學(xué)、氣象氣候、航空航天、醫(yī)學(xué)、生物學(xué)等各個學(xué)科。這些學(xué)科通常

需要對數(shù)據(jù)和模型進行解釋、操作與處理，旨在尋找其中的模式、特點、關(guān)系以及異常情況。D

數(shù)據(jù)通常表達在三維或二維空間，或包含時間維度。數(shù)據(jù)的類別可分為:

標(biāo)量(密度、溫度)

向量(風(fēng)向、力場)

張量(壓力)科學(xué)可視化也可粗略地分為標(biāo)量場可視化、向量場可視化、張量場可視化三類。科學(xué)可視化(Scientific

Visualization)

處理的對象是抽象的數(shù)據(jù)集合(如文本、圖表、層次結(jié)構(gòu)、地圖、軟件、復(fù)雜系統(tǒng)等)

更關(guān)注抽象、高維數(shù)據(jù)。信息可視化(Information

Visualization)D

1.時空數(shù)據(jù)可視化D

對于地理信息數(shù)據(jù)可視化來說，合理地選擇和布局地

圖上的可視化元素，從而呈現(xiàn)盡可能多的信息是關(guān)鍵。時

變數(shù)據(jù)通常具有線性和周期性兩種特征，需要依此選擇不

同的可視化方法。D

2.層次與網(wǎng)絡(luò)結(jié)構(gòu)數(shù)據(jù)可視化D

人與人之間的關(guān)系、城市之間的道路連接、科研論文之

間的引用都組成了網(wǎng)絡(luò)。通常使用點線圖來可視化，如何

在空間中合理有效地布局節(jié)點和連線是可視化的關(guān)鍵。D

3.文本和跨媒體數(shù)據(jù)可視化D

隨著網(wǎng)絡(luò)媒體，特別是社交媒體的迅速發(fā)展，每天都

會產(chǎn)生海量的文本數(shù)據(jù)，人們對于視覺符號的感知和認知

速度遠遠高于文本。D

4.多變量數(shù)據(jù)可視化D

現(xiàn)實世界中復(fù)雜問題和對象的數(shù)據(jù)通常是多變量的高

維數(shù)據(jù)，

數(shù)據(jù)降維到低維度空間，

使用相互關(guān)聯(lián)的多視圖同時表現(xiàn)不同維度等等?？梢暦治鰧W(xué)(Visual

Analytics)是一門綜合性學(xué)科：?在可視化方面，有信息可視化、科學(xué)可視化與計算機圖形學(xué)；?與數(shù)據(jù)分析相關(guān)的領(lǐng)域：信息獲取、數(shù)據(jù)處理和數(shù)據(jù)挖掘；?在交互方面，人機交互、認知科學(xué)和感知等學(xué)科融合。圖.

可視分析學(xué)涉及的學(xué)科科學(xué)可視化的研究重點是帶有空間坐標(biāo)和幾何信息的醫(yī)學(xué)影像數(shù)據(jù)、三維空間信息測量數(shù)據(jù)、流體計算模擬數(shù)據(jù)等。由

于數(shù)據(jù)的規(guī)模通常超過圖形硬件的處理能力，所以如何快速地

呈現(xiàn)數(shù)據(jù)中包含的幾何、拓撲、形狀特征和演化規(guī)律是其核心

問題。

隨著圖形硬件和可視化算法的迅猛發(fā)展，單純的數(shù)據(jù)顯

示已經(jīng)得到了較好的解決。信息可視化的核心問題主要有高維數(shù)據(jù)的可視化、數(shù)據(jù)間各種抽象關(guān)系的可視化、用戶的敏捷交互和可視化有效性的評斷等?？梢暦治鰧⒖梢暬?、人的因素和數(shù)據(jù)分析集成在內(nèi)。?感知與認知科學(xué)研究人在可視分析學(xué)中的重要作用?數(shù)據(jù)管理和知識表達是可視分析構(gòu)建數(shù)據(jù)到知識轉(zhuǎn)換的基礎(chǔ)

理論?地理分析、信息分析、科學(xué)分析、統(tǒng)計分析、知識發(fā)現(xiàn)等是

可視分析學(xué)的核心方法；?人機交互必不可少，用于駕馭模型構(gòu)建、分析推理和信息呈

現(xiàn)等整個過程；可視分析流程中推導(dǎo)出的結(jié)論與知識最終需

要向用戶表達和傳播?？梢暦治?可視分析偏重于從各類數(shù)據(jù)綜合、推理出知識。?其實質(zhì)是完成機器智能和人腦智能的雙向轉(zhuǎn)換，整個

探索過程是迭代的、螺旋式的上升過程。2.

數(shù)據(jù)可視化的發(fā)展歷史十六世紀(jì)：

Early

Maps

&

Diagrams(萌芽時期)人類已經(jīng)掌握了精確的觀測技術(shù)和設(shè)備，也采用手工方式

制作可視化作品。公元前6200年的人類地圖?人類歷史上第一

幅城市交通圖?呈現(xiàn)了羅馬城的

交通狀況十七世紀(jì)：

Measurement

&

Theory

(成長時期)?對物理基本量(時間、距離和空間)的測量設(shè)備與理論

完善，被廣泛用于航空、測繪、制圖、國土勘探等。?制圖學(xué)理論與實踐也隨著分析幾何、測量誤差、概率論、

人口統(tǒng)計和政治版圖的發(fā)展而迅速成長。?產(chǎn)生了基于真實測量數(shù)據(jù)的可視化方法?開始了可視化思考的新模式?誕生于1626年表達太陽黑子隨

時間變化的圖。?在一個視圖上同時可視化多個

小圖序列?是現(xiàn)代可視化技術(shù)中郵票圖表

法

(

small

multiples

)

的雛形。

?1686年繪制的歷史上第一幅天

氣圖，顯示了地球的主流風(fēng)場

分布。?這也是向量場可視化的鼻祖。

十八世紀(jì)：

New

Graphic

Forms

(發(fā)展時期)?發(fā)明了新的圖形化形式

(等值線、輪廓線)?包含地理，經(jīng)濟和醫(yī)學(xué)數(shù)據(jù)信息的概念圖產(chǎn)生?創(chuàng)造了新穎的視覺形式來描繪經(jīng)濟和政治方面的真實數(shù)據(jù)?大多數(shù)這些新圖形形式出現(xiàn)在發(fā)行量有限的出版物中，在

這一時期并沒有引起廣泛關(guān)注。

1701年繪制的人類歷史第一幅等值線圖1758年Lambert完成的三維金字塔顏色系統(tǒng)可視化

?1

7

6

5

年

J

o

s

e

p

h

Priestley發(fā)明的時間

線圖?采用了單個線段表現(xiàn)

某個人的一生?同時比較了公元前

1200年到公元1750年

間2000個著名人物的

生平。

?這幅作品直接激發(fā)了柱狀圖的誕生。18世紀(jì)是統(tǒng)計圖形學(xué)的繁榮時期，

蘇格蘭工程師、政治經(jīng)濟

學(xué)家William

Playfair是統(tǒng)計制圖法的創(chuàng)始人，

他創(chuàng)造了折線圖、

柱狀圖、餅圖、面積圖等今天使用最頻繁的統(tǒng)計圖，并且堅信圖

表比數(shù)據(jù)更有表現(xiàn)力。William

Playfair作品:丹麥和挪威1700—

1780年間的貿(mào)易進出口序列圖

?世界上第一幅餅圖?顯示了1789年土耳其帝國在亞

洲、歐洲和非洲的疆土比例

德國物理學(xué)家Lambert用于表達水的蒸發(fā)和時間之間的

關(guān)系的線圖可視化。

十九世紀(jì)：

1800

-1849年,

Modern

Period

(現(xiàn)代時期)?統(tǒng)計圖形、概念圖等呈爆炸式增長?關(guān)于社會、地理、醫(yī)學(xué)和經(jīng)濟的統(tǒng)計數(shù)據(jù)越來越多?衍生了可視化思考的新方式：

圖表用于表達數(shù)學(xué)證明和函數(shù)；

列線圖用于輔助計算；各類可視化顯示用于表達數(shù)據(jù)的趨勢

和分布，便于交流、獲取和可視化觀察。Playfair繪制的??價格與?資時間序列圖、柱形圖。

1837年第?幅流圖，以可變寬度的線段顯示了交通運輸?shù)能壽E和乘客數(shù)量。

?19世紀(jì)下半葉(1850-1899年)，系統(tǒng)地構(gòu)建可視化方法的條件日漸成熟，進入了統(tǒng)計圖形學(xué)的黃金時期(Golden

Age)。?認識到數(shù)字信息對于社會計劃、工業(yè)化，商業(yè)和運輸?shù)闹匾匀找嫣岣?，統(tǒng)計理論擴展到社會領(lǐng)域。?法國工程師查爾斯.約瑟夫.米納德(CharlesJosephMinard)，是將可視化應(yīng)用于工程和統(tǒng)計的先驅(qū)者。其最著名的工作是1869年發(fā)布的描繪拿破侖進軍莫斯科大敗而歸的歷史事件的

流圖，該圖被譽為有史以來最好的統(tǒng)計可視化。

1812——

1813年拿破侖進軍莫斯科的歷史事件的流圖米納德在這一幅平面圖，呈現(xiàn)了6

個維度的信息：1.軍隊人數(shù)2.距離3.溫度4.經(jīng)緯度5.移動方向6.時‐地關(guān)系弗洛倫斯?南丁格爾(1820年5?5.12國際護士節(jié)就是為了紀(jì)念?這一天是南丁格爾的生日圖.

南丁格爾第一個真正意義上的女護士，被譽為現(xiàn)代護理業(yè)之母。南丁格爾“玫瑰圖(極區(qū)圖)”月12日~1910年8月13日)是世界上除了在醫(yī)學(xué)和護理界的輝煌成就，南丁格爾還是一名優(yōu)秀的統(tǒng)

計學(xué)家

——她是英國皇家統(tǒng)計學(xué)會的第一位女性會員，也是美國統(tǒng)

計學(xué)會的會員。?南丁格爾早期大部分聲望都來自其對數(shù)據(jù)清楚且準(zhǔn)確的表達。?她認為醫(yī)學(xué)統(tǒng)計資料有助于改進醫(yī)療護理的方法和措施。?在她編著的各類書籍、報告等材料中使用了大量的統(tǒng)計圖表，其

中最為著名的就是極區(qū)圖，也叫南丁格爾玫瑰圖。?藍色代表可預(yù)防和可緩解的

疾病治療不及時造成的死亡?紅色代表戰(zhàn)場陣亡?黑色代表其他死亡原因。圖表各個扇區(qū)角度相同，用半

徑及扇區(qū)面積來表示死亡人數(shù)。

生動有力的說明了在戰(zhàn)地開展醫(yī)療救護和促進傷兵醫(yī)療工作的

必要性。

打動了當(dāng)局者，增加了戰(zhàn)地醫(yī)院，改善了

軍隊醫(yī)院的條件，為挽救士兵生命做出了

巨大貢獻”。東部軍隊死亡原因示意圖(1854-1856)1855年4月~1856年3月極區(qū)圖：

Facebook

vs.

推特圖1-3英國麻醉學(xué)家、流?病學(xué)家John

Snow繪制的1854年倫敦霍亂地圖。該圖?次結(jié)合了地圖和疾病數(shù)據(jù)。??現(xiàn)代黑暗時期?很少有圖形創(chuàng)新?應(yīng)?和普及的時期?第?次使?圖形?法來提供有關(guān)天?、物理、?物和其他學(xué)科的新發(fā)現(xiàn)和新理論?開始對各種圖形形式的效率進?實驗?較二十世紀(jì):

1900-1949年：

Modern

Dark

Age1904年關(guān)于太陽黑子隨時間擾動的蝴蝶圖驗證了太陽黑子的周期性

1957年發(fā)明的圓形圖標(biāo)，采用線段及其朝向編碼多維數(shù)據(jù)。Jacques

Bertin提出的七個視覺變量，給出了完備

的圖形符號和表示理論。針對點(Point

)、線(Line)和區(qū)域(Area)數(shù)據(jù)采用不同視覺通道的圖

形符號表示方案。

圖.

1973年Herman

Chernoff發(fā)明的表達多變量數(shù)據(jù)的臉譜編碼?液化學(xué)數(shù)據(jù)使?計算機軟件Biplot進?的可視化

圖.

1975年統(tǒng)計圖形學(xué)家發(fā)明的增強型散點圖

圖.

John

Hartigan發(fā)明的散點圖矩陣1991年Ben

Shneideman教授發(fā)明的樹圖，?級聯(lián)

嵌套的平?化樹狀結(jié)構(gòu)表

達層次結(jié)構(gòu)。1994年施樂公司創(chuàng)造的表格透鏡技術(shù)進入21世紀(jì)，現(xiàn)有的可視化技術(shù)已難以應(yīng)對海量、高維、多源和動態(tài)數(shù)據(jù)的分析挑戰(zhàn)，

需要綜合可視化、圖形學(xué)、

數(shù)據(jù)挖掘理論與方法，研究新的理論模型、新的可視化方法

和新的用戶交互手段，

輔助用戶從大尺度、復(fù)雜、矛盾甚至

不完整的數(shù)據(jù)中快速挖掘有用的信息，以便做出有效決策。

斯坦福大學(xué)生物工程和精神病學(xué)負責(zé)人Karl

Deisseroth說：“以分子水平和全局范圍觀察整個大腦系統(tǒng)，曾經(jīng)一直都是生物學(xué)領(lǐng)域一個無法實現(xiàn)的重大目標(biāo)”。

可視化系統(tǒng)在探索性任務(wù)(例如包含大數(shù)據(jù)量信息)中有

突出的表現(xiàn)，它可以幫助用戶從大量的數(shù)據(jù)空間中找到關(guān)

注的信息來進行詳細分析。3.

數(shù)據(jù)可視化的應(yīng)用數(shù)據(jù)可視化的應(yīng)用1.

醫(yī)學(xué)可視化2.

工程可視化3.

表意性可視化4.

地理氣象信息可視化5.

政治社會領(lǐng)域可視化6.

商業(yè)智能可視化(1

)導(dǎo)入和清理數(shù)據(jù)。決定如何組織輸入數(shù)據(jù)以獲得期望的結(jié)果，它所需要的思考和工作經(jīng)常比預(yù)期的多。

(2

)把視覺表示與文本標(biāo)簽結(jié)合在一起。視覺表示是強有力

的，有意義的文本標(biāo)簽起到很重要的作用。4.

數(shù)據(jù)可視化的挑戰(zhàn)(4

)集成數(shù)據(jù)挖掘。信息可視化和數(shù)據(jù)挖掘起源于兩條獨立的研究路線。研究人員正在逐漸把這兩種方法結(jié)合在一

起。

(5

)與他人協(xié)同。發(fā)現(xiàn)是一個復(fù)雜的過程，它依賴于知道

要尋找什么、通過與他人協(xié)同來驗證假設(shè)、注意異常和使

其他人相信發(fā)現(xiàn)的意義。判斷。(3)查找相關(guān)信息。經(jīng)常需要多個信息源來做出有意義的(5

)實現(xiàn)普遍可用性。當(dāng)可視化工具打算被公眾使用時，必須使該工具可被多種多樣的用戶使用而不管他們的生

活背景、工作背景、學(xué)習(xí)背景或技術(shù)背景如何。

(6)評估。分析很少是一個孤立的短期過程，用戶可能

需要長期從不同視角察看相同的數(shù)據(jù)。5

可視化分析與編程工具

Tableau

()是可視化領(lǐng)域標(biāo)桿性的商業(yè)智能分析軟件，起源于美國斯坦福?學(xué)的科研成果，其設(shè)計?標(biāo)是以可視

的形式動態(tài)呈現(xiàn)關(guān)系型數(shù)據(jù)之間的關(guān)聯(lián)，并允許?戶以所?即所得的?式

完成數(shù)據(jù)分析和可視圖表和報告的創(chuàng)建。

Tableau軟件最吸引?的特點在于，?戶?需掌握?深的技術(shù)或任何編程技能便可以上?操作。該?具已經(jīng)引起了來?各?各業(yè)的?們的興趣，?如咨詢、?融、通信、媒體、?科技、制造業(yè)、能源、體育、科研機構(gòu)等

等。(1)

Tableau?Python指?種?向?qū)ο?、解釋型的計算機程序設(shè)計語?，是?種

功能強?的通?型語?，具有近??年的發(fā)展歷史，成熟且穩(wěn)定。?它包含?組完善?且容易理解的標(biāo)準(zhǔn)庫，能夠輕松完成很多常?

的任務(wù)。?Python的NumPy、SciPy庫能夠??？焖俸?便地操作?量數(shù)據(jù)、

進?科學(xué)計算，

Matplotlib庫能夠以簡潔的代碼繪制出漂亮的圖

形。(2)

Python其他可視化工具Excel(3)

谷歌版的Excel，但用起來更容易，而且是在線的?？梢酝ㄟ^內(nèi)置的聊天和實

時編輯功能進行協(xié)作。

通過importHTML和importXML

函數(shù)，可以從網(wǎng)上導(dǎo)入HTML和XML文件。Google

Spreadsheets

(1

)

TileMill。自定義地圖的制作難度較大且技術(shù)性強，然而現(xiàn)在已經(jīng)有多種程序能夠基于自己的數(shù)據(jù)、按喜好和需求設(shè)計地圖。地圖平臺

MapBox提供的TileMill就是一款開源的桌面軟件，有不同平臺的多個版本。

(2

)

ImagePlot。加州電信學(xué)院軟件研究實驗室的ImagePlot能將大規(guī)模圖

像集合作為一組數(shù)據(jù)點來進行探索。例如，可以根據(jù)顏色、時間或數(shù)量來

繪制圖形，從而展現(xiàn)某位藝術(shù)家或某一組照片的發(fā)展趨勢與變化。針對特定數(shù)據(jù)的工具

(3)樹圖。

馬里蘭大學(xué)人機交互實驗室的交互式軟件是最早的，可以免費使用。樹圖對于探索小空間中的層次式數(shù)據(jù)非常有用。

Hive小組還開發(fā)

并維護了一款商用版本。

(4

)

indiemapper。這是地圖制作小組Axis

Maps提供的一個免費服務(wù)。與TileMill類似，它支持創(chuàng)建自定義地圖以及用自己的數(shù)據(jù)制圖，但它運

行在瀏覽器中，而不是作為桌面客戶端軟件運行。

indiemapper使用簡單，

并且有大量的示例幫助起步?？梢苑奖愕刈儞Q地圖投影，找出最適合自己

需要的投影方式。

(5

)

GeoCommons。其與indiemapper類似，但更專注于數(shù)據(jù)的探索和分析。你可以上傳自己的數(shù)據(jù)，也可以從GeoCommons數(shù)據(jù)庫中抽取數(shù)據(jù)，

然后與點和區(qū)域進行交互。還可以將數(shù)據(jù)以多種常見的格式導(dǎo)出，以便導(dǎo)

入其他軟件。

(6)

ArcGIS。在新的地圖工具出現(xiàn)之前，對大數(shù)人來說，

AreGIS都是首選的地圖工具。

ArcGIS是個特性豐富的平臺，幾乎能做與地圖有關(guān)的

任何事情。大多數(shù)時候，基本功能已經(jīng)足夠，因此最好還是先嘗試一下免

費選項，如果不夠用，再嘗試ArcGIS。

(7)Gephi。是一款跨平臺的基于JVM的復(fù)雜網(wǎng)絡(luò)分析軟件，其主要用于各種網(wǎng)絡(luò)和復(fù)雜系統(tǒng)，幫助用戶創(chuàng)建動態(tài)的層次豐富的圖表。Gephi自

稱是“開放的圖表及可視化平臺”

，起創(chuàng)于2009年的一個大學(xué)生項目，

已迅速成為一個頗具價值的開源軟件資源。支撐用戶創(chuàng)建檢驗假設(shè)、深

入探尋模式以及觀測異常值、偏差值?？梢詫ephi想象成統(tǒng)計輔助工具

(能跟R進行整合)。

(8)Timeflow。

用于分析時間數(shù)據(jù)的開源可視化工具，由

Sarah

Cohen(杜克大學(xué))于

2010

年創(chuàng)建。TimeFlow

有一套強大的工具用于過濾和

聚合數(shù)據(jù)。該程序提供了四種不同的顯示視圖：標(biāo)準(zhǔn)時間線、表格、條

形圖和交互式日歷。–JavaScript

、HTML和CSS隨著瀏覽器的速度越來越快，可視化開始借助HTML

、

JavaScript和CSS代碼在瀏覽器中展示。具有很大的靈活性，可

以做出用戶想要的各種效果。JavaScript具有很多進行可視化的庫，例如D3.js

、Echarts、Recharts

、ApexCharts等?？梢暬幊坦ぞ?D3.js

。

處理基于數(shù)據(jù)文檔的JavaScript

庫。利用諸如HTML

、Scalable

Vector

Graphic以及Cascading

Style

Sheets等編程語言讓數(shù)

據(jù)變得更生動。

通過對網(wǎng)絡(luò)標(biāo)準(zhǔn)的強調(diào)，

D3賦予用戶當(dāng)前瀏覽器的完整能力。

提供

的基于數(shù)據(jù)的DOM操作

(文檔對象模