大數(shù)據(jù)分析與應(yīng)用_數(shù)據(jù)可視化基礎(chǔ)

1、數(shù)據(jù)可視化基礎(chǔ)內(nèi)容提綱可視化介紹數(shù)據(jù)科學(xué)高維數(shù)據(jù)可視化什么是可視化？定義定義 使某物、某事可見(jiàn)的動(dòng)作或事實(shí)；對(duì)某個(gè)原本使某物、某事可見(jiàn)的動(dòng)作或事實(shí)；對(duì)某個(gè)原本眼睛不可見(jiàn)的事物形成一副可感知的心理圖片眼睛不可見(jiàn)的事物形成一副可感知的心理圖片或視覺(jué)的過(guò)程或能力；一副因此而形成的圖片或視覺(jué)的過(guò)程或能力；一副因此而形成的圖片. .繪制出可見(jiàn)圖片的動(dòng)作或過(guò)程繪制出可見(jiàn)圖片的動(dòng)作或過(guò)程. .可視化通過(guò)使用電腦，對(duì)數(shù)據(jù)進(jìn)行交互的可視表達(dá)以增強(qiáng)認(rèn)知 Card, Mackinlay Shneiderman 98 通常被認(rèn)為是一個(gè)生成圖形圖像的過(guò)程，實(shí)為認(rèn)知過(guò)程形成某個(gè)物體的感知圖像強(qiáng)化認(rèn)知理解 可視化的目的是洞

2、悉，而非圖像洞察：發(fā)現(xiàn)，決策，解釋，分析，探索，學(xué)習(xí)4可視化的應(yīng)用范圍數(shù)據(jù)分析技術(shù)數(shù)據(jù)挖掘，數(shù)據(jù)庫(kù)查詢，機(jī)器學(xué)習(xí)可視化尤擅于探索性數(shù)據(jù)的分析不知道里面有什么沒(méi)有一個(gè)預(yù)先的探索假設(shè)想知道存在那些疑問(wèn)I see what youre saying 我明白你的意思Seeing is believing 眼見(jiàn)為實(shí)A picture is worth a thousand words 一圖勝千言5為什么我們需要可視化揭示想法和關(guān)系揭示想法和關(guān)系形成論點(diǎn)或意見(jiàn)形成論點(diǎn)或意見(jiàn)觀察事物演化的趨勢(shì)觀察事物演化的趨勢(shì)總結(jié)或積聚數(shù)據(jù)總結(jié)或積聚數(shù)據(jù)存檔、匯整存檔、匯整信賴、信任、求真信賴、信任、求真?zhèn)鞑ブR(shí)傳播知識(shí)探

3、索性數(shù)據(jù)分析探索性數(shù)據(jù)分析為什么我們需要可視化回答問(wèn)題做出決定在上下文里看數(shù)據(jù)擴(kuò)充記憶和內(nèi)存空間支持圖形化計(jì)算尋找模式展示論據(jù)講故事激發(fā)智力和洞察力可視化的三個(gè)功能記錄信息記錄信息成像、藍(lán)圖設(shè)計(jì)、支持對(duì)信息的推理和分析支持對(duì)信息的推理和分析過(guò)程與計(jì)算數(shù)據(jù)推理反饋與交互信息傳遞信息傳遞共享與說(shuō)服協(xié)作與修正突出數(shù)據(jù)的重要部分信息記錄 繪圖：月亮周期繪圖：月亮周期伽利略于1616年關(guān)于月亮周期的繪圖/sci/observations/moon.html信息記錄攝像：月亮周期數(shù)據(jù)推理：4個(gè)數(shù)據(jù)集X均值 = 9.0 Y均值 = 7.5 最小二乘法回歸線方程 y

4、 = 3 + 0.5x誤差的平方和 = 110.0X值的方差的回歸和 = 27.5均方誤差的誤差和 (相對(duì)于回歸線) = 13.75相關(guān)系數(shù) = 0.8211數(shù)值表示1 2 3 410.0, 8.04 10.0,9.14 10.0, 7.46 8.0, 6.58 8.0, 6.95 8.0,8.14 8.0, 6.77 8.0, 5.7613.0, 7.58 13.0,8.74 13.0,12.74 8.0, 7.719.0, 8.81 9.0,8.77 9.0, 7.11 8.0, 8.84 11.0, 8.33 11.0,9.26 11.0, 7.81 8.0, 8.4714.0, 9.9

5、6 14.0,8.10 14.0, 8.84 8.0, 7.046.0, 7.24 6.0,6.13 6.0, 6.08 8.0, 5.254.0, 4.26 4.0,3.10 4.0, 5.39 19.0,12.5012.0,10.84 12.0,9.13 12.0, 8.15 8.0, 5.567.0, 4.82 7.0,7.26 7.0, 6.42 8.0, 7.915.0, 5.68 5.0,4.74 5.0, 5.73 8.0, 6.891213回答問(wèn)題Gallop, Bay Horse “Daisy” Muybridge 1884-86其他記錄設(shè)備Mareys sphygmogra

6、ph脈波計(jì)脈波計(jì), , 脈搏記錄脈搏記錄儀儀from Braun 83支持推理分析: 挑戰(zhàn)者號(hào)案例 1986年1月28日，美國(guó)“挑戰(zhàn)者”號(hào)航天飛機(jī)在升空以后不久爆炸，全世界的人們?cè)陔娨暀C(jī)前目睹了這一悲壯的情景。這一事件不僅再次向世人表明人類科學(xué)技術(shù)進(jìn)步的艱巨與困難，也揭示了復(fù)雜組織內(nèi)部正式的傳播系統(tǒng)是何等脆弱。這一災(zāi)難的直接起因是兩個(gè)O形橡膠圈的故障，它們是由猶他州的莫頓塞奧科公司（Morton Thiokol）生產(chǎn)的，用來(lái)密封發(fā)射器上固體燃料箱上的接縫?！疤魬?zhàn)者”號(hào)點(diǎn)火升空后，由于氣溫太低，發(fā)射器上的橡膠圈無(wú)法按照設(shè)計(jì)要求迅速膨脹以彌合部件之間的縫隙，導(dǎo)致大量燃?xì)馔庑?，在主燃料箱上燒穿了一個(gè)

7、洞，使這一最先進(jìn)的航天工具變成了一副燃燒的棺材。在這一顯而易見(jiàn)的技術(shù)問(wèn)題背后，人們要追問(wèn)的是組織決策問(wèn)題：決策者是否知曉相關(guān)技術(shù)信息？為何以及在何種情況之下做出了發(fā)射決定？也許我們不能將所有問(wèn)題歸咎于傳播故障，但是正如“挑戰(zhàn)者”號(hào)事故調(diào)查總統(tǒng)委員會(huì)的報(bào)告所說(shuō):“信息溝通渠道的障礙導(dǎo)致做出了發(fā)射的決定，這一決定建立在不完全甚至是使人容易誤解的信息基礎(chǔ)之上”（轉(zhuǎn)引自Conrad, 2001）。確實(shí)，決策失誤往往是組織的結(jié)構(gòu)、傳播習(xí)慣等多種問(wèn)題積累的結(jié)果。支持推理分析決策：Challenger; 由Morton Thiokol傳真到 NASA的13頁(yè)紙中的2頁(yè) Tufte 1997支持推理分析Tuf

8、te教授繪制的演示低溫如何摧毀O形密封圈 Tufte 97支持推理分析Tufte教授繪制的演示低溫如何摧毀O形密封圈 Tufte 97上下文中數(shù)據(jù)理解上下文中數(shù)據(jù)理解: : 霍亂流行霍亂流行1854 John Snow Tufte 1983擴(kuò)充記憶和內(nèi)存空間: : 乘法計(jì)算乘法計(jì)算 34 34x 72x 72 68 682380238024482448圖示化計(jì)算圖示化計(jì)算: : 水的蒸發(fā)水的蒸發(fā)Johannes Lambert 采用圖來(lái)研究水蒸發(fā)與溫度的關(guān)系 Tufte 1983圖示化計(jì)算圖示化計(jì)算: : 視覺(jué)證據(jù)視覺(jué)證據(jù)奇數(shù)的和：1 + 3 + 5 + 7 + 9 = 52Pythagore

9、an 定理定理中國(guó)古代的剖切證明尋找模式尋找模式: : 紐約天氣紐約天氣New York Times 1981展示論據(jù):出口與進(jìn)口Playfair 1786信息表達(dá)雙螺旋模型 Watson and Crick 53生理衛(wèi)生 1918可視化研究的挑戰(zhàn)越來(lái)越多不可見(jiàn)數(shù)據(jù)模擬數(shù)據(jù)數(shù)字城市規(guī)劃流體模擬可視化研究的挑戰(zhàn)越來(lái)越多不可見(jiàn)數(shù)據(jù)實(shí)測(cè)數(shù)據(jù)Sloan digital sky 傳感器網(wǎng)絡(luò)傳感器網(wǎng)絡(luò)Hill 數(shù)字?jǐn)z像儀可視化研究的挑戰(zhàn)越來(lái)越多不可見(jiàn)數(shù)據(jù)信息快速傳播可視化研究的挑戰(zhàn)越來(lái)越多不可見(jiàn)數(shù)據(jù)20022002年年5 exabytes5 exabytes新信息新信息

10、 Lyman 03Lyman 0320062006年年161 exabytes Gantz 07161 exabytes Gantz 07需要新的更好的工具和算法以傳播信息需要新的更好的工具和算法以傳播信息注意力“What information consumes is rather obvious: itconsumes the attention of its recipients. Hence awealth of information creates a poverty ofattention, and a need to allocate that attentionefficie

11、ntly among the overabundance ofinformation sources that might consume it.”Herb Simonas quoted by Hal VarianScientific AmericanSeptember 1995可視化研究的目標(biāo)理解可視化是如何傳遞給人們的理解可視化是如何傳遞給人們的人們感知和理解什么？可視化是如何對(duì)應(yīng)于數(shù)據(jù)的智能模型的？開(kāi)發(fā)能有效創(chuàng)造可視化的原理與技術(shù)開(kāi)發(fā)能有效創(chuàng)造可視化的原理與技術(shù) 增強(qiáng)認(rèn)知與感知增強(qiáng)可視化與數(shù)據(jù)的智能模型之間的聯(lián)系1. 1. 數(shù)據(jù)與成像模型數(shù)據(jù)與成像模型Bertin, Graphics a

12、nd Graphic Information Processing 19812. 2. 好的和壞的可視化好的和壞的可視化謬誤的可視化與其修正效果3. 3. 感知感知感應(yīng)功能的心理物理學(xué) Stevens 614. 4. 交互交互FilmFinder Ahlberg 945. 5. 空間布局空間布局London 地鐵 Beck 336. 6. 樹(shù)與圖樹(shù)與圖興趣度樹(shù)Heer & Card, 20047. 7. 顏色顏色Cynthia Brewer /faculty/c/a/cab38/ 8. 8. 協(xié)同可視化協(xié)同可視化Sense.us He

13、er 079. 9. 設(shè)計(jì)原理設(shè)計(jì)原理測(cè)試三種組裝儀器的有效性Heiser 0410. 10. 形狀的表意性繪制形狀的表意性繪制Lumbosacral and Sacro-iliac fusionRussell Drake, medical illustrator,Mayo Foundation, 1932.11. 11. 結(jié)構(gòu)的表意性繪制結(jié)構(gòu)的表意性繪制Principal Organs & Vascular SystemLeonardo da Vinci ca. 1490上：世界上第一副流場(chǎng)可視化效果-達(dá)芬奇下：表意性可視化NASA X38數(shù)據(jù)12. 12. 攝像攝像Shadowgraph of a .22-caliber bullet in flightTaken by an MIT freshman in 1962, in Edgertons lab. NASA X38數(shù)據(jù)的模擬物理攝像實(shí)驗(yàn)的可視化效果。(a) 二維平切Schlieren效果； (b)60度刀角情況下的Schlieren效果； 圓形Schlieren效果；(d)Shadowgraphy效果13. 13. 過(guò)程與動(dòng)作可視化過(guò)程與動(dòng)作可視化穿著紗麗 Mijksenaar 99舞蹈步驟的可視化 Tufte 9014. 14. 動(dòng)畫(huà)動(dòng)畫(huà)Outsi