大數(shù)據(jù)可視化技術(shù)ppt課件.ppt

1、大數(shù)據(jù)可視化,張磊 2015.7.28,1,可視化分支,一幅圖勝過千言萬語.人類從外界獲得的信息約有80%以上來自于視覺系統(tǒng),當(dāng)大數(shù)據(jù)以直觀的可視化的圖形形式展示在分析者面前時,分析者往往能夠一眼洞悉數(shù)據(jù)背后隱藏的信息并轉(zhuǎn)化知識以及智慧。,2,將196 個國家的35 萬個網(wǎng)站數(shù)據(jù)整合起來,并根據(jù)200 多萬個網(wǎng)站鏈接將這些星球通過關(guān)系鏈聯(lián)系起來,每一個星球的大小根據(jù)其網(wǎng)站流量來決定,而星球之間的距離遠(yuǎn)近則根據(jù)鏈接出現(xiàn)的頻率、強度和用戶跳轉(zhuǎn)時創(chuàng)建的鏈接。,3,大數(shù)據(jù)可視分析是指在大數(shù)據(jù)自動分析挖掘方法的同時,利用支持信息可視化的用戶界面以及支持分析過程的人機交互方式與技術(shù),有效融合計算機的計算能

2、力和人的認(rèn)知能力,以獲得對于大規(guī)模復(fù)雜數(shù)據(jù)集的洞察力(insight).,4,信息可視化可以理解為編碼(encoding)和解碼(decoding)兩個映射過程31:編碼是將數(shù)據(jù)映射為可視化圖形的視覺元素如形狀、位置、顏色、文字、符號等;解碼則是對視覺元素的解析,包括感知和認(rèn)知兩部分. 一個好的可視化編碼需同時具備兩個特征:效率和準(zhǔn)確性.效率指的是能夠瞬間感知到大量信息,準(zhǔn)確性則指的是解碼所獲得的原始真實信息.,5,文本可視化,文本信息是大數(shù)據(jù)時代非結(jié)構(gòu)化數(shù)據(jù)類型的典型代表,是互聯(lián)網(wǎng)中最主要的信息類型,也是物聯(lián)網(wǎng)各種傳感器采集后生成的主要信息類型,人們?nèi)粘９ぷ骱蜕钪薪佑|最多的電子文檔也是以文

3、本形式存在.文本可視化的意義在于,能夠?qū)⑽谋局刑N含的語義特征(例如詞頻與重要度、邏輯結(jié)構(gòu)、主題聚類、動態(tài)演化規(guī)律等)直觀地展示出來.,6,典型的文本可視化技術(shù)是標(biāo)簽云，將關(guān)鍵詞根據(jù)詞頻或其他規(guī)則進行排序,按照一定規(guī)律進行布局排列,用大小、顏色、字體等圖形屬性對關(guān)鍵詞進行可視化,7,DAViewer將文本的敘述結(jié)構(gòu)語義以樹的形式進行可視化, 同時展現(xiàn)了相似度統(tǒng)計、修辭結(jié)構(gòu)、以及相應(yīng)的文本內(nèi)容;DocuBurst以放射狀層次圓環(huán)的形式展示文本結(jié) 構(gòu).基于主題的文本聚類是文本數(shù)據(jù)挖掘的重要研究內(nèi)容,為了可視化展示文本聚類效果,通常將一維的文本信息投射到二維空間中,以便于對聚類中的關(guān)系予以展示.,8,

4、ThemeRiver用河流作為隱喻,河流從左至右的流淌代表時間序列,將文本中的主題按照不同的顏色的色帶表示,主題的頻度以色帶的寬窄表示.基于河流隱喻,研究者又提出了TextFlow,進一步展示了主題的合并和分支關(guān)系以及演變. 其中將新聞進行了聚類,并以氣泡的形式展示出來.,9,社會媒體輿情分析是大數(shù)據(jù)典型應(yīng)用之一,在對文本本身語義特征進行展示的同時,通常需要結(jié)合文本的空間、時間屬性形成綜合的可視化界面.,10,網(wǎng)絡(luò)數(shù)據(jù)可視化,網(wǎng)絡(luò)關(guān)聯(lián)關(guān)系是大數(shù)據(jù)中最常見的關(guān)系,例如互聯(lián)網(wǎng)與社交網(wǎng)絡(luò).層次結(jié)構(gòu)數(shù)據(jù)也屬于網(wǎng)絡(luò)信息的一種特殊情況.基于網(wǎng)絡(luò)節(jié)點和連接的拓?fù)潢P(guān)系,直觀地展示網(wǎng)絡(luò)中潛在的模式關(guān)系,例如節(jié)點

5、或邊聚集性,是網(wǎng)絡(luò)可視化的主要內(nèi)容之一.對于具有海量節(jié)點和邊的大規(guī)模網(wǎng)絡(luò),如何在有限的屏幕空間中進行可視化,將是大數(shù)據(jù)時代面臨的難點和重點.除了對靜態(tài)的網(wǎng)絡(luò)拓?fù)潢P(guān)系進行可視化,大數(shù)據(jù)相關(guān)的網(wǎng)絡(luò)往往具有動態(tài)演化性,因此,如何對動態(tài)網(wǎng)絡(luò)的特征進行可視化,也是不可或缺的研究內(nèi)容。,11,經(jīng)典的基于節(jié)點和邊的可視化,是圖可視化的主要形式.圖中主要展示了具有層次特征的圖可視化的典型技術(shù),例如H 狀樹H-Tree、圓錐樹Cone Tree、氣球圖Balloon View、放射圖Radial Graph、三維放射圖3D Radial、雙曲樹Hyperbolic Tree 等.對于具有層次特征的圖,空間填充法

6、也是常采用的可視化方法,例如樹圖技術(shù)Treemaps及其改進技術(shù),12,基于矩形填充、Voronoi 圖填充、嵌套圓填充的樹可視化技術(shù)，Gou 等人綜合集成了上述多種圖可視化技術(shù),提出了TreeNetViz，綜合了放射圖、基于空間填充法的樹可視化技術(shù).這些圖可視化方法技術(shù)的特點是直觀表達了圖節(jié)點之間的關(guān)系。,13,大規(guī)模網(wǎng)絡(luò)中,隨著海量節(jié)點和邊的數(shù)目不斷增多,例如規(guī)模達到百萬以上時,可視化界面中會出現(xiàn)節(jié)點和邊大量聚集、重疊和覆蓋問題,使得分析者難以辨識可視化效果.圖簡化(graph simplification)方法是處理此類大規(guī)模圖可視化的主要手段: 一類簡化是對邊進行聚集處理,例如基于邊捆綁(edge bundling)的方法,使得復(fù)雜網(wǎng)絡(luò)可視化效果更為清晰,圖10 展示了3 種基于邊捆綁的大規(guī)模密集圖可視化技術(shù).此外,Ersoy 等人還提出了基于骨架的圖可視化技術(shù),主要方法是根據(jù)邊的分布規(guī)律計算出骨架,然后再基于骨架對邊進行捆綁; 另一類簡化是通過層次聚類與多尺度交互,將大規(guī)模圖轉(zhuǎn)化為層次化樹結(jié)