大數(shù)據(jù)可視化技術(shù)與應(yīng)用 課件 第2章 數(shù)據(jù)可視化基礎(chǔ)、拓展

第2章數(shù)據(jù)可視化基礎(chǔ)可視化流程原始數(shù)據(jù)數(shù)據(jù)分析準備好的數(shù)據(jù)過濾重點數(shù)據(jù)可視映射幾何數(shù)據(jù)渲染繪制圖像數(shù)據(jù)可視化流程數(shù)據(jù)采集可視化的對象是數(shù)據(jù)，而采集的數(shù)據(jù)涉及數(shù)據(jù)格式、維度、分辨率和精確度等重要特性，這些都決定了可視化的效果。數(shù)據(jù)處理和變換原始數(shù)據(jù)中含有噪聲和誤差，還會有一些信息被隱藏?？梢暬靶枰獙⒃紨?shù)據(jù)轉(zhuǎn)換成用戶可以理解的模式和特征并顯示出來?？梢暬鞒炭梢暬成渥層脩敉ㄟ^可視化結(jié)果去理解數(shù)據(jù)信息以及數(shù)據(jù)背后隱含的規(guī)律。將數(shù)據(jù)的數(shù)值、空間坐標、不同位置數(shù)據(jù)間的聯(lián)系等映射為可視化視覺通道的不同元素，如標記、位置、形狀、大小和顏色等。因此可視化映射是與數(shù)據(jù)、感知、人機交互等方面相互依托，共同實現(xiàn)的。用戶感知可視化映射后的結(jié)果只有通過用戶感知才能轉(zhuǎn)換成知識和靈感。用戶從數(shù)據(jù)的可視化結(jié)果中進行信息融合、提煉、總結(jié)知識和獲得靈感。數(shù)據(jù)可視化可讓用戶從數(shù)據(jù)中探索新的信息，也可證實自己的想法是否與數(shù)據(jù)所展示的信息相符合?？梢暬O(shè)計工具和原則可視化數(shù)據(jù)組織與管理工具可視化設(shè)計原則可視化數(shù)據(jù)組織與管理工具分布式文件系統(tǒng)分布式文件系統(tǒng)是指文件在物理上可能被分散存儲在不同地點的節(jié)點上，各節(jié)點通過計算機網(wǎng)絡(luò)進行通信和數(shù)據(jù)傳輸，但在邏輯上仍然是一個完整的文件。用戶在使用分布式文件系統(tǒng)時，無須知道數(shù)據(jù)存儲在哪個具體的節(jié)點上，只需像操作本地文件系統(tǒng)一樣進行管理和存儲數(shù)據(jù)即可。文檔存儲文檔存儲支持對結(jié)構(gòu)化數(shù)據(jù)的訪問，一般以鍵值對的方式進行存儲。文檔存儲模型支持嵌套結(jié)構(gòu)。例如，文檔存儲模型支持XML和JSON文檔，字段的“值”又可以嵌套存儲其他文檔。Mongodb數(shù)據(jù)庫通過支持在查詢中指定JSON字段路徑實現(xiàn)類似的功能?？梢暬瘮?shù)據(jù)組織與管理工具列式存儲列式存儲是指以流的方式在列中存儲所有的數(shù)據(jù)。列式數(shù)據(jù)庫把一列中的數(shù)據(jù)值串在一起存儲，然后再存儲下一列的數(shù)據(jù)，以此類推。列式數(shù)據(jù)庫由于查詢時需要讀取的數(shù)據(jù)塊少，所以查詢速度快。因為同一類型的列存儲在一起，所以數(shù)據(jù)壓縮比高，簡化了數(shù)據(jù)建模的復(fù)雜性。但它是按列存儲的，插入更新的速度比較慢，不太適合用于數(shù)據(jù)頻繁變化的數(shù)據(jù)庫。它適合用于決策支持系統(tǒng)、數(shù)據(jù)集市、數(shù)據(jù)倉庫，不適合用于聯(lián)機事務(wù)處理（OLTP)鍵值存儲鍵值存儲，即Key-value存儲，簡稱KV存儲。它是NOSQL存儲的一種方式。它的數(shù)據(jù)按照鍵值對的形式進行組織、索引和存儲。鍵值存儲能有效地減少讀寫磁盤的次數(shù)，比SQL數(shù)據(jù)庫存儲擁有更好的讀寫性能?？梢暬瘮?shù)據(jù)組織與管理工具圖形數(shù)據(jù)庫當事物與事物之間呈現(xiàn)復(fù)雜的網(wǎng)絡(luò)關(guān)系（這些關(guān)系可以簡單地稱為圖形數(shù)據(jù)）時，最常見例子就是社會網(wǎng)絡(luò)中人與人之間的關(guān)系，用關(guān)系型數(shù)據(jù)庫存儲這種“關(guān)系型”數(shù)據(jù)的效果并不好，其查詢復(fù)雜、緩慢，并超出預(yù)期，而圖形數(shù)據(jù)庫的出現(xiàn)則彌補了這個缺陷。關(guān)系數(shù)據(jù)庫關(guān)系模型是最傳統(tǒng)的數(shù)據(jù)存儲模型，數(shù)據(jù)按行存儲在有架構(gòu)界定的表中。表中的每個列都有名稱和類型，表中的所有記錄都要符合表的定義。用戶可使用基于關(guān)系代數(shù)演算的結(jié)構(gòu)化查詢語言（StructuredQueryLanguage,SQL）提供相應(yīng)的語法查找符合條件的記錄，通過表連接在多表之間查詢記錄，表中的記錄可以被創(chuàng)建和除，記錄中的字段也可以單獨更新?？梢暬瘮?shù)據(jù)組織與管理工具內(nèi)存數(shù)據(jù)庫內(nèi)存數(shù)據(jù)庫（MainMemoryDatabase,MMDB）就是將數(shù)據(jù)放在內(nèi)存中直接操作的數(shù)據(jù)庫。相對于磁盤數(shù)據(jù)，內(nèi)存數(shù)據(jù)的讀寫速度要高出幾個數(shù)量級。MMDB的最大特點是其數(shù)據(jù)常駐內(nèi)存，即活動事務(wù)只與實時內(nèi)存數(shù)據(jù)庫的內(nèi)存數(shù)據(jù)“打交道”，所處理的數(shù)據(jù)通常是“短暫”的，有一定的有效時間，過時則有新的數(shù)據(jù)產(chǎn)生。所以，實際應(yīng)用中采用內(nèi)存數(shù)據(jù)庫來處理實時性強的業(yè)務(wù)邏輯?？梢暬O(shè)計原則數(shù)據(jù)篩選原則可視化展示的信息要適度，以保證用戶獲取數(shù)據(jù)信息的效率。數(shù)據(jù)到可視化的直觀映射原則設(shè)計者能夠在可視化設(shè)計時預(yù)測用戶在使用可視化結(jié)果時的行為和期望，就可以提高可視化設(shè)計的可用性和功能性，有助于幫助用戶理解可視化結(jié)果。設(shè)計者利用已有的先驗知識可以減少用戶對信息的感知和認知所需的時間。視圖選擇與交互設(shè)計原則簡單的數(shù)據(jù)可以使用基本的可視化視圖，復(fù)雜的數(shù)據(jù)則需要使用或開發(fā)新的較為復(fù)雜的可視化視圖?？梢暬O(shè)計原則美學原則可視化設(shè)計者在完成可視化的基本功能后，需要對其形式表達（可視化的美學）方面進行設(shè)計。有美感的可視化設(shè)計會更加吸引用戶的注意，促使其進行更深入的探索。適當運用隱喻原則用一種事物去理解和表達另一種事物的方法稱為隱喻（metaphor)，隱喻作為一種認知方式，參與人對外界的認知過程。顏色與透明度選擇原則顏色在數(shù)據(jù)可視化領(lǐng)域通常被用于編碼數(shù)據(jù)的分類或定序?qū)傩?。有時，為了便于用戶在觀察和探索數(shù)據(jù)可視化時從整體進行把握，可以給顏色增加一個表示不透明度的分量通道，用于表示離觀察者更近的顏色對背景顏色的透過程度。謝謝大家第2章數(shù)據(jù)可視化拓展主要內(nèi)容空間場數(shù)據(jù)可視化地理數(shù)據(jù)可視化時變數(shù)據(jù)可視化樹結(jié)構(gòu)可視化圖結(jié)構(gòu)可視化空間場數(shù)據(jù)可視化

空間場數(shù)據(jù)根據(jù)空間的維度與屬性值的特征共同命名多元結(jié)構(gòu)→屬性值多維結(jié)構(gòu)→空間的維度濕度數(shù)據(jù)——三維標量場風場數(shù)據(jù)——三維矢量場

核磁數(shù)據(jù)——三維張量場空間數(shù)據(jù)可視化單元格結(jié)構(gòu)與在空間中進行采樣的方法息息相關(guān)，進行采樣時單元格的劃分策略稱為柵格常見的采樣策略包括以相同間隔采樣的均勻柵格，非均勻分布的直線型柵格，基于地理坐標的采樣等雖然空間場數(shù)據(jù)通過采樣的形式獲取，但它的值并非對應(yīng)某個特定的點，而是對空間中一定范圍的度量，所有的采樣連續(xù)且相鄰的分布在整個空間域中地理數(shù)據(jù)的可視化地圖投影：將地理信息數(shù)據(jù)投影到地球表面的方法地圖投影是地理數(shù)據(jù)可視化的基礎(chǔ)?目的是將球面映射到某種曲面上，將球面上的每一個點與平面某點建立對應(yīng)關(guān)系，即實現(xiàn)球面的參數(shù)化地理數(shù)據(jù)的可視化常見的地圖投影方法墨卡托投影——等角度投影地理數(shù)據(jù)的可視化常見的地圖投影方法墨卡托投影——等角度投影地理數(shù)據(jù)的可視化常見的地圖投影方法阿爾伯斯投影——等面積圓錐投影地理數(shù)據(jù)的可視化常見的地圖投影方法方位角投影地理數(shù)據(jù)的可視化對象屬性信息的表達：對不同類型的地理數(shù)據(jù)使用不同種類的表達方法時變數(shù)據(jù)的可視化隨時間變化，帶有時間屬性的數(shù)據(jù)稱為時變數(shù)據(jù)主要分為兩類以時間軸排列的時間序列數(shù)據(jù)：股票走勢圖、奧運會的日程不以時間為變量，但具有內(nèi)在的排列順序：文本、DNA測序時變型數(shù)據(jù)特點實際應(yīng)用中量大、維數(shù)多、變量多，而且類型豐富，分布范圍廣泛時變數(shù)據(jù)的可視化時變化數(shù)據(jù)的可視化涉及三個維度：表達、比例和布局時變數(shù)據(jù)的可視化表達維度線性以典型的閱讀方式呈現(xiàn)內(nèi)容；將時間數(shù)據(jù)作為二維的線圖顯示；x軸表示時間、y軸表示其他的變量。徑向?qū)r間序列編碼為弧形；沿圓周排列；適合呈現(xiàn)周期性的時變型數(shù)據(jù)。比如：南丁格爾玫瑰圖。網(wǎng)格和日歷相對應(yīng)；一般采用表格映射的方式。螺旋可用條形、線條或數(shù)據(jù)點、沿著螺旋路徑顯示。隨機兩類：1、基于排版形式的隨機；2、時間曲線的隨機，使相似的時間點彼此接近。時變數(shù)據(jù)的可視化比例維度比例維度（按時間順序）可以被用來表示事件的順序，或者事件的持續(xù)時間。相對順序是指存在一個基線事件在時間零點，可以被用在多時間線的對比。對數(shù)的比列從按時間的前后順序排列的比例轉(zhuǎn)換而來，強調(diào)了最早的或最近的事件，對數(shù)比例適用于長范圍或不均勻的事件布局。次序，次序比例中連續(xù)事件之間的距離是相等的，只表達事件的順序。次序+中間時長，這種形式可以用來表示長時間和不均勻分布的事件。時變數(shù)據(jù)的可視化布局維度單一時間線多個時間線分段時間線，在這種形式中，一個時間線被有意義的進行劃分，進行另一種形式的比較。多個時間線加上分段時間線，指不同屬性時間線加上分割的時間段，可以進行多種形式的比較。樹結(jié)構(gòu)的可視化樹結(jié)構(gòu)：表達個體間的層次關(guān)系樹結(jié)構(gòu)的可視化樹結(jié)構(gòu)表達方法：結(jié)點鏈接法：結(jié)構(gòu)清晰空間嵌套填充法：有效利用空間混合方法：既結(jié)構(gòu)清晰又有效利用空間圖結(jié)構(gòu)的可視化并不具有自底向上或自頂向下的層次結(jié)構(gòu)表達的關(guān)系更加自由和復(fù)雜社交網(wǎng)絡(luò)、電話網(wǎng)絡(luò)、郵件網(wǎng)絡(luò)、合作網(wǎng)絡(luò)等圖結(jié)構(gòu)的可視化節(jié)點鏈接法(Node-Link)