大數(shù)據(jù)可視化技術(shù)與應(yīng)用 教案 呂云翔 第1-6講 數(shù)據(jù)可視化概述-文本數(shù)據(jù)可視化

大數(shù)據(jù)可視化技術(shù)與應(yīng)用教案講授章節(jié)第1講數(shù)據(jù)可視化概述授課時(shí)數(shù)2教學(xué)目的：介紹數(shù)據(jù)可視化概念和發(fā)展歷史介紹可視化的三種類別理解可視化作用，了解可視化的發(fā)展方向教學(xué)內(nèi)容（課程導(dǎo)入）一可視化概念數(shù)據(jù)定義數(shù)據(jù)可視化的定義數(shù)據(jù)可視化從數(shù)據(jù)中提取的信息：模式數(shù)據(jù)的規(guī)律關(guān)系數(shù)據(jù)之間的相關(guān)性異常問(wèn)題數(shù)據(jù)二數(shù)據(jù)可視化發(fā)展歷史數(shù)據(jù)可視化的起源可追溯到公元2世紀(jì)，但是在之后的很長(zhǎng)一段時(shí)間并沒(méi)有特別大的發(fā)展。數(shù)據(jù)可視化的主要進(jìn)展都是在最近兩個(gè)半世紀(jì)才出現(xiàn)，尤其是近四十年。目前最熱門的可視化形式可以追溯到17世紀(jì)，那時(shí)的地質(zhì)探索、數(shù)學(xué)和歷史的普及促進(jìn)了早期的地圖、圖表和時(shí)間線的出現(xiàn)。隨著工藝技術(shù)的完善，到19世紀(jì)上半葉，人們已經(jīng)掌握了整套統(tǒng)計(jì)數(shù)據(jù)可視化工具（包括柱狀圖、餅圖、直方圖、折線圖、時(shí)間線、輪廓線等），關(guān)于社會(huì)、地理、醫(yī)學(xué)和基金的統(tǒng)計(jì)數(shù)據(jù)越來(lái)越多。到19世紀(jì)下半葉，系統(tǒng)構(gòu)建可視化方法的條件日漸成熟，人類社會(huì)進(jìn)入了統(tǒng)計(jì)圖形學(xué)的黃金時(shí)期。到了20世紀(jì)上半葉，政府、商業(yè)機(jī)構(gòu)和科研部門開(kāi)始大量使用可視化統(tǒng)計(jì)圖形。進(jìn)入21世紀(jì)，新的可視化媒介互聯(lián)網(wǎng)出現(xiàn)，這催生了許多新的可視化技術(shù)和功能。三可視化的分類根據(jù)所處理的數(shù)據(jù)對(duì)象的不同，數(shù)據(jù)可視化可分為科學(xué)可視化與信息可視化?？茖W(xué)可視化科學(xué)可視化是可視化領(lǐng)域發(fā)展最早、最成熟的一個(gè)學(xué)科，其應(yīng)用領(lǐng)域包括物理、化學(xué)、氣象氣候、航空航天、醫(yī)學(xué)、生物學(xué)等各個(gè)學(xué)科，涉及對(duì)這些學(xué)科中數(shù)據(jù)和模型的解釋、操作與處理，旨在尋找其中的模式、特點(diǎn)、關(guān)系以及異常情況。信息可視化信息可視化的數(shù)據(jù)更貼近我們的生活與工作，包括地理信息可視化、時(shí)變數(shù)據(jù)可視化、層次數(shù)據(jù)可視化、網(wǎng)絡(luò)數(shù)據(jù)可視化、非結(jié)構(gòu)化數(shù)據(jù)可視化等我們常見(jiàn)的地圖是地理信息數(shù)據(jù)，屬于信息可視化的范疇?？梢暦治鰧W(xué)可視分析學(xué)被定義為一門以可視交互界面為基礎(chǔ)的分析推理科學(xué)，綜合了圖形學(xué)、數(shù)據(jù)挖掘和人機(jī)交互等技術(shù)。四大數(shù)據(jù)可視化作用及發(fā)展方向數(shù)據(jù)可視化的作用包括記錄信息、分析推理、信息傳播與協(xié)同等。伴隨大數(shù)據(jù)時(shí)代的來(lái)臨，數(shù)據(jù)可視化日益受到關(guān)注，可視化技術(shù)也日益成熟。然而，數(shù)據(jù)可視化依然存在許多問(wèn)題，且面臨著如下巨大的挑戰(zhàn)。 數(shù)據(jù)規(guī)模大 數(shù)據(jù)質(zhì)量問(wèn)題 數(shù)據(jù)快速動(dòng)態(tài)變化 面臨復(fù)雜高維數(shù)據(jù) 多來(lái)源數(shù)據(jù)的類型和結(jié)構(gòu)各異未來(lái)主要有四個(gè)發(fā)展方向：可視化技術(shù)與數(shù)據(jù)挖掘技術(shù)的緊密結(jié)合?？梢暬夹g(shù)與人機(jī)交互技術(shù)的緊密結(jié)合可視化技術(shù)廣泛應(yīng)用于大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)的處理與分析。處理數(shù)據(jù)能力的彈性變化。本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本章重點(diǎn)是數(shù)據(jù)及數(shù)據(jù)可視化概念，難點(diǎn)是可視化面臨的挑戰(zhàn)教學(xué)方法、教學(xué)手段：使用教具：計(jì)算機(jī)和投影儀習(xí)題：P25講授章節(jié)第2講數(shù)據(jù)可視化基礎(chǔ)授課時(shí)數(shù)2教學(xué)目的：介紹數(shù)據(jù)可視化流程能夠了解可視化用到的數(shù)據(jù)存儲(chǔ)工具理解并可以簡(jiǎn)單運(yùn)用可視化設(shè)計(jì)原則。教學(xué)內(nèi)容（講授提綱）一可視化流程數(shù)據(jù)采集在可視化設(shè)計(jì)過(guò)程中，一定要事先了解數(shù)據(jù)的來(lái)源、采集方法和數(shù)據(jù)屬性，這樣才能準(zhǔn)確地反映要解決的問(wèn)題。數(shù)據(jù)處理和變換可視化之前需要將原始數(shù)據(jù)轉(zhuǎn)換成用戶可以理解的模式和特征并顯示出來(lái)。所以，數(shù)據(jù)處理和變換是非常有必要的，它包括去噪、數(shù)據(jù)清洗、提取特征等流程可視化映射可視化映射過(guò)程是整個(gè)流程的核心，其主要目的是讓用戶通過(guò)可視化結(jié)果去理解數(shù)據(jù)信息以及數(shù)據(jù)背后隱含的規(guī)律用戶感知可視化映射后的結(jié)果只有通過(guò)用戶感知才能轉(zhuǎn)換成知識(shí)和靈感。二可視化數(shù)據(jù)組織工具數(shù)據(jù)良好的組織與管理是優(yōu)秀數(shù)據(jù)可視化方案的前提條件。在大數(shù)據(jù)時(shí)代，只有選擇適合的數(shù)據(jù)組織與管理方式，才能得到最好的可視化性能，才又可能實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的可視化展示。有以下常見(jiàn)數(shù)據(jù)存儲(chǔ)工具分布式文件系統(tǒng)文檔存儲(chǔ)列式存儲(chǔ)鍵值存儲(chǔ)圖形數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)內(nèi)存數(shù)據(jù)庫(kù)三可視化設(shè)計(jì)原則數(shù)據(jù)可視化的主要目的是準(zhǔn)確地為用戶展示和傳達(dá)出數(shù)據(jù)所包含（隱藏）的信息，需要平衡信息與美感。有如下原則指導(dǎo)設(shè)計(jì)：數(shù)據(jù)篩選原則數(shù)據(jù)到可視化的直觀映射原則視圖選擇與交互設(shè)計(jì)原則美學(xué)原則適當(dāng)運(yùn)用隱喻原則顏色與透明度選擇原則本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)本講重點(diǎn)是理解可視化的原則，難點(diǎn)是可視化數(shù)據(jù)組織工具教學(xué)方法、教學(xué)手段：使用教具：計(jì)算機(jī)和投影儀作業(yè)、討論題、思考題：P33講授章節(jié)第3講時(shí)間數(shù)據(jù)可視化授課時(shí)數(shù)2教學(xué)目的：了解時(shí)間數(shù)據(jù)可視化的應(yīng)用了解連續(xù)型時(shí)間數(shù)據(jù)的特點(diǎn)及可視化的方法了解離散型時(shí)間數(shù)據(jù)的特點(diǎn)及可視化的方法教學(xué)內(nèi)容（講授提綱）一時(shí)間數(shù)據(jù)可視化的應(yīng)用時(shí)間是一個(gè)非常重要的維度和屬性。歷史數(shù)據(jù)的積累是大數(shù)據(jù)“大”的一個(gè)重要原因。時(shí)間序列數(shù)據(jù)存在于各個(gè)領(lǐng)域，比如金融和商業(yè)交易記錄，社會(huì)經(jīng)濟(jì)指標(biāo)記錄，氣象觀測(cè)數(shù)據(jù)，動(dòng)植物種群數(shù)據(jù)等。金融和商業(yè)記錄包括股票交易價(jià)格以及交易量，各種商品的銷售價(jià)格和銷售量；社會(huì)經(jīng)濟(jì)指標(biāo)包括GDP（國(guó)民生產(chǎn)總值）、CPI（消費(fèi)者物價(jià)指數(shù)）等指數(shù)。這些帶時(shí)間維度的數(shù)據(jù)中蘊(yùn)含著大量的信息，是指導(dǎo)國(guó)家制定政策、企業(yè)調(diào)整戰(zhàn)略的重要依據(jù)。表單屬性：二連續(xù)型時(shí)間數(shù)據(jù)特點(diǎn)連續(xù)型時(shí)間數(shù)據(jù)在任意兩個(gè)時(shí)間點(diǎn)之間可以細(xì)分出無(wú)限多個(gè)數(shù)值，它是連續(xù)不斷變化現(xiàn)象的記錄?？梢暬椒A梯圖散點(diǎn)圖擬合曲線三離散型時(shí)間數(shù)據(jù)特點(diǎn)離散型時(shí)間數(shù)據(jù)又稱不連續(xù)性時(shí)間數(shù)據(jù)，這類數(shù)據(jù)在任何兩個(gè)時(shí)間點(diǎn)之間的個(gè)數(shù)是有限的?？梢暬椒ㄉⅫc(diǎn)圖柱形圖堆疊柱形圖本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本講重點(diǎn)是掌握時(shí)間數(shù)據(jù)的類型、可視化方法。教學(xué)方法、教學(xué)手段：使用教具：計(jì)算機(jī)和投影儀作業(yè)、討論題、思考題：P41講授章節(jié)第4講比例數(shù)據(jù)可視化授課時(shí)數(shù)2教學(xué)目的：了解比例數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用掌握比例數(shù)據(jù)可視化的方法了解時(shí)空比例數(shù)據(jù)可視化教學(xué)內(nèi)容（講授提綱）一比例數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用對(duì)于比例數(shù)據(jù)，進(jìn)行可視化的目的，是為了尋找整體中的最大值、最小值、整體的分布構(gòu)成以及各部分之間的相對(duì)關(guān)系。二比例數(shù)據(jù)可視化方法餅圖環(huán)形餅圖比例中的堆疊矩形樹(shù)圖三時(shí)空比例數(shù)據(jù)現(xiàn)在的數(shù)據(jù)往往都帶有時(shí)間維度的信息，時(shí)間屬性的比例數(shù)據(jù)也是經(jīng)常出現(xiàn)的。例如，每年都會(huì)對(duì)各項(xiàng)消費(fèi)占居民總消費(fèi)的比例進(jìn)行統(tǒng)計(jì)，每一的調(diào)查結(jié)果都會(huì)積累下來(lái)。各種消費(fèi)占比隨著時(shí)間的變化情況是國(guó)家很關(guān)心的信息，這可以反映國(guó)民的生活是越來(lái)越好了還是越來(lái)越差了。本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：本講重點(diǎn)是比例數(shù)據(jù)中蘊(yùn)藏的部分與整體的關(guān)系，學(xué)會(huì)比例數(shù)據(jù)的可視化方法，理解時(shí)空比例數(shù)據(jù)的表示方法。教學(xué)方法、教學(xué)手段：使用教具：計(jì)算機(jī)和投影儀作業(yè)、討論題、思考題：P46講授章節(jié)第5講關(guān)系數(shù)據(jù)可視化授課時(shí)數(shù)2教學(xué)目的：了解關(guān)系數(shù)據(jù)的概念掌握具有關(guān)聯(lián)的數(shù)據(jù)的可視化方法掌握數(shù)據(jù)分布性的可視化方法教學(xué)內(nèi)容（講授提綱）一了解關(guān)系數(shù)據(jù)的概念大數(shù)據(jù)的一個(gè)重要價(jià)值是可以幫助我們找到變量之間的聯(lián)系，發(fā)掘事物背后的因果。在進(jìn)行大數(shù)據(jù)挖掘前的重要一步就是探索變量的相關(guān)關(guān)系，進(jìn)而才能探索背后可能隱藏著的因果關(guān)系。二數(shù)據(jù)的關(guān)聯(lián)性事物之間的關(guān)聯(lián)性是比較容易被發(fā)現(xiàn)的，但是關(guān)聯(lián)并不代表存在因果關(guān)系。數(shù)據(jù)的關(guān)聯(lián)性，其核心就是指量化的兩個(gè)數(shù)據(jù)間的數(shù)理關(guān)系。關(guān)聯(lián)性強(qiáng)，是指當(dāng)一個(gè)數(shù)值變化時(shí)，另一個(gè)數(shù)值也會(huì)隨之相應(yīng)地發(fā)生變化。相反地，關(guān)聯(lián)性弱，就是指當(dāng)一個(gè)數(shù)值變化時(shí)另一個(gè)數(shù)值幾乎沒(méi)有發(fā)生變化。關(guān)聯(lián)性可以由以下圖像看出。散點(diǎn)圖散點(diǎn)圖矩陣氣泡圖三數(shù)據(jù)的分布性分布性可以由以下圖像看出。莖葉圖直方圖密度圖本章節(jié)的教學(xué)重點(diǎn)、難點(diǎn)：重點(diǎn)掌握關(guān)系數(shù)據(jù)的概念以及關(guān)聯(lián)性、分布性的可視化方法教學(xué)方法、教學(xué)手段：使用教具：計(jì)算機(jī)和投影儀作業(yè)、討論題、思考題：P54講授章節(jié)第6講文本數(shù)據(jù)可視化授課時(shí)數(shù)4教學(xué)目的：了解文本數(shù)據(jù)可視化的用途、對(duì)文本信息需求的層級(jí)、文本數(shù)據(jù)的分類了解文本數(shù)據(jù)的獲取方法掌握文本內(nèi)容可視化方法了解文本關(guān)系可視化方法教學(xué)內(nèi)容（講授提綱）一文本數(shù)據(jù)可視化應(yīng)用、層級(jí)、分類從人文研究到政府決策，從精準(zhǔn)醫(yī)療到量化金融，從客戶管理到市場(chǎng)營(yíng)銷，這些海量的文本作為最重要的信息載體之一，處處發(fā)揮著舉足輕重的作用。一般把對(duì)文本的理解需求分為三級(jí)：詞匯級(jí)（LexicalLevel）、語(yǔ)法級(jí)（SyntacticLevel）和語(yǔ)義級(jí)（SemanticLevel）。有不同的信息挖掘方法來(lái)支持對(duì)應(yīng)層級(jí)信息的挖掘。一般來(lái)說(shuō)，詞匯級(jí)使用各類分詞算法，語(yǔ)法級(jí)使用一些句法分析算法，語(yǔ)義級(jí)則使用主題提取算法。文本數(shù)據(jù)大致可分為三種：?jiǎn)挝谋?、文檔集合和時(shí)序文本數(shù)據(jù)。對(duì)應(yīng)的文本可視化也可分為：文本內(nèi)容的可視化、文本關(guān)系的可視化、文本多層面信息的可視化。文本內(nèi)容可視化是對(duì)文本內(nèi)的關(guān)鍵信息分析后的展示；文本關(guān)系的可視化既可以對(duì)單個(gè)文本進(jìn)行內(nèi)部的關(guān)系展示，也可以對(duì)多個(gè)文本進(jìn)行文本之間的關(guān)系展示；文本多特征信息的可視化，是結(jié)合文本的多個(gè)特征進(jìn)行全方位的可視化展示。二文本數(shù)據(jù)的獲取網(wǎng)絡(luò)爬蟲(chóng)（WebCrawler）是指一類能夠自動(dòng)化訪問(wèn)網(wǎng)絡(luò)并抓取某些信息的程序，有時(shí)候也被稱為“網(wǎng)絡(luò)機(jī)器人”。它們最早被應(yīng)用于互聯(lián)網(wǎng)搜索引擎及各種門戶網(wǎng)站的開(kāi)發(fā)中，現(xiàn)在也是大數(shù)據(jù)和數(shù)據(jù)分析領(lǐng)域中的重要角色。爬蟲(chóng)可以按一定邏輯大批量采集目標(biāo)頁(yè)面內(nèi)容，并對(duì)數(shù)據(jù)做進(jìn)一步的處理，人們借此能夠更好更快的獲得并使用他們感興趣的信息，從而方便地完成很多有價(jià)值的工作大部分編程語(yǔ)言都可以實(shí)現(xiàn)爬蟲(chóng)程序的編寫，也有部分商業(yè)軟件提供爬蟲(chóng)服務(wù)。目前比較流行的就是用Python編寫爬蟲(chóng)，有大量的第三方庫(kù)可以使用，常見(jiàn)的有Request、urlib、Scrapy等。其中Scrapy庫(kù)提供了比較完善的爬蟲(chóng)框架。三文本內(nèi)容可視化一段文本的內(nèi)容可以用高頻詞、短語(yǔ)、句子、主題等代表，但是文本可視化遇到的任務(wù)通常是對(duì)有海量文本的集合進(jìn)行可視化分析，針對(duì)不同類型的文本集合，我們有不同的方法來(lái)進(jìn)行可視化分析。一個(gè)詞語(yǔ)若在一個(gè)文本中出現(xiàn)頻率較高，那么這個(gè)詞語(yǔ)可能就是這個(gè)文本的關(guān)鍵詞。在實(shí)際應(yīng)用當(dāng)中還要考慮到這些詞是否在其他文本中也經(jīng)常出現(xiàn)，通常使用TF-IDF（TermFrequency-InverseDocumentFrequency）方法來(lái)計(jì)算詞語(yǔ)對(duì)表達(dá)文本信息的重要程度。標(biāo)簽云是一種常見(jiàn)的關(guān)鍵詞可視化方法。文檔散使用詞匯庫(kù)中的結(jié)構(gòu)關(guān)系來(lái)布局關(guān)鍵詞，同時(shí)使用詞語(yǔ)關(guān)系網(wǎng)中具有上下語(yǔ)義關(guān)系的詞語(yǔ)來(lái)布局關(guān)鍵詞，從而揭示文本內(nèi)容。時(shí)序文本具有時(shí)間性和順序性，通常采用主題河流、文本流和故事流進(jìn)行可視化。文本分布可視化實(shí)際上是引入了詞語(yǔ)在文本當(dāng)中的位置、句子長(zhǎng)度等信息，這些信息常被制作成文本弧。四文本關(guān)系可視化文本關(guān)系包括文本內(nèi)或者文本間的關(guān)系，以及文本集合之間的關(guān)系，文本關(guān)系可視化的目的就是呈現(xiàn)這些關(guān)系。文本內(nèi)的關(guān)系有詞語(yǔ)的前后關(guān)系；文本間的關(guān)系有網(wǎng)頁(yè)之間的超鏈接關(guān)系，文本之間