數(shù)據(jù)可視化技術(shù)解讀

1、 數(shù)據(jù)可視化技術(shù)解讀IT與領(lǐng)導(dǎo)和業(yè)務(wù)的溝通神器目 錄 TOC o 1-3 h z u HYPERLINK l _Toc535522055 1.數(shù)據(jù)可視化是什么 PAGEREF _Toc535522055 h 3 HYPERLINK l _Toc535522056 1.1.大數(shù)據(jù)可視化的基本概念 PAGEREF _Toc535522056 h 3 HYPERLINK l _Toc535522057 2.功能與形式 PAGEREF _Toc535522057 h 4 HYPERLINK l _Toc535522058 3.快速的解讀 PAGEREF _Toc535522058 h 4 HYPERL

2、INK l _Toc535522059 4.數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力 PAGEREF _Toc535522059 h 4 HYPERLINK l _Toc535522060 4.1.選擇合適的圖表類型 PAGEREF _Toc535522060 h 6 HYPERLINK l _Toc535522061 4.2.易用的、多維度的交互分析 PAGEREF _Toc535522061 h 7 HYPERLINK l _Toc535522062 4.3.預(yù)警功能 PAGEREF _Toc535522062 h 8 HYPERLINK l _Toc535522063 5.大數(shù)據(jù)可視化的實(shí)施 PAGEREF

3、 _Toc535522063 h 8 HYPERLINK l _Toc535522064 5.1.需求分析 PAGEREF _Toc535522064 h 9 HYPERLINK l _Toc535522065 5.2.建設(shè)數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型 PAGEREF _Toc535522065 h 10 HYPERLINK l _Toc535522066 5.3.數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL) PAGEREF _Toc535522066 h 10 HYPERLINK l _Toc535522067 5.4.建立可視化場景 PAGEREF _Toc535522067 h 11 HYPERLI

4、NK l _Toc535522068 6.大數(shù)據(jù)可視化的挑戰(zhàn)分析 PAGEREF _Toc535522068 h 11數(shù)據(jù)可視化是什么廣義上，可視化無處不在。網(wǎng)站是數(shù)據(jù)可視化, 背后是數(shù)據(jù)庫密密麻麻的數(shù)據(jù)表, 到了瀏覽器就是淺顯易懂的頁面；淘寶是商品的可視化, 上面有價(jià)格、發(fā)貨地種種過濾器；微信是實(shí)時(shí)數(shù)據(jù)的可視化, 圍起了你的社交網(wǎng)絡(luò), 讓你一眼看到最新的消息流。狹義上的數(shù)據(jù)可視化, 更多是純圖形去代表數(shù)據(jù), 也有很多分類。大數(shù)據(jù)可視化的基本概念數(shù)據(jù)空間。由n維屬性、m個(gè)元素共同組成的數(shù)據(jù)集構(gòu)成的多維信息空間。數(shù)據(jù)開發(fā)。利用一定的工具及算法對數(shù)據(jù)進(jìn)行定量推演及計(jì)算。數(shù)據(jù)分析。對多維數(shù)據(jù)進(jìn)行切片

5、、塊、旋轉(zhuǎn)等動(dòng)作剖析數(shù)據(jù)，從而可以多角度多側(cè)面的觀察數(shù)據(jù)。數(shù)據(jù)可視化。將大型數(shù)據(jù)集中的數(shù)據(jù)通過圖形圖像方式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息。輿論有時(shí)候會(huì)制造一些新的名詞：大數(shù)據(jù)、 o2o、云計(jì)算, 也包括數(shù)據(jù)可視化, 但看起來日新月異的變化背后, 是我們的認(rèn)識穩(wěn)定而緩慢的變化, 真正改變?nèi)^的創(chuàng)新其實(shí)不多。小學(xué)的教科書里就有折線圖, 后來有了excel可以在電腦里畫, 這幾年你打開某某大數(shù)據(jù)產(chǎn)品, 長得還是差不多, 只是點(diǎn)一下會(huì)有交互存在。功能與形式有時(shí), 數(shù)據(jù)可視化給人的感受是 真厲害！然后, 然后就沒有然后了也有人說, 你就一美工, 有啥用呢？雖然我們工作也經(jīng)常做show為主

6、的可視化, 但長期而言, 可視化最好是一種有用的東西?？焖俚慕庾x不同的感官獲取的速度和效率是不一樣的, 面對一張密密麻麻的數(shù)據(jù)表, 你可能很難判斷最大的數(shù)字在哪里, 但你給加個(gè)顏色就一目了然：哪里最大, 哪里最小, 趨勢怎樣。如果我們把數(shù)據(jù)信號轉(zhuǎn)化成感覺, 你看上面的表格的時(shí)候, 你先認(rèn)知了表格的數(shù)字, 再轉(zhuǎn)化成數(shù)字信號, 遠(yuǎn)不如看顏色一目了然。這點(diǎn)很像GPU和CPU的關(guān)系, GPU處理圖形超快, 但處理邏輯多的任務(wù)就歇菜了, CPU可以處理復(fù)雜的任務(wù), 但復(fù)雜的畫圖就累癱了, 存在意味著合理, 合理意味著該用啥就用啥。數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力數(shù)據(jù)可視化之所以會(huì)大受歡迎，其原因不僅在于能帶給用戶良

7、好的的視覺效果，更因?yàn)樗軌虍a(chǎn)生生產(chǎn)力，形成數(shù)據(jù)驅(qū)動(dòng)閉環(huán)，主要包含以下幾個(gè)階段：技術(shù)人員運(yùn)用技術(shù)手段將需求分析、基礎(chǔ)數(shù)據(jù)整合、數(shù)據(jù)計(jì)算等操作結(jié)合到一起進(jìn)行數(shù)據(jù)可視化，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)的變化情況。用戶能夠使用這些可視化圖表，進(jìn)行分析、對比等操作，定位業(yè)務(wù)問題。之后再結(jié)合業(yè)務(wù)變動(dòng)提出新的需求。技術(shù)人員將用戶訪問數(shù)據(jù)與新的業(yè)務(wù)需求結(jié)合，重新進(jìn)行數(shù)據(jù)整合、分析、計(jì)算，循環(huán)往復(fù)下去。如下圖所示：圖1. 數(shù)據(jù)驅(qū)動(dòng)閉環(huán)實(shí)現(xiàn)用數(shù)據(jù)可視化的方式不斷驅(qū)動(dòng)業(yè)務(wù)的提升，產(chǎn)生生產(chǎn)力、創(chuàng)造收益。如何使數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力滿足這一目的的前提在于：創(chuàng)造出都能讀懂、易于操作、能夠提前預(yù)警的圖表。關(guān)鍵因素有以下幾點(diǎn)：選擇合適的圖表類

8、型選擇圖表的時(shí)候，許多人認(rèn)為基本圖表太過簡單，不夠高端大氣，因而更傾向選擇復(fù)雜的圖表類型。實(shí)際上越簡單的圖表越容易理解，對用戶的友好程度越高。只要能夠高效清楚地傳達(dá)業(yè)務(wù)含義，就應(yīng)該優(yōu)先選擇。要想讓受眾讀懂圖表所表達(dá)的業(yè)務(wù)含義，就要選擇合適的圖表類型。在選擇時(shí)，首先需要清楚的知道不同圖表的優(yōu)劣以及它們適合的應(yīng)用場景；除此之外盡量選擇一些簡單的、易于理解的圖表類型。但這不意味著不能選擇復(fù)雜的圖表類型，有的圖表雖然看起來比較復(fù)雜，但是卻能很好的反映一些業(yè)務(wù)場景，再輔助一些文字說明等其他手段，降低用戶的使用難度，也未嘗不可。選擇圖表時(shí)，以業(yè)務(wù)為基礎(chǔ)。只要能夠清晰地表達(dá)業(yè)務(wù)數(shù)據(jù)背后含義，不讓用戶產(chǎn)生歧義

9、，都值得考慮。易用的、多維度的交互分析隨著數(shù)據(jù)類型的多樣化，數(shù)據(jù)間的關(guān)聯(lián)關(guān)系也越來越復(fù)雜。僅僅展示單維度的數(shù)據(jù)，是無法讓用戶輕易發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系、挖掘出更多業(yè)務(wù)價(jià)值的。同樣，若是交互方式過于復(fù)雜，也只會(huì)增加用戶的使用難度而已，不利于業(yè)務(wù)長期發(fā)展。因此易操作的、多維度的交互分析對于數(shù)據(jù)可視化來說必不可少。多維度的分析方式有很多種，以下是常見的幾種：鉆?。簩R總數(shù)據(jù)拆分到更細(xì)節(jié)的數(shù)據(jù)；在維的不同層次間的變化，從上層降到下一層。上卷：鉆取的逆操作，即從細(xì)粒度數(shù)據(jù)向高層的聚合。切片：選擇維中特定的值進(jìn)行分析。切塊：選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進(jìn)行分析。篩選：通過不同的維度或者類別過濾出用戶想

10、要的數(shù)據(jù)。聯(lián)動(dòng)：若干個(gè)相關(guān)聯(lián)的圖表，一個(gè)圖表發(fā)生變化，其他的也會(huì)跟著發(fā)生變化。有選擇的將不同交互方式進(jìn)行結(jié)合，能夠發(fā)揮出更強(qiáng)大的作用。再輔助高效靈活的追加合并、拖曳式操作進(jìn)行數(shù)據(jù)的挖掘分析，就可以幫助用戶快速定位問題，釋放勞動(dòng)力，提升效率，不再需要程序員花費(fèi)大量精力在日志文件中尋找問題的原因。同時(shí)通過各類數(shù)據(jù)的橫向、縱向?qū)Ρ?，業(yè)務(wù)人員能夠從中挖掘出更多的業(yè)務(wù)需求，創(chuàng)造更大的商業(yè)價(jià)值。預(yù)警功能數(shù)據(jù)可視化除了能夠幫助定位已有的問題，更大的價(jià)值是能夠及時(shí)預(yù)警。一旦數(shù)據(jù)出現(xiàn)異?；蛘呤翘崆邦A(yù)定義的一些條件被滿足時(shí)，警報(bào)就會(huì)被觸發(fā)，提前預(yù)警。通過設(shè)置報(bào)警方式、報(bào)警策略、報(bào)警等級等等，根據(jù)緊急程度用不同的方

11、式通知特定的人群。這樣在問題發(fā)生之前，就能預(yù)先做好防護(hù)措施；或者在問題發(fā)生的時(shí)候，能夠及時(shí)通知負(fù)責(zé)人，盡快解決問題。這樣不僅能縮短反饋周期（發(fā)現(xiàn)問題找到責(zé)任人定位問題解決問題），也能降低對用戶的影響，提升用戶對產(chǎn)品的信任度，很好的降低業(yè)務(wù)損失。大數(shù)據(jù)可視化的實(shí)施大數(shù)據(jù)可視化的實(shí)施是一系列數(shù)據(jù)的轉(zhuǎn)換過程，如下圖所示：我們有原始數(shù)據(jù)，通過對原始數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化、結(jié)構(gòu)化的處理，把它們整理成數(shù)據(jù)表。將這些數(shù)值轉(zhuǎn)換成視覺結(jié)構(gòu)(包括形狀、位置、尺寸、值、方向、色彩、紋理等)，通過視覺的方式把它表現(xiàn)出來。例如將高中低的風(fēng)險(xiǎn)轉(zhuǎn)換成紅黃藍(lán)等色彩，數(shù)值轉(zhuǎn)換成大小。將視覺結(jié)構(gòu)進(jìn)行組合，把它轉(zhuǎn)換成圖形傳遞給用戶，用戶通

12、過人機(jī)交互的方式進(jìn)行反向轉(zhuǎn)換，去更好地了解數(shù)據(jù)背后有什么問題和規(guī)律。從技術(shù)上來說，大數(shù)據(jù)可視化的實(shí)施步驟主要有四項(xiàng)：需求分析，建設(shè)數(shù)據(jù)倉庫/數(shù)據(jù)集市模型，數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL)，建立可視化分析場景。需求分析需求分析是大數(shù)據(jù)可視化項(xiàng)目開展的前提，要描述項(xiàng)目背景與目的、業(yè)務(wù)目標(biāo)、業(yè)務(wù)范圍、業(yè)務(wù)需求和功能需求等內(nèi)容，明確實(shí)施單位對可視化的期望和需求。包括需要分析的主題、各主題可能查看的角度、需要發(fā)泄企業(yè)各方面的規(guī)律、用戶的需求等內(nèi)容。建設(shè)數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型數(shù)據(jù)倉庫的模型是在需求分析的基礎(chǔ)上建立起來的。數(shù)據(jù)倉庫建模除了數(shù)據(jù)庫的ER建模和關(guān)系建模，還包括專門針對數(shù)據(jù)倉庫的維度建模技術(shù)

13、。維度建模的關(guān)鍵在于明確下面四個(gè)問題：哪些維度對主題分析有用?如何使用現(xiàn)有數(shù)據(jù)生成維表?用什么指標(biāo)來度量主題?如何使用現(xiàn)有數(shù)據(jù)生成事實(shí)表?數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL)數(shù)據(jù)抽取是指將數(shù)據(jù)倉庫需要的數(shù)據(jù)從各個(gè)業(yè)務(wù)系統(tǒng)中抽離出來，因?yàn)槊總€(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)質(zhì)量不同，所以要對每個(gè)數(shù)據(jù)源建立不同的抽取程序，每個(gè)數(shù)據(jù)抽取流程都需要使用接口將元數(shù)據(jù)傳送到清洗和轉(zhuǎn)換階段。數(shù)據(jù)清洗的目的是保證抽取的原數(shù)據(jù)的質(zhì)量符合數(shù)據(jù)倉庫的要求并保持?jǐn)?shù)據(jù)的一致性。數(shù)據(jù)轉(zhuǎn)換是整個(gè)ETL過程的核心部分，主要是對原數(shù)據(jù)進(jìn)行計(jì)算和放大。數(shù)據(jù)加載是按照數(shù)據(jù)倉庫模型中各個(gè)實(shí)體之間的關(guān)系將數(shù)據(jù)加載到目標(biāo)表中。建立可視化場景建立可視化場景是對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行分析處理的成果，用戶能夠借此從多個(gè)角度查看企業(yè)的運(yùn)營狀況，按照不同的主題和方式探查企業(yè)業(yè)務(wù)內(nèi)容的核心數(shù)據(jù)，從而作出更精準(zhǔn)的預(yù)測和判斷。大數(shù)據(jù)可視化的挑戰(zhàn)分析大數(shù)據(jù)可視化面臨的挑戰(zhàn)主要指可視化分