大數(shù)據(jù)及數(shù)據(jù)可視化分析

1、大數(shù)據(jù)及數(shù)據(jù)可視化分析匯報(bào)內(nèi)容一、相關(guān)背景二、可視化分析介紹 三、目前相關(guān)工作信息爆炸科學(xué)數(shù)據(jù)爆炸Sloan Digital Sky SurveyATLUM / Connectome ProjectBig Data（抽樣大數(shù)據(jù)(big data)，指的是所涉及的數(shù)據(jù)信息量規(guī)模 巨大到無法通過目前主流軟件工具，在合理時間內(nèi) 達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營 決策更積極目的的資訊。(在維克托邁爾-舍恩伯格及肯尼斯庫克耶編寫的大數(shù)據(jù)時代中大數(shù)據(jù)指不用隨機(jī)分析法 調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)的方法）“數(shù)據(jù)是新的石油?！?Andreas Weigend（Amazon前首席科學(xué)家）“當(dāng)時時

2、變幻的、海量的數(shù)據(jù)出現(xiàn)在眼前，是怎樣一 幅壯觀的景象？在后臺注視著這一切，會不會接近上 帝俯視人間星火的感覺？”大數(shù)據(jù)是如此重要，以至于其獲取、儲存、搜索、共 享、分析，乃至可視化地呈現(xiàn)，都成為了當(dāng)前重要的 研究課題。Big Data特點(diǎn)（4V）PB-EB-ZBVolume 數(shù)據(jù)量大大數(shù)據(jù)的起始計(jì)量單位Variety 類型繁多包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息、科學(xué)、醫(yī)學(xué)等多類 型數(shù)據(jù)，對數(shù)據(jù)處理能力提出了更高要求。Value價(jià)值密度低 信息海量，但價(jià)值密度較低價(jià)值高 只要合理利用數(shù)據(jù)并對其進(jìn)行正確、準(zhǔn)確的分析，將會帶來很高 的價(jià)值回報(bào)。處理速度快，時效性要求高。區(qū)分于傳統(tǒng)數(shù)據(jù)Vel

3、ocity 速度快時效高挖掘最顯著的特征。對大數(shù)據(jù)的關(guān)注越來越多的政府、企業(yè)等機(jī)構(gòu)開始意識到數(shù)據(jù)正在成為組織最重要的 資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競爭力。1、2013年3月22日，奧巴馬政府宣布投資拉動大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將 “大數(shù)據(jù)戰(zhàn)略”上升為國家意志。2、2012年,聯(lián)合國發(fā)布大數(shù)據(jù)政務(wù)白皮書。3、最為積極的:眾多的IT企業(yè)IBMPC軟件和服務(wù)大數(shù)據(jù)分析軟件(全新業(yè)務(wù)增長點(diǎn))。百度、騰訊、阿里巴巴數(shù)據(jù)為王Big Data相關(guān)內(nèi)容大數(shù)據(jù)技術(shù)從多種類型數(shù)據(jù)中，快速獲得有價(jià)值信息的能力大數(shù)據(jù)工程大數(shù)據(jù)的規(guī)劃建設(shè)運(yùn)營管理的系統(tǒng)工程大數(shù)據(jù)科學(xué)大數(shù)據(jù)網(wǎng)絡(luò)發(fā)展和運(yùn)營過程中發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)的規(guī)律及

4、其 與自然和社會活動之間的關(guān)系大數(shù)據(jù)應(yīng)用大數(shù)據(jù)與云HalVarian,Googles Chief Economist The McKinsey Quarterly,Jan 2009“將來幾十年中，處理數(shù)據(jù)的能力將會成為至關(guān)重要的 技術(shù)理解數(shù)據(jù)、加工數(shù)據(jù)、提取數(shù)據(jù)價(jià)值、可視化 數(shù)據(jù)、與數(shù)據(jù)交流。因?yàn)楝F(xiàn)在我們的確擁有無處不在 的、可自由獲取的數(shù)據(jù)?！薄癟he ability to take datato be able to understand it, to process it, to extract value from it, to visualize it, to communicate

5、 it thats going to be a hugely important skill in the next decades,. because now we really do have essentially free and ubiquitous data.”匯報(bào)內(nèi)容一、相關(guān)背景二、可視化分析介紹 三、目前相關(guān)工作可視化(Visualization)利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形或圖像在屏幕 上顯示出來，并進(jìn)行交互處理的理論、方法和技術(shù)。涉及到計(jì)算機(jī)圖形學(xué)、圖像處理、計(jì)算機(jī)視覺、計(jì)算機(jī)輔助設(shè)計(jì)等多 個領(lǐng)域，成為研究數(shù)據(jù)表示、數(shù)據(jù)處理、決策分析等一系列問題的綜 合

6、技術(shù)。虛擬現(xiàn)實(shí)技術(shù):以圖形圖像的可視化技術(shù)為依托科學(xué)可視化 信息可視化 數(shù)據(jù)可視化可視化樣例treemap可視化樣例：地圖Konya town map,Turkey,c.6200 BCAnaximander of Miletus,c.550 BCMilestones Project http:/www.math.yorku.ca/SCS/Gallery/milestone/記錄信息分析推理 證實(shí)假設(shè) 交流思想可視化的作用可視化的作用：記錄信息Galileo Galilei,1616Leonardo DaVinci,ca.1500引用：The History ofVisual Communica

7、tion The Galileo Project,Rice UniversityWilliam Curtis (1746-1799)記錄信息E.J.Muybridge,1878可視化的作用：記錄信息Photo Finishes: Information Rich Roger von Oech感知海洋.avi可視化作用：記錄信息后現(xiàn)代主義新聞可視化的作用：分析推理HalleysWind Map,1686Planetary Movement Diagram,c.950可視化的作用：分析推理W.Playfair,1786W.Playfair,1801可視化的作用：分析推理M.Wattenberg,2

8、005可視化的作用：抽象London Subway Map,1927Harry Beck,1933NewYorkTimes,2010可視化的作用：展示隱含模式E.Tufte,Writings,Artworks,NewsC.J.Minard,1869可視化的作用：展示隱含模式E.Tufte,Visual Explanations,1997John Snow,1854可視化的作用：展示隱含模式NYTimes可視化的作用：展示隱含模式可視化的作用：傳播思想WoundsOtherPreventableF.Nightingale,CrimeanWar,1856可視化的作用：傳播思想可視化的作用：傳播思想

9、Hans Rosling,TED 2006可視化的作用：傳播思想Aaron Koblin, TED可視化的作用：傳播思想Aaron Koblin, TED可視化目標(biāo)：信可視化目標(biāo)：達(dá)可視化目標(biāo)：雅匯報(bào)內(nèi)容一、相關(guān)背景二、可視化分析介紹 三、目前相關(guān)工作所做的相關(guān)工作University of Maryland (Visiting Scholar,2013.4-2014.4)1、研修內(nèi)容與形式Davinci（Data visualization,computing,and interaction）Lab研究內(nèi)容： 科學(xué)可視化；大數(shù)據(jù)表示、處理與交互在研項(xiàng)目：大腦神經(jīng)可視化，醫(yī)學(xué)信息、生物信息的可

10、視化與交互應(yīng)用：協(xié)助診斷治療、病因推導(dǎo)ABI Development: PathBubbles for Dynamic Visualization and Integration of Biological Information(NSF Award Number:1260795 $400,007.00)GV: Small: Collaborative Research: Supporting Knowledge Discovery through a Scientific Visualization Language(NSF Award Number:1302755 $173,593.00）

11、41Project ExampleSource：Effects of Stereo and Screen Size on the Legibility of Three-DimensionalStreamtube Visualization42Sample： PICTURES淺層應(yīng)用Gephi Gnuplot Tulip用散點(diǎn)圖和平行坐標(biāo)圖對一個4維數(shù)據(jù)進(jìn)行可視化困惑與嘗試Mutual Information、causality、visual clutter、HumMod44蝙蝠飛行數(shù)據(jù)Department of Ecology and Evolutionary Biology at Brow

12、n UniversityThe marked bats were flown in either Harvard University Concord Field Station Wind Tunnel in Bedford, MA or in a flight corridor at Lubee Bat Conservancy in Gainesville, FL.452、啟發(fā)與研究以蝙蝠飛行數(shù)據(jù)及研究方法為基礎(chǔ)，SAX+BOP+集成學(xué)習(xí)方法離散化、網(wǎng)絡(luò)化、可視化方法Weka、Python、Gnuplot、Tulip46Experiment 1:SAX+BOP+Ensemble4748Experiment 2:時間序列的離散化、網(wǎng)絡(luò)化 與可視化Duality between Time Series and Networks (Andriana S. L. O. Campanharo,etc.)49網(wǎng)絡(luò)及可視化結(jié)果樣例時間序列數(shù)據(jù)503、下一步工作計(jì)劃參數(shù)選定對特征提取、機(jī)器學(xué)習(xí)、可視化效果的影 響；大規(guī)模數(shù)據(jù)應(yīng)用效果；與實(shí)際應(yīng)用的結(jié)合（ECG、 EEG等醫(yī)學(xué)數(shù)據(jù)）51Clustering and hierarchical graphsExplore multi-level graphs with Gephi by facilitating exploration and