大數(shù)據(jù)的基本概念與應(yīng)用前景課件

大數(shù)據(jù)的基本概念與應(yīng)用前景

大數(shù)據(jù)的基本概念與應(yīng)用前景

內(nèi)容一、大數(shù)據(jù)的重要性二、大數(shù)據(jù)的基本特點(diǎn)三、大數(shù)據(jù)的相關(guān)技術(shù)與概念四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性不同國(guó)家的大數(shù)據(jù)戰(zhàn)略國(guó)家/地區(qū)時(shí)間內(nèi)容美國(guó)2012年3月啟動(dòng)由聯(lián)邦政府六個(gè)部門(mén)組織的大數(shù)據(jù)研究計(jì)劃，投資兩億美元。將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家戰(zhàn)略，認(rèn)為大數(shù)據(jù)為“未來(lái)的新石油”日本2012年7月《面向2020年的ICT綜合戰(zhàn)略》將“通過(guò)大數(shù)據(jù)應(yīng)用促進(jìn)社會(huì)發(fā)展經(jīng)濟(jì)增長(zhǎng)”作為五大重點(diǎn)之一，并提出活力數(shù)據(jù)戰(zhàn)略，提升日本競(jìng)爭(zhēng)力歐盟2012年9月聯(lián)合歐洲整體力量，制定大數(shù)據(jù)戰(zhàn)略，作為歐盟Horizon2020戰(zhàn)略一部分，加速追趕英國(guó)2013年1月英國(guó)把大數(shù)據(jù)作為八大關(guān)鍵技術(shù)領(lǐng)域之一，計(jì)劃兩年內(nèi)向大數(shù)據(jù)關(guān)鍵技術(shù)投入1.89億英鎊，搶占先機(jī)澳大利亞2013年3月發(fā)布大數(shù)據(jù)戰(zhàn)略報(bào)告，宣布將于2013年7月前完成政府大數(shù)據(jù)制定，促進(jìn)大數(shù)據(jù)在政府中的應(yīng)用中國(guó)2014年3月5日，“大數(shù)據(jù)”首次進(jìn)入我國(guó)政府工作報(bào)告，11月15日李克強(qiáng)總理提出在疾病防治、災(zāi)害預(yù)防、社會(huì)保障、電子政務(wù)等領(lǐng)域開(kāi)展大數(shù)據(jù)應(yīng)用示范。不同國(guó)家的大數(shù)據(jù)戰(zhàn)略國(guó)家/地區(qū)時(shí)間內(nèi)容美國(guó)2012年3月啟動(dòng)Source:NigelHolmes2012/Smolan&Erwitt:TheHumanFaceofBigDataSource:NigelHolmes2012/Sm內(nèi)容一、大數(shù)據(jù)的重要性二、大數(shù)據(jù)的基本特點(diǎn)三、大數(shù)據(jù)的相關(guān)技術(shù)與概念四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps移動(dòng)互聯(lián)網(wǎng)21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車(chē)聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)?！按髷?shù)據(jù)”的誕生：

半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。

信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念。如今，這個(gè)概念幾乎應(yīng)用到了所有人類(lèi)智力與發(fā)展的領(lǐng)域中。facebook社交網(wǎng)絡(luò)淘寶、ebuy電子商務(wù)微博、Apps大數(shù)據(jù)時(shí)代的演變大數(shù)據(jù)大數(shù)據(jù)時(shí)代的演變大數(shù)據(jù)大數(shù)據(jù)的4V特性大數(shù)據(jù)的4V特性YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍KB:2的10次方，1024=1KBMB:2的20次方，KB的1000倍GB:2的30次方，MB的1000倍一個(gè)英文字母=1字節(jié)（byte）

絕大部分應(yīng)用在這兩個(gè)數(shù)量級(jí)/view/2166859.htmDB:2的110次方，NB的1000倍NB:2的100次方，BB的1000倍BB:2的90次方，YB的1000倍YB:2的80次方，ZB的1000倍ZB:2的70次方，EB全球數(shù)據(jù)量（ZB）1980以來(lái)，每40個(gè)月翻一番數(shù)據(jù)量增速，是GDP增速的4倍數(shù)據(jù)處理能力，是GDP增速的9倍2000年人類(lèi)信息75%是模擬數(shù)據(jù)，2007年是6%，現(xiàn)在1%？全球數(shù)據(jù)量（ZB）1980以來(lái)，每40個(gè)月翻一番Value價(jià)值挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但珍貴的信息.價(jià)值密度低，是大數(shù)據(jù)的一個(gè)典型特征.Value價(jià)值挖掘大數(shù)據(jù)的價(jià)值類(lèi)似沙里淘金,從海量數(shù)據(jù)中挖內(nèi)容一、大數(shù)據(jù)的重要性二、大數(shù)據(jù)的基本特點(diǎn)三、大數(shù)據(jù)的相關(guān)技術(shù)與概念四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性

大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受的條件下，通過(guò)非?？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類(lèi)別（variety）的數(shù)據(jù)中提取價(jià)值（value）大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受的條件下，通過(guò)數(shù)據(jù)、信息、知識(shí)與智能DataInformationKnowledgeWisdom3939°C39°=FeverTakeTylenolAcquisitionStorageProcessingIntegrationRetrievalDisplayDescriptive:Whathappened?DiseasecategoriesAdverseeventsPredictive:Whatmighthappen?High-riskpatientsGeneticrisksPrescriptive:Whatshouldwedo?MinimizereadmissionsPersonalizedtherapeuticsBiomedicalDiscovery

HealthcareDelivery

HealthPrevention數(shù)據(jù)、信息、知識(shí)與智能DataInformationKnow數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存與管理統(tǒng)計(jì)分析、預(yù)測(cè)與挖掘計(jì)算結(jié)果展示大數(shù)據(jù)的相關(guān)技術(shù)ETL工具（Extraction-Transformation-Loading，數(shù)據(jù)提取、轉(zhuǎn)換和加載）數(shù)據(jù)眾包（CrowdSouring）結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)關(guān)系數(shù)據(jù)庫(kù)非關(guān)系數(shù)據(jù)庫(kù)（NoSQL）數(shù)據(jù)倉(cāng)庫(kù)Hadoop云計(jì)算和云存儲(chǔ)實(shí)時(shí)流處理標(biāo)簽云（TagCloud）聚類(lèi)圖（Clustergram）空間信息流（Spatialinformationflow）熱圖（Heatmap）A/BTesting關(guān)聯(lián)規(guī)則分析分類(lèi)聚類(lèi)遺傳算法神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型模式識(shí)別時(shí)間序列分析回歸分析系統(tǒng)仿真機(jī)器學(xué)習(xí)優(yōu)化空間分析社會(huì)網(wǎng)絡(luò)分析自然語(yǔ)言分析MapReduceR語(yǔ)言數(shù)據(jù)采集數(shù)據(jù)儲(chǔ)存與管理統(tǒng)計(jì)分析、預(yù)測(cè)與挖掘計(jì)算結(jié)果展示大數(shù)據(jù)白云下面數(shù)據(jù)跑藍(lán)藍(lán)的天上白云飄如果數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏的利器。

沒(méi)有強(qiáng)大的計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；

沒(méi)有大數(shù)據(jù)的積淀，云計(jì)算也只能是殺雞用的宰牛刀。大數(shù)據(jù)與云計(jì)算（1）白云下面數(shù)據(jù)跑藍(lán)藍(lán)的天上白云飄如果數(shù)據(jù)是財(cái)富，云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問(wèn)和計(jì)算。當(dāng)前云計(jì)算更偏重海量存儲(chǔ)和計(jì)算，以及提供的云服務(wù)，運(yùn)行云應(yīng)用，但是缺乏盤(pán)活數(shù)據(jù)資產(chǎn)的能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為政府、醫(yī)院等機(jī)構(gòu)、個(gè)人提供決策和服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。大數(shù)據(jù)與云計(jì)算（2）云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)與云計(jì)算（Hadoop與MapReduce的概念Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。以一種可靠、高效、可伸縮的方式進(jìn)行處理。MapReduce則是一種可以用來(lái)并行處理大數(shù)據(jù)的編程模型。同一程序在Hadoop的框架下可以用各種不同的語(yǔ)言（Java,Ruby,Python等）按MapReduce的編程模型進(jìn)行編寫(xiě)和運(yùn)行。Hadoop與MapReduce的概念HadoR語(yǔ)言R語(yǔ)言是一種自由軟件編程語(yǔ)言與操作環(huán)境，主要用于統(tǒng)計(jì)分析、繪圖、數(shù)據(jù)挖掘。R語(yǔ)言擅長(zhǎng)在Hadoop分布式文件系統(tǒng)中存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)上進(jìn)行分析。R現(xiàn)在還可以運(yùn)行在HBase這種非關(guān)系型的數(shù)據(jù)庫(kù)以及面向列的分布式數(shù)據(jù)存儲(chǔ)之上。R語(yǔ)言R語(yǔ)言是一種自由軟件編程語(yǔ)言與操作環(huán)境，主要用于統(tǒng)計(jì)分大數(shù)據(jù)的基本概念與應(yīng)用前景課件聚類(lèi)圖聚類(lèi)圖（Clustergram）是指用圖形方式展示聚類(lèi)分析結(jié)果的技術(shù)，可以有助于判斷簇?cái)?shù)量不同時(shí)的聚類(lèi)效果。聚類(lèi)圖聚類(lèi)圖（Clustergram）是指用圖形方式展示聚類(lèi)空間信息流空間信息流（Spatialinformationflow）是展示信息空間狀態(tài)的一種可視化技術(shù)?？臻g信息流空間信息流（Spatialinformation熱圖熱圖（Heatmap）是一項(xiàng)數(shù)據(jù)展示技術(shù)，將變量值用不同的顏色或高亮形式描繪出來(lái)?？梢苑浅Ｖ庇^的呈現(xiàn)一些原本不易理解或表達(dá)的數(shù)據(jù)，比如密度、頻率、溫度等。熱圖熱圖（Heatmap）是一項(xiàng)數(shù)據(jù)展示技術(shù)，將變量值用不同大數(shù)據(jù)的基本概念與應(yīng)用前景課件內(nèi)容一、大數(shù)據(jù)的重要性二、大數(shù)據(jù)的基本特點(diǎn)三、大數(shù)據(jù)的相關(guān)技術(shù)與概念四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性大數(shù)據(jù)應(yīng)用公共衛(wèi)生：

分析疾病模式和追蹤疾病暴發(fā)及傳播方式途徑，提高公共衛(wèi)生監(jiān)測(cè)和反應(yīng)速度。臨床操作：

相對(duì)更有效的醫(yī)學(xué)研究，發(fā)展出臨床相關(guān)性更強(qiáng)和成本效益更高的方法用來(lái)診斷和治療病人。科學(xué)研究與發(fā)展：

在藥品和醫(yī)療器械方面，建立更低磨損度，更精簡(jiǎn)，更快速，更有針對(duì)性的研發(fā)產(chǎn)品線。提高臨床試驗(yàn)設(shè)計(jì)和患者的招募，使得治療方法可以更好地匹配個(gè)體患者的病癥，從而降低臨床試驗(yàn)失敗的可能和加快新的治療方法推向市場(chǎng)。大數(shù)據(jù)應(yīng)用公共衛(wèi)生：面臨挑戰(zhàn)數(shù)據(jù)源結(jié)構(gòu)化、半結(jié)構(gòu)化（病歷），非結(jié)構(gòu)化（PACS影像)數(shù)據(jù)格式標(biāo)準(zhǔn)難制定,或不斷變化數(shù)據(jù)量中型城市（1000萬(wàn)人口）存放50年會(huì)達(dá)到10PB

醫(yī)療信息區(qū)域內(nèi)準(zhǔn)實(shí)時(shí)共享，醫(yī)生可快速調(diào)閱病人信息信息共享提升效率基于病史的自動(dòng)醫(yī)療、飲食等建議；針對(duì)病史和病癥的OTC藥物參考等個(gè)性化醫(yī)療疾病自動(dòng)分類(lèi)和診斷計(jì)算機(jī)輔助診斷趨勢(shì)分析：例如，流行病擴(kuò)展情況分析、癌癥的歷年趨勢(shì)、藥物效果分析決策輔助系統(tǒng)區(qū)域醫(yī)療健康檔案系統(tǒng)解決問(wèn)題居民電子病歷存儲(chǔ)、查詢解決方案HBase分布式數(shù)據(jù)庫(kù)存放健康檔案和PACS影像數(shù)據(jù)特點(diǎn)優(yōu)勢(shì)高速數(shù)據(jù)導(dǎo)入；實(shí)時(shí)數(shù)據(jù)查詢；關(guān)鍵字搜索；分布式統(tǒng)計(jì)智慧醫(yī)療與大數(shù)據(jù)面臨挑戰(zhàn)數(shù)據(jù)源結(jié)構(gòu)化、半結(jié)構(gòu)化（病歷），非結(jié)構(gòu)化（PACS影《Science》雜志于2014年底和2015年初分別刊登了“公共衛(wèi)生遇上了大數(shù)據(jù)”和“將大數(shù)據(jù)納入公共衛(wèi)生系統(tǒng)”，指出：“強(qiáng)大的流行病學(xué)基礎(chǔ)、穩(wěn)健的知識(shí)整合、循證醫(yī)學(xué)原則以及拓展的轉(zhuǎn)化醫(yī)學(xué)研究議程”可以推動(dòng)大數(shù)據(jù)在公共衛(wèi)生方面的應(yīng)用?！禨cience》雜志于2014年底和2015年初分別大數(shù)據(jù)的基本概念與應(yīng)用前景課件大數(shù)據(jù)的基本概念與應(yīng)用前景課件大數(shù)據(jù)的基本概念與應(yīng)用前景課件大數(shù)據(jù)的基本概念與應(yīng)用前景課件五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性二、大數(shù)據(jù)的基本特點(diǎn)三、大數(shù)據(jù)的相關(guān)技術(shù)與概念四、大數(shù)據(jù)的醫(yī)學(xué)應(yīng)用五、大數(shù)據(jù)的機(jī)遇與挑戰(zhàn)內(nèi)容一、大數(shù)據(jù)的重要性我國(guó)衛(wèi)生信息化發(fā)展計(jì)劃

35212工程我國(guó)衛(wèi)生信息化發(fā)展計(jì)劃

35212工程機(jī)遇大數(shù)據(jù)賦予我們洞察未來(lái)的能力人類(lèi)從依靠自身判斷做決定到依靠數(shù)據(jù)做決定的轉(zhuǎn)變，也是大數(shù)據(jù)作出的最大貢獻(xiàn)之一。——《大數(shù)據(jù)時(shí)代》機(jī)遇大數(shù)據(jù)賦予我們洞察未來(lái)的能力人類(lèi)從依靠自身判挑戰(zhàn)1：大數(shù)據(jù)時(shí)代賦予統(tǒng)計(jì)人員重大責(zé)任數(shù)據(jù)的管理分析并不僅僅是提取，檢索，匯總，總結(jié)。統(tǒng)計(jì)專業(yè)人員的參與也是必不可少的。

數(shù)據(jù)本身的復(fù)雜性，使得分析的過(guò)程中充滿了種種陷阱，誤區(qū)。數(shù)據(jù)異質(zhì)性（heterogeneity）。因素越多，建立普遍有效的統(tǒng)計(jì)模型的難度就越大。偏倚疊加(Biasaccumulation)虛假相關(guān)（spuriouscorrelation）無(wú)意義顯著性(meaninglesssignificance)羊群效應(yīng)（herdingeffect）沒(méi)有一定統(tǒng)計(jì)方面的理論知識(shí)結(jié)構(gòu)，就會(huì)出現(xiàn)分析上的偏差，或者數(shù)據(jù)利用低效率。挑戰(zhàn)1：大數(shù)據(jù)時(shí)代賦予統(tǒng)計(jì)人員重大責(zé)任數(shù)據(jù)的管理分析挑戰(zhàn)2：大數(shù)據(jù)時(shí)代的個(gè)人能力要求計(jì)算機(jī)科學(xué)/數(shù)據(jù)開(kāi)發(fā)的專業(yè)技能：扎實(shí)的計(jì)算機(jī)科學(xué)基礎(chǔ)及運(yùn)用能力，明了大數(shù)據(jù)的基礎(chǔ)框架設(shè)施分析和建模能力：在