2017大數(shù)據(jù)與知識自動化課件

王偉控制科學(xué)與工程學(xué)院2017年

大數(shù)據(jù)與知識自動化王偉

大數(shù)據(jù)與知識自動化1主要內(nèi)容一、什么是大數(shù)據(jù)二、大數(shù)據(jù)時代的思維變革三、大數(shù)據(jù)的應(yīng)用四、大數(shù)據(jù)帶來的負(fù)面作用五、大數(shù)據(jù)的發(fā)展前景六、大數(shù)據(jù)與知識自動化主要內(nèi)容一、什么是大數(shù)據(jù)2維克托邁爾舍恩伯格、肯尼思庫克耶著，大數(shù)據(jù)時代，浙江人民出版社，2013年。維克托邁爾舍恩伯格，被譽(yù)為“大數(shù)據(jù)時代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授肯尼思庫克耶，《經(jīng)濟(jì)學(xué)人》數(shù)據(jù)編輯維克托邁爾舍恩伯格、肯尼思庫克耶著，大數(shù)據(jù)時代，浙江人3在這本書中，從小數(shù)據(jù)時代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。2012年其著作《大數(shù)據(jù)》在中國社會開大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國和開放數(shù)據(jù)的討論。涂子沛，江西吉安人，現(xiàn)居美國硅谷。作者本科畢業(yè)于華中科技大學(xué)計算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。涂子沛，數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實與未來，中信出版社，2014年。在這本書中，從小數(shù)據(jù)時代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、42017大數(shù)據(jù)與知識自動化課件5在人類社會發(fā)展進(jìn)程中，人們觀測自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動從來都沒有停止過。人類揭示和運(yùn)用自然規(guī)律是從觀測和記錄自然現(xiàn)象開始的，而這種觀測和記錄的結(jié)果要么就是數(shù)據(jù)，要么可以通過某種方法轉(zhuǎn)化為數(shù)據(jù)。人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈，結(jié)果是獲取和存儲的觀測數(shù)據(jù)就會越來越多。伴隨著近代傳感器、無線通信、計算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來越多，成本越來越低，速度越來越快，所獲數(shù)據(jù)的種類、層次和尺度也越來越多樣化，這就在廣度、深度和速度三個方面催生了大數(shù)據(jù)時代的到來。一、什么是大數(shù)據(jù)一、什么是大數(shù)據(jù)6最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。大數(shù)據(jù)作為云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價值的資產(chǎn)。2017大數(shù)據(jù)與知識自動化課件7大數(shù)據(jù)將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣不可或缺。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會因為人們的使用而折舊和貶值。世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會學(xué)和許多科學(xué)門類都會發(fā)生巨大甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價值體系、知識體系和生活方式。大數(shù)據(jù)將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港8進(jìn)入2012年，大數(shù)據(jù)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它上過《紐約時報》《華爾街日報》的專欄封面，進(jìn)入美國白宮官網(wǎng)的新聞。數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然很多企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性?！都~約時報》2012年一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。哈佛大學(xué)社會學(xué)教授加里·金說：這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。進(jìn)入2012年，大數(shù)據(jù)一詞越來越多地被提及，人們用它來描述和9大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個（相當(dāng)于《時代》雜志770年的文字量）……2進(jìn)制數(shù)據(jù)單位：Byte、KB(103)、MB(106)、GB(109)、TB(1012)、PB(1015)、EB(1018)、ZB(1021)、YB(1024)、DB(1027)、NB(1030)國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2009年全球產(chǎn)生的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。預(yù)計到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。大數(shù)據(jù)到底有多大大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一10大數(shù)據(jù)公司的現(xiàn)狀Google公司通過大規(guī)模集群和MapReduce軟件，每個月的數(shù)據(jù)量超過400PB。百度的數(shù)據(jù)量：數(shù)百PB，每天大約要處理幾十PB數(shù)據(jù)，大多要實時處理，如微博、團(tuán)購、秒殺。Facebook：截至2012年5月，擁有約9億用戶，是全球第一大社交網(wǎng)站，每月上傳10億照片，每天生成300TB日志數(shù)據(jù)淘寶網(wǎng)：截止2014年，淘寶網(wǎng)注冊會員超5億人每天有超過1.2億的活躍用戶，在線商品數(shù)達(dá)到10億件，淘寶網(wǎng)和天貓平臺的交易額總額超過了1.5萬億。每天交易數(shù)千萬，產(chǎn)生約20TB數(shù)據(jù)。Yahoo的數(shù)據(jù)量：Hadoop云計算平臺有34個集群，超過3萬臺機(jī)器，總存儲容量超過100PB。大數(shù)據(jù)公司的現(xiàn)狀11中國產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢預(yù)測報告認(rèn)為，云計算、物聯(lián)網(wǎng)、智慧城市、移動互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時代的到來。統(tǒng)計數(shù)據(jù)顯示，2015年國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模已達(dá)1105億元。較2014年增長44.15%。其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比64.53%、25.47%和10%。當(dāng)前，大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，2015年全球大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模為1403億美元，預(yù)計到2020年將達(dá)到10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲需求，將給傳統(tǒng)IT基礎(chǔ)設(shè)施架構(gòu)帶來巨大壓力，為帶來很大的發(fā)展機(jī)會。到2020年，形成50個大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進(jìn)和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過大數(shù)據(jù)帶動相關(guān)產(chǎn)業(yè)規(guī)模達(dá)20萬億元。中國產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國大數(shù)據(jù)行業(yè)研究分12粗略地講，大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技術(shù)和軟硬件工具對其進(jìn)行傳輸、存儲、計算與應(yīng)用等的數(shù)據(jù)集合。數(shù)據(jù)量大（Volume）

數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是TB。類型繁多（Variety）

數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至包括非完整和錯誤數(shù)據(jù)?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達(dá)95%以上。價值密度低（Value）數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。速度快時效高（Velocity）

處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的4個特征(4V)粗略地講，大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技13

1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)格式上的異構(gòu)性。

2）交互性：不同于測量和傳感獲取的大規(guī)?？茖W(xué)數(shù)據(jù)，微博等社交網(wǎng)絡(luò)興起導(dǎo)至大量網(wǎng)絡(luò)數(shù)據(jù)具有很強(qiáng)的交互性。

3）時效性：在網(wǎng)絡(luò)平臺上，每時每刻都有大量新的網(wǎng)絡(luò)數(shù)據(jù)發(fā)布，網(wǎng)絡(luò)信息內(nèi)容不斷變化，導(dǎo)致了信息傳播的時序相關(guān)性。

4）社會性：網(wǎng)絡(luò)上用戶根據(jù)自己的需要和喜好發(fā)布、回復(fù)或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡(luò)數(shù)據(jù)成了對社會狀態(tài)的直接反映。

5）突發(fā)性：有些信息在傳播過程中會在短時間內(nèi)引起大量新的網(wǎng)絡(luò)數(shù)據(jù)與信息的產(chǎn)生，并使相關(guān)的網(wǎng)絡(luò)用戶形成網(wǎng)絡(luò)群體，體現(xiàn)出網(wǎng)絡(luò)大數(shù)據(jù)以及網(wǎng)絡(luò)群體的突發(fā)特性。

6）高噪聲：網(wǎng)絡(luò)數(shù)據(jù)來自于眾多不同的網(wǎng)絡(luò)用戶，具有很高的噪聲。網(wǎng)絡(luò)大數(shù)據(jù)的特點1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)14二、大數(shù)據(jù)時代的思維變革1.不是隨機(jī)樣本，而是全體數(shù)據(jù)更多分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。以前許多結(jié)論都是由隨機(jī)樣本完成的，如：人口普查、電視節(jié)目收視率、美國大選的支持率等等隨機(jī)樣本仍然是一種有效的方法當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時，一切都改變了。我們需要的是所有的數(shù)據(jù)。樣本=總體

二、大數(shù)據(jù)時代的思維變革152.不是精確性，而是混雜性更雜執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效大數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無法實現(xiàn)精確性混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑不精確已經(jīng)滲入到數(shù)據(jù)庫這個不能容忍錯誤的領(lǐng)域，新的數(shù)據(jù)庫的誕生-非關(guān)系數(shù)據(jù)庫

2.不是精確性，而是混雜性更雜163.不是因果關(guān)系，而是相關(guān)關(guān)系更好知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非要知道現(xiàn)象背后的原因，而是要關(guān)注事物的相關(guān)關(guān)系。關(guān)聯(lián)物，預(yù)測的關(guān)鍵“是什么”而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?/p>

3.不是因果關(guān)系，而是相關(guān)關(guān)系更好17《大數(shù)據(jù)時代》書中第一個例子：Google公司成功預(yù)報2009年美國甲型H1N1流感。在網(wǎng)絡(luò)上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測詞條的使用頻率、時間和空間的傳播關(guān)系。共處理4.5億個不同的模型。預(yù)測結(jié)果與官方數(shù)據(jù)相關(guān)性高達(dá)97%。而且，判斷非常及時，比疾控中心早1-2周。Google、百度、搜狗等的搜索服務(wù)就是一個典型的大數(shù)據(jù)運(yùn)用，根據(jù)客戶的需求，實時從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個典型的大數(shù)據(jù)服務(wù)。三、大數(shù)據(jù)的應(yīng)用《大數(shù)據(jù)時代》書中第一個例子：Google公司成功預(yù)報20018一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大怒，說商家無良。但過了兩個星期，他知道女兒確實懷孕了。你在網(wǎng)上搜索一個物品或買一個商品，網(wǎng)絡(luò)會記下你的需求，當(dāng)你以后再瀏覽網(wǎng)頁時，會自動向你推送一些相關(guān)產(chǎn)品。一個炒股的故事。這個故事來自于2011年好萊塢的一部高智商電影《永無止境》，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫珀是怎么炒股的呢?

通過海量信息的挖掘、分析，使一切趨勢都在眼前，結(jié)果在10天內(nèi)他就贏得了200萬美元，神奇表現(xiàn)讓身邊職業(yè)投資者目瞪口呆。一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大19微軟研究院DavidRothschid與Office團(tuán)隊共同開發(fā)了一款Excel軟件，用大數(shù)據(jù)來預(yù)測2013年奧斯卡獎，結(jié)果猜中了24個獎項中的19個。該網(wǎng)站還提供了2016年美國大選的預(yù)測結(jié)果，根據(jù)目前的數(shù)據(jù)，民主黨的希拉里·克林頓有望成為美國歷史上第一位女總統(tǒng)，幾率為32%。雅虎與社交網(wǎng)站Tumblr及知名足球數(shù)據(jù)網(wǎng)站OPTA合作預(yù)測2016年歐洲杯戰(zhàn)況。預(yù)測德國最終1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實際上葡萄牙1:0戰(zhàn)勝法國捧起德勞內(nèi)杯。智能電表用電統(tǒng)計。供電公司能每隔15分鐘就讀一次用電數(shù)據(jù)，而不是過去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù)），供電公司能根據(jù)用電高峰和低谷時段制定不同的電價，利用這種價格杠桿來平抑用電高峰和低谷的波動幅度。微軟研究院DavidRothschid與Office團(tuán)隊共20四、大數(shù)據(jù)帶來的負(fù)面作用大數(shù)據(jù)與個人隱私

科技本來就是一支雙刃劍，關(guān)鍵是誰用和如何用。大數(shù)據(jù)也是一樣。在微信、微博等社會大數(shù)據(jù)之下如何保護(hù)個人隱私的問題，我們的手機(jī)號碼，個人信息已成為大數(shù)據(jù)的一分子。如何保護(hù)個人？如何防止有人利用大數(shù)據(jù)技術(shù)進(jìn)行人身攻擊。個人DNA信息，是個人隱私還是公眾信息或者是科研素材

雖然警方利用DNA信息在尋找殺人兇手的案件中屢建戰(zhàn)功，但是，警方采集和利用DNA數(shù)據(jù)卻可能傷害無辜大眾的自由和隱私。四、大數(shù)據(jù)帶來的負(fù)面作用大數(shù)據(jù)與個人隱私21人類丟失了遺忘的天性

目前90%以上的信息為數(shù)字形式，讓整個人類丟失了遺忘的天性，世界被設(shè)置成記憶模式，互聯(lián)網(wǎng)記得你的一切，也就是說：記憶成了常態(tài)，而遺忘卻變成了例外，個人隱私被侵犯的可能性也變大。谷歌一直為默默無聞記得大家許多事兒而引以為豪，但是最近發(fā)生的一件事兒，讓谷歌搜索引擎及網(wǎng)絡(luò)出版商頗為失望：一名西班牙人在谷歌搜索中，發(fā)現(xiàn)自己房屋被銀行收回拍賣的信息，他認(rèn)為這樣的搜索結(jié)果侵犯了他的隱私，要求谷歌刪除相關(guān)搜索結(jié)果。歐洲法庭在5月初對此做出了裁決，判定西班牙人勝訴，這意味著歐盟居民今后在互聯(lián)網(wǎng)隱私方面，有了相關(guān)的法律依據(jù)。人類丟失了遺忘的天性22不及時有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至國家風(fēng)險。

現(xiàn)在，我們正從工業(yè)走向知業(yè)時代，社會中的許多組織過程在網(wǎng)絡(luò)環(huán)境中也變得更加動態(tài)復(fù)雜，“大數(shù)據(jù)”實際上揭示了實時“社會信號”的到來，也必將催發(fā)未來的新型社會管理產(chǎn)業(yè)。我們必須盡快利用大數(shù)據(jù)，特別是以微信微博為代表的社會信號，創(chuàng)新社會管理，開發(fā)出各種各樣的社會管理和服務(wù)系統(tǒng)，防止在社會過程中產(chǎn)生許多“爆炸”，危害社會的健康發(fā)展。不及時有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至23發(fā)達(dá)國家對大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。美國于2012年3月發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，旨在提高人們從海量數(shù)據(jù)中提取知識的能力，加快科學(xué)發(fā)現(xiàn)與工程研發(fā)的步伐。2013年4月，美國眾議院科學(xué)、空間和技術(shù)委員會以大數(shù)據(jù)為專題舉行了聽證會；多名資深教授和國家科學(xué)基金會的高官就如何促進(jìn)海量數(shù)據(jù)的分析和利用、如何利用大數(shù)據(jù)技術(shù)激勵創(chuàng)新等問題在聽證會上發(fā)言。2013年9月，美國國立衛(wèi)生研究院（NIH）宣布，今后4年每年提供2400萬美元，資助6至8個“從大數(shù)據(jù)到知識發(fā)現(xiàn)的卓越中心”（簡稱大數(shù)據(jù)卓越中心），以開發(fā)和推廣大數(shù)據(jù)共享、集成、分析與管理的創(chuàng)新方法、軟件和工具，從而幫助研究人員提升利用大規(guī)模復(fù)雜數(shù)據(jù)集的能力。這表明美國已把大數(shù)據(jù)技術(shù)和應(yīng)用研究上升為國家戰(zhàn)略，視為推動經(jīng)濟(jì)復(fù)蘇的關(guān)鍵所在。五、大數(shù)據(jù)的發(fā)展前景發(fā)達(dá)國家對大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。五、大24聯(lián)合國也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源，來對社會經(jīng)濟(jì)進(jìn)行前所未有的實時分析，幫助政府更好地響應(yīng)社會和經(jīng)濟(jì)運(yùn)行。歐盟專門設(shè)立了大數(shù)據(jù)研究征集項目（FP7Call8），旨在以大數(shù)據(jù)基礎(chǔ)設(shè)施為先導(dǎo)，大幅度提高大數(shù)據(jù)分析算法和處理系統(tǒng)的效率。日本也推出了《活力ICT日本計劃》，把大數(shù)據(jù)研究和應(yīng)用技術(shù)視為國家發(fā)展戰(zhàn)略。而最為積極的還是眾多的IT企業(yè)。麥肯錫在一份名為《大數(shù)據(jù)，是下一輪創(chuàng)新、競爭和生產(chǎn)力的前沿》的專題研究報告中提出，“對于企業(yè)來說，海量數(shù)據(jù)的運(yùn)用將成為未來競爭和增長的基礎(chǔ)”，該報告在業(yè)界引起廣泛反響。聯(lián)合國也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對于聯(lián)25各國在大數(shù)據(jù)方面的人才儲備

大數(shù)據(jù)時代來臨，甚至有專家認(rèn)為，所有科學(xué)都在變成數(shù)據(jù)科學(xué)。但目前市場上具備深入分析數(shù)據(jù)能力的人才卻十分缺乏。據(jù)業(yè)界專家估算，中國大數(shù)據(jù)市場的人才需求量至少有100萬。近年來，世界各國紛紛成立數(shù)據(jù)科學(xué)研究機(jī)構(gòu)，各大學(xué)也成立相關(guān)學(xué)院培養(yǎng)人才。如美國紐約大學(xué)、英國鄧迪大學(xué)均從2013年起設(shè)立數(shù)據(jù)科學(xué)碩士學(xué)位，美國哥倫比亞大學(xué)將從2015年起設(shè)立博士學(xué)位。在國內(nèi)，香港中文大學(xué)自2008年起就設(shè)立了“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計”科學(xué)碩士學(xué)位。清華大學(xué)新近成立了數(shù)據(jù)科學(xué)研究院，自2015年9月起開始招收研究生。西安交大、浙江大學(xué)、華東師大等高校也先后設(shè)立了數(shù)據(jù)科學(xué)研究中心。上海市啟動“數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才培養(yǎng)計劃”，將在未來3年培養(yǎng)和引進(jìn)千名高端數(shù)據(jù)人才。各國在大數(shù)據(jù)方面的人才儲備26復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將在數(shù)學(xué)、統(tǒng)計學(xué)、計算機(jī)、生命科學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、傳播學(xué)等多學(xué)科交叉融合的基礎(chǔ)上，聚焦大數(shù)據(jù)學(xué)科建設(shè)、研究應(yīng)用和復(fù)合型人才培養(yǎng)。首批學(xué)生將于2016年9月將進(jìn)入大數(shù)據(jù)學(xué)院就讀。電子科技大學(xué)成立大數(shù)據(jù)研究中心，是目前國內(nèi)架構(gòu)最完整的大數(shù)據(jù)產(chǎn)學(xué)研一體化機(jī)構(gòu)。中心擁有安全大數(shù)據(jù)研究所，健康大數(shù)據(jù)科學(xué)研究中心，教育大數(shù)據(jù)研究所，大數(shù)據(jù)挖掘與推理研究所，移動大數(shù)據(jù)研究所，遙感大數(shù)據(jù)研究所，大數(shù)據(jù)產(chǎn)業(yè)技術(shù)研究院和大數(shù)據(jù)協(xié)同創(chuàng)新平臺8個研究實體。復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將272016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對外經(jīng)貿(mào)大學(xué)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”本科4年專業(yè)。2017年3月教育部公布第二批“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”名單，共有中國人民大學(xué)、復(fù)旦大學(xué)、上海紐約大學(xué)等32所學(xué)校開設(shè)本科4年專業(yè)。2016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對外經(jīng)貿(mào)大學(xué)開設(shè)28如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會遇到的第一個問題是“應(yīng)該從哪篇論文開始讀起呢”?這里給出了深度學(xué)習(xí)論文閱讀路線圖!路線圖按照下面四個準(zhǔn)則構(gòu)建而成：從提綱到細(xì)節(jié)從經(jīng)典到前沿從通用領(lǐng)域到特定領(lǐng)域?qū)Ｗ⒂谧钕冗M(jìn)的技術(shù)你將會發(fā)現(xiàn)很多近期發(fā)表但是確實值得一讀的論文。我們將持續(xù)不斷地給這條路線圖添加論文。1.深度學(xué)習(xí)歷史和基礎(chǔ)

1.0書籍如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會遇到的第一個問題是“應(yīng)29

1.1調(diào)查

1.2深度信念網(wǎng)絡(luò)(DBN)(深度學(xué)習(xí)開篇的里程碑)

1.3ImageNet進(jìn)展(深度學(xué)習(xí)從此爆發(fā))1.4語音識別進(jìn)展2.深度學(xué)習(xí)方法

2.1模型2.2優(yōu)化。。。1.1調(diào)查1.3ImageNet進(jìn)30大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過去的假設(shè)驅(qū)動型轉(zhuǎn)化為數(shù)據(jù)驅(qū)動型，從而將為科學(xué)技術(shù)的發(fā)展開辟一條新的途徑。有相當(dāng)數(shù)量的科研活動是按如下兩條路徑展開的：（1）假設(shè)事物遵從某些規(guī)律，然后通過實驗或數(shù)理邏輯的方法得到整體規(guī)律；（2）小樣本隨機(jī)取樣，進(jìn)而得出該事物集合整體上所遵循的統(tǒng)計規(guī)律。第一種路徑在沒有已知規(guī)律可循或事物各組成部分之間的關(guān)系過于復(fù)雜而難于建立模型時失效；第二種路徑在獨立同分布假設(shè)不成立或采樣的隨機(jī)性得不到保證時失效。面對各種最棘手的全球性挑戰(zhàn)，在傳統(tǒng)的理論方法因過于復(fù)雜而難以解決這些問題時，數(shù)據(jù)驅(qū)動可能是最有希望解決這些難題的方法。大數(shù)據(jù)開辟了新的研究模式大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過去的假設(shè)驅(qū)動型轉(zhuǎn)化為數(shù)據(jù)驅(qū)31隨著大數(shù)據(jù)在世界各個領(lǐng)域的快速滲透和發(fā)展，2008年《Nature》出版了“BigData”?？?，從互聯(lián)網(wǎng)、經(jīng)濟(jì)、超級計算、環(huán)境科學(xué)和生物醫(yī)藥等多個方面介紹了海量數(shù)據(jù)帶來的一系列技術(shù)問題和挑戰(zhàn)。自此，“大數(shù)據(jù)”開始進(jìn)入學(xué)術(shù)界，逐漸成為備受關(guān)注的前沿研究課題。2011年，《Science》推出了數(shù)據(jù)處理?？禗ealingwithdata》。該?？诵挠^點是：有效組織和利用數(shù)據(jù)將能夠進(jìn)一步發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。隨著大數(shù)據(jù)在世界各個領(lǐng)域的快速滲透和發(fā)展，2008年《Nat322012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會會刊《ERCIMNews》出版?？禕igData》，重點討論了大數(shù)據(jù)時代的數(shù)據(jù)管理與處理技術(shù)方面的關(guān)鍵問題。IEEE計算機(jī)學(xué)會決定，從2013年開始，每年舉辦一次IEEEBigData國際學(xué)術(shù)會議。Springer等科技出版社也于近年來相繼創(chuàng)刊了大數(shù)據(jù)方面的國際雜志。上述情況表明，大數(shù)據(jù)已成為一門新興科學(xué)并已受到科技界廣泛重視。2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會會刊《ERCIM33我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會議。國家自然科學(xué)基金委員會于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”列入2014年的項目指南中，擬以重點項目群的方式支持和推動相關(guān)領(lǐng)域的基礎(chǔ)研究。國家發(fā)展改革委員會與地方政府主導(dǎo)的“智慧城市”計劃已開始實施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計劃和專項研究計劃。我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的34我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會議。國家自然科學(xué)基金委員會于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”列入2014年的項目指南中，擬以重點項目群的方式支持和推動相關(guān)領(lǐng)域的基礎(chǔ)研究。國家發(fā)展改革委員會與地方政府主導(dǎo)的“智慧城市”計劃已開始實施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心。科技部已經(jīng)部署了若干個大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計劃和專項研究計劃。我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的352015年11月黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會決議，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國家戰(zhàn)略。五中全會，開啟了大數(shù)據(jù)建設(shè)的新篇章。大數(shù)據(jù)的發(fā)展已經(jīng)成為當(dāng)今重要的發(fā)展領(lǐng)域，就大數(shù)據(jù)戰(zhàn)略上升為國家戰(zhàn)略而言，五中全會的公報具有五個方面的重要意義，也對應(yīng)著相應(yīng)五個方面的建設(shè)努力方向。第一，大數(shù)據(jù)戰(zhàn)略要堅持黨的領(lǐng)導(dǎo)、政治引領(lǐng)。第二，大數(shù)據(jù)戰(zhàn)略要政府表率推動。政府做出表率，在開放數(shù)據(jù)、開放政府建設(shè)方面做出表率和積極努力。要積極構(gòu)建政府體系的大數(shù)據(jù)，打通在部門、區(qū)域之間隔離的數(shù)據(jù)孤島，為建立統(tǒng)一高效的政府服務(wù)體系而努力。第三，大數(shù)據(jù)戰(zhàn)略要立法規(guī)范。第四，保障大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的市場均衡與有效競爭秩序。第五，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要保障公共安全。2015年11月黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)362016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬億元，年均復(fù)合增長率保持30%左右。同時，國內(nèi)主要的互聯(lián)網(wǎng)公司加大了在大數(shù)據(jù)領(lǐng)域的布局，并參與國家項目。2017年2月20日，媒體披露，百度、阿里巴巴、騰訊均經(jīng)發(fā)改委批復(fù)，參與共建多個大數(shù)據(jù)相關(guān)的國家工程實驗室。比如阿里云參與共建“工業(yè)大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室”和“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”;百度參與共建“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”和“類腦智能技術(shù)及應(yīng)用國家工程實驗室”;騰訊參與共建由清華大學(xué)牽頭承擔(dān)的“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”;等等。2016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-202037知識型工作自動化：用計算機(jī)來自動執(zhí)行之前只有人可以完成的知識工作知識工作往往需要依賴復(fù)雜分析、精細(xì)判斷和創(chuàng)造性決策等手段知識工作者：主要包括研究者、設(shè)計者、建筑師、科學(xué)家和工程師等，其主要工作是創(chuàng)造知識，他們所進(jìn)行的工作均為知識工作知識型工作自動化六、大數(shù)據(jù)與知識自動化知識型工作自動化：用計算機(jī)來自動執(zhí)行之前只有人可以完成的知識382009-2010年，帕羅奧多研究中心(PoloAltoResearchCenter，Xerox公司的獨立子公司），討論了關(guān)于“知識型工作的未來”的問題，指出2020年知識型工作自動化將成為工業(yè)自動化革命后的又一次革命2012年，Intel公司的白皮書，討論了未來對知識工作者產(chǎn)生沖擊的一些變化，討論了“知識型工作的未來”問題2013年，麥肯錫全球研究所關(guān)于2025全球趨勢的報告對知識型工作自動化的定義以及產(chǎn)生的影響等進(jìn)行了詳細(xì)的闡述知識型工作自動化2009-2010年，帕羅奧多研究中心(PoloAlto39知識型工作自動化的提出源于當(dāng)前一些知識工作者的工作被機(jī)器代替的現(xiàn)狀，且計算技術(shù)、人工智能等技術(shù)仍在快速發(fā)展。例如：用軟件查找案件最相關(guān)的法律條文信息來代替律師的查找工作；用電腦代替客服人員的工作；用軟件完成銀行出納工作；一些輔助教育軟件；交易工作（計算機(jī)自動存款、商店結(jié)賬），計算機(jī)下象棋圍棋，等等。目前：已經(jīng)對一些例行工作崗位和體力型崗位實現(xiàn)了自動化，對于專業(yè)性工作、需要大量常識或前后聯(lián)系的工作、或基于人與人之間關(guān)系的工作尚沒有實現(xiàn)自動化。知識型工作自動化知識型工作自動化的提出源于當(dāng)前一些知識工作者的工作被機(jī)器代替40世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)驅(qū)動未來經(jīng)濟(jì)”的文章，這12種技術(shù)都具有廣泛的潛在影響，并有可能造成重大經(jīng)濟(jì)影響。這12種技術(shù)是：移動互聯(lián)網(wǎng)、知識型工作的自動化、物聯(lián)網(wǎng)、云計算、高級機(jī)器人、全自動和幾乎全自動的年輛、下―代基因組學(xué)、能源儲存、3D打印、高級材料、高級油氣勘探和采集技術(shù)、可再生能源。其中“知識型工作自動化”位列第二，到2025年其經(jīng)濟(jì)規(guī)模將達(dá)到5.2-6.7萬億美元。

知識型工作自動化世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)41工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)2015年3月5日，第十二屆全國人民代表大會第三次會議在人民大會堂舉行開幕會。李克強(qiáng)總理提出制定“互聯(lián)網(wǎng)+”行動計劃。李克強(qiáng)在政府工作報告中提出，“制定‘互聯(lián)網(wǎng)+’行動計劃，推動移動互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等與現(xiàn)代制造業(yè)結(jié)合，促進(jìn)電子商務(wù)、工業(yè)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融健康發(fā)展，引導(dǎo)互聯(lián)網(wǎng)企業(yè)拓展國際市場?！薄盎ヂ?lián)網(wǎng)+”：是對傳統(tǒng)產(chǎn)業(yè)不是顛覆，而是換代升級比如，傳統(tǒng)集市+互聯(lián)網(wǎng)有了淘寶，傳統(tǒng)百貨賣場+互聯(lián)網(wǎng)有了京東，傳統(tǒng)銀行+互聯(lián)網(wǎng)有了支付寶，傳統(tǒng)的紅娘+互聯(lián)網(wǎng)有了世紀(jì)佳緣，傳統(tǒng)交通+互聯(lián)網(wǎng)有了快的滴滴，。。。工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)2015年3月5日，第十二屆全國42工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)工業(yè)互聯(lián)網(wǎng)的定位互聯(lián)網(wǎng)：信息物聯(lián)網(wǎng)：信息+物體工業(yè)互聯(lián)網(wǎng)：能量+信息+物質(zhì)產(chǎn)業(yè)設(shè)備與IT的融合目標(biāo)是通過高功能設(shè)備、低成本傳感器、互聯(lián)網(wǎng)、大數(shù)據(jù)收集及分析技術(shù)等的組合，大幅提高現(xiàn)有產(chǎn)業(yè)的效率并創(chuàng)造新產(chǎn)業(yè)。工業(yè)互聯(lián)網(wǎng)：GE公司2012年提出工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)工業(yè)互聯(lián)網(wǎng)的定位互聯(lián)網(wǎng)：信息產(chǎn)業(yè)43假設(shè)發(fā)展情況和互聯(lián)網(wǎng)大潮時期類似，截至2030年工業(yè)互聯(lián)網(wǎng)革命將為全球GDP帶來15萬億美元，相當(dāng)于在計算全球經(jīng)濟(jì)總量時把美國的經(jīng)濟(jì)多加了一次。

工業(yè)互聯(lián)網(wǎng)按效率提高1％進(jìn)行估算

智能設(shè)備智能系統(tǒng)智能決策：長期的愿景知識的深度利用工業(yè)互聯(lián)網(wǎng)在各產(chǎn)業(yè)的作用產(chǎn)業(yè)部門節(jié)約的種類15年的預(yù)測價值(B=10億美元)航空商業(yè)節(jié)約1%的燃料＄30B電力煤炭火力發(fā)電節(jié)約1%的燃料＄66B醫(yī)療系統(tǒng)整體系統(tǒng)效率提高1%＄63B鐵路貨物系統(tǒng)效率提高1%＄27B石油和燃?xì)饪碧胶烷_發(fā)節(jié)約1%的成本支出＄90B工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)假設(shè)發(fā)展情況和互聯(lián)網(wǎng)大潮時期類似，截至2030年工業(yè)互聯(lián)網(wǎng)革44智慧企業(yè)：2008年11月IBM提出智慧地球，2011年上海世博會展現(xiàn)“智慧城市”智慧企業(yè)

信息技術(shù)發(fā)展積累了大量的數(shù)據(jù)，亟待實現(xiàn)這些信息的深度利用程序運(yùn)算方式已無法滿足復(fù)雜環(huán)境下大數(shù)據(jù)運(yùn)算的需求，需要系統(tǒng)本身的認(rèn)知和分析，向認(rèn)知運(yùn)算發(fā)展工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)智慧企業(yè)：2008年11月IBM提出智慧地球，2011年上45智慧企業(yè)核心知識+自動化工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)“四化”要求：協(xié)同化、智能化、透明化、精益化智慧的創(chuàng)新網(wǎng)絡(luò)智慧的制造網(wǎng)絡(luò)智慧的管理網(wǎng)絡(luò)以信息為戰(zhàn)略資產(chǎn)智慧滲透到企業(yè)的各個角落大數(shù)據(jù)工業(yè)互聯(lián)網(wǎng)支撐環(huán)境智慧企業(yè)核心知識+自動化工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)與智慧企業(yè)“四化”46流程工業(yè)主要包括化工、石化、冶金、輕工、建材、制藥等行業(yè)，我國流程工業(yè)的年產(chǎn)值占全國GDP的60%以上，是我國經(jīng)濟(jì)持續(xù)增長的重要支撐力量我國流程工業(yè)面臨的突出問題是能耗高、資源消耗大，單位能耗高出先進(jìn)國家30％左右流程工業(yè)自動化面臨的挑戰(zhàn)流程工業(yè)是國民經(jīng)濟(jì)的重要支柱產(chǎn)業(yè)。流程工業(yè)的自動化水平直接影響企業(yè)的國際競爭能力和國家節(jié)能降耗減排目標(biāo)的實現(xiàn)流程工業(yè)主要包括化工、石化、冶金、輕工、建材、制藥等行業(yè)，我47傳統(tǒng)流程工業(yè)現(xiàn)代流程工業(yè)局部、粗放全流程、精細(xì)化新挑戰(zhàn)資源能源環(huán)境產(chǎn)量能耗回收率排放質(zhì)量綜合生產(chǎn)指標(biāo)驅(qū)動建模、控制、優(yōu)化、決策、安全運(yùn)行自動化技術(shù)綠色化高效化智能化流程工業(yè)發(fā)展面臨的挑戰(zhàn)傳統(tǒng)流程工業(yè)現(xiàn)代流程工業(yè)局部、粗放全流程、精細(xì)化新挑戰(zhàn)資源48知識自動化研究在大數(shù)據(jù)和網(wǎng)絡(luò)環(huán)境下的知識發(fā)現(xiàn)、知識處理與知識應(yīng)用的理論、方法及應(yīng)用技術(shù)流程工業(yè)知識自動化研究流程工業(yè)自動化在建模、控制、優(yōu)化及調(diào)度管理過程中對問題需要進(jìn)行復(fù)雜分析、精確判斷和創(chuàng)新決策的知識自動化理論、方法和應(yīng)用技術(shù)流程工業(yè)知識自動化的內(nèi)涵知識自動化流程工業(yè)知識自動化的內(nèi)涵49流程工業(yè)知識自動化的體系結(jié)構(gòu)流程工業(yè)知識自動化的體系結(jié)構(gòu)50中國工程院、國家自然科學(xué)基金委2014年聯(lián)合設(shè)立中國工程科技中長期發(fā)展戰(zhàn)略研究項目《大數(shù)據(jù)與制造流程知識自動化發(fā)展戰(zhàn)略研究》主要任務(wù)：把握國際大數(shù)據(jù)與知識自動化科技創(chuàng)新的發(fā)展趨勢深入探討大數(shù)據(jù)環(huán)境下制造流程知識自動化的本質(zhì)內(nèi)涵明確大數(shù)據(jù)環(huán)境下制造流程知識自動化對相關(guān)領(lǐng)域提出的挑戰(zhàn)凝練并提出與基礎(chǔ)和應(yīng)用基礎(chǔ)研究相關(guān)的關(guān)鍵科學(xué)問題促進(jìn)和推動制造流程知識自動化技術(shù)和應(yīng)用研究中國工程院、國家自然科學(xué)基金委2014年聯(lián)合設(shè)立中國工程科技51流程工業(yè)知識自動化的研究方向流程工業(yè)技術(shù)知識化的理論與方法；流程工業(yè)海量數(shù)據(jù)的知識發(fā)現(xiàn)、建模與知識學(xué)習(xí)的基礎(chǔ)理論和技術(shù)；流程工業(yè)知識型生產(chǎn)與知識自動化；流程工業(yè)知識自動化與控制、優(yōu)化、故障診斷、調(diào)度決策及管理；流程工業(yè)知識自動化的軟件體系；流程工業(yè)知識自動化技術(shù)的應(yīng)用；流程工業(yè)知識自動化系統(tǒng)的構(gòu)建。流程工業(yè)知識自動化的研究方向流程工業(yè)技術(shù)知識化的理論與方法；522015年國家自然科學(xué)基金委信息學(xué)部重點項目群

---流程工業(yè)知識自動化系統(tǒng)設(shè)計方法與應(yīng)用驗證本重點項目群要求：結(jié)合某一具體流程企業(yè)，深入開展基于大數(shù)據(jù)和云計算的、具有多層次多領(lǐng)域知識關(guān)聯(lián)功能的智慧決策、計劃和調(diào)度等知識自動化系統(tǒng)的設(shè)計方法與應(yīng)用驗證研究；生產(chǎn)設(shè)備優(yōu)化控制、故障診斷與安全運(yùn)行一體知識自動化系統(tǒng)的設(shè)計方法與應(yīng)用驗證研究；以及能將上述各智能系統(tǒng)有機(jī)地連接在一起，并具有自感知、自計算、自調(diào)節(jié)、自組織和自執(zhí)行等功能的工業(yè)認(rèn)知網(wǎng)絡(luò)設(shè)計方法與應(yīng)用驗證研究；借以促進(jìn)我國流程工業(yè)升級發(fā)展和學(xué)科自身發(fā)展。2015年國家自然科學(xué)基金委信息學(xué)部重點項目群

-53本重點項目群下設(shè)5個研究方向：1）面向智慧企業(yè)的工業(yè)認(rèn)知網(wǎng)絡(luò)體系架構(gòu)、設(shè)計方法與應(yīng)用驗證2）基于大數(shù)據(jù)和云計算的知識自動化決策系統(tǒng)設(shè)計方法與應(yīng)用驗證3）復(fù)雜多任務(wù)生產(chǎn)計劃知識自動化系統(tǒng)設(shè)計方法與應(yīng)用驗證4）面向復(fù)雜計劃與設(shè)備狀況的生產(chǎn)調(diào)度知識自動化系統(tǒng)設(shè)計方法與應(yīng)用驗證5）設(shè)備優(yōu)化控制與安全運(yùn)行一體知識自動化系統(tǒng)設(shè)計方法與應(yīng)用驗證本重點項目群下設(shè)5個研究方向：54

謝謝謝謝55王偉控制科學(xué)與工程學(xué)院2017年

大數(shù)據(jù)與知識自動化王偉

大數(shù)據(jù)與知識自動化56主要內(nèi)容一、什么是大數(shù)據(jù)二、大數(shù)據(jù)時代的思維變革三、大數(shù)據(jù)的應(yīng)用四、大數(shù)據(jù)帶來的負(fù)面作用五、大數(shù)據(jù)的發(fā)展前景六、大數(shù)據(jù)與知識自動化主要內(nèi)容一、什么是大數(shù)據(jù)57維克托邁爾舍恩伯格、肯尼思庫克耶著，大數(shù)據(jù)時代，浙江人民出版社，2013年。維克托邁爾舍恩伯格，被譽(yù)為“大數(shù)據(jù)時代的預(yù)言家”、牛津大學(xué)網(wǎng)絡(luò)學(xué)院教授肯尼思庫克耶，《經(jīng)濟(jì)學(xué)人》數(shù)據(jù)編輯維克托邁爾舍恩伯格、肯尼思庫克耶著，大數(shù)據(jù)時代，浙江人58在這本書中，從小數(shù)據(jù)時代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、文化觀、大數(shù)據(jù)觀，給我們描繪了一幅數(shù)據(jù)科學(xué)、智慧文化的全景圖。2012年其著作《大數(shù)據(jù)》在中國社會開大數(shù)據(jù)之先河，引發(fā)了大數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治國和開放數(shù)據(jù)的討論。涂子沛，江西吉安人，現(xiàn)居美國硅谷。作者本科畢業(yè)于華中科技大學(xué)計算機(jī)系，研究生畢業(yè)于中山大學(xué)和卡內(nèi)基梅隆大學(xué)，獲公共管理碩士和信息科學(xué)碩士學(xué)位。涂子沛，數(shù)據(jù)之巔：大數(shù)據(jù)革命，歷史、現(xiàn)實與未來，中信出版社，2014年。在這本書中，從小數(shù)據(jù)時代到大數(shù)據(jù)的崛起，作者以宏大的歷史觀、592017大數(shù)據(jù)與知識自動化課件60在人類社會發(fā)展進(jìn)程中，人們觀測自然現(xiàn)象、揭示和把握自然規(guī)律并進(jìn)而用于改善自身生存和生活狀況的活動從來都沒有停止過。人類揭示和運(yùn)用自然規(guī)律是從觀測和記錄自然現(xiàn)象開始的，而這種觀測和記錄的結(jié)果要么就是數(shù)據(jù)，要么可以通過某種方法轉(zhuǎn)化為數(shù)據(jù)。人類把握和運(yùn)用自然規(guī)律的能力越強(qiáng)，社會經(jīng)濟(jì)和科學(xué)技術(shù)就越發(fā)展；社會經(jīng)濟(jì)和科學(xué)技術(shù)越發(fā)展，人類揭示和運(yùn)用自然規(guī)律的愿望和需求就越強(qiáng)烈，結(jié)果是獲取和存儲的觀測數(shù)據(jù)就會越來越多。伴隨著近代傳感器、無線通信、計算機(jī)與互聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展及在各個領(lǐng)域的廣泛應(yīng)用，人類獲取數(shù)據(jù)的手段和途徑越來越多，成本越來越低，速度越來越快，所獲數(shù)據(jù)的種類、層次和尺度也越來越多樣化，這就在廣度、深度和速度三個方面催生了大數(shù)據(jù)時代的到來。一、什么是大數(shù)據(jù)一、什么是大數(shù)據(jù)61最早提出“大數(shù)據(jù)”時代到來的是全球知名咨詢公司麥肯錫，麥肯錫稱：數(shù)據(jù)已經(jīng)滲透到當(dāng)今每一個行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。人們對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！按髷?shù)據(jù)”在物理學(xué)、生物學(xué)、環(huán)境生態(tài)學(xué)等領(lǐng)域以及軍事、金融、通訊等行業(yè)存在已有時日，卻因為近年來互聯(lián)網(wǎng)和信息行業(yè)的發(fā)展而引起人們關(guān)注。大數(shù)據(jù)作為云計算、物聯(lián)網(wǎng)之后IT行業(yè)又一大顛覆性的技術(shù)革命。云計算主要為數(shù)據(jù)資產(chǎn)提供了保管、訪問的場所和渠道，而數(shù)據(jù)才是真正有價值的資產(chǎn)。2017大數(shù)據(jù)與知識自動化課件62大數(shù)據(jù)將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港口、水電、和通信網(wǎng)絡(luò)一樣不可或缺。而大數(shù)據(jù)同這些物理化的基礎(chǔ)設(shè)施不同，不會因為人們的使用而折舊和貶值。世界的本質(zhì)就是數(shù)據(jù)。因此大數(shù)據(jù)時代的經(jīng)濟(jì)學(xué)、政治學(xué)、社會學(xué)和許多科學(xué)門類都會發(fā)生巨大甚至是本質(zhì)上的變化和發(fā)展，進(jìn)而影響人類的價值體系、知識體系和生活方式。大數(shù)據(jù)將逐漸成為現(xiàn)代社會基礎(chǔ)設(shè)施的一部分。就像公路、鐵路、港63進(jìn)入2012年，大數(shù)據(jù)一詞越來越多地被提及，人們用它來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。它上過《紐約時報》《華爾街日報》的專欄封面，進(jìn)入美國白宮官網(wǎng)的新聞。數(shù)據(jù)正在迅速膨脹并變大，它決定著企業(yè)的未來發(fā)展，雖然很多企業(yè)可能并沒有意識到數(shù)據(jù)爆炸性增長帶來問題的隱患，但是隨著時間的推移，人們將越來越多的意識到數(shù)據(jù)對企業(yè)的重要性?！都~約時報》2012年一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。哈佛大學(xué)社會學(xué)教授加里·金說：這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。進(jìn)入2012年，大數(shù)據(jù)一詞越來越多地被提及，人們用它來描述和64大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個（相當(dāng)于《時代》雜志770年的文字量）……2進(jìn)制數(shù)據(jù)單位：Byte、KB(103)、MB(106)、GB(109)、TB(1012)、PB(1015)、EB(1018)、ZB(1021)、YB(1024)、DB(1027)、NB(1030)國際數(shù)據(jù)公司（IDC）的研究結(jié)果表明，2009年全球產(chǎn)生的數(shù)據(jù)量為0.8ZB，2010年增長為1.2ZB，2011年的數(shù)量更是高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是過去兩年內(nèi)產(chǎn)生的。預(yù)計到2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。大數(shù)據(jù)到底有多大大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一65大數(shù)據(jù)公司的現(xiàn)狀Google公司通過大規(guī)模集群和MapReduce軟件，每個月的數(shù)據(jù)量超過400PB。百度的數(shù)據(jù)量：數(shù)百PB，每天大約要處理幾十PB數(shù)據(jù)，大多要實時處理，如微博、團(tuán)購、秒殺。Facebook：截至2012年5月，擁有約9億用戶，是全球第一大社交網(wǎng)站，每月上傳10億照片，每天生成300TB日志數(shù)據(jù)淘寶網(wǎng)：截止2014年，淘寶網(wǎng)注冊會員超5億人每天有超過1.2億的活躍用戶，在線商品數(shù)達(dá)到10億件，淘寶網(wǎng)和天貓平臺的交易額總額超過了1.5萬億。每天交易數(shù)千萬，產(chǎn)生約20TB數(shù)據(jù)。Yahoo的數(shù)據(jù)量：Hadoop云計算平臺有34個集群，超過3萬臺機(jī)器，總存儲容量超過100PB。大數(shù)據(jù)公司的現(xiàn)狀66中國產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國大數(shù)據(jù)行業(yè)研究分析及發(fā)展趨勢預(yù)測報告認(rèn)為，云計算、物聯(lián)網(wǎng)、智慧城市、移動互聯(lián)等新技術(shù)與應(yīng)用的不斷涌現(xiàn)，加速了大數(shù)據(jù)時代的到來。統(tǒng)計數(shù)據(jù)顯示，2015年國內(nèi)大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模已達(dá)1105億元。較2014年增長44.15%。其中，大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)、大數(shù)據(jù)軟件和大數(shù)據(jù)應(yīng)用分別占比64.53%、25.47%和10%。當(dāng)前，大數(shù)據(jù)產(chǎn)業(yè)蓬勃發(fā)展，2015年全球大數(shù)據(jù)產(chǎn)業(yè)市場規(guī)模為1403億美元，預(yù)計到2020年將達(dá)到10270億美元。大數(shù)據(jù)行業(yè)的高速發(fā)展引起的巨大的數(shù)據(jù)存儲需求，將給傳統(tǒng)IT基礎(chǔ)設(shè)施架構(gòu)帶來巨大壓力，為帶來很大的發(fā)展機(jī)會。到2020年，形成50個大數(shù)據(jù)產(chǎn)業(yè)示范園區(qū)，引進(jìn)和培育100戶大數(shù)據(jù)龍頭企業(yè)，通過大數(shù)據(jù)帶動相關(guān)產(chǎn)業(yè)規(guī)模達(dá)20萬億元。中國產(chǎn)業(yè)調(diào)研網(wǎng)發(fā)布的2016-2022年中國大數(shù)據(jù)行業(yè)研究分67粗略地講，大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技術(shù)和軟硬件工具對其進(jìn)行傳輸、存儲、計算與應(yīng)用等的數(shù)據(jù)集合。數(shù)據(jù)量大（Volume）

數(shù)據(jù)量大。大數(shù)據(jù)的起始計量單位至少是TB。類型繁多（Variety）

數(shù)據(jù)類型繁多。包括網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等,包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，甚至包括非完整和錯誤數(shù)據(jù)?，F(xiàn)代互聯(lián)網(wǎng)上半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)所占比例已達(dá)95%以上。價值密度低（Value）數(shù)據(jù)價值密度相對較低。如隨著物聯(lián)網(wǎng)廣泛應(yīng)用，信息感知無處不在，信息海量，但價值密度較低，如何通過強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)價值“提純”，是大數(shù)據(jù)時代亟待解決的難題。速度快時效高（Velocity）

處理速度快，時效性要求高。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。大數(shù)據(jù)的4個特征(4V)粗略地講，大數(shù)據(jù)是指在可容忍的時間內(nèi)無法用現(xiàn)有的信息技68

1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)生。網(wǎng)絡(luò)數(shù)據(jù)有多種不同的呈現(xiàn)形式，如音視頻、圖片、文本等，導(dǎo)致網(wǎng)絡(luò)數(shù)據(jù)格式上的異構(gòu)性。

2）交互性：不同于測量和傳感獲取的大規(guī)?？茖W(xué)數(shù)據(jù)，微博等社交網(wǎng)絡(luò)興起導(dǎo)至大量網(wǎng)絡(luò)數(shù)據(jù)具有很強(qiáng)的交互性。

3）時效性：在網(wǎng)絡(luò)平臺上，每時每刻都有大量新的網(wǎng)絡(luò)數(shù)據(jù)發(fā)布，網(wǎng)絡(luò)信息內(nèi)容不斷變化，導(dǎo)致了信息傳播的時序相關(guān)性。

4）社會性：網(wǎng)絡(luò)上用戶根據(jù)自己的需要和喜好發(fā)布、回復(fù)或轉(zhuǎn)發(fā)信息，因而網(wǎng)絡(luò)數(shù)據(jù)成了對社會狀態(tài)的直接反映。

5）突發(fā)性：有些信息在傳播過程中會在短時間內(nèi)引起大量新的網(wǎng)絡(luò)數(shù)據(jù)與信息的產(chǎn)生，并使相關(guān)的網(wǎng)絡(luò)用戶形成網(wǎng)絡(luò)群體，體現(xiàn)出網(wǎng)絡(luò)大數(shù)據(jù)以及網(wǎng)絡(luò)群體的突發(fā)特性。

6）高噪聲：網(wǎng)絡(luò)數(shù)據(jù)來自于眾多不同的網(wǎng)絡(luò)用戶，具有很高的噪聲。網(wǎng)絡(luò)大數(shù)據(jù)的特點1）多源異構(gòu)：描述同一主題的數(shù)據(jù)由不同的用戶、不同的網(wǎng)站產(chǎn)69二、大數(shù)據(jù)時代的思維變革1.不是隨機(jī)樣本，而是全體數(shù)據(jù)更多分析與某事物相關(guān)的所有數(shù)據(jù)，而不是依靠分析少數(shù)的樣本數(shù)據(jù)。以前許多結(jié)論都是由隨機(jī)樣本完成的，如：人口普查、電視節(jié)目收視率、美國大選的支持率等等隨機(jī)樣本仍然是一種有效的方法當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時，一切都改變了。我們需要的是所有的數(shù)據(jù)。樣本=總體

二、大數(shù)據(jù)時代的思維變革702.不是精確性，而是混雜性更雜執(zhí)迷于精確性是信息缺乏時代和模擬時代的產(chǎn)物。只有5%的數(shù)據(jù)是結(jié)構(gòu)化且能適用傳統(tǒng)數(shù)據(jù)庫的。如果不接受混亂，剩下95%的非結(jié)構(gòu)化數(shù)據(jù)都無法被利用，只有接受不精確性，我們才能打開一扇從沒涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡單算法比小數(shù)據(jù)的復(fù)雜算法更有效大數(shù)據(jù)不僅讓我們不再期望精確性，也讓我們無法實現(xiàn)精確性混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑不精確已經(jīng)滲入到數(shù)據(jù)庫這個不能容忍錯誤的領(lǐng)域，新的數(shù)據(jù)庫的誕生-非關(guān)系數(shù)據(jù)庫

2.不是精確性，而是混雜性更雜713.不是因果關(guān)系，而是相關(guān)關(guān)系更好知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時代，我們不必非要知道現(xiàn)象背后的原因，而是要關(guān)注事物的相關(guān)關(guān)系。關(guān)聯(lián)物，預(yù)測的關(guān)鍵“是什么”而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?/p>

3.不是因果關(guān)系，而是相關(guān)關(guān)系更好72《大數(shù)據(jù)時代》書中第一個例子：Google公司成功預(yù)報2009年美國甲型H1N1流感。在網(wǎng)絡(luò)上收索特定的檢索詞，如“哪些是治療咳嗽和發(fā)熱的藥物”。檢測詞條的使用頻率、時間和空間的傳播關(guān)系。共處理4.5億個不同的模型。預(yù)測結(jié)果與官方數(shù)據(jù)相關(guān)性高達(dá)97%。而且，判斷非常及時，比疾控中心早1-2周。Google、百度、搜狗等的搜索服務(wù)就是一個典型的大數(shù)據(jù)運(yùn)用，根據(jù)客戶的需求，實時從全球海量的數(shù)字資產(chǎn)中快速找出最可能的答案，呈現(xiàn)給你，就是一個典型的大數(shù)據(jù)服務(wù)。三、大數(shù)據(jù)的應(yīng)用《大數(shù)據(jù)時代》書中第一個例子：Google公司成功預(yù)報20073一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大怒，說商家無良。但過了兩個星期，他知道女兒確實懷孕了。你在網(wǎng)上搜索一個物品或買一個商品，網(wǎng)絡(luò)會記下你的需求，當(dāng)你以后再瀏覽網(wǎng)頁時，會自動向你推送一些相關(guān)產(chǎn)品。一個炒股的故事。這個故事來自于2011年好萊塢的一部高智商電影《永無止境》，講述一位落魄的作家?guī)扃?，服用了一種可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股。庫珀是怎么炒股的呢?

通過海量信息的挖掘、分析，使一切趨勢都在眼前，結(jié)果在10天內(nèi)他就贏得了200萬美元，神奇表現(xiàn)讓身邊職業(yè)投資者目瞪口呆。一個父親有一個高中生女兒，接到一個促銷嬰兒用品的廣告，父親大74微軟研究院DavidRothschid與Office團(tuán)隊共同開發(fā)了一款Excel軟件，用大數(shù)據(jù)來預(yù)測2013年奧斯卡獎，結(jié)果猜中了24個獎項中的19個。該網(wǎng)站還提供了2016年美國大選的預(yù)測結(jié)果，根據(jù)目前的數(shù)據(jù)，民主黨的希拉里·克林頓有望成為美國歷史上第一位女總統(tǒng)，幾率為32%。雅虎與社交網(wǎng)站Tumblr及知名足球數(shù)據(jù)網(wǎng)站OPTA合作預(yù)測2016年歐洲杯戰(zhàn)況。預(yù)測德國最終1:0戰(zhàn)勝衛(wèi)冕冠軍西班牙。但實際上葡萄牙1:0戰(zhàn)勝法國捧起德勞內(nèi)杯。智能電表用電統(tǒng)計。供電公司能每隔15分鐘就讀一次用電數(shù)據(jù)，而不是過去的一月一次。這不僅僅節(jié)省了抄表的人工費(fèi)用，而且由于能高頻率快速采集分析用電數(shù)據(jù)（產(chǎn)生大數(shù)據(jù)），供電公司能根據(jù)用電高峰和低谷時段制定不同的電價，利用這種價格杠桿來平抑用電高峰和低谷的波動幅度。微軟研究院DavidRothschid與Office團(tuán)隊共75四、大數(shù)據(jù)帶來的負(fù)面作用大數(shù)據(jù)與個人隱私

科技本來就是一支雙刃劍，關(guān)鍵是誰用和如何用。大數(shù)據(jù)也是一樣。在微信、微博等社會大數(shù)據(jù)之下如何保護(hù)個人隱私的問題，我們的手機(jī)號碼，個人信息已成為大數(shù)據(jù)的一分子。如何保護(hù)個人？如何防止有人利用大數(shù)據(jù)技術(shù)進(jìn)行人身攻擊。個人DNA信息，是個人隱私還是公眾信息或者是科研素材

雖然警方利用DNA信息在尋找殺人兇手的案件中屢建戰(zhàn)功，但是，警方采集和利用DNA數(shù)據(jù)卻可能傷害無辜大眾的自由和隱私。四、大數(shù)據(jù)帶來的負(fù)面作用大數(shù)據(jù)與個人隱私76人類丟失了遺忘的天性

目前90%以上的信息為數(shù)字形式，讓整個人類丟失了遺忘的天性，世界被設(shè)置成記憶模式，互聯(lián)網(wǎng)記得你的一切，也就是說：記憶成了常態(tài)，而遺忘卻變成了例外，個人隱私被侵犯的可能性也變大。谷歌一直為默默無聞記得大家許多事兒而引以為豪，但是最近發(fā)生的一件事兒，讓谷歌搜索引擎及網(wǎng)絡(luò)出版商頗為失望：一名西班牙人在谷歌搜索中，發(fā)現(xiàn)自己房屋被銀行收回拍賣的信息，他認(rèn)為這樣的搜索結(jié)果侵犯了他的隱私，要求谷歌刪除相關(guān)搜索結(jié)果。歐洲法庭在5月初對此做出了裁決，判定西班牙人勝訴，這意味著歐盟居民今后在互聯(lián)網(wǎng)隱私方面，有了相關(guān)的法律依據(jù)。人類丟失了遺忘的天性77不及時有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至國家風(fēng)險。

現(xiàn)在，我們正從工業(yè)走向知業(yè)時代，社會中的許多組織過程在網(wǎng)絡(luò)環(huán)境中也變得更加動態(tài)復(fù)雜，“大數(shù)據(jù)”實際上揭示了實時“社會信號”的到來，也必將催發(fā)未來的新型社會管理產(chǎn)業(yè)。我們必須盡快利用大數(shù)據(jù)，特別是以微信微博為代表的社會信號，創(chuàng)新社會管理，開發(fā)出各種各樣的社會管理和服務(wù)系統(tǒng)，防止在社會過程中產(chǎn)生許多“爆炸”，危害社會的健康發(fā)展。不及時有效地開發(fā)、處理、利用“大數(shù)據(jù)”可能造成的負(fù)面作用甚至78發(fā)達(dá)國家對大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。美國于2012年3月發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，旨在提高人們從海量數(shù)據(jù)中提取知識的能力，加快科學(xué)發(fā)現(xiàn)與工程研發(fā)的步伐。2013年4月，美國眾議院科學(xué)、空間和技術(shù)委員會以大數(shù)據(jù)為專題舉行了聽證會；多名資深教授和國家科學(xué)基金會的高官就如何促進(jìn)海量數(shù)據(jù)的分析和利用、如何利用大數(shù)據(jù)技術(shù)激勵創(chuàng)新等問題在聽證會上發(fā)言。2013年9月，美國國立衛(wèi)生研究院（NIH）宣布，今后4年每年提供2400萬美元，資助6至8個“從大數(shù)據(jù)到知識發(fā)現(xiàn)的卓越中心”（簡稱大數(shù)據(jù)卓越中心），以開發(fā)和推廣大數(shù)據(jù)共享、集成、分析與管理的創(chuàng)新方法、軟件和工具，從而幫助研究人員提升利用大規(guī)模復(fù)雜數(shù)據(jù)集的能力。這表明美國已把大數(shù)據(jù)技術(shù)和應(yīng)用研究上升為國家戰(zhàn)略，視為推動經(jīng)濟(jì)復(fù)蘇的關(guān)鍵所在。五、大數(shù)據(jù)的發(fā)展前景發(fā)達(dá)國家對大數(shù)據(jù)技術(shù)與應(yīng)用研究給予了高度的重視和關(guān)注。五、大79聯(lián)合國也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對于聯(lián)合國和各國政府來說是一個歷史性的機(jī)遇，人們?nèi)缃窨梢允褂脴O為豐富的數(shù)據(jù)資源，來對社會經(jīng)濟(jì)進(jìn)行前所未有的實時分析，幫助政府更好地響應(yīng)社會和經(jīng)濟(jì)運(yùn)行。歐盟專門設(shè)立了大數(shù)據(jù)研究征集項目（FP7Call8），旨在以大數(shù)據(jù)基礎(chǔ)設(shè)施為先導(dǎo)，大幅度提高大數(shù)據(jù)分析算法和處理系統(tǒng)的效率。日本也推出了《活力ICT日本計劃》，把大數(shù)據(jù)研究和應(yīng)用技術(shù)視為國家發(fā)展戰(zhàn)略。而最為積極的還是眾多的IT企業(yè)。麥肯錫在一份名為《大數(shù)據(jù)，是下一輪創(chuàng)新、競爭和生產(chǎn)力的前沿》的專題研究報告中提出，“對于企業(yè)來說，海量數(shù)據(jù)的運(yùn)用將成為未來競爭和增長的基礎(chǔ)”，該報告在業(yè)界引起廣泛反響。聯(lián)合國也在2012年發(fā)布了大數(shù)據(jù)政務(wù)白皮書，指出大數(shù)據(jù)對于聯(lián)80各國在大數(shù)據(jù)方面的人才儲備

大數(shù)據(jù)時代來臨，甚至有專家認(rèn)為，所有科學(xué)都在變成數(shù)據(jù)科學(xué)。但目前市場上具備深入分析數(shù)據(jù)能力的人才卻十分缺乏。據(jù)業(yè)界專家估算，中國大數(shù)據(jù)市場的人才需求量至少有100萬。近年來，世界各國紛紛成立數(shù)據(jù)科學(xué)研究機(jī)構(gòu)，各大學(xué)也成立相關(guān)學(xué)院培養(yǎng)人才。如美國紐約大學(xué)、英國鄧迪大學(xué)均從2013年起設(shè)立數(shù)據(jù)科學(xué)碩士學(xué)位，美國哥倫比亞大學(xué)將從2015年起設(shè)立博士學(xué)位。在國內(nèi)，香港中文大學(xué)自2008年起就設(shè)立了“數(shù)據(jù)科學(xué)商業(yè)統(tǒng)計”科學(xué)碩士學(xué)位。清華大學(xué)新近成立了數(shù)據(jù)科學(xué)研究院，自2015年9月起開始招收研究生。西安交大、浙江大學(xué)、華東師大等高校也先后設(shè)立了數(shù)據(jù)科學(xué)研究中心。上海市啟動“數(shù)據(jù)科學(xué)和大數(shù)據(jù)人才培養(yǎng)計劃”，將在未來3年培養(yǎng)和引進(jìn)千名高端數(shù)據(jù)人才。各國在大數(shù)據(jù)方面的人才儲備81復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將在數(shù)學(xué)、統(tǒng)計學(xué)、計算機(jī)、生命科學(xué)、醫(yī)學(xué)、經(jīng)濟(jì)學(xué)、社會學(xué)、傳播學(xué)等多學(xué)科交叉融合的基礎(chǔ)上，聚焦大數(shù)據(jù)學(xué)科建設(shè)、研究應(yīng)用和復(fù)合型人才培養(yǎng)。首批學(xué)生將于2016年9月將進(jìn)入大數(shù)據(jù)學(xué)院就讀。電子科技大學(xué)成立大數(shù)據(jù)研究中心，是目前國內(nèi)架構(gòu)最完整的大數(shù)據(jù)產(chǎn)學(xué)研一體化機(jī)構(gòu)。中心擁有安全大數(shù)據(jù)研究所，健康大數(shù)據(jù)科學(xué)研究中心，教育大數(shù)據(jù)研究所，大數(shù)據(jù)挖掘與推理研究所，移動大數(shù)據(jù)研究所，遙感大數(shù)據(jù)研究所，大數(shù)據(jù)產(chǎn)業(yè)技術(shù)研究院和大數(shù)據(jù)協(xié)同創(chuàng)新平臺8個研究實體。復(fù)旦大學(xué)2015年10月成立大數(shù)據(jù)學(xué)院。新成立的大數(shù)據(jù)學(xué)院將822016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對外經(jīng)貿(mào)大學(xué)開設(shè)“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”本科4年專業(yè)。2017年3月教育部公布第二批“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)”名單，共有中國人民大學(xué)、復(fù)旦大學(xué)、上海紐約大學(xué)等32所學(xué)校開設(shè)本科4年專業(yè)。2016年2月教育部批準(zhǔn)北京大學(xué)、中南大學(xué)、對外經(jīng)貿(mào)大學(xué)開設(shè)83如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會遇到的第一個問題是“應(yīng)該從哪篇論文開始讀起呢”?這里給出了深度學(xué)習(xí)論文閱讀路線圖!路線圖按照下面四個準(zhǔn)則構(gòu)建而成：從提綱到細(xì)節(jié)從經(jīng)典到前沿從通用領(lǐng)域到特定領(lǐng)域?qū)Ｗ⒂谧钕冗M(jìn)的技術(shù)你將會發(fā)現(xiàn)很多近期發(fā)表但是確實值得一讀的論文。我們將持續(xù)不斷地給這條路線圖添加論文。1.深度學(xué)習(xí)歷史和基礎(chǔ)

1.0書籍如果你是深度學(xué)習(xí)領(lǐng)域的一名新手，可能會遇到的第一個問題是“應(yīng)84

1.1調(diào)查

1.2深度信念網(wǎng)絡(luò)(DBN)(深度學(xué)習(xí)開篇的里程碑)

1.3ImageNet進(jìn)展(深度學(xué)習(xí)從此爆發(fā))1.4語音識別進(jìn)展2.深度學(xué)習(xí)方法

2.1模型2.2優(yōu)化。。。1.1調(diào)查1.3ImageNet進(jìn)85大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過去的假設(shè)驅(qū)動型轉(zhuǎn)化為數(shù)據(jù)驅(qū)動型，從而將為科學(xué)技術(shù)的發(fā)展開辟一條新的途徑。有相當(dāng)數(shù)量的科研活動是按如下兩條路徑展開的：（1）假設(shè)事物遵從某些規(guī)律，然后通過實驗或數(shù)理邏輯的方法得到整體規(guī)律；（2）小樣本隨機(jī)取樣，進(jìn)而得出該事物集合整體上所遵循的統(tǒng)計規(guī)律。第一種路徑在沒有已知規(guī)律可循或事物各組成部分之間的關(guān)系過于復(fù)雜而難于建立模型時失效；第二種路徑在獨立同分布假設(shè)不成立或采樣的隨機(jī)性得不到保證時失效。面對各種最棘手的全球性挑戰(zhàn)，在傳統(tǒng)的理論方法因過于復(fù)雜而難以解決這些問題時，數(shù)據(jù)驅(qū)動可能是最有希望解決這些難題的方法。大數(shù)據(jù)開辟了新的研究模式大數(shù)據(jù)的出現(xiàn)將部分地使科學(xué)研究從過去的假設(shè)驅(qū)動型轉(zhuǎn)化為數(shù)據(jù)驅(qū)86隨著大數(shù)據(jù)在世界各個領(lǐng)域的快速滲透和發(fā)展，2008年《Nature》出版了“BigData”?？?，從互聯(lián)網(wǎng)、經(jīng)濟(jì)、超級計算、環(huán)境科學(xué)和生物醫(yī)藥等多個方面介紹了海量數(shù)據(jù)帶來的一系列技術(shù)問題和挑戰(zhàn)。自此，“大數(shù)據(jù)”開始進(jìn)入學(xué)術(shù)界，逐漸成為備受關(guān)注的前沿研究課題。2011年，《Science》推出了數(shù)據(jù)處理?？禗ealingwithdata》。該?？诵挠^點是：有效組織和利用數(shù)據(jù)將能夠進(jìn)一步發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。隨著大數(shù)據(jù)在世界各個領(lǐng)域的快速滲透和發(fā)展，2008年《Nat872012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會會刊《ERCIMNews》出版?？禕igData》，重點討論了大數(shù)據(jù)時代的數(shù)據(jù)管理與處理技術(shù)方面的關(guān)鍵問題。IEEE計算機(jī)學(xué)會決定，從2013年開始，每年舉辦一次IEEEBigData國際學(xué)術(shù)會議。Springer等科技出版社也于近年來相繼創(chuàng)刊了大數(shù)據(jù)方面的國際雜志。上述情況表明，大數(shù)據(jù)已成為一門新興科學(xué)并已受到科技界廣泛重視。2012年4月，歐洲信息學(xué)與數(shù)學(xué)研究協(xié)會會刊《ERCIM88我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會議。國家自然科學(xué)基金委員會于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”列入2014年的項目指南中，擬以重點項目群的方式支持和推動相關(guān)領(lǐng)域的基礎(chǔ)研究。國家發(fā)展改革委員會與地方政府主導(dǎo)的“智慧城市”計劃已開始實施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計劃和專項研究計劃。我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的89我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的關(guān)注程度正在逐漸增強(qiáng)，并引起了政府相關(guān)部門的重視。中國科學(xué)院先后于2012年和2013年組織召開了題為“大數(shù)據(jù)科學(xué)與工程”和“數(shù)據(jù)科學(xué)與大數(shù)據(jù)的科學(xué)原理及發(fā)展前景”香山會議。國家自然科學(xué)基金委員會于2013年3月在上海召開了題為“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”雙清論壇，并將“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”列入2014年的項目指南中，擬以重點項目群的方式支持和推動相關(guān)領(lǐng)域的基礎(chǔ)研究。國家發(fā)展改革委員會與地方政府主導(dǎo)的“智慧城市”計劃已開始實施，部分省份已經(jīng)建成或正在建設(shè)一批大數(shù)據(jù)中心?？萍疾恳呀?jīng)部署了若干個大數(shù)據(jù)及與大數(shù)據(jù)密切相關(guān)的“973”計劃和專項研究計劃。我國科技界及與信息技術(shù)密切相關(guān)的產(chǎn)業(yè)領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)和應(yīng)用的902015年11月黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)戰(zhàn)略”，這是大數(shù)據(jù)第一次寫入黨的全會決議，標(biāo)志著大數(shù)據(jù)戰(zhàn)略正式上升為國家戰(zhàn)略。五中全會，開啟了大數(shù)據(jù)建設(shè)的新篇章。大數(shù)據(jù)的發(fā)展已經(jīng)成為當(dāng)今重要的發(fā)展領(lǐng)域，就大數(shù)據(jù)戰(zhàn)略上升為國家戰(zhàn)略而言，五中全會的公報具有五個方面的重要意義，也對應(yīng)著相應(yīng)五個方面的建設(shè)努力方向。第一，大數(shù)據(jù)戰(zhàn)略要堅持黨的領(lǐng)導(dǎo)、政治引領(lǐng)。第二，大數(shù)據(jù)戰(zhàn)略要政府表率推動。政府做出表率，在開放數(shù)據(jù)、開放政府建設(shè)方面做出表率和積極努力。要積極構(gòu)建政府體系的大數(shù)據(jù)，打通在部門、區(qū)域之間隔離的數(shù)據(jù)孤島，為建立統(tǒng)一高效的政府服務(wù)體系而努力。第三，大數(shù)據(jù)戰(zhàn)略要立法規(guī)范。第四，保障大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的市場均衡與有效競爭秩序。第五，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展要保障公共安全。2015年11月黨的十八屆五中全會公報提出要實施“國家大數(shù)據(jù)912016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-2020年)》，特別提出加快推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)應(yīng)用能力，到2020年，大數(shù)據(jù)相關(guān)產(chǎn)品和服務(wù)業(yè)務(wù)收入突破1萬億元，年均復(fù)合增長率保持30%左右。同時，國內(nèi)主要的互聯(lián)網(wǎng)公司加大了在大數(shù)據(jù)領(lǐng)域的布局，并參與國家項目。2017年2月20日，媒體披露，百度、阿里巴巴、騰訊均經(jīng)發(fā)改委批復(fù)，參與共建多個大數(shù)據(jù)相關(guān)的國家工程實驗室。比如阿里云參與共建“工業(yè)大數(shù)據(jù)應(yīng)用技術(shù)國家工程實驗室”和“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”;百度參與共建“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”和“類腦智能技術(shù)及應(yīng)用國家工程實驗室”;騰訊參與共建由清華大學(xué)牽頭承擔(dān)的“大數(shù)據(jù)系統(tǒng)軟件國家工程實驗室”;等等。2016年工信部印發(fā)《大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃(2016-202092知識型工作自動化：用計算機(jī)來自動執(zhí)行之前只有人可以完成的知識工作知識工作往往需要依賴復(fù)雜分析、精細(xì)判斷和創(chuàng)造性決策等手段知識工作者：主要包括研究者、設(shè)計者、建筑師、科學(xué)家和工程師等，其主要工作是創(chuàng)造知識，他們所進(jìn)行的工作均為知識工作知識型工作自動化六、大數(shù)據(jù)與知識自動化知識型工作自動化：用計算機(jī)來自動執(zhí)行之前只有人可以完成的知識932009-2010年，帕羅奧多研究中心(PoloAltoResearchCenter，Xerox公司的獨立子公司），討論了關(guān)于“知識型工作的未來”的問題，指出2020年知識型工作自動化將成為工業(yè)自動化革命后的又一次革命2012年，Intel公司的白皮書，討論了未來對知識工作者產(chǎn)生沖擊的一些變化，討論了“知識型工作的未來”問題2013年，麥肯錫全球研究所關(guān)于2025全球趨勢的報告對知識型工作自動化的定義以及產(chǎn)生的影響等進(jìn)行了詳細(xì)的闡述知識型工作自動化2009-2010年，帕羅奧多研究中心(PoloAlto94知識型工作自動化的提出源于當(dāng)前一些知識工作者的工作被機(jī)器代替的現(xiàn)狀，且計算技術(shù)、人工智能等技術(shù)仍在快速發(fā)展。例如：用軟件查找案件最相關(guān)的法律條文信息來代替律師的查找工作；用電腦代替客服人員的工作；用軟件完成銀行出納工作；一些輔助教育軟件；交易工作（計算機(jī)自動存款、商店結(jié)賬），計算機(jī)下象棋圍棋，等等。目前：已經(jīng)對一些例行工作崗位和體力型崗位實現(xiàn)了自動化，對于專業(yè)性工作、需要大量常識或前后聯(lián)系的工作、或基于人與人之間關(guān)系的工作尚沒有實現(xiàn)自動化。知識型工作自動化知識型工作自動化的提出源于當(dāng)前一些知識工作者的工作被機(jī)器代替95世界著名的麥肯錫研究所2013年5月發(fā)表“12種顛覆性技術(shù)驅(qū)動未來經(jīng)濟(jì)”的文章，這12種技術(shù)都具有廣泛的潛在影響，并有可能造成重大經(jīng)濟(jì)影響。這12種技術(shù)是：移動互聯(lián)網(wǎng)、知識型工作的自動化、物聯(lián)網(wǎng)