大數(shù)據(jù)與大系統(tǒng)

1、1大數(shù)據(jù)與大系統(tǒng)大數(shù)據(jù)與大系統(tǒng)2014年年9月月26日，上海日，上海周宏仁周宏仁國(guó)家信息化專(zhuān)家咨詢委員會(huì) 常務(wù)副主任中國(guó)計(jì)算機(jī)應(yīng)用大會(huì)中國(guó)計(jì)算機(jī)應(yīng)用大會(huì) 暨暨2014年智慧城市與大數(shù)據(jù)學(xué)術(shù)會(huì)議年智慧城市與大數(shù)據(jù)學(xué)術(shù)會(huì)議2一、什么是數(shù)據(jù)3“數(shù)據(jù)”人類(lèi)歷史上從來(lái)就不乏數(shù)據(jù)，也不可否認(rèn)數(shù)據(jù)的重要性，然而，數(shù)據(jù)從來(lái)沒(méi)有像今天這樣成為一種人類(lèi)不可或缺的資源。今天所討論的“數(shù)據(jù)”，無(wú)論是小、中、大數(shù)據(jù)，都不是指儲(chǔ)存在任何其它物理介質(zhì)（紙張、報(bào)紙、書(shū)籍）中的數(shù)據(jù)，而是專(zhuān)指儲(chǔ)存在不同形態(tài)的計(jì)算機(jī)或信息系統(tǒng)中的數(shù)據(jù)，包括各種各樣的數(shù)字終端，如智能手機(jī)和平板電腦中的數(shù)據(jù)，各種網(wǎng)絡(luò)中的數(shù)據(jù)。無(wú)論這些數(shù)據(jù)代表的物理現(xiàn)

2、象（數(shù)字、文字、聲音、圖片、視頻、嗅覺(jué)、味覺(jué)）多么復(fù)雜，歸根結(jié)蒂只有1和0兩個(gè)代碼。就是這兩個(gè)代碼的無(wú)窮組合代表了極其復(fù)雜且變化萬(wàn)千的物理世界！4數(shù)據(jù)時(shí)代數(shù)據(jù)之所以在今天能成為一種與能源、物質(zhì)并駕齊驅(qū)的資源，固然與數(shù)據(jù)可以表征現(xiàn)實(shí)的物理世界有關(guān)，更是由于現(xiàn)代信息通信技術(shù)可以方便地檢索、傳播、處理和利用數(shù)據(jù)。數(shù)據(jù)資源的開(kāi)發(fā)利用之所以變得如此之重要，也歸因于信息的數(shù)字化和計(jì)算機(jī)化的結(jié)果。因此，數(shù)據(jù)時(shí)代，或者大數(shù)據(jù)時(shí)代，是信息時(shí)代固有的內(nèi)涵之一。大數(shù)據(jù)的重要意義和價(jià)值是毋庸置疑的。認(rèn)識(shí)數(shù)據(jù)時(shí)代的來(lái)臨，比認(rèn)識(shí)大數(shù)據(jù)本身更為重要。大數(shù)據(jù)時(shí)代的來(lái)臨，就是數(shù)據(jù)時(shí)代的來(lái)臨，也是“數(shù)據(jù)”真正作為“資源”的時(shí)代的

3、來(lái)臨。5數(shù)據(jù)：可再生、可自生資源奈斯比特：“我們第一次有了一種建立在不僅可以再生而且可以自生的重要資源（信息）上的經(jīng)濟(jì)。資源缺乏不成問(wèn)題了，但被資源淹沒(méi)倒是問(wèn)題?！碑?dāng)然，他所指的不僅僅是大數(shù)據(jù)資源，而是涵蓋了所有“尺寸”的“信息資源”。然而，大數(shù)據(jù)技術(shù)的出現(xiàn)，也推翻了奈斯比特的另一個(gè)觀點(diǎn)，“在信息社會(huì)中，沒(méi)有控制的和沒(méi)有組織的信息不再是一種資源。它倒反而成為信息工作者的敵人?！睂?shí)際上，大數(shù)據(jù)要研究和利用的，正是這一類(lèi)數(shù)據(jù)資源。約翰奈斯比特（John Naisbitt），大趨勢(shì)改變我們生活的十個(gè)新趨向6數(shù)據(jù)資源需要開(kāi)發(fā)大數(shù)據(jù)技術(shù)最大的魅力，正是在于它可以從看似無(wú)關(guān)聯(lián)、無(wú)控制、無(wú)組織、非結(jié)構(gòu)化的數(shù)

4、據(jù)資源中，提取有用的、甚至是極有價(jià)值的信息。60年前，控制論的創(chuàng)始人維納曾經(jīng)指出：信息是與物質(zhì)和能源同樣重要的、構(gòu)成客觀世界的三大要素之一，是人類(lèi)社會(huì)的三大資源之一。這個(gè)論斷的真諦，只有在大數(shù)據(jù)時(shí)代的今天才不難理解。然而，資源就是資源，需要開(kāi)發(fā)。就像一座銅礦一樣，沒(méi)有開(kāi)發(fā)，銅礦不會(huì)自動(dòng)地變成銅。諾伯特維納，控制論，科學(xué)出版社，1963年。7二、數(shù)據(jù)資源的形成8信息化：開(kāi)發(fā)信息資源信息化的過(guò)程，就是數(shù)據(jù)資源開(kāi)發(fā)的過(guò)程。“數(shù)字化”和信息系統(tǒng)的構(gòu)建，開(kāi)啟了信息時(shí)代信息資源開(kāi)發(fā)利用的新模式、新技術(shù)、新方法。60余年來(lái)信息化的發(fā)展進(jìn)程中，數(shù)據(jù)資源的開(kāi)發(fā)、管理和利用始終是一個(gè)重要的主題。今天人類(lèi)社會(huì)的數(shù)據(jù)

5、資源，是一步一個(gè)腳印地發(fā)展和積累起來(lái)的。大數(shù)據(jù)是怎么來(lái)的？不是從天上掉下來(lái)的，正是60多年來(lái)信息化不斷發(fā)展的結(jié)果。9數(shù)字化的起步數(shù)據(jù)資源開(kāi)發(fā)的過(guò)程，就是信息化的過(guò)程。信息化是從數(shù)據(jù)的管理和利用開(kāi)始的。1950年，艾克特和莫克利在美國(guó)成功制造的世界上第一臺(tái)商用計(jì)算機(jī)UNIVAC，就是被美國(guó)普查局買(mǎi)去用作普查數(shù)據(jù)的處理。1954年，美國(guó)第一個(gè)聯(lián)邦公務(wù)員工資支付管理系統(tǒng)投入使用。現(xiàn)實(shí)生活中的各種形式的數(shù)字和文字信息，開(kāi)始以格式化的“數(shù)據(jù)”儲(chǔ)存在計(jì)算機(jī)信息系統(tǒng)之中。10信息系統(tǒng)在以后的幾十年中，信息系統(tǒng)首先作為單個(gè)的系統(tǒng)（System），在一個(gè)單位的內(nèi)部發(fā)展。所謂系統(tǒng)，是指一組部件按一定的方式結(jié)合在一

6、起，以完成特定功能，而這種功能是任何單個(gè)部件所不可能具備的。早期的信息系統(tǒng)，是比較簡(jiǎn)單的批數(shù)據(jù)處理系統(tǒng)；而后，數(shù)據(jù)處理走向?qū)崟r(shí)處理。隨后，信息系統(tǒng)開(kāi)始向管理層發(fā)展，為業(yè)務(wù)活動(dòng)的管理，提供各種信息系統(tǒng)的支撐。在數(shù)據(jù)處理系統(tǒng)和管理信息系統(tǒng)發(fā)展和積累大量數(shù)據(jù)的基礎(chǔ)上，決策支持系統(tǒng)開(kāi)始發(fā)展。各單位信息系統(tǒng)的發(fā)展決策層信息系統(tǒng)發(fā)展由底向上管理層管理信息系統(tǒng)(MIS)操作層數(shù)據(jù)處理系統(tǒng)(DP)上世紀(jì)60、70年代，信息系統(tǒng)在各個(gè)單位，如政府部門(mén)或企業(yè)的內(nèi)部很快得到發(fā)展。大量數(shù)據(jù)開(kāi)始在信息系統(tǒng)中積累，成為重要的數(shù)據(jù)資源。11決策支持系統(tǒng)（DSS）12信息系統(tǒng)的發(fā)展60余年來(lái)，信息系統(tǒng)經(jīng)歷了一個(gè)由小到大、由簡(jiǎn)

7、單到復(fù)雜，由有組織到無(wú)組織的發(fā)展過(guò)程。信息系統(tǒng)簡(jiǎn)單系統(tǒng)大系統(tǒng)系統(tǒng)的系統(tǒng)超巨系統(tǒng)無(wú)系統(tǒng)系統(tǒng)信息化的理論模型物理世界同態(tài)映射數(shù)字世界ITIICIISI逆變換ITI - Info. Technology IndustryICI - Info. Content IndustryISI - Info. Service Industry14“數(shù)字信息 vs. 模擬信息”15三、大系統(tǒng)的發(fā)展16信息系統(tǒng)向大系統(tǒng)的發(fā)展上世紀(jì)90年代初期，隨著互聯(lián)網(wǎng)在全球的普及和發(fā)展，數(shù)據(jù)資源的開(kāi)發(fā)和積累大大加速。信息系統(tǒng)的構(gòu)造，由點(diǎn)（一個(gè)地點(diǎn)）向線（一個(gè)政府部門(mén)、企事業(yè)、行業(yè)系統(tǒng)），進(jìn)而向面（內(nèi)外部一體化、泛在）發(fā)展。政府部

8、門(mén)和企事業(yè)單位都利用互聯(lián)網(wǎng)將自己的信息系統(tǒng)向部門(mén)或企事業(yè)的關(guān)聯(lián)單位延伸，信息系統(tǒng)逐漸向大系統(tǒng)（LSS - Large Scale System），即系統(tǒng)的系統(tǒng)（System of Systems）發(fā)展。17大系統(tǒng)系統(tǒng)的系統(tǒng)賽奇和卡龐認(rèn)為，“系統(tǒng)的系統(tǒng)”必須滿足下面五個(gè)主要特征：成員系統(tǒng)運(yùn)行上相互獨(dú)立；管理上相互獨(dú)立；地理上分布在不同地點(diǎn)，之間僅有信息交互；突現(xiàn)任何成員系統(tǒng)所不具備的新的功能；系統(tǒng)處于不斷發(fā)展和進(jìn)化之中。他們認(rèn)為，“系統(tǒng)的系統(tǒng)”永遠(yuǎn)不會(huì)完全建成，而是隨著時(shí)間的推移，不斷地增加、減少或進(jìn)化至新的結(jié)構(gòu)、功能和用途。因此，這類(lèi)系統(tǒng)的成員系統(tǒng)在數(shù)目上遠(yuǎn)遠(yuǎn)超過(guò)一般意義上的系統(tǒng)，其主要特征為

9、系統(tǒng)維數(shù)巨大、非線性或不存在系統(tǒng)模型、具有強(qiáng)交互性等等。Sage, A.P. and C.D. Cuppan, Information, Knowledge, Systems Management, Vol. 2, No. 418大系統(tǒng)帶來(lái)大數(shù)據(jù)進(jìn)入新世紀(jì)以來(lái)，信息系統(tǒng)的集成（一體化）成為“系統(tǒng)的系統(tǒng)”主要的研究領(lǐng)域之一。典型的“大系統(tǒng)”包括基于互聯(lián)網(wǎng)的系統(tǒng)、智能交通系統(tǒng)以及國(guó)防領(lǐng)域的綜合防空體系等等。淘寶、天貓、QQ、微信、百度、電信系統(tǒng)、銀行系統(tǒng)等等都成為典型的大系統(tǒng)。大系統(tǒng)使得數(shù)據(jù)的積累以海量的方式增長(zhǎng)；信息資源的開(kāi)發(fā)工具，則由數(shù)據(jù)庫(kù)（DB）走向業(yè)務(wù)智能（BI），進(jìn)而由高端計(jì)算走向大數(shù)據(jù)

10、。在上述這些大系統(tǒng)中，實(shí)際上都建成了自己的大數(shù)據(jù)平臺(tái)，掌握了豐富的大數(shù)據(jù)資源，大大的“有寶可淘”。四個(gè)無(wú)處不在信息化的快速發(fā)展，催生了四個(gè)無(wú)處不在。計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)、軟件無(wú)處不在，成為信息時(shí)代的基本特征。計(jì)計(jì)算算網(wǎng)網(wǎng)絡(luò)絡(luò)數(shù)數(shù)據(jù)據(jù)軟軟件件計(jì)算、網(wǎng)絡(luò)、數(shù)據(jù)、軟件無(wú)處不在，實(shí)際上形成了信息系統(tǒng)的無(wú)處不在。1920數(shù)據(jù)量：新的增長(zhǎng)因素主要的刺激因素包括：互聯(lián)網(wǎng)用戶的急遽增加；各種基于互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)，特別是電子商務(wù)和社交網(wǎng)絡(luò)的急遽發(fā)展；物聯(lián)網(wǎng)的快速興起；以及數(shù)據(jù)終端種類(lèi)和數(shù)量的急遽增加，特別是智能手機(jī)和移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展等等。所有這些看似并無(wú)關(guān)聯(lián)的、數(shù)以億計(jì)的、大大小小的信息系統(tǒng)中所包含的信息，需要

11、超越政府部門(mén)、企事業(yè)、行業(yè)系統(tǒng)，另辟蹊徑，另構(gòu)系統(tǒng)，開(kāi)發(fā)和利用這類(lèi)超大型的數(shù)據(jù)資源。21四、發(fā)展超巨系統(tǒng)22超巨系統(tǒng)與無(wú)系統(tǒng)系統(tǒng)在這樣的情況下，對(duì)超大數(shù)據(jù)的研究、分析和利用技術(shù)的需求應(yīng)運(yùn)而生。大數(shù)據(jù)的研究、分析和利用，首先需要構(gòu)造大數(shù)據(jù)平臺(tái)。沒(méi)有大數(shù)據(jù)平臺(tái)，就沒(méi)有分析利用的數(shù)據(jù)基礎(chǔ)。因此，根據(jù)實(shí)際的應(yīng)用需求，構(gòu)造一類(lèi)超巨型信息系統(tǒng)（HSIS - Huge Scale Information System），變得非常必要。這種系統(tǒng)往往是沒(méi)有系統(tǒng)的系統(tǒng)，即無(wú)系統(tǒng)系統(tǒng)（SWS - System without System），但又是基于無(wú)數(shù)信息系統(tǒng)的系統(tǒng)。無(wú)系統(tǒng)，是指其成員系統(tǒng)不是為這個(gè)超巨系統(tǒng)而特

12、意打造的系統(tǒng)。23超巨系統(tǒng)的主要特征這種系統(tǒng)與大系統(tǒng)的主要區(qū)別在于，它們是為完成特定的功能設(shè)計(jì)的，而實(shí)現(xiàn)其功能所基于的各種成員系統(tǒng)，無(wú)論在功能、運(yùn)行、管理和地域上都是無(wú)關(guān)的，也不具有任何先驗(yàn)的、人為設(shè)計(jì)的特征。不僅如此，其成員系統(tǒng)可能是隨機(jī)的、泛在的、動(dòng)態(tài)遷移的。無(wú)線互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和智能終端的發(fā)展，使成員系統(tǒng)的泛在化特征大為增強(qiáng)。這類(lèi)超巨系統(tǒng)充分利用全球現(xiàn)有的各種信息系統(tǒng)的功能和數(shù)據(jù)特征而構(gòu)造，目的就是為了構(gòu)造目的性極強(qiáng)的超大數(shù)據(jù)平臺(tái)，從而獲取、分析和利用所獲取的大數(shù)據(jù)，最終獲取情報(bào)或信息。24超巨系統(tǒng)的實(shí)例美國(guó)華盛頓郵報(bào)2013年12月5日在頭版頭條位置報(bào)道，美國(guó)國(guó)安局每天收集全球各地近50

13、億條手機(jī)通信記錄，并對(duì)其位置和活動(dòng)進(jìn)行跟蹤。這個(gè)監(jiān)聽(tīng)系統(tǒng)就是一個(gè)典型的超巨型的信息系統(tǒng)，一個(gè)典型的無(wú)系統(tǒng)系統(tǒng)。其主要功能就是發(fā)現(xiàn)可疑的情報(bào)目標(biāo)人物的活動(dòng)路線、相關(guān)行動(dòng)及社會(huì)關(guān)系網(wǎng)絡(luò)。這個(gè)系統(tǒng)的構(gòu)成，包括相關(guān)的光纖電纜、移動(dòng)電話、蜂窩網(wǎng)絡(luò)、無(wú)線上網(wǎng)信號(hào)、全球定位系統(tǒng)、以及竊聽(tīng)裝備等等，是無(wú)數(shù)個(gè)不是成員系統(tǒng)的成員系統(tǒng)。25超巨系統(tǒng)的實(shí)例這個(gè)超巨系統(tǒng)所處理的數(shù)據(jù)的重要特征，當(dāng)然是以典型的音頻大數(shù)據(jù)為主。顯然，這個(gè)超巨系統(tǒng)是需要精心設(shè)計(jì)的，需要設(shè)定系統(tǒng)目標(biāo)、功能、體系結(jié)構(gòu)、數(shù)據(jù)源、數(shù)據(jù)采集方法和分析利用、系統(tǒng)運(yùn)行維護(hù)等等。超巨信息系統(tǒng)的設(shè)計(jì)和構(gòu)建理論，完全不同于傳統(tǒng)意義上的信息系統(tǒng)的一般理論，需要有新

14、的信息系統(tǒng)方法學(xué)做支撐。26大數(shù)據(jù)：發(fā)展超巨系統(tǒng)綜上所述，從信息系統(tǒng)的觀點(diǎn)來(lái)看，至少存在著兩種不同形態(tài)的大數(shù)據(jù)：從大系統(tǒng)中獲得大數(shù)據(jù)和從超巨系統(tǒng)/從無(wú)系統(tǒng)系統(tǒng)中獲得大數(shù)據(jù)。從大系統(tǒng)中獲得大數(shù)據(jù)，一般可由政府部門(mén)、企事業(yè)、行業(yè)等等，在其信息化的進(jìn)程中“水到渠成”地解決；而要從無(wú)系統(tǒng)系統(tǒng)中獲得大數(shù)據(jù)，則需要根據(jù)目標(biāo)和功能，通過(guò)構(gòu)造特定的超巨型信息系統(tǒng)來(lái)解決。前者一般而言結(jié)構(gòu)性可能比較好一點(diǎn)，后者則可能非結(jié)構(gòu)化的特征更明顯，甚至完全不具有結(jié)構(gòu)性，大數(shù)據(jù)分析的難度也可能更大一些。27應(yīng)對(duì)大數(shù)據(jù)時(shí)代的挑戰(zhàn)不難看出，對(duì)于許多真正的跨企業(yè)、跨行業(yè)、跨部門(mén)、跨地域的大數(shù)據(jù)分析利用而言，沒(méi)有超巨型信息系統(tǒng)，就沒(méi)有大數(shù)據(jù)平臺(tái)，也就談不上這類(lèi)大數(shù)據(jù)的分析利用。因此，應(yīng)對(duì)大數(shù)據(jù)時(shí)代的來(lái)臨，一方面，需要從長(zhǎng)遠(yuǎn)的角度發(fā)展數(shù)據(jù)科學(xué)，培養(yǎng)數(shù)據(jù)科學(xué)家和一大批數(shù)據(jù)科學(xué)和技術(shù)的人才；另一方面，需要從應(yīng)用的角度，研究國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展、國(guó)家安全和國(guó)家信息安全的大數(shù)據(jù)應(yīng)用需求。在當(dāng)前和可預(yù)見(jiàn)的未來(lái)，必須明確，什么樣的信息是現(xiàn)有的各種大系統(tǒng)所無(wú)法