《Python經(jīng)濟(jì)大數(shù)據(jù)分析》數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)概述

數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)概述核心知識(shí)包括：數(shù)字經(jīng)濟(jì)概念、內(nèi)涵、特征；數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)的關(guān)系；大數(shù)據(jù)的概念、特征；大數(shù)據(jù)處理流程與大數(shù)據(jù)技術(shù)；大數(shù)據(jù)思維。CONTENTS目錄1.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀1.1.2 數(shù)字經(jīng)濟(jì)的特征1.1.3 數(shù)字經(jīng)濟(jì)是新發(fā)展格局的關(guān)鍵支撐1.1.4 數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)的關(guān)系1.2 大數(shù)據(jù)概述1.2.1 大數(shù)據(jù)的產(chǎn)生1.2.2 大數(shù)據(jù)的概念與內(nèi)涵1.2.3 大數(shù)據(jù)發(fā)展現(xiàn)狀1.2.4 大數(shù)據(jù)的特征1.2.5 大數(shù)據(jù)處理流程與大數(shù)據(jù)技術(shù) 1.2.6 大數(shù)據(jù)的運(yùn)用1.2.7 大數(shù)據(jù)思維01PARTONE1.1 數(shù)字經(jīng)濟(jì)概述010203041.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀1.1.2 數(shù)字經(jīng)濟(jì)的特征1.1.3 數(shù)字經(jīng)濟(jì)是新發(fā)展格局的關(guān)鍵支撐1.1.4 數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)的關(guān)系1.1 數(shù)字經(jīng)濟(jì)概述數(shù)字經(jīng)濟(jì)是隨著信息技術(shù)革命發(fā)展產(chǎn)生的繼農(nóng)業(yè)經(jīng)濟(jì)、工業(yè)經(jīng)濟(jì)之后的新經(jīng)濟(jì)社會(huì)發(fā)展形態(tài)。數(shù)字經(jīng)濟(jì)是發(fā)展最快、創(chuàng)新最活躍、輻射最廣泛的經(jīng)濟(jì)活動(dòng)。以移動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、物聯(lián)網(wǎng)、虛擬現(xiàn)實(shí)、人工智能等為代表的新一代信息技術(shù)迅速發(fā)展，加速了經(jīng)濟(jì)社會(huì)各領(lǐng)域的深度融合。新產(chǎn)業(yè)、新業(yè)態(tài)、新模式不斷涌現(xiàn)，促進(jìn)了數(shù)字經(jīng)濟(jì)的快速發(fā)展。1.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀人類社會(huì)經(jīng)濟(jì)發(fā)展主要可以分為三大階段：農(nóng)業(yè)經(jīng)濟(jì)時(shí)代、工業(yè)經(jīng)濟(jì)時(shí)代，以及數(shù)字經(jīng)濟(jì)時(shí)代。概念：數(shù)字經(jīng)濟(jì)是以數(shù)字化的知識(shí)和信息作為關(guān)鍵生產(chǎn)要素，以數(shù)字技術(shù)為核心驅(qū)動(dòng)力量，以現(xiàn)代信息網(wǎng)絡(luò)為重要載體，通過數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)深度融合，不斷提高經(jīng)濟(jì)社會(huì)的數(shù)字化、網(wǎng)絡(luò)化、智能化水平，加速重構(gòu)經(jīng)濟(jì)發(fā)展與治理模式的新型經(jīng)濟(jì)形態(tài)。數(shù)字經(jīng)濟(jì)可分為三個(gè)層次：提供核心動(dòng)能的信息技術(shù)及其裝備產(chǎn)業(yè)、深度信息化的各行各業(yè)以及跨行業(yè)數(shù)據(jù)融合應(yīng)用的數(shù)據(jù)增值產(chǎn)業(yè)。1.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀數(shù)字經(jīng)濟(jì)的“四化”框架：一是數(shù)字產(chǎn)業(yè)化，即信息通信產(chǎn)業(yè)，具體包括電子信息制造業(yè)、電信業(yè)、軟件和信息技術(shù)服務(wù)業(yè)、互聯(lián)網(wǎng)行業(yè)等；二是產(chǎn)業(yè)數(shù)字化，即傳統(tǒng)產(chǎn)業(yè)應(yīng)用數(shù)字技術(shù)所帶來的產(chǎn)出增加和效率提升部分，包括但不限于工業(yè)互聯(lián)網(wǎng)、兩化融合、智能制造、車聯(lián)網(wǎng)、平臺(tái)經(jīng)濟(jì)等融合型新產(chǎn)業(yè)新模式新業(yè)態(tài)；三是數(shù)字化治理，包括但不限于多元治理，以“數(shù)字技術(shù)＋治理”為典型特征的技管結(jié)合，以及數(shù)字化公共服務(wù)等；四是數(shù)據(jù)價(jià)值化，包括但不限于數(shù)據(jù)采集、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)確權(quán)、數(shù)據(jù)標(biāo)注、數(shù)據(jù)定價(jià)、數(shù)據(jù)交易、數(shù)據(jù)流轉(zhuǎn)、數(shù)據(jù)保護(hù)等。其中最主要的是產(chǎn)業(yè)數(shù)字化和數(shù)字產(chǎn)業(yè)化。1.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀數(shù)字經(jīng)濟(jì)內(nèi)涵的理解：第一，數(shù)字經(jīng)濟(jì)中生產(chǎn)力和生產(chǎn)關(guān)系的辨證統(tǒng)一。第二，數(shù)字經(jīng)濟(jì)超越了信息產(chǎn)業(yè)部門的范圍。第三，數(shù)字經(jīng)濟(jì)是一種技術(shù)經(jīng)濟(jì)范式。第四，數(shù)字經(jīng)濟(jì)是一種經(jīng)濟(jì)社會(huì)形態(tài)。第五，數(shù)字經(jīng)濟(jì)是信息經(jīng)濟(jì)、信息化發(fā)展的高級(jí)階段。1.1 數(shù)字經(jīng)濟(jì)概述1.1.1 數(shù)字經(jīng)濟(jì)概念與現(xiàn)狀數(shù)字經(jīng)濟(jì)已成為當(dāng)前最具活力、最具創(chuàng)新力、輻射最廣泛的經(jīng)濟(jì)形態(tài)，是國民經(jīng)濟(jì)的核心增長極之一。圖1?1我國數(shù)字經(jīng)濟(jì)規(guī)模（萬億元）圖1?2我國數(shù)字經(jīng)濟(jì)增速與GP增速1.1 數(shù)字經(jīng)濟(jì)概述1.1.2 數(shù)字經(jīng)濟(jì)的特征數(shù)字經(jīng)濟(jì)有五大特征：1.數(shù)據(jù)成為驅(qū)動(dòng)經(jīng)濟(jì)發(fā)展的關(guān)鍵生產(chǎn)要素和重要的戰(zhàn)略資產(chǎn)。2.數(shù)字基礎(chǔ)設(shè)施成為新基礎(chǔ)設(shè)施。3.數(shù)字素養(yǎng)成為對勞動(dòng)者和消費(fèi)者的新要求。4.供給和需求的界限日益模糊。5.人類社會(huì)、網(wǎng)絡(luò)世界和物理世界日益融合。1.1 數(shù)字經(jīng)濟(jì)概述1.1.3 數(shù)字經(jīng)濟(jì)支撐新發(fā)展格局?jǐn)?shù)字經(jīng)濟(jì)打造新發(fā)展格局關(guān)鍵要素新發(fā)展格局的關(guān)鍵在于循環(huán)，即推動(dòng)生產(chǎn)要素公平自由的流動(dòng)與使用。產(chǎn)品全生命周期數(shù)據(jù)管控助力企業(yè)新產(chǎn)品研發(fā)周期降低16.9%，產(chǎn)能利用率提升15.7%，設(shè)備綜合利用率提升9.5%。數(shù)字經(jīng)濟(jì)實(shí)現(xiàn)新發(fā)展格局供需均衡供需平衡方面，數(shù)字經(jīng)濟(jì)和實(shí)體經(jīng)濟(jì)融合有效打通供需間信息渠道，減少資金、資源、產(chǎn)品等流動(dòng)阻礙，提高經(jīng)濟(jì)系統(tǒng)面對外部沖擊時(shí)的協(xié)同性和快速反應(yīng)能力。數(shù)字經(jīng)濟(jì)支撐新發(fā)展格局國際暢通數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)融合發(fā)展推進(jìn)強(qiáng)大國內(nèi)市場和貿(mào)易強(qiáng)國建設(shè)，促進(jìn)國際國內(nèi)雙循環(huán)。1.1 數(shù)字經(jīng)濟(jì)概述1.1.4 數(shù)字經(jīng)濟(jì)與大數(shù)據(jù)的關(guān)系數(shù)字經(jīng)濟(jì)業(yè)態(tài)大規(guī)模催生大數(shù)據(jù)大數(shù)據(jù)賦能數(shù)字經(jīng)濟(jì)大數(shù)據(jù)是數(shù)字經(jīng)濟(jì)的關(guān)鍵生產(chǎn)要素大數(shù)據(jù)是發(fā)揮數(shù)據(jù)價(jià)值的使能因素大數(shù)據(jù)是驅(qū)動(dòng)數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展的核心動(dòng)能02PARTTWO1.1 大數(shù)據(jù)概述020304051.2 大數(shù)據(jù)概述1.2.2 大數(shù)據(jù)的概念與內(nèi)涵1.2.3 大數(shù)據(jù)發(fā)展現(xiàn)狀1.2.4 大數(shù)據(jù)的特征1.2.5 大數(shù)據(jù)處理流程與大數(shù)據(jù)技術(shù)0607011.2.6 大數(shù)據(jù)的運(yùn)用1.2.7 大數(shù)據(jù)思維1.2.1 大數(shù)據(jù)的產(chǎn)生1.2 大數(shù)據(jù)概述大數(shù)據(jù)是信息化發(fā)展的新階段。隨著信息技術(shù)和人類生產(chǎn)生活交匯融合，互聯(lián)網(wǎng)快速普及，全球數(shù)據(jù)呈現(xiàn)爆發(fā)增長、海量集聚的特點(diǎn)，作為新一輪工業(yè)革命中最為活躍的技術(shù)創(chuàng)新要素，正在全面重構(gòu)全球生產(chǎn)、流通、分配、消費(fèi)等領(lǐng)域，對全球競爭、國家治理、經(jīng)濟(jì)發(fā)展、產(chǎn)業(yè)轉(zhuǎn)型、社會(huì)生活等方面產(chǎn)生全面深刻影響。1.2 大數(shù)據(jù)概述1.2.1 大數(shù)據(jù)的產(chǎn)生大數(shù)據(jù)的發(fā)展歷程1990大數(shù)據(jù)的萌芽階段2003大數(shù)據(jù)的突破階段2005大數(shù)據(jù)發(fā)展成熟期2009數(shù)據(jù)碎片化、分布式、流媒體特征更明顯2010大數(shù)據(jù)已經(jīng)成為重要的時(shí)代特征2011大數(shù)據(jù)概念開始風(fēng)靡全球2012大數(shù)據(jù)已經(jīng)成為重要的時(shí)代特征2013大數(shù)據(jù)監(jiān)管進(jìn)入公眾視野2014大數(shù)據(jù)產(chǎn)業(yè)從理論邁向?qū)嶋H應(yīng)用2015大數(shù)據(jù)獨(dú)立發(fā)展成為一種新興行業(yè)1.2 大數(shù)據(jù)概述1.2.1 大數(shù)據(jù)的產(chǎn)生大數(shù)據(jù)產(chǎn)生的支撐技術(shù)支撐存儲(chǔ)能力、計(jì)算能力、網(wǎng)絡(luò)帶寬數(shù)據(jù)產(chǎn)生方式的變革數(shù)據(jù)產(chǎn)生的方式大致經(jīng)歷了三個(gè)階段：運(yùn)營式系統(tǒng)階段、用戶原創(chuàng)內(nèi)容階段和感知式系統(tǒng)階段。簡單來說，數(shù)據(jù)產(chǎn)生經(jīng)歷了被動(dòng)、主動(dòng)和自動(dòng)三個(gè)階段。這些被動(dòng)、主動(dòng)和自動(dòng)的數(shù)據(jù)共同構(gòu)成了大數(shù)據(jù)的數(shù)據(jù)來源，但其中自動(dòng)式的數(shù)據(jù)是大數(shù)據(jù)產(chǎn)生的最根本原因。1.2 大數(shù)據(jù)概述1.2.1 大數(shù)據(jù)的產(chǎn)生大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的對比

傳統(tǒng)數(shù)據(jù)詮釋宏觀、整體的狀況，用于影響政策決策；大數(shù)據(jù)可以分析微觀、個(gè)體以及環(huán)境的狀況，用于調(diào)整其行為與實(shí)現(xiàn)個(gè)性化服務(wù)。

傳統(tǒng)數(shù)據(jù)分析方式、采集方法、內(nèi)容分類、采信標(biāo)準(zhǔn)等都已存在既有規(guī)則，方法論完整，數(shù)據(jù)主要靠人工采集；大數(shù)據(jù)分析為新鮮事物，數(shù)據(jù)采集通過傳感器采集、SDK采集、運(yùn)營商采集等自動(dòng)化方式，還沒有形成清晰的分析方法、路徑、以及評判標(biāo)準(zhǔn)。

傳統(tǒng)數(shù)據(jù)來源于階段性的，針對性的評估，其采樣過程可能有系統(tǒng)誤差；大數(shù)據(jù)來源于過程性的，即時(shí)性的行為與現(xiàn)象記錄，第三方、技術(shù)型的觀察采樣的方式誤差較小。

SDK是SoftwareDevelopmentKit的縮寫，即軟件開發(fā)工具包，SDK直接調(diào)用API(應(yīng)用程序接口，ApplicationProgrammingInterface)，函數(shù)進(jìn)行編程直接從App里讀取數(shù)據(jù)。1.2 大數(shù)據(jù)概述1.2.2 大數(shù)據(jù)的概念與內(nèi)涵大數(shù)據(jù)的概念國務(wù)院2015年頒布的《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》對大數(shù)據(jù)概念進(jìn)行了界定，認(rèn)為大數(shù)據(jù)是“具有規(guī)模巨大、種類多樣、形成快速、真實(shí)度高的數(shù)據(jù)集合”，可以通過使用新的信息技術(shù)手段從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升能力的一種新興的信息服務(wù)業(yè)態(tài)。大數(shù)據(jù)的內(nèi)涵主要基于國家發(fā)展角度來理解大數(shù)據(jù)的內(nèi)涵。首先，大數(shù)據(jù)是一種全新的國家戰(zhàn)略性資源，是重要的國家實(shí)力要素。其次，大數(shù)據(jù)具有集聚性，即只有相關(guān)數(shù)據(jù)聚集一起才能更好的發(fā)揮作用。最后，大數(shù)據(jù)可以顯著提升我國科學(xué)決策能力和水平。1.2 大數(shù)據(jù)概述1.2.3 大數(shù)據(jù)發(fā)展現(xiàn)狀圖18數(shù)字?jǐn)?shù)據(jù)的爆發(fā)式增長資料來源：國際數(shù)據(jù)公司（IDC）圖1?9結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)增長堆積圖（Z字節(jié)）資料來源：國際數(shù)據(jù)公司（IDC）1.2 大數(shù)據(jù)概述1.2.3 大數(shù)據(jù)發(fā)展現(xiàn)狀圖1?10我國數(shù)據(jù)戰(zhàn)略布局歷程1.2 大數(shù)據(jù)概述1.2.4 大數(shù)據(jù)的特征數(shù)據(jù)規(guī)模大（Volume）伴隨互聯(lián)網(wǎng)的不斷發(fā)展，社交平臺(tái)、金融機(jī)構(gòu)、新聞媒體、電商平臺(tái)等每時(shí)每刻都在產(chǎn)生大量的數(shù)據(jù)。以銀行業(yè)為例，我國大型商業(yè)銀行和保險(xiǎn)公司的數(shù)據(jù)量已經(jīng)超過100TB1024各單位…………等于1單位的注釋KM(Kilobyte)MB一張音樂CD光盤擁有600MB數(shù)據(jù)MB(Megabyte)GB1GB可以存儲(chǔ)的數(shù)據(jù)量，等于書架上疊起來大概9米多高的書籍GB(Gigabyte)TB10TB可以儲(chǔ)存美國國會(huì)圖書館的全部信息TB(Terabyte)PB1PB可以儲(chǔ)存的文本，如果打印出來可以裝滿2000萬個(gè)41]的書柜PB(Petabyte)EB5EB的信息量等于全人類曾經(jīng)說過的全部詞語EB(Exabyte)ZB使用現(xiàn)在最快的寬帶，下載1ZB的信息需要至少110億年表1?1數(shù)據(jù)計(jì)量單位1.2 大數(shù)據(jù)概述1.2.4 大數(shù)據(jù)的特征種類多（Variety）宏觀數(shù)據(jù)，如金融、環(huán)境、氣象、水利、產(chǎn)品設(shè)計(jì)等;微觀數(shù)據(jù)，過去難以量化的如圖像、音頻、視頻、生物識(shí)別、地理標(biāo)記、筆跡等非結(jié)構(gòu)化數(shù)據(jù)。速度快（Velocity）真實(shí)度高（Veracity）

數(shù)據(jù)原生性、真實(shí)性和即時(shí)性，數(shù)據(jù)相關(guān)要求和標(biāo)準(zhǔn)的不斷提高。價(jià)值大（Value）“對于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一輪生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來?！卑殡S大數(shù)據(jù)分析技術(shù)的進(jìn)步，數(shù)據(jù)無論在宏觀層面還是微觀層面都將發(fā)揮巨大的分析價(jià)值和應(yīng)用價(jià)值。1.2 大數(shù)據(jù)概述1.2.5 大數(shù)據(jù)處理流程與大數(shù)據(jù)技術(shù)大數(shù)據(jù)的處理流程1.2 大數(shù)據(jù)概述1.2.5 大數(shù)據(jù)處理流程與大數(shù)據(jù)技術(shù)大數(shù)據(jù)技術(shù)數(shù)據(jù)采集ETL數(shù)據(jù)眾包(CrowdSouring)存儲(chǔ)與管理結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)分布式文件系統(tǒng)關(guān)系數(shù)據(jù)庫非關(guān)系數(shù)據(jù)庫(NoSQL)數(shù)據(jù)倉庫云計(jì)算和云存儲(chǔ)實(shí)時(shí)流處理數(shù)據(jù)分析關(guān)聯(lián)規(guī)則分析分類遺傳算法神經(jīng)網(wǎng)絡(luò)預(yù)測模型模式識(shí)別時(shí)間序列分析回歸分析系統(tǒng)仿真機(jī)器學(xué)習(xí)優(yōu)化空間分析社會(huì)網(wǎng)絡(luò)分析自然語言分析數(shù)據(jù)解釋標(biāo)簽云(TagCloud)聚類圖(Clustergram)空間信息流(Spatialinformationflow)熱圖(Heatmap)1.2 大數(shù)據(jù)概述1.2.6 大數(shù)據(jù)的運(yùn)用數(shù)據(jù)時(shí)代萬物皆可以數(shù)據(jù)化，態(tài)度變成數(shù)據(jù)可以表示情緒，方位變成數(shù)據(jù)可用于導(dǎo)航，溝通變成數(shù)據(jù)形成社交媒體，大數(shù)據(jù)的運(yùn)用已經(jīng)滲透到非常多的領(lǐng)域，包括業(yè)務(wù)流程優(yōu)化、監(jiān)控身體情況、理解滿足客戶需求、智能醫(yī)療研發(fā)、金融交易、研發(fā)智能汽車、實(shí)時(shí)掌控交通情況、改善日常生活等。案例一：影視劇拍攝之《紙牌屋》和《小時(shí)代》利用大數(shù)據(jù)面向特定用戶制作影片，投其所好，于是票房越來越好。案例二：谷歌預(yù)測流感利用搜索引擎查詢數(shù)據(jù)檢測禽流感流行趨勢，大數(shù)據(jù)分析中有陷阱。案例三：點(diǎn)球成金以事實(shí)為依據(jù)去評價(jià)一名運(yùn)動(dòng)員的表現(xiàn)，而不是像以前那樣只是憑借傳聞或者感覺。依據(jù)“高上壘率”，用數(shù)學(xué)分析的模式縝密而細(xì)致的測算估計(jì)每個(gè)球員的價(jià)值，并從中挑選出三個(gè)上壘率高的身價(jià)遠(yuǎn)不如其他知名球員的球員代替運(yùn)動(dòng)家隊(duì)原先被挖走的三個(gè)核心球員，最終，球隊(duì)在2002年的美國聯(lián)盟西部