走近大數(shù)據(jù)(貴陽)課件

宣講：周矩貴州省委講師團(tuán)綜合教研室主任走近大數(shù)據(jù)科學(xué)理論上講堂宣講：周矩貴州省委講師團(tuán)走近大數(shù)據(jù)科學(xué)理論上講堂12016.5.25數(shù)博會2016.5.25數(shù)博會2大數(shù)據(jù)是繼傳統(tǒng)IT之后下一個提高生產(chǎn)率的技術(shù)前沿麥肯錫全球研究院(MGI)《大數(shù)據(jù)：下一個創(chuàng)新、競爭和生產(chǎn)力的前沿》麥肯錫公司是全球最著名的管理咨詢公司，在全球44個國家和地區(qū)開設(shè)了84間分公司或辦事處。麥肯錫目前擁有9000多名咨詢?nèi)藛T，分別來自78個國家，均具有世界著名學(xué)府的高等學(xué)位。大數(shù)據(jù)是繼傳統(tǒng)IT之后麥肯錫全球研究院(MGI)麥3習(xí)近平總書記說：我聽懂了，貴州發(fā)展大數(shù)據(jù)確實有道理習(xí)近平總書記說：4陳剛1990年8月參加工作，研究生畢業(yè)（北京大學(xué)化學(xué)系無機(jī)化學(xué)專業(yè)），理學(xué)博士，教授級高級工程師。曾任中共北京市朝陽區(qū)委書記，中共北京市委常委等職務(wù)。2013年7月起，任中共貴州省委常委、貴陽市委書記。引言：貴州大數(shù)據(jù)的起步王小蘭：時代集團(tuán)公司總裁柳傳志：聯(lián)想集團(tuán)有限公司董事局名譽(yù)主席維克托?邁爾-舍恩伯格陳剛1990年8月參加工作，研究生畢業(yè)（北京大學(xué)化學(xué)系無51、地質(zhì)優(yōu)勢貴陽尚未發(fā)生5級以上具有破壞性的地震。所以，在貴陽建大數(shù)據(jù)中心、分中心、災(zāi)備中心，的確是不錯的選擇。貴州發(fā)展大數(shù)據(jù)的優(yōu)勢2、能源優(yōu)勢數(shù)據(jù)中心要運(yùn)轉(zhuǎn)，靠什么，靠電。貴州有電啊，咋不差電，水、火、風(fēng)、光、地互濟(jì)。3、氣候優(yōu)勢

年平均氣溫為15.3℃，省好多電費(fèi)呢。4、政策優(yōu)勢貴州搞大數(shù)據(jù)最大的優(yōu)勢就是政府高度重視，已經(jīng)制定以下措施：

A.爭取獲批建設(shè)互聯(lián)網(wǎng)骨干直聯(lián)點；

B.加快“寬帶貴州”建設(shè)；

C.實現(xiàn)城鎮(zhèn)建成區(qū)、高速公路、高速鐵路沿線移動網(wǎng)絡(luò)有效信號全覆蓋；

D.辦好云上貴州·大數(shù)據(jù)招商引智(北京)推介會和全省大數(shù)據(jù)戰(zhàn)略行動推進(jìn)大會；

E.爭取更多有分量的大數(shù)據(jù)企業(yè)落戶貴州。1、地質(zhì)優(yōu)勢貴州發(fā)展大數(shù)據(jù)的優(yōu)勢2、能源優(yōu)勢3、氣候優(yōu)勢4、6大數(shù)據(jù)和網(wǎng)絡(luò)強(qiáng)國等戰(zhàn)略，為我省彎道取直、后發(fā)趕超創(chuàng)造了寶貴契機(jī)力爭國家支持貴州作為國家級數(shù)據(jù)交換南方中心、國家面向西南和東盟的數(shù)據(jù)服務(wù)基地，將貴陽增設(shè)為國家級互聯(lián)網(wǎng)骨干直聯(lián)點，打造全國信息交換樞紐。十三五：貴州將大數(shù)據(jù)定位為實現(xiàn)后發(fā)趕超的戰(zhàn)略契機(jī)大數(shù)據(jù)和網(wǎng)絡(luò)強(qiáng)國等戰(zhàn)略，為我省彎道取直、后發(fā)趕超創(chuàng)造了寶貴契7貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀貴陽大數(shù)據(jù)產(chǎn)業(yè)技術(shù)聯(lián)盟，聚集了英特爾、戴爾、華為、甲骨文等食品安全云、電子商務(wù)云、金融云等20朵云投入運(yùn)營2015年高新區(qū)新增注冊大數(shù)據(jù)企業(yè)達(dá)607家貴州大數(shù)據(jù)產(chǎn)業(yè)規(guī)?？偭恳殉^5000億元，年均增長20%以上高通、富士康、微軟、阿里巴巴、騰訊、京東、百度等200多個大數(shù)據(jù)項目落戶貴州注冊企業(yè)達(dá)到1.7萬家貴州大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀貴陽大數(shù)據(jù)產(chǎn)業(yè)技術(shù)聯(lián)盟，聚集了英特爾、81.什么是數(shù)據(jù)數(shù)據(jù)(data資料)是事實或觀察的結(jié)果，是對客觀事物的邏輯歸納，是用于表示客觀事物的未經(jīng)加工的的原始素材。數(shù)據(jù)是信息的表現(xiàn)形式和載體，可以是：符號、文字、數(shù)字、語音、圖像、視頻等。1.什么是數(shù)據(jù)9條數(shù)據(jù)：例如一套房子定位數(shù)據(jù)：北緯26度,東經(jīng)106度；用數(shù)字和字母書寫是：26°N,106°′E.定性數(shù)據(jù)：貴陽市南浦路X號X單元號（靠近省委、十八中學(xué)、甲秀小學(xué)）定量數(shù)據(jù)：建筑面積90，使用面積75定時數(shù)據(jù)：建于1987年，1998年購置信息數(shù)據(jù)：周矩，男，XX歲，電論：估價45萬條數(shù)據(jù)：例如一套房子定位數(shù)據(jù)：北緯26度,東經(jīng)106度；用10

2.大數(shù)據(jù)概念（1980年，托夫勒在《第三次浪潮》首提大數(shù)據(jù)）2008年，部分計算機(jī)專家首次提出大數(shù)據(jù)概念。2011年，麥肯錫公司發(fā)布《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域》報告，大數(shù)據(jù)開始備受關(guān)注。2012年，美國政府發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，標(biāo)志著大數(shù)據(jù)已經(jīng)成為重要的時代特征。2013年，大數(shù)據(jù)元年，數(shù)據(jù)成為資源，幾乎所有世界級互聯(lián)網(wǎng)企業(yè)，都將業(yè)務(wù)觸角延伸至大數(shù)據(jù)產(chǎn)業(yè)。2014年3月1日，貴州·北京大數(shù)據(jù)產(chǎn)業(yè)發(fā)展推介會在北京隆重舉行，貴州大數(shù)據(jù)正式啟航。2015年9月5日，國務(wù)院印發(fā)《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》，大數(shù)據(jù)上升為國家戰(zhàn)略。2009年，美國政府通過D網(wǎng)站開放政府?dāng)?shù)據(jù)。2.大數(shù)據(jù)概念（1980年，托夫勒在《第三次浪潮》首11大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)傳統(tǒng)數(shù)據(jù)：普查數(shù)據(jù)統(tǒng)計數(shù)據(jù)抽樣數(shù)據(jù)測量數(shù)據(jù)例如：國民經(jīng)濟(jì)和社會發(fā)展統(tǒng)計公報大數(shù)據(jù)有兩層含義：一是海量數(shù)據(jù)，指其量大，或者稱為全數(shù)據(jù)；二是指分析方法，指的是對所有數(shù)據(jù)進(jìn)行分析大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)傳統(tǒng)數(shù)據(jù)：12大數(shù)據(jù)的5V特點（IBM提出）：Volume大量（積累性）Velocity高速（即時性）Variety多樣（多維度）Value價值（有用性）Veracity真實性（客觀性）傳統(tǒng)數(shù)據(jù)主觀統(tǒng)計（抽樣）大數(shù)據(jù)客觀統(tǒng)計（全數(shù)據(jù)）基本定義：大數(shù)據(jù)是指其大小超出了典型數(shù)據(jù)庫軟件的采集、儲存、管理和分析等能力的數(shù)據(jù)集合。“大數(shù)據(jù)”與“大規(guī)模數(shù)據(jù)”的最大區(qū)別，就在于“大數(shù)據(jù)”這一概念中包含著對數(shù)據(jù)對象的處理行為。大數(shù)據(jù)的5V特點（IBM提出）：Volume大量（積13如何界定大數(shù)據(jù)

智能數(shù)字采集（數(shù)字化）實時同步上傳（云聚集）智能即時分析（云計算）自動需求發(fā)布（云推送）各種數(shù)字化設(shè)備采集

同步傳輸?shù)綌?shù)據(jù)云（云存儲）

智能軟件分類、歸納、分析，生成結(jié)果

自動按需求發(fā)布到特定用戶如何界定大數(shù)據(jù)

智能數(shù)字采集（數(shù)字化）各種數(shù)字化設(shè)備采集

同14什么是“數(shù)字化”二進(jìn)制：0（關(guān)）1（開）二進(jìn)制編碼：阿拉伯?dāng)?shù)字690102819104對應(yīng)各數(shù)字的二進(jìn)制編碼：這幾位條形碼的二進(jìn)制編碼是：0110100100000001000000101000000110010001000001000011。數(shù)字化不是“數(shù)字”，而是編碼化的“數(shù)據(jù)”什么是“數(shù)字化”數(shù)字化不是“數(shù)字”，而是編碼化的“數(shù)據(jù)”153.大數(shù)據(jù)與云計算要搞清楚什么是“大數(shù)據(jù)”，首先得弄明白什么是“云”。不是天上的“云”，是“數(shù)據(jù)云”。“大數(shù)據(jù)”就是依靠各種自動采集手段獲取的“天量數(shù)據(jù)”，并通過“云計算”自動處理、分類、分析，使大數(shù)據(jù)中所蘊(yùn)含的價值得以發(fā)掘和展現(xiàn)。3.大數(shù)據(jù)與云計算要搞清楚什么是“大數(shù)據(jù)”，首先得弄明白什么16數(shù)據(jù)從何而來：人人都是數(shù)據(jù)源

●人在街上走，數(shù)據(jù)被采集

●人在家中坐，數(shù)據(jù)被上傳只要你是活人，有行為，就會產(chǎn)生數(shù)據(jù)。比如，你在街上走，你就會被攝像頭拍到。據(jù)說你每次上街平均會被拍8次；只要你看電視、用電腦、玩手機(jī)、打電話，數(shù)據(jù)就會被上傳數(shù)據(jù)從何而來：人人都是數(shù)據(jù)源17誰擁有大數(shù)據(jù)A.政府：（80%）貴陽在嘗試政府?dāng)?shù)據(jù)開放（將條數(shù)據(jù)脫敏后向企業(yè)開放）交通、人口、醫(yī)療……B.電信：客戶數(shù)據(jù)（實名制）通信數(shù)據(jù)C.銀行：客戶數(shù)據(jù)（實名制）金融數(shù)據(jù)（信用）誰擁有大數(shù)據(jù)18如何制作炸彈D.網(wǎng)絡(luò)平臺搜索平臺、電商平臺、門戶網(wǎng)站百度、阿里（淘寶）、騰訊（QQ、微信）、搜狐、新浪、你喜歡上網(wǎng)、喜歡百度搜索，告訴你，你的每一次點擊都有記錄。輸入了什么“不雅”詞匯，有什么特殊愛好。你會想，它不知道我是誰。但它知道你的使用電腦的IP地址……。很多程序要求你用手機(jī)號注冊……所以很容易知道你是誰。智能手機(jī)GPS定位如何制作炸彈D.網(wǎng)絡(luò)平臺智能手機(jī)GPS定位19大數(shù)據(jù)的有用性在于：發(fā)現(xiàn)邏輯關(guān)聯(lián)，得出科學(xué)結(jié)論。

馬云說：做淘寶不是賣貨，而是為了獲得大數(shù)據(jù)，獲得零售和制造業(yè)數(shù)據(jù)。電腦會比你更了解你，大數(shù)據(jù)的核心不是對昨天的總結(jié)，而是對未來的預(yù)測和預(yù)判。4.大數(shù)據(jù)有什么用A商用大數(shù)據(jù)有效制造（預(yù)判消費(fèi)，減少庫存）精準(zhǔn)廣告（特定群體投放）信用兌現(xiàn)（方便信用調(diào)查）B公用大數(shù)據(jù)智能電網(wǎng)（有效調(diào)解發(fā)電量）智能交通（緩解擁堵）疾病預(yù)防（方便就診）生態(tài)監(jiān)控（空氣、水質(zhì)、土壤）大數(shù)據(jù)的有用性在于：發(fā)現(xiàn)邏輯關(guān)聯(lián)，得出科學(xué)結(jié)論。4.2021C政用大數(shù)據(jù)社會治理（危機(jī)預(yù)判）

數(shù)據(jù)鐵籠（反腐系統(tǒng)）“數(shù)據(jù)鐵籠”：數(shù)據(jù)政用新構(gòu)想管人：“是否來上班、上班干什么、干得好不好”，全程記錄管權(quán)：權(quán)力運(yùn)行全程電子化、處處留“痕跡”，讓權(quán)力在“陽光”下清晰、透明、規(guī)范運(yùn)行，置于社會公眾的監(jiān)督之下。管官：收入、財產(chǎn)（固定資產(chǎn)、存款）、消費(fèi)行為……，網(wǎng)上行為，寫什么、看什么、評什么、轉(zhuǎn)什么……21C政用大數(shù)據(jù)管人：“是否來上班、上班干什么、干得好不好”數(shù)據(jù)顯示貴陽堵車指數(shù)：每個限行日允許通行一環(huán)的貴陽原段號牌和專段號牌小客車2周一為383071輛（1、6）3周二為385418輛（2、7）1周三為378852輛（3、8車最少）5周四為425534輛（4、7車最多）4周五為386440輛（5、9）數(shù)據(jù)顯示貴陽堵車指數(shù)：22中國堵城排行：北京杭州排第2第3第1是濟(jì)南中國堵城排行：北京杭州排第2第3第1是濟(jì)南23貴陽上榜全國十大最堵地級以上城市貴陽平均上班路途時間長達(dá)73.2分鐘堵在貴陽是常態(tài)貴陽上榜全國十大最堵地級以上城市堵在貴陽是常態(tài)244月29—5月5日閱讀數(shù)據(jù)微信分析案例微信后臺管理數(shù)據(jù)：送達(dá)293人關(guān)注人群閱讀15次公眾號轉(zhuǎn)發(fā)1次朋友圈再次轉(zhuǎn)發(fā)72次朋友圈閱讀1263次4月29—5月5日閱讀數(shù)據(jù)微信分析案例送達(dá)293人2529日617次30日198次1日61次2日120次3日781次4日4115日215總計：1690人

2403次29日617次26讀者地域分布（23省市）讀者地域分布（23省市）27讀者性別及使用使用手機(jī)品牌讀者性別及使用使用手機(jī)品牌28

商業(yè)應(yīng)用案例——百度旅游景區(qū)預(yù)測大數(shù)據(jù)

2014年國慶，九寨溝運(yùn)用百度大數(shù)據(jù)預(yù)測，預(yù)測游客數(shù)為188898人次，實際數(shù)為177159人次，準(zhǔn)確率為93.79%。

2013年10月2日，九寨溝景區(qū)因游客太多，導(dǎo)致交通線路癱瘓，擁堵數(shù)公里長。其間，甚至出現(xiàn)游客“攻陷”售票處的傳聞。

根據(jù)預(yù)測數(shù)，九寨溝從“吃、住、行、游、購、娛”等方面著手，提前做好各項準(zhǔn)備工作，并發(fā)廣告，超過接待4.1萬人就停售門票，成功應(yīng)對了10月4日旅游高峰期。商業(yè)應(yīng)用案例——百度旅游景區(qū)預(yù)測大數(shù)據(jù)29

政府治理案例——貴陽利用大數(shù)據(jù)打“黑車”

凡屬于選擇行車路線不經(jīng)濟(jì)的、經(jīng)常到人員密集地段“趴活”的、頻繁上下不同乘客的，即可判斷為“黑車”統(tǒng)計學(xué)判定模型嫌疑職業(yè)黑車分類器行為持續(xù)出現(xiàn)天數(shù)閾值d人工確認(rèn)黑車特征普通私家車特征機(jī)器學(xué)習(xí)判定模型每天過車記錄數(shù)閾值m出租車特征每天經(jīng)過卡口數(shù)n嫌疑黑車全集待分類樣本經(jīng)分類確認(rèn)的黑車樣本政府治理案例——貴陽利用大數(shù)據(jù)打“黑車”30結(jié)果分析嫌疑黑車數(shù)量在上午7時后逐漸增多，在下午3-6時達(dá)到最大值；全部嫌疑黑車8408輛，嫌疑職業(yè)黑車4705輛，而中心城區(qū)出租車6922輛結(jié)果分析嫌疑黑車數(shù)量在上午7時后逐漸增多，在下午3-6時達(dá)到31

民生服務(wù)案例——健康云平臺以互聯(lián)網(wǎng)推動醫(yī)療資源均衡以信息化促進(jìn)醫(yī)療服務(wù)能力提高以大數(shù)據(jù)助力醫(yī)療事業(yè)的創(chuàng)新發(fā)展全面性健康檔案電子病歷人口個案所有核心的診療數(shù)據(jù)實用性居民管理綜合監(jiān)管診療數(shù)據(jù)平臺服務(wù)以云技術(shù)為支撐實時獲取醫(yī)療健康數(shù)據(jù)支撐醫(yī)療業(yè)務(wù)的實時運(yùn)轉(zhuǎn)實時性民生服務(wù)案例——健康云平臺以互聯(lián)網(wǎng)推動以信息化促進(jìn)以32332014-02-28貴陽生態(tài)監(jiān)控（水、空氣、土壤）332014-02-28貴陽生態(tài)監(jiān)控（水、空氣、土壤）2015年10排名依次為：１畢節(jié)市２興義市３安順市４六盤水市５銅仁市６凱里市７都勻市８貴陽市９遵義市貴州省環(huán)保廳發(fā)布全省13個設(shè)市城市環(huán)境空氣質(zhì)量排名2016年1月排名依次為：1興義市2凱里市3畢節(jié)市4都勻市5銅仁市6安順市7六盤水市8貴陽市9遵義市2015年10排名依次為：貴州省環(huán)保廳發(fā)布全省13個設(shè)市城市345.如何挖掘大數(shù)據(jù)大數(shù)據(jù)是一個富礦，但如何挖掘，并使其產(chǎn)生巨大的社會效益和經(jīng)濟(jì)效益還沒有現(xiàn)成的經(jīng)驗和成熟的模式5.如何挖掘大數(shù)據(jù)35銀行賬戶實名制、手機(jī)實名制、飛機(jī)實名制、火車實名制、微信實名制，人在干、天在看、云在算，一切社會行為，都是數(shù)據(jù)，海量數(shù)據(jù)就是“大數(shù)據(jù)”。有行為、有數(shù)據(jù)、有存儲，有什么用呢？通過采集、存儲、歸類、分析，就知道哪里堵車、哪里消費(fèi)能力強(qiáng)、喜歡什么產(chǎn)品、吃什么、玩什么、有多少人生病、生什么病……于是數(shù)據(jù)就產(chǎn)生了價值。數(shù)據(jù)