空間大數據的價值、生態(tài)與科學課件

1、空間大數據的價值、生態(tài)與科學課件空間大數據的價值、生態(tài)與科學課件主要內容一、大數據悖論與大數據思維轉型二、數據增值與大數據的價值三、數據科學與空間數據科學主要內容一、大數據悖論與大數據思維轉型一、大數據悖論與大數據思維轉型一、大數據悖論與大數據思維轉型大數據悖論（數據鴻溝）：數據爆炸與知識短缺之間的矛盾我有很多的空間數據，但是我不能為 我的用戶提供有價值的信息和服務！人類解決 社會問題 所需的信 息和知識人類積 累的數 據存量（ 4V 特征）我有很多的空間數據，但是我不能為 我的用戶提供有價值的信息和怎么辦？工具思維VS系統(tǒng)思維工具思維：通過強大的機器算法更迅速地完成數據的價值“提純”系統(tǒng)思維

2、：重新回到真實世界分析大數據背后整個系統(tǒng)存在的問題數據量大（ Volume ）類型繁多（Variety）價值密度低（Value）周轉率高（Velocity）大數據怎么辦？工具思維VS系統(tǒng)思維工具思維：通過強大的機器算法更迅大數據思維轉型：從供給導向轉向需求導向供給導向以計算機世界為基 礎，從數據出發(fā)需求導向以真實世界為基礎， 從問題出發(fā)大數據思維轉型：從供給導向轉向需求導向供給導向需求導向舉例說明：人口總量與結構預測的失靈及其原因郭仁忠院士：全國新城規(guī)劃人口34億 嚴重失控“全國新城新區(qū)規(guī)劃人口達34億，這是嚴重的失控?！鄙钲谑幸?guī)劃和國土資源委員會巡視員、中國工程院院士郭仁忠說。在2015年9

3、月20日于貴陽舉行的中國城市規(guī)劃學會年會，郭仁忠向澎湃新聞（）記者透 露，中國城市規(guī)劃存在嚴重失控問題，國務院一項關于12個省會城市和144個地級市的調查顯示，省會城市 平均一個城市規(guī)劃4.6個新城（新區(qū)），地級城市平均每個規(guī)劃建設約1.5個新城（新區(qū)）。缺乏以人為本的城市規(guī)劃管理制度缺乏從整個空間系統(tǒng)上把握和預測人口動態(tài)的理論、方法與技術郭仁忠院士：全國新城規(guī)劃人口34億 嚴重失控缺乏以人為本的城人口預測是理性城市規(guī)劃的邏輯起點人口預測用地預測用地布局基礎設施 預測基礎設施 布局人口預測用地預測用地布局基礎設施 預測基礎設施 布局中國現行城市規(guī)劃的四大魔咒土地財政導向下的簡單、粗暴、孤立的人

4、口規(guī)劃不完美的土地市場與失靈的土地規(guī)劃人口規(guī)模經濟發(fā)展土地占用（資源環(huán)境）地均產出失焦的產業(yè)規(guī)劃與經濟規(guī)劃規(guī)劃體系的分割與人、產、地的錯配人均產出人均占地城市治理中國現行城市規(guī)劃的四大魔咒土地財政導向下的簡單、粗暴、孤立的10人口規(guī)模經濟發(fā)展土地占用（資源環(huán)境）地均產出人均產出人均占地全市村鎮(zhèn)建設用地2004年合計為410平方公里 ，人均用地160.5平方米 ； 中心城區(qū)人均用地120.5平方米。規(guī)劃目標120平方米。2004年全市實現生產總值610.14 億元，工業(yè)總產值2004.39億元 ， 分別人均2.38萬元和7.84萬元。 目標值人均GDP1萬美元，人均工 業(yè)產出20萬元2004年全

5、市工業(yè)用地地均工業(yè)總 產值18億元，僅為上海虹口工業(yè) 園區(qū)55億/平方公里的三分之一， 火炬區(qū)的一半 。目標值5060億元/平方公里。建立城市 人口、經 濟與資源 環(huán)境全景 畫像圖要從人口、經濟、土地“戰(zhàn)略三角”對人口預測系統(tǒng)化城市治理10人口規(guī)模經濟發(fā)展土地占用地均產出人均產出人均占地全市村鎮(zhèn)建立多尺度人口預測模型云服務平臺多尺度人口預測云平臺行業(yè)信息數據庫空間數據/方法一站式共享托管平臺分權限獲取所需空間數據；用戶免費獲取工作和研究所需的公開的空間數據、付費獲取商業(yè)空間數據, 根據所在組織和項目的權限設定獲取相應使用權限；個人/團隊的成果、數據、資料云存儲：為項目組、科研團隊提供專業(yè)的工作

6、管理協(xié)作平臺，方 便團隊成員搜索和使用科研、項目數據，高效傳承已有科研成果，加強負責人對團隊成果的有效管理。提供行業(yè)軟件、數據、方法一站式集成云計算服務：用戶可以在平臺上找到數據、獲取數據使用授權、上傳自身數據等，并通過 在線的云桌面上所提供的所有行業(yè)專業(yè)應用軟件實現平臺內一站式的云計算 服務，同時依托平臺數據服務和數據在線應用綜合系統(tǒng)，為科研團隊和規(guī)劃 項目組的工作和科研需要提供數據托管、數據共享、在線處理、成果展示和 傳輸等功能。行業(yè)應用云計算服務實現規(guī)劃全產業(yè)鏈的高度信息化：整合規(guī)劃行業(yè)個體、組織、項目三個層次的信息和資料，更好的實現規(guī)劃產 業(yè)的高度信息化，讓每一個規(guī)劃師、專家和不同的組

7、織（高?？蒲袌F隊、企 事業(yè)單位）都打造專屬的信息門戶，對所從事工作、學術、興趣領域以及相 關作品得到充分的展示；讓每一規(guī)劃項目都能得到充分的傳播和存檔；有助于更多優(yōu)秀的從業(yè)人員脫穎而出，讓好的成果和 作品具有更強的傳播渠道和影響力，通過開放透明、互動、多學科交叉的方式幫助規(guī)劃更加的高效和科學。打造規(guī)劃行業(yè)共享經濟與開放式公共規(guī)劃決策：在行業(yè)信息數據庫和一站式云協(xié)作功能的基礎上，規(guī)劃共享是一種項目團 隊高效和科學配置的組織形式。一方面可以促進行業(yè)合理的分工，讓不同 領域的專家和規(guī)劃從業(yè)人員能夠更輕易的連接在一起；另一方面對于成果 的專業(yè)性和科學性有更高的保障?；ヂ?lián)網大數據時代公共規(guī)劃決策將是一

8、個更加開放的、 互動、多學科交叉、多線程驅動的過程。平臺對于提高公共規(guī)劃決策的民主性和科學具有重要意義。開放式規(guī)劃“共享經濟”建立多尺度人口預測模型云服務平臺多尺度人口預測云平臺行業(yè)信息基于“五普”“六普”數據的中國省際人口遷移格局基于空間權重矩陣，運用特征向量空間濾波技術提取人口遷移中的空間自相關性，由左往右分別代表空間自相關性由強至弱中 國 人 口 空 間 遷 移 網 絡對空間人口模型進行關聯(lián)化，建立人口遷移網絡模型基于“五普”“六普”數據的中國省際人口遷移格局基于空間權重矩人口空間遷移網絡模型與空間人口控制論空間大數據的價值、生態(tài)與科學課件從局部模型到多尺度空間人口模型的轉變傳統(tǒng)模型新模

9、型局部的、單尺度的全局的、多尺度的孤立的聯(lián)系的靜態(tài)、比較靜態(tài)的動態(tài)的與城鎮(zhèn)體系變動無關的與城鎮(zhèn)人口競爭的和城鎮(zhèn)體系變動相 關聯(lián)的不可計算和模擬的可計算和模擬的從局部模型到多尺度空間人口模型的轉變傳統(tǒng)模型新模型局部的、單基于網絡模型的人口大數據應用人口遷移空間動力學方程多尺度人口模型集成人口的空間競爭力估計空間人口相互作用模型與人口遷移網絡模型情景設計與預測人口預測與城鎮(zhèn)體系人產地多因素協(xié)整與人口空間格局的穩(wěn)定性人口空間優(yōu)化與控制：杠桿與布局人口網絡可視化基于網絡模型的人口大數據應用人口遷移空間動力學方程大數據思維轉型：從紛雜的大數據轉向基于系統(tǒng)分析的數據增值總體數據，而不是隨機樣本全數據模式模

10、糊性，而不是精確性大數據的簡單算法比小數據的復雜算法更有效紛繁的數據越多越好相關關系，而不是因果關系預測，而不是解釋維克托邁爾-舍恩伯格（Viktor Mayer-Schenberger）總體數據與樣本數 據并用，模糊性與 精確性并存，相關與因果分析并舉大數據思維轉型：從紛雜的大數據轉向基于系統(tǒng)分析的數據增值總體二、數據增值與大數據的價值二、數據增值與大數據的價值從大數據視角出發(fā)，重建大數據概念世界，而不是基于小數 據概念世界所得到大數據開展工作地理對象空間認知空間數據真實世界概念世界計算機世界大數據概念世界VS小數據概 念世界數據化：萬物皆數據，眾生留 數痕數據生態(tài)化：將某個領域的所 有環(huán)節(jié)

11、進行數據化，形成相互 關聯(lián)的數據生態(tài)從大數據視角出發(fā)，重建大數據概念世界，而不是基于小數 據概念基于大數據的問題解決過程問題系統(tǒng)化系統(tǒng)數據化數據生態(tài)化（云化）基于生態(tài)化數 據的問題解決全景畫像基于大數據的問題解決過程問題系統(tǒng)化系統(tǒng)數據化數據生態(tài)化基于生數據增值：將數據思維和系統(tǒng)思維有機結合，提高大數據的 內在的邏輯性、關聯(lián)性、系統(tǒng)性和價值大數據增值后的大 數據：數據 生態(tài)數據思維系統(tǒng)思維數據增值：將數據思維和系統(tǒng)思維有機結合，提高大數據的 內在的大數據的價值資產價值資源優(yōu)化配 置價值信用價值真相價值（全景畫像）大數據的核心 價值大數據的價值資產價值資源優(yōu)化配 置價值信用價值真相價值（全景案例：

12、從城市管理向城市治理轉變城市管理發(fā)展階段網格化 前階段網格化階段物聯(lián)網階段大數據 階段新社會生 態(tài)階段傳統(tǒng) 城市 社會 階段網格 化信 息采 集五位 一體數據生態(tài)、 信用生態(tài)、 價值生態(tài)案例：從城市管理向城市治理轉變城市管理發(fā)展階段網格化 前階段五位一體智慧城管技術系統(tǒng)五位一體智慧城管技術系統(tǒng)當前城管執(zhí)法工作存在的問題管理體制不順職責邊界不清法律法規(guī)不健全管理方式簡單服務意識不強執(zhí)法行為粗放社會各界反映較為強烈， 在一定程度上制約了城市 健康發(fā)展和新型城鎮(zhèn)化的 順利推進用組織內部管理的思維 不能解決復雜社會網絡 問題！管理體制不順社會各界反映較為強烈， 在一定程度上制約了城市 習近平城市善治思

13、想建設中國特色城市社會生態(tài)系統(tǒng)精治法治共治以人為本德治五位一體智慧城管平臺美麗中國宜居城市一核多元， 融合共治繡花：精 準、精細、精心感知、分析、 服務、指揮、 監(jiān)察建立體制 機制和法 制重建社會 信用和城 市倫理習近平城市善治思想建設中國特色城市社會生態(tài)系統(tǒng)精治法治共治UG-BOSS，全稱為urban governance boss，中 文釋義為城市治理業(yè)務運營支持系統(tǒng)。城市公共服務總線城市治理主體社交網絡系統(tǒng)平臺+社會生態(tài)系統(tǒng)大數據生態(tài)與信用生態(tài)系統(tǒng)簡單地說，UG-BOSS就是公共服務的 淘寶！每個社會主體都可以開 “店”！UG-BOSS，全稱為urban governance bo基于U

14、G-BOSS城市治理的總體理念架構技術 層面物聯(lián)網大數據人工智能5G系統(tǒng) 層面UG-BOSS城市治理業(yè)務支撐系統(tǒng)業(yè)務層面城管環(huán)保社區(qū)NGO商販個人理論 層面權責譜系劃分多中心理論NGO參與治理治理模式創(chuàng)新研 究 計 劃 與 實 施 步 驟基于UG-BOSS城市治理的總體理念架構技術 層面物聯(lián)網大數UG-BOSS應用場景市民訴求市民 訴求市民 訴求直接業(yè)領導務人員通知消息消息反饋任務分轉系統(tǒng)任務結項承接檢查成果費用計量結算眾包任 務 發(fā) 布信 息 處 理 中 心市容環(huán)衛(wèi)交通信息響應系統(tǒng)園林工商城管所有城市公共 服務一線通！UG-BOSS應用場景市民市民 訴求市民 訴求直接業(yè)領導務人UG-BOSS

15、社會孵化政府：城市管 理執(zhí)法入口平臺：UG-BOSS孵化市場出口：培 育社會企業(yè)， 推動公共服務市場化社會出口：培 育NGO組織， 推動社會創(chuàng)新倫理出口：累 計社會信用， 培育新型市民UG-BOSS社會孵化市場出口：培 育社會企業(yè)， 推動公共服三、數據科學和空間數據科學三、數據科學和空間數據科學數據科學范式VS 原理科學方法開普勒第 三定律：行星繞太陽運 行的周期的平 方和行星離太 陽 的平均距離 的立方成正比數據科學范式開普勒方法牛頓第二定律（萬有引力定律）把行星運動歸結成一個純粹 的數學問題牛頓方法： 追尋原理的 科學范式數據科學范式VS 原理科學方法開普勒第 三定律：數據科學范式科學研究

16、第四范式數據密集型科學研究從數據中獲取知識的學科。包括兩個方面：其一，用科學的方法研究數據，包括數據的類型、狀態(tài)、屬性及變 化形式和變化規(guī)律；其二，用數據的方法研究科學，是自然科學和社會科學研究的新方 法和新范式，稱為科學研究的數據方法，其目的在于揭示自然界和人類行為現象的規(guī)律。實證式（科學研究）理論式（理論推演）電腦計算（模擬仿真）數據密集型研 究（第四范式）科學研究第四范式數據密集型科學研究從數據中獲取知識的學科數據科學維恩圖：數據科學的三要素可視化 推送系統(tǒng) 數據處理 黑客技巧 程序設計數據科學維恩圖：數據科學的三要素可視化 推送系統(tǒng) 數據處理 數據科學一般過程數據科學過程數據來源：Gr

17、olemund and Wickham (2017)數據科學一般過程數據科學過程空間大數據：基于空間位置的大數據空間社會科學大數據主要類型：統(tǒng)計數據及其擬合數據遙感與地面監(jiān)測數據互聯(lián)網數據網頁數據社交媒體數據手機和移動終端數據銀行卡數據帶GPS的移動終端軌跡數據 交通卡記錄數據空間大數據的來源：傳感器智慧城市政府和企業(yè)開放數據社交媒體數據呼叫數據手機和移動終端數據空間大數據：基于空間位置的大數據空間社會科學大數據主要類型：傳感器數據傳感器數據政府開放數據政府開放數據移動電話呼叫數據移動電話呼叫數據空間化統(tǒng)計大數據：WILLIAM.D. NORDHAUS G-ECON數據1經度*1緯度世界范圍內

18、GDP三維模擬世界范圍GDP分布狀況柵格圖空間化統(tǒng)計大數據：WILLIAM.D. NORDHAUS G人口擬合數據與夜光數據人口擬合數據與夜光數據互聯(lián)網志愿者數據互聯(lián)網志愿者數據什么是空間數據科學？分析處理空間相關數據的科學，以及研究空間效應問題的數據科學范式是地理計算、空間統(tǒng)計、空間計量經濟學、探索性空間數據分析、可視 化空間分析、空間數據挖掘、空間優(yōu)化的集成。60-80%的工作是準備數據核心是：算法、數據結構、工作流data manipulation (munging, wrangling)data integrationdata exploration, pattern recognit

19、ion,associationsvisualizationmodeling (prediction and explanation),classification, simulation, optimizationlots of different software tool什么是空間數據科學？分析處理空間相關數據的科學，以及研究空間空間數據科學的四個支柱開發(fā)空間數據分析的新方法開發(fā)開源、用戶友好的軟件傳播、培訓和教化推動各個領域的應用空間數據科學的四個支柱開發(fā)空間數據分析的新方法“空間效應”（空間特性、空間關系或空間結構）“空間效應”的計量處理是空間計量經濟學的邏輯起點和歷史起點，是空間計量

20、經濟學區(qū)別于經典計量經濟學的本質特征，也是空間計量經濟學作為現代計量經濟學的一門相對獨立的分支學科的重要基礎。地理對象的“空間效應”、數據的“空間效應”、變量關系的“空間效應”空間數據空間關聯(lián)空間過程“空間效應”（空間特性、空間關系或空間結構）“空間效應”的計探測空間效應的方法空間自相關：空間自相關的測度分為全局統(tǒng)計量和局部統(tǒng)計量(全局自相關測度和局部自相關測度)。全局 自相關統(tǒng)計量是對于所有空間單元來說是否存在空間自相關的量化指標。局部自相關統(tǒng)計量 是對于某一個空間單元來說與其它空間單元是否存在空間自相關的量化指標。全局統(tǒng)計量：Morans I 、Gearys C、Getiss G、半變異函

21、數局部統(tǒng)計量：LISASemivariogram , Frige空間異質性：Spatial Heterogeneity due to autocorr: Semivariogram , K空間層次異質性： MLM ，BHM空間局部異質性：Gi， LISA, SatScan, GWR空間分層異質性（層內方差小于層間方差）： Geodetector Q statistic探測空間效應的方法空間自相關：解決空間效應的方法空間依賴：將空間權重矩陣納入空間回歸空間權重矩陣是對空間依賴關系進行抽象描述、以試圖反映空間效應的工具。外生空間權重矩陣：基于幾何的權重矩陣（如鄰接矩陣，反映了幾何空間關系，表達空間依賴性）、基于理論的權重矩陣（距離函數矩陣）內生空間權重矩陣：反映了數據自身所表現的空間關聯(lián)，從而表達空間依賴性。如Getis和Aldstadt(2004)利用局部統(tǒng)計量構造了權重矩陣空間滯后變量：類似于時間序列分析中使用時間滯后變量，用空間滯后表示空間變量之間的依賴關系空間依賴：空間濾波空間異質：空間機制空間協(xié)整GWR： 半參數、多尺度GW解決空間效應的方法空間依賴：將空間權重矩陣納入空間回歸空間計量經濟學研究的四個范疇Four DimensionsEstimating Models