大數(shù)據(jù)技術(shù)和標準化課件

1、大數(shù)據(jù)技術(shù)和標準化科學、公正、誠信、服務2內(nèi) 容 大數(shù)據(jù)發(fā)展背景 標準化工作現(xiàn)狀 下一步工作重點3一、大數(shù)據(jù)催生了信息化3.0（智慧化階段）信息化1.0-1995以單機應用為特征的數(shù)字化階段-2015以聯(lián)網(wǎng)應用為特征的網(wǎng)絡化階段2015- 以數(shù)據(jù)的深度挖掘與融合應用為特征的智慧化階段經(jīng)歷基礎性變革后的未來信息技術(shù)支撐的信息化信息化2.0信息化3.0？金稅工程數(shù)據(jù)規(guī)模更大，來源更豐富，類型更復雜，變化更快4一、 大數(shù)據(jù)催生了信息化3.0（智慧化階段）技術(shù)廉價化、互聯(lián)網(wǎng)發(fā)展、信息化建設長期積累，形成了規(guī)模巨大的數(shù)據(jù)資源，且仍將加速增長大數(shù)據(jù)應用的成功案例，激發(fā)了基于數(shù)據(jù)，萃取知識、指導實踐的巨大需

2、求大數(shù)據(jù)現(xiàn)象出現(xiàn)數(shù)據(jù)應用需求激增以數(shù)據(jù)的深度挖掘與融合應用為特征的智慧化階段信息化3.05二、 大數(shù)據(jù)的戰(zhàn)略意義大數(shù)據(jù)正在改變?nèi)祟惖乃季S方式隨機樣本精確求解因果關(guān)系全體數(shù)據(jù)近似求解關(guān)聯(lián)關(guān)系傳統(tǒng)思維大數(shù)據(jù)思維提供新思維、新手段6二、 大數(shù)據(jù)的戰(zhàn)略意義GDP促進經(jīng)濟轉(zhuǎn)型增長改善民生： 優(yōu)化資源配置,健康醫(yī)療、就業(yè)、社保、教育、公共交通產(chǎn)業(yè)轉(zhuǎn)型，創(chuàng)新業(yè)態(tài)： 顛覆傳統(tǒng)產(chǎn)業(yè),提高運行效率和決策能力,催生智能制造、互聯(lián)網(wǎng)金融等新業(yè)態(tài)大數(shù)據(jù)時代，信息技術(shù)不僅是行業(yè)發(fā)展的“倍增器”、“催化器”，甚至會成為行業(yè)的顛覆者7二、 大數(shù)據(jù)的戰(zhàn)略意義提升國家綜合能力、保障國家安全美國棱鏡計劃：電郵、即時消息、視頻、照片

3、、語音、文件傳輸、視頻會議、社交網(wǎng)絡等數(shù)據(jù)的收集與綜合分析自主可控的大數(shù)據(jù)技術(shù)體系是不可或缺的基礎！8三、 大數(shù)據(jù)產(chǎn)業(yè)生態(tài)鏈（技術(shù)）大數(shù)據(jù)采集大數(shù)據(jù)存儲、管理和處理大數(shù)據(jù)呈現(xiàn)和應用大數(shù)據(jù)分析和挖掘9三、 大數(shù)據(jù)產(chǎn)業(yè)生態(tài)鏈（商業(yè)）10四、 我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展現(xiàn)狀基礎設施和分析方法方面：主要依賴國外技術(shù)和產(chǎn)品，核心技術(shù)方面仍是學習者和追隨者應用方面：BAT在網(wǎng)絡大數(shù)據(jù)具有優(yōu)勢：網(wǎng)站、微博、微信、搜索、交易數(shù)據(jù)等，互聯(lián)網(wǎng)企業(yè)的技術(shù)優(yōu)勢難以順暢地擴散到各行業(yè)部門、地方和一些行業(yè)開始關(guān)注大數(shù)據(jù)資源建設初級發(fā)展階段，缺少典型性、共識性強的大數(shù)據(jù)應用；數(shù)據(jù)資源開放方面：我國數(shù)據(jù)資源主要來源于互聯(lián)網(wǎng)，業(yè)務、政

4、務數(shù)據(jù)共享開放程度低 急需標準化，保證有序發(fā)展、開放共享11內(nèi) 容 大數(shù)據(jù)發(fā)展背景 標準化工作現(xiàn)狀 下一步工作重點12一、大數(shù)據(jù)工作組概況（一）組織架構(gòu) 組長： 梅 宏 上海交通大學 副校長（院士） 副組長： 車品覺 阿里巴巴集團副總裁 吳建明 華為IT技術(shù)開發(fā)部部長 杜小勇 中國人民大學信息學院院長 秘書長： 高 林 工業(yè)和信息化部信軟司 副司長 聯(lián)絡員： 劉大山 國家標準化管理委員會工業(yè)二部 處長 孫文龍 工業(yè)和信息化部信軟司 處長 侯建仁 工業(yè)和信息化部電子信息司 處長進一步擴大工作組規(guī)模 申請報名的成員單位170+家成員單位管理 統(tǒng)一郵箱： 微信公眾平臺建立聯(lián)絡關(guān)系 貴州省貴陽市政府、

5、 中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟建立大數(shù)據(jù)專家團隊一、工作組概況13一、工作組概況（二）組織管理2014年12月2日，工作組成立大會2015年7月14日，工作組第二次全會，正式成立7個專題組2015年12月17日，工作組第三次全會（2015年年終總結(jié)）工作組開展了一系列調(diào)研活動，組織線下活動5次，召開專題組會議18次工作組秘書處總體專題組組長：電子四院 張群國際專題組組長：華為 楊莉莉技術(shù)專題組組長：北大 王亞沙聯(lián)合組長：中興 董振江產(chǎn)品和平臺專題組組長：浪潮電子 張東聯(lián)合組長：亞信 陳利倉安全專題組組長：阿里云 陳雪秀聯(lián)合組長：信安標委 葉潤國工業(yè)大數(shù)據(jù)專題組組長：數(shù)碼大方 齊建軍電子商務大數(shù)據(jù)專題組

6、組長：京東 葛勝利聯(lián)合組長：阿里 姜蕾二、標準體系框架1516基礎標準為整個標準體系提供包括總則、術(shù)語和參考模型、元數(shù)據(jù)等基礎性標準。技術(shù)標準該類標準主要針對大數(shù)據(jù)相關(guān)技術(shù)進行規(guī)范。包括數(shù)據(jù)治理和數(shù)據(jù)質(zhì)量兩類標準。其中，數(shù)據(jù)治理標準主要針對數(shù)據(jù)的收集、預處理、分析、可視化、訪問、能力成熟度評價模型等方面進行規(guī)范。數(shù)據(jù)質(zhì)量標準主要針對數(shù)據(jù)質(zhì)量提出具體的管理要求和相應的指標要求，確保數(shù)據(jù)在產(chǎn)生、存儲、交換和使用等各個環(huán)節(jié)中的質(zhì)量，為大數(shù)據(jù)應用打下良好的基礎，包括質(zhì)量評價、數(shù)據(jù)溯源、質(zhì)量檢測等標準。二、標準體系框架17產(chǎn)品和平臺標準該類標準主要針對大數(shù)據(jù)相關(guān)技術(shù)產(chǎn)品和應用平臺進行規(guī)范。包括關(guān)系型數(shù)據(jù)

7、庫產(chǎn)品、非結(jié)構(gòu)化數(shù)據(jù)管理產(chǎn)品、智能工具、可視化工具、數(shù)據(jù)處理平臺和測試規(guī)范六類標準。其中關(guān)系型數(shù)據(jù)庫產(chǎn)品標準針對存儲和處理大數(shù)據(jù)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，從訪問接口、技術(shù)要求、測試要求等方面進行規(guī)范，為關(guān)系型數(shù)據(jù)庫管理系統(tǒng)進行大數(shù)據(jù)的高端事務處理和海量數(shù)據(jù)分析提供支持；非結(jié)構(gòu)化數(shù)據(jù)管理產(chǎn)品標準針對存儲和處理大數(shù)據(jù)的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，從參考架構(gòu)、數(shù)據(jù)表示、訪問接口、技術(shù)要求、測試要求等方面進行規(guī)范；智能工具用來幫助用戶對大數(shù)據(jù)進行分析決策，包括ETL、OLAP、數(shù)據(jù)挖掘等工具，智能工具標準對智能工具的技術(shù)及功能進行規(guī)范；可視化工具是對大數(shù)據(jù)處理應用過程中所需用到的可視化展現(xiàn)工具的技術(shù)和功能要求

8、進行規(guī)范；大數(shù)據(jù)平臺標準是針對大數(shù)據(jù)存儲、處理、分析系統(tǒng)從技術(shù)架構(gòu)、建設方案、平臺接口等方面進行規(guī)范；測試規(guī)范針對大數(shù)據(jù)的產(chǎn)品和平臺給出測試方法和要求。二、標準體系框架18大數(shù)據(jù)安全標準數(shù)據(jù)安全作為數(shù)據(jù)標準的支撐體系，貫穿于數(shù)據(jù)整個生命周期的各個階段。拋開傳統(tǒng)的網(wǎng)絡安全和系統(tǒng)安全，大數(shù)據(jù)時代下的數(shù)據(jù)安全標準主要包括通用要求、隱私保護兩類標準。應用和服務標準應用和服務類標準主要是針對大數(shù)據(jù)所能提供的應用和服務從技術(shù)、功能、開發(fā)、維護和管理等方面進行規(guī)范。主要包括開放數(shù)據(jù)集、數(shù)據(jù)服務平臺和領域應用數(shù)據(jù)三類標準。其中開放數(shù)據(jù)集標準主要對向第三方提供的開放數(shù)據(jù)包中的內(nèi)容、格式等進行規(guī)范；數(shù)據(jù)服務平臺標

9、準是針對大數(shù)據(jù)服務平臺所提出的功能性、維護性和管理性的標準；領域應用數(shù)據(jù)指的是各領域根據(jù)其領域特性產(chǎn)生的專用數(shù)據(jù)標準，包括工業(yè)、電子商務等領域。二、標準體系框架二、大數(shù)據(jù)參考模型19二、大數(shù)據(jù)標準化白皮書V2.0局勢（產(chǎn)業(yè)、技術(shù)等）基本概念和內(nèi)涵特征重要作用生態(tài)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈（商業(yè)）大數(shù)據(jù)產(chǎn)業(yè)鏈（技術(shù)）規(guī)劃技術(shù)發(fā)展規(guī)劃國內(nèi)外政策、趨勢大數(shù)據(jù)標準化參考架構(gòu)標準體系成功案例十一大領域的應用案例20二、研究報告4、加強研究（英國）開放數(shù)據(jù)白皮書NIST在大數(shù)據(jù)領域的相關(guān)研究報告：大數(shù)據(jù)互操作性框架：第一卷：定義、大數(shù)據(jù)互操作性框架：第二卷：大數(shù)據(jù)分類、大數(shù)據(jù)互操作性框架：第四卷：安全與隱私、大數(shù)據(jù)互

10、操作性框架：第六卷：參考架構(gòu)、NIST大數(shù)據(jù)互操作性框架：第七卷：大數(shù)據(jù)標準路線圖。為了更好的開展政府大數(shù)據(jù)開放共享和數(shù)據(jù)資產(chǎn)管理方面的標準化工作，工作組正在開展政府大數(shù)據(jù)分類分級和數(shù)據(jù)資產(chǎn)管理的相關(guān)研究工作，目前已經(jīng)形成兩份研究報告的初稿。21（二）標準化工作進展已立項標準三、標準研制序號計劃號標準名稱狀態(tài)120141191-T-469信息技術(shù) 大數(shù)據(jù) 術(shù)語審定會220141190-T-469信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型完成草案320141184-T-469數(shù)據(jù)能力成熟度評價模型完成草案420141172-T-469多媒體數(shù)據(jù)語義描述要求完成草案520141194-T-469信息技術(shù) 科學

11、數(shù)據(jù)引用完成草案620141200-T-469信息技術(shù) 數(shù)據(jù)交易服務平臺 交易數(shù)據(jù)描述完成草案720141201-T-469信息技術(shù) 數(shù)據(jù)交易服務平臺 通用功能要求完成草案820141202-T-469信息技術(shù) 數(shù)據(jù)溯源描述模型完成草案920141203-T-469信息技術(shù) 數(shù)據(jù)質(zhì)量評價指標草案大綱1020141204-T-469信息技術(shù) 通用數(shù)據(jù)導入接口規(guī)范草案大綱23共定義了28個術(shù)語，該標準目前處于征求意見階段。重點介紹：大數(shù)據(jù)大數(shù)據(jù)參考體系結(jié)構(gòu)大數(shù)據(jù)生命周期模型 大數(shù)據(jù)工程化 讀時模式數(shù)據(jù)科學家三、標準研制Volume24大數(shù)據(jù)big data 具有數(shù)量巨大、來源多樣、生成極快且多變等

12、特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù)。 注：國際上，大數(shù)據(jù)的4個特征普遍不加修飾地直接用volume、 variety、 velocity和variability予以表述，并分別賦予了它們在大數(shù)據(jù)語境下的定義：數(shù)量 VolumeVolume多樣性Variety 多變性variabilityVolume構(gòu)成大數(shù)據(jù)的數(shù)據(jù)集的規(guī)模。速度Velocity數(shù)據(jù)可能來自多個數(shù)據(jù)倉庫、數(shù)據(jù)領域或多種數(shù)據(jù)類型。Volume單位時間的數(shù)據(jù)流量。大數(shù)據(jù)其他特征，即數(shù)量、速度和多樣性等特征都處于多變狀態(tài)。三、信息技術(shù) 大數(shù)據(jù) 術(shù)語25三、信息技術(shù) 大數(shù)據(jù) 術(shù)語大數(shù)據(jù)參考體系結(jié)構(gòu) big da

13、ta reference architecture 一種用作工具的、便于對大數(shù)據(jù)內(nèi)在要求、設計結(jié)構(gòu)和運行進行開放性探討的高層概念模型。 注：比較普遍認同的大數(shù)據(jù)參考體系結(jié)構(gòu)一般包含系統(tǒng)協(xié)調(diào)者、數(shù)據(jù)提供者、大數(shù)據(jù)應用提供者、大數(shù)據(jù)框架提供者和數(shù)據(jù)消費者等5個邏輯功能構(gòu)件。26大數(shù)據(jù)生命周期模型 lifecycle model for big data 用于描述大數(shù)據(jù)的“數(shù)據(jù) 信息 知識 價值”生命周期和指導大數(shù)據(jù)相關(guān)活動的模型；這些活動主要由收集、準備、分析和行動等階段覆蓋。 注：幾個階段的主要活動如下：a.收集階段采集原始數(shù)據(jù)并按原始數(shù)據(jù)形式存儲；b.準備階段將原始數(shù)據(jù)轉(zhuǎn)化為干凈的、有組織的信

14、息；c.分析階段利用有組織的信息產(chǎn)生合成的知識；d.行動階段運用合成的知識為企業(yè)生成價值。三、信息技術(shù) 大數(shù)據(jù) 術(shù)語27大數(shù)據(jù)工程化 big data engineering 為適應大數(shù)據(jù)對于有效存儲、操作和分析的需求而運用治理獨立資源的先進技術(shù)構(gòu)建可伸縮數(shù)據(jù)系統(tǒng)的過程。讀時模式 schema-on-read 一種數(shù)據(jù)模式應用；按此應用，在從數(shù)據(jù)庫讀取數(shù)據(jù)時，先經(jīng)過諸如轉(zhuǎn)換、凈化、整合之類準備步驟。數(shù)據(jù)科學家 data scientist 數(shù)據(jù)科學專業(yè)人員；他們具有足夠的業(yè)務需求管理機制方面的知識、領域知識、分析技能、以及用于管理數(shù)據(jù)生命周期中每個階段的端到端數(shù)據(jù)過程的軟件和系統(tǒng)工程知識。三、

15、信息技術(shù) 大數(shù)據(jù) 術(shù)語28該技術(shù)參考模型展示了一個通用的、由邏輯功能構(gòu)件組成的大數(shù)據(jù)系統(tǒng)，該模型獨立于供應商、實現(xiàn)技術(shù)和基礎設施。三、信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型29大數(shù)據(jù)價值鏈的兩個維度組織：信息價值鏈（水平軸）大數(shù)據(jù)作為一種數(shù)據(jù)科學方法對從數(shù)據(jù)到知識的處理過程中所實現(xiàn)的信息流價值大數(shù)據(jù)價值通過數(shù)據(jù)的收集、預處理、分析、可視化和訪問等活動實現(xiàn)。IT價值鏈（垂直軸）大數(shù)據(jù)作為一種新興的數(shù)據(jù)應用范式對IT技術(shù)產(chǎn)生的新需求所帶來的價值大數(shù)據(jù)價值通過為大數(shù)據(jù)應用提供存放和運行大數(shù)據(jù)的網(wǎng)絡、基礎設施、平臺、應用工具以及其他IT服務實現(xiàn)三、信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型30五個角色+兩個重要的邏輯構(gòu)件

16、：數(shù)據(jù)消費者大數(shù)據(jù)框架提供者大數(shù)據(jù)應用提供者數(shù)據(jù)提供者系統(tǒng)協(xié)調(diào)者安全和隱私管理代表大數(shù)據(jù)系統(tǒng)中存在的不同技術(shù)角色能夠為大數(shù)據(jù)系統(tǒng)的其他五個主要構(gòu)件提供服務和功能三、信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型已上報申請立項標準序號已申請國家標準名稱牽頭單位1信息技術(shù) 大數(shù)據(jù) 基于參考架構(gòu)下的接口框架華為2信息技術(shù) 大數(shù)據(jù) 分類指南中科院信工所3信息技術(shù) 大數(shù)據(jù) 系統(tǒng)通用規(guī)范電子四院4信息技術(shù) 大數(shù)據(jù) 系統(tǒng)運維和管理功能要求華為5信息技術(shù) 大數(shù)據(jù) 存儲與處理系統(tǒng)功能要求華為6信息技術(shù) 大數(shù)據(jù) 存儲與處理系統(tǒng)功能測試規(guī)范華為7信息技術(shù) 大數(shù)據(jù) 分析系統(tǒng)功能要求浪潮電子8信息技術(shù) 大數(shù)據(jù) 分析系統(tǒng)功能測試規(guī)范浪潮

17、電子9信息技術(shù) 大數(shù)據(jù) 面向應用的基礎計算平臺基本性能要求浪潮電子10信息技術(shù) 大數(shù)據(jù) 開放共享 第1部分：總則電子四院11信息技術(shù) 大數(shù)據(jù) 開放共享 第2部分：政府數(shù)據(jù)開放共享基本要求國家信息中心12信息技術(shù) 大數(shù)據(jù) 開放共享 第3部分：開放程度評價電子四院13信息技術(shù) 工業(yè)大數(shù)據(jù) 術(shù)語數(shù)碼大方14信息技術(shù) 工業(yè)大數(shù)據(jù) 參考架構(gòu)數(shù)碼大方15信息技術(shù) 工業(yè)大數(shù)據(jù) 工業(yè)訂單元數(shù)據(jù)數(shù)碼大方16信息技術(shù) 工業(yè)大數(shù)據(jù) 產(chǎn)品核心元數(shù)據(jù)規(guī)范電子四院17信息技術(shù) 電子商務大數(shù)據(jù) 采集規(guī)范京東18信息技術(shù) 電子商務大數(shù)據(jù) 倉庫建設模型京東19信息技術(shù) 電子商務大數(shù)據(jù) 應用指標體系 第2部分：電子商務大數(shù)據(jù)京東

18、開放程度形式許可證數(shù)據(jù)在網(wǎng)站上可用（任意格式）開放許可證作為結(jié)構(gòu)化數(shù)據(jù)可用（比如Excel，而不是表的掃描圖）開放許可證以一種開放的、非專屬的形式可用（比如，CSV、XML而不是Execl）開放許可證除了使用開放的格式，使用統(tǒng)一資源定位符（URLs）識別使用來自W3C的開放標準和推薦的事物開放許可證除了使用開放格式和URLs識別事物，鏈接數(shù)據(jù)到其他用戶的數(shù)據(jù)，提供上下文環(huán)境開放許可證數(shù)據(jù)開放程度衡量標準英國內(nèi)閣辦公室開放數(shù)據(jù)白皮書四、工作重點：數(shù)據(jù)資源開放共享3233四、工作重點：數(shù)據(jù)資源開放共享數(shù)據(jù)資源開放共享數(shù)據(jù)資源數(shù)據(jù)規(guī)劃數(shù)據(jù)分類元數(shù)據(jù)數(shù)據(jù)交換接口資源標識OID編碼機制分發(fā)技術(shù)管理規(guī)程領

19、域應用政務技術(shù)服務能力基層政務服務政務數(shù)據(jù)開放共享智慧城市公共服務信息平臺參考模型教育教育資源教育管理教育公共支撐環(huán)境醫(yī)療社保農(nóng)業(yè)提出重點標準研制標準名稱參編單位大數(shù)據(jù)開放共享 第1部分：總則中國電子技術(shù)標準化研究院、國家信息中心、北京信息資源中心、華為技術(shù)有限公司、上海卓繁信息技術(shù)股份有限公司大數(shù)據(jù)開放共享 第2部分：政府數(shù)據(jù)開放共享基本要求國家信息中心、中國電子技術(shù)標準化研究院、阿里云計算有限公司、上海卓繁信息技術(shù)股份有限公司、北京市信息資源管理中心大數(shù)據(jù)開放共享 第3部分：開放程度評價中國電子技術(shù)標準化研究院、國家信息中心、北京信息資源中心、華為技術(shù)有限公司、上海卓繁信息技術(shù)股份有限公司

20、信息技術(shù) 大數(shù)據(jù)開放共享 第4部分：政府資源目錄體系擬立項四、工作重點：數(shù)據(jù)資源開放共享34收集各領域元數(shù)據(jù)相關(guān)標準，建立元數(shù)據(jù)資源庫金融交通林業(yè)衛(wèi)生電子商務電子政務教育已收集到的各領域元數(shù)據(jù)相關(guān)標準相關(guān)標準研制元數(shù)據(jù)資源庫對外開放，提供服務四、工作重點：數(shù)據(jù)資源開放共享35甲方：通過DCMM對自身（行業(yè)、地方、領域、企業(yè)）評估，識別差距，找到措施對乙方評估，找到合適技術(shù)提供方數(shù)據(jù)策略未來整體規(guī)劃，指導部署數(shù)據(jù)戰(zhàn)略定義數(shù)據(jù)需求，指導對數(shù)據(jù)資產(chǎn)的分布控制與整合建立數(shù)據(jù)標準體系，控制數(shù)據(jù)質(zhì)量與安全提升人員數(shù)據(jù)管理能力，保障數(shù)據(jù)生命周期乙方：準確定位甲方的能力和需求，從而提出針對性的大數(shù)據(jù)解決方案對

21、甲方進行大數(shù)據(jù)能力評估和認證提供對機構(gòu)和人員DCMM的認可通過DCMM認證，在項目招投標中證明自身具備數(shù)據(jù)規(guī)劃、管理和咨詢的能力提供DCMM的咨詢和培訓服務實施的意義數(shù)據(jù)能力成熟度評估行業(yè)地方企業(yè)領域用戶第三方四、工作重點：數(shù)據(jù)能力成熟度評估36結(jié)合已經(jīng)申請的國家標準信息技術(shù) 大數(shù)據(jù) 系統(tǒng)通用規(guī)范，從可靠性、易用性、維護性、可移植性、安全可靠等功能方面對大數(shù)據(jù)系統(tǒng)做出規(guī)范，給出測試方法及用例等。目前草案已經(jīng)完成，準備結(jié)合工作組更多的技術(shù)廠商開展相關(guān)測試驗證工作。四、工作重點：大數(shù)據(jù)系統(tǒng)測試3738四、重點領域：數(shù)據(jù)質(zhì)量標準化需求數(shù)據(jù)生命周期報表及相關(guān)數(shù)據(jù)是否準確、可信？信息系統(tǒng)的整體數(shù)據(jù)質(zhì)量狀

22、況如何？跨系統(tǒng)數(shù)據(jù)之間是否存在矛盾或者不一致的地方？業(yè)務數(shù)據(jù)的上報是否及時？數(shù)據(jù)的波動性、有效性如何？質(zhì)量問題 在通過信息化手段進行業(yè)務部門橫向貫通的過程中，由于數(shù)據(jù)質(zhì)量存在的問題嚴重影響了信息化和數(shù)據(jù)的可信度，由此對公司業(yè)務運行及決策支持等均帶來負面影響在復雜的企業(yè)信息環(huán)境下，數(shù)據(jù)在創(chuàng)建、存儲、應用、維護、遷移、報廢的整個生命周期中的各個環(huán)節(jié)中，都會產(chǎn)生不同的數(shù)據(jù)質(zhì)量問題信息數(shù)據(jù)生命周期數(shù)據(jù)存儲數(shù)據(jù)應用數(shù)據(jù)維護數(shù)據(jù)遷移數(shù)據(jù)報廢數(shù)據(jù)創(chuàng)建人力資源復雜的信息環(huán)境統(tǒng)計分析財務管理合同管理客戶管理39四、重點領域：數(shù)據(jù)質(zhì)量標準化數(shù)據(jù)質(zhì)量管理企業(yè)面臨的問題哪些關(guān)鍵信息缺失?企業(yè)常見的數(shù)據(jù)質(zhì)量問題?哪些數(shù)

23、據(jù)相互矛盾?哪些數(shù)據(jù)是否可以清晰表達?哪些數(shù)據(jù)沒有按照時間的要求進行上傳?哪些數(shù)據(jù)是重復進行定義的?完整性哪些數(shù)據(jù)沒有按照要求的規(guī)則存儲？規(guī)范性一致性準確性重復性及時性40四、 重點領域：數(shù)據(jù)質(zhì)量標準化概念數(shù)據(jù)質(zhì)量問題及其研究由來已久,特別伴隨著計 算機為主的信息技術(shù)發(fā)展而逐漸成為被廣泛關(guān)注的研 究熱點。雖然如此,但至今業(yè)界仍然沒有就數(shù)據(jù)質(zhì)量 的概念達成共識,而“滿足應用需求的程度 (fitness for use)”這一概念較被認可。41四、 重點領域：數(shù)據(jù)質(zhì)量標準化技術(shù)架構(gòu)數(shù)據(jù)質(zhì)量指標數(shù)據(jù)質(zhì)量評估度量分析數(shù)據(jù)質(zhì)量管理提高數(shù)據(jù)質(zhì)量管理評估42四、 重點領域：數(shù)據(jù)質(zhì)量標準化數(shù)據(jù)質(zhì)量指標43四、

24、重點領域：數(shù)據(jù)質(zhì)量標準化數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量是統(tǒng)計分析的基礎數(shù)據(jù)質(zhì)量是管理創(chuàng)新的需求數(shù)據(jù)質(zhì)量是數(shù)據(jù)中心建設的需求數(shù)據(jù)質(zhì)量是監(jiān)管的需要數(shù)據(jù)是企業(yè)的重要資產(chǎn)，良好的數(shù)據(jù)質(zhì)量可以提高數(shù)據(jù)的利用價值，幫助企業(yè)更準確的判斷未來的發(fā)展趨勢。數(shù)據(jù)質(zhì)量管理是數(shù)據(jù)中心標準規(guī)范建設的一部分，也是企業(yè)基礎數(shù)據(jù)庫建設的必要組成. 數(shù)據(jù)資產(chǎn)管理是信息化發(fā)展的新的趨勢，是企業(yè)中各個業(yè)務系統(tǒng)建設的需求，也是企業(yè)信息化管理創(chuàng)新的需要。通過數(shù)據(jù)質(zhì)量管理可以保證上報數(shù)據(jù)的及時性、準確性，滿足上下級之間數(shù)據(jù)監(jiān)管的需要數(shù)據(jù)質(zhì)量管理企業(yè)信息化的快速發(fā)展，累積了大量的數(shù)據(jù)，如何最大化這些數(shù)據(jù)的ROI，如何更好的利用這些數(shù)據(jù)進行決策分析是

25、企業(yè)信息化面臨的最大的問題。44四、 重點領域：數(shù)據(jù)質(zhì)量標準化數(shù)據(jù)質(zhì)量標準化情況 數(shù)據(jù)質(zhì)量國際標準企業(yè)標準行業(yè)標準國家標準組織標準DAMA DMBOK數(shù)據(jù)質(zhì)量度量，數(shù)據(jù)質(zhì)量模型，數(shù)據(jù)質(zhì)量指標，能力成熟度模型，物聯(lián)網(wǎng)數(shù)據(jù)質(zhì)量ISO 19100 地理信息 質(zhì)量JTC1/SC7 25012/25041IBM、Oracle2014年有兩個元數(shù)據(jù)質(zhì)量的標準數(shù)據(jù) 是企業(yè)信息化建設的核心，質(zhì)量是企業(yè)信息化建設的靈魂45四、重點領域：數(shù)據(jù)質(zhì)量標準化數(shù)據(jù)質(zhì)量標準化需求數(shù)據(jù)質(zhì)量評價指標數(shù)據(jù)質(zhì)量評價模型數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)量管理評估體系46四、工作重點：工業(yè)大數(shù)據(jù)智能制造生產(chǎn)過程智能化產(chǎn)品智能化新業(yè)態(tài)新模式智能化

26、管理智能化服務智能化產(chǎn)品加工數(shù)據(jù)、零部件配置關(guān)系、變更記錄數(shù)據(jù)、測試數(shù)據(jù)、生產(chǎn)設備、質(zhì)量控制等數(shù)據(jù)產(chǎn)品設計、建模數(shù)據(jù)、產(chǎn)品結(jié)構(gòu)數(shù)據(jù)等個性化定制數(shù)據(jù)、市場營銷等數(shù)據(jù)業(yè)務管理、組織結(jié)構(gòu)、電子商務、市場數(shù)據(jù)產(chǎn)品故障檢測數(shù)據(jù)、標識數(shù)據(jù)47四、工業(yè)大數(shù)據(jù)標準重點工業(yè)大數(shù)據(jù)術(shù)語和參考架構(gòu) 目前制造領域?qū)I(yè)大數(shù)據(jù)的理解和認識水平參差不齊，沒有達成共識的術(shù)語和參考結(jié)構(gòu)。元數(shù)據(jù)和標識 如不加以規(guī)范和解決，產(chǎn)品采購、研發(fā)、生產(chǎn)、管理、銷售、應用、運維等各環(huán)節(jié)中數(shù)據(jù)將不能貫通。工業(yè)大數(shù)據(jù)質(zhì)量 與工業(yè)企業(yè)的業(yè)務水平、業(yè)務績效存在十分密切聯(lián)系。需要為智能制造行業(yè)中的數(shù)據(jù)質(zhì)量評定提供一套可供參考的、切實有效的技術(shù)依據(jù)。

27、工業(yè)大數(shù)據(jù)資產(chǎn)管理 工業(yè)大數(shù)據(jù)資產(chǎn)是企業(yè)間競爭的核心因素。需要為數(shù)據(jù)資產(chǎn)管理業(yè)務所涉及的各個主體和活動提供規(guī)范，從而能有效提高不同產(chǎn)業(yè)和企業(yè)對數(shù)據(jù)資產(chǎn)概念的理解以及對數(shù)據(jù)資產(chǎn)管理的認識。四、工業(yè)大數(shù)據(jù)中元數(shù)據(jù)和OID標識體系標識分布式解析對象OID標識服務器1產(chǎn)品生產(chǎn)元數(shù)據(jù)智能制造中的對象（人、組織、產(chǎn)品等）數(shù)據(jù)關(guān)聯(lián)OID注冊解析系統(tǒng)服務器2產(chǎn)品流通元數(shù)據(jù)服務器3產(chǎn)品使用元數(shù)據(jù)服務器3產(chǎn)品回收元數(shù)據(jù) 現(xiàn)狀： 不同對象標識方案不統(tǒng)一 產(chǎn)品各環(huán)節(jié)信息無法互通共享 解決的問題： 不同廠商、種類對象的統(tǒng)一標識 產(chǎn)品生產(chǎn)/流通/使用環(huán)節(jié)信息互通四、OID標識體系是什么？ OID（Object Ident

28、ifier，對象標識符）無歧義地標識對象的全局唯一值ISO/IEC 9834-1| Rec. ITU-T X.660編碼方案：XX.XX.XX.XX.樹狀結(jié)構(gòu)，注冊機構(gòu)向下分配OID，無窮結(jié)點對象由從樹根到結(jié)點的路徑（OID）進行標識例子：農(nóng)業(yè)部：OID(1.2.156.326) 擴展性強分層管理四、OID標識體系的價值 支撐物聯(lián)網(wǎng)產(chǎn)業(yè)大規(guī)模應用標識體系之間不兼容、甚至相互矛盾的問題全球范圍內(nèi)對象標識相互理解和處理的需求幫助用戶買到高質(zhì)量的產(chǎn)品全球范圍內(nèi)查詢、追溯產(chǎn)品信息選擇高質(zhì)量、有保障的產(chǎn)品 促進信息互通、交換和共享 異構(gòu)標識管理系統(tǒng)互連，數(shù)據(jù)互通和交換 政府、地區(qū)、行業(yè)協(xié)會、企業(yè)現(xiàn)有的標

29、識管理系統(tǒng) 打通產(chǎn)品、人、組織、機器等各類相關(guān)信息 產(chǎn)品：原材料采購、生產(chǎn)、流通、銷售、追溯、回收、管理等各環(huán)節(jié)的信息互通四、OID標識體系的價值提高企業(yè)數(shù)據(jù)管理能力，加快轉(zhuǎn)型升級對企業(yè)管理對象進行標識產(chǎn)品、資產(chǎn)、部門、人員、文件、上下游客戶、原材料實時監(jiān)控運行狀況：信息生產(chǎn)、倉儲、銷售信息提高企業(yè)運行效率，提高管理決策水平 提高政府行業(yè)管理能力 充分利用各部門數(shù)據(jù)、社會化數(shù)據(jù) 提高行業(yè)實時動態(tài)監(jiān)管、數(shù)據(jù)分析、政策決策能力 打擊造假、保證市場公平環(huán)境 有效管理和利用我國信息資源 保障信息安全、維護國家主權(quán) 四、OID頂級編碼方案典型行業(yè)應用國家標準行業(yè)標準地方標準RFID傳感器網(wǎng)絡二維碼商業(yè)運

30、營公司組織內(nèi)部對象管理四、OID解析示意圖通用解析應用解析四、我國OID應用情況OID注冊中心主要職責 -負責管理“ISO分支”和“ISO-ITU聯(lián)合分支” 下的中國OID分支-負責國內(nèi)OID注冊、管理、維護以及在國際備案工作 應用領域典型注冊機構(gòu)食品追溯農(nóng)業(yè)部、河北廣聯(lián)公司、天辰、萬信方達信息安全國家密碼管理局、工業(yè)和信息化部信息安全協(xié)調(diào)司、中金金融認證中心有限公司、天威誠信電子商務有限公司、上海市、山東省、四川省、廣東省等多家電子認證公司醫(yī)療衛(wèi)生衛(wèi)生部統(tǒng)計信息中心、北京大學醫(yī)學院、北醫(yī)三院、用友醫(yī)療衛(wèi)生信息系統(tǒng)有限公司、北京億仁賽博醫(yī)療設備公司等金融中國銀聯(lián)網(wǎng)絡管理中國互聯(lián)網(wǎng)絡信息中心、清

31、華大學、無線IP標準工作組、北大方正電子有限公司、廣東華大集成技術(shù)有限責任公司等。監(jiān)察管理公安部第三研究所協(xié)會貿(mào)促會商業(yè)分會、煤炭協(xié)會物資分會教育中央電化教育館家電中國家電研究院智能制造智能制造安全生產(chǎn)安監(jiān)總局四、OID注冊情況（1） 物聯(lián)網(wǎng)載體典型注冊機構(gòu) RFID、智能IC卡國家IC卡注冊中心 RFID工作組傳感器網(wǎng)絡無錫物聯(lián)網(wǎng)產(chǎn)業(yè)研究院、國家傳感器網(wǎng)絡標準工作組、感知集團有限公司、無錫“感知中國”物聯(lián)網(wǎng)商會二維碼中國二維碼產(chǎn)業(yè)聯(lián)盟、 武漢矽感科技有限公司、上海新大陸翼碼信息科技有限公司儀器儀表重慶享控智能科技有限公司四、OID注冊情況（2）四、OID注冊解析系統(tǒng)建設OID注冊解析管理系統(tǒng)

32、 注冊解析服務注冊服務系統(tǒng)對接托管服務快速建立下級系統(tǒng)多種互連方式國際OID樹國內(nèi)物聯(lián)網(wǎng)公共平臺系統(tǒng)對接萬信方達：激光碼天辰：RFID矽感：二維碼享控：儀器儀表四、OID標準情況（1） OID基礎類國家標準（14項）OID注冊機構(gòu)操作規(guī)程信息技術(shù)開放系統(tǒng)互連 注冊機構(gòu)操作規(guī)程 一般規(guī)程已經(jīng)發(fā)布OSI登記機構(gòu)的操作規(guī)程 第3部分:ISO和ITU-T聯(lián)合管理的頂級弧下的客體標識符弧的登記已經(jīng)發(fā)布OSI 登記機構(gòu)的操作規(guī)程 第5部分 VT控制客體定義的登記表已經(jīng)發(fā)布OSI 登記機構(gòu)的操作規(guī)程 第6部分：應用進程和應用實體已經(jīng)發(fā)布OSI登記機構(gòu)操作規(guī)程 第8部分：通用唯一標識符的生成和登記及其用作AS

33、N.1客體標識符組件已經(jīng)發(fā)布抽象語法記法ASN.1信息技術(shù) 抽象語法記法一(ASN.1):基本記法規(guī)范已經(jīng)發(fā)布信息技術(shù)抽象語法記法一(ASN.1)第2部分信息客體規(guī)范已經(jīng)發(fā)布信息技術(shù) 抽象語法記法一(ASN.1) 第3部分:約束規(guī)范已經(jīng)發(fā)布信息技術(shù) 抽象語法記法一(ASN.1) 第4部分:ASN.1規(guī)范的參數(shù)化已經(jīng)發(fā)布抽象語法記法ASN.1編碼規(guī)則信息技術(shù) ASN.1 編碼規(guī)則 第1部分：基本編碼規(guī)則（BER）、正則編碼規(guī)則（CER）和非典型編碼規(guī)則（DER）規(guī)范已經(jīng)發(fā)布信息技術(shù) ASN.1 編碼規(guī)則 第2部分：緊縮編碼規(guī)則（PER）規(guī)范已經(jīng)發(fā)布OID國家編號體系信息技術(shù) 開放系統(tǒng)互連 OID

34、的國家編號體系和注冊規(guī)程已經(jīng)發(fā)布解析系統(tǒng)信息技術(shù) 開放系統(tǒng)互連 對象標識符解析系統(tǒng)規(guī)范在研信息技術(shù) 開放系統(tǒng)互連 解析系統(tǒng)運營機構(gòu)的操作規(guī)程在研四、標準情況（2） OID應用性國家標準（15項）物聯(lián)網(wǎng)總體規(guī)劃物聯(lián)網(wǎng)標識體系 總則征求意見物聯(lián)網(wǎng)標識體系 OID應用指南立項，國際標準傳感器網(wǎng)絡傳感器網(wǎng)絡 標識 傳感節(jié)點編碼規(guī)范報批傳感器網(wǎng)絡 標識 解析和管理規(guī)范報批交通交通運輸 物聯(lián)網(wǎng)解析系統(tǒng)征求意見交通運輸 物聯(lián)網(wǎng)標識規(guī)則交通運輸 物聯(lián)網(wǎng)對象分類機動車射頻識別 標簽數(shù)據(jù)編碼和存儲分配要求（重慶地標）發(fā)布林業(yè)林業(yè)物聯(lián)網(wǎng) 標識與解析技術(shù)規(guī)范研制林業(yè)物聯(lián)網(wǎng) 對象分類林業(yè)物聯(lián)網(wǎng) 標識分配方案二維碼企業(yè)產(chǎn)

35、品追溯體系評價指標申請立項信息技術(shù) 供應鏈平臺 產(chǎn)品二維碼標識規(guī)則信息技術(shù) 供應鏈平臺應用 信息數(shù)據(jù)要求信息技術(shù) 供應鏈平臺 數(shù)據(jù)接口要求四、OID在應用案例企業(yè)注冊信息對象基本信息對象追溯信息64五、ISO/IEC JTC1 WG9大數(shù)據(jù)工作組工作內(nèi)容：制定大數(shù)據(jù)的基礎標準找出大數(shù)據(jù)標準化的差距 聯(lián)絡跟蹤JTC1內(nèi)部和外部組織正在開展的標準化工作在基礎標準的基礎上研制其他大數(shù)據(jù)標準65五、 ISO/IEC JTC1 WG9大數(shù)據(jù)工作組工作項：信息技術(shù) 大數(shù)據(jù) 概述和術(shù)語（ISO/IEC 20546）信息技術(shù) 大數(shù)據(jù)參考架構(gòu) 第1部分：框架和應用指南（ISO/IEC TR 20547-1）信息

36、技術(shù) 大數(shù)據(jù)參考架構(gòu) 第2部分：用例和需求（ISO/IEC TR 20547-2）信息技術(shù) 大數(shù)據(jù)參考架構(gòu) 第3部分：參考架構(gòu)（ISO/IEC TR 20547-3）信息技術(shù) 大數(shù)據(jù)參考架構(gòu) 第4部分：安全和隱私（ISO/IEC 20547-4）信息技術(shù) 大數(shù)據(jù)參考架構(gòu) 第5部分：標準路線圖（ISO/IEC TR 20547-5）近期活動：2015年4月7-9日在德國舉辦第一次工作組會議2015年7月7-9日在西班牙舉辦第二次工作組會議66五、ISO/IEC JTC1 WG9大數(shù)據(jù)工作組JTC1/WG9工作組會議信息：年份日期會議地點201512月1-4日巴西 巴西利亞20163月8-10日電

37、話會議20167月12-14日中國 北京201612月之前（待定）摩洛哥 馬拉喀什67五、ISO/IEC JTC1 SC32數(shù)據(jù)管理與交換工作范圍：研制開發(fā)和維護有利于規(guī)范和管理的元數(shù)據(jù)、元模型和本體的標準，此類標準有助于理解和共享數(shù)據(jù)、信息和過程，支持互操作性，電子商務以及基于模型和基于服務的開發(fā)，包括：建議用于規(guī)定和管理元數(shù)據(jù)、元模型和本體的框架；規(guī)定和管理元數(shù)據(jù)、元模型和本體；規(guī)定和管理過程、服務和行為數(shù)據(jù)；開發(fā)管理元數(shù)據(jù)、元模型和本體的機制，包括注冊和存儲；開發(fā)交換元數(shù)據(jù)、元模型和本體的機制，包括基于互聯(lián)網(wǎng)、局域網(wǎng)等的語義。大數(shù)據(jù)相關(guān)工作：在2012年成立下一代分析技術(shù)與大數(shù)據(jù)研究組，

38、并于2014年6月，啟動四項為大數(shù)據(jù)提供標準化支持的新工作項目: SQL對多維數(shù)組的支持、SQL對JSON的支持、數(shù)據(jù)集注冊元模型和數(shù)據(jù)源注冊元模型。68五、 ITU-T SG13第13研究組具體包括：Q2、Q17、Q18，由Q17牽頭開展ITU-T大數(shù)據(jù)標準化的制定工作并負責向TSAG匯報Q2涉及的研究課題： Y. IoT-BigData-reqts“針對大數(shù)據(jù)的物聯(lián)網(wǎng)具體需求和能力要求”Q17涉及的研究課題： Y. BigData-reqts“基于云計算的大數(shù)據(jù)需求和能力”Q18涉及的研究課題： Y. BDaaS-arch“大數(shù)據(jù)即業(yè)務的功能架構(gòu)”69五、 NIST NBD-PWG大數(shù)據(jù)公

39、共工作組2013年6月正式成立工作范圍： 建立來自于產(chǎn)業(yè)界、學術(shù)界和政府的公共環(huán)境，共同形成達成共識的定義、術(shù)語、安全參考體系結(jié)構(gòu)和技術(shù)路線圖，提出數(shù)據(jù)分析技術(shù)應滿足的互操作、可移植性、可用性和擴展性需求和安全有效地支持大數(shù)據(jù)應用的技術(shù)基礎設施，用于為大數(shù)據(jù)相關(guān)方選擇最佳的方案。NIST計劃作三個release，以對應NBD-PWG工作的三個階段：a) 識別high-level架構(gòu)關(guān)鍵componentb) 定義參考架構(gòu)components間的總體接口c) 通過用這些總體接口構(gòu)建大數(shù)據(jù)總體應用來確認參考架構(gòu)70五、 NIST NBD-PWG大數(shù)據(jù)公共工作組5個子組及其7個輸出：NIST Big Data Definitions & Taxonomies Subgroup1. M0392: Draft SP 1500-1 - Volume 1: Definitions 2. M0393: Draft SP 1500-2 - Volume 2: Taxonomies NIST Big Data Use Case & Requirements Subgroup3. M0394: Draft SP 1500-3 - Volume