大數(shù)據(jù)能力平臺(tái)建設(shè)技術(shù)方案

大數(shù)據(jù)能力平臺(tái)建設(shè)項(xiàng)目《技術(shù)方案》大數(shù)據(jù)能力平臺(tái)技術(shù)方案 9 9 9 9 11 17 17 18 完善大數(shù)據(jù)能力平臺(tái)建設(shè) 建設(shè)J市Z務(wù)數(shù)據(jù)資源中心 21建設(shè)J市大數(shù)據(jù)賦能應(yīng)用 21 26 33 34 36 37 38 39 40 40 42 42 47 47 48 49 50 53 55 60 61 62 65 65 68 71 76 76 77 79 80 80 83 84 85 86 86 91 92平臺(tái)建設(shè)架構(gòu)設(shè)計(jì) 93 密碼方案總體架構(gòu) 95 107 120 122 128 128 131 133 134 135 135 136 137 137 139 141 142 142 143 144 164 167 167 168 168 168 170 172 183 184 185 186 190應(yīng)急主題庫(kù)概述 大數(shù)據(jù)能力平臺(tái)技術(shù)方案1建設(shè)背景、需求與現(xiàn)狀分析2021年伊始要加快推進(jìn)國(guó)家規(guī)劃已明確的建J市大數(shù)據(jù)能力平臺(tái)是最終形成智慧J市的城市全方面的賦能，全面推動(dòng)政府?dāng)?shù)字化都轉(zhuǎn)型，并為大數(shù)據(jù)能力平臺(tái)技術(shù)方案基礎(chǔ)數(shù)據(jù)庫(kù)；圍繞Z務(wù)服務(wù)、企業(yè)經(jīng)營(yíng)、市場(chǎng)監(jiān)管、社會(huì)保障等主大數(shù)據(jù)能力平臺(tái)技術(shù)方案用提供可靠有效的基礎(chǔ)支撐。建設(shè)包括Z務(wù)服務(wù)、決策保障、跨域協(xié)大數(shù)據(jù)能力平臺(tái)技術(shù)方案據(jù)匯聚需求。支持基于業(yè)務(wù)場(chǎng)景的流程配置，跨多種異構(gòu)存儲(chǔ)/計(jì)算平臺(tái)快速部算法服務(wù)基于大數(shù)據(jù)開發(fā)的數(shù)據(jù)智能應(yīng)用搭建提供一站式的算法/數(shù)據(jù)研發(fā)大數(shù)據(jù)能力平臺(tái)技術(shù)方案感知、研判及傳遞，形成捕獲—響應(yīng)—處理的聯(lián)動(dòng)大數(shù)據(jù)能力平臺(tái)技術(shù)方案通過Z務(wù)大平臺(tái)數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會(huì)應(yīng)用、社會(huì)數(shù)據(jù)反大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案提供了接口服務(wù)，為J市J市區(qū)義務(wù)教育階段網(wǎng)上報(bào)名應(yīng)用場(chǎng)景，數(shù)據(jù)處理及應(yīng)用能力還較為薄弱，大數(shù)據(jù)能力平臺(tái)技術(shù)方案2項(xiàng)目整體建設(shè)規(guī)劃方案按照《省人民政府關(guān)于推進(jìn)數(shù)字政府建設(shè)的指導(dǎo)意見》(鄂政發(fā)(2019)4建設(shè)體系，用以全面指導(dǎo)整個(gè)J市大數(shù)據(jù)的建設(shè)，包括大數(shù)據(jù)能力平臺(tái)的建設(shè)、整合現(xiàn)有公共數(shù)據(jù)資源，布局行業(yè)數(shù)據(jù)引入，大數(shù)據(jù)能力平臺(tái)技術(shù)方案經(jīng)濟(jì)發(fā)展、社會(huì)治理與公共服務(wù)的數(shù)據(jù)資源庫(kù)與數(shù)通過J市大數(shù)據(jù)能力平臺(tái)項(xiàng)目建設(shè)，以數(shù)字化、數(shù)據(jù)化、智能化、智慧化為系統(tǒng)性變革和數(shù)字化轉(zhuǎn)型,建立服務(wù)高效、治理精難，決策科學(xué)的新型政府運(yùn)行大數(shù)據(jù)能力平臺(tái)技術(shù)方案務(wù)高效、治理精準(zhǔn)，決策科學(xué)的新型政府運(yùn)行模構(gòu)建統(tǒng)一數(shù)據(jù)開發(fā)與調(diào)度，增強(qiáng)數(shù)據(jù)管理能力建立統(tǒng)一數(shù)據(jù)運(yùn)維和自有的以數(shù)據(jù)支撐全市各項(xiàng)Z務(wù)、社會(huì)管理以及經(jīng)濟(jì)發(fā)展等業(yè)務(wù)，以現(xiàn)業(yè)務(wù)數(shù)據(jù)閉環(huán)，為全市Z務(wù)服務(wù)、經(jīng)濟(jì)建設(shè)、城市管理，社會(huì)治理因此，本次J市大數(shù)據(jù)能力平臺(tái)建設(shè)項(xiàng)目的建設(shè)內(nèi)容主要是要搭建統(tǒng)一的大及融合業(yè)務(wù)應(yīng)用數(shù)據(jù)庫(kù)，為全市的Z務(wù)處理、經(jīng)濟(jì)發(fā)展、社會(huì)在現(xiàn)有平臺(tái)基礎(chǔ)上，按照項(xiàng)目建設(shè)目標(biāo)，完善整個(gè)J市大數(shù)據(jù)平臺(tái)能力與功力，統(tǒng)籌匹配各部門聚焦的業(yè)務(wù)需求，更高效的從大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)提供底層安全保障，并達(dá)到建設(shè)統(tǒng)一運(yùn)維管理平臺(tái)，提供統(tǒng)一監(jiān)控運(yùn)維功能，保證整個(gè)J市大數(shù)據(jù)能力建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實(shí)際制定市內(nèi)公共數(shù)據(jù)匯聚的標(biāo)準(zhǔn)規(guī)范和管理制度，歸集全市各匯聚全市居民、Z務(wù)部門相關(guān)數(shù)據(jù)，建設(shè)城市碼、應(yīng)急主題庫(kù)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫(kù)和主題庫(kù)，并面向Z會(huì)進(jìn)行數(shù)據(jù)開放。并持續(xù)開展、深入J市大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨領(lǐng)大數(shù)據(jù)能力平臺(tái)技術(shù)方案借助大數(shù)據(jù)平臺(tái)，逐步實(shí)現(xiàn)立體化、多層次、全方位的等服務(wù)功能，加快推進(jìn)智能化電子Z務(wù)服務(wù)初步應(yīng)用，基于AI算法，結(jié)合相關(guān)數(shù)據(jù)，針對(duì)路政提供相應(yīng)的符合J市的智能路政管理大數(shù)據(jù)能力平臺(tái)技術(shù)方案?jìng)€(gè)人健康相關(guān)數(shù)據(jù)，建設(shè)全市醫(yī)療數(shù)據(jù)共享、公眾健康指數(shù)等關(guān)鍵指標(biāo)數(shù)據(jù)服務(wù)，助力降低醫(yī)療成本，預(yù)測(cè)流行病的爆發(fā)，改善全市人民健康狀況，提高整物資、避難場(chǎng)所等，便于市領(lǐng)導(dǎo)對(duì)現(xiàn)場(chǎng)進(jìn)行應(yīng)急指揮，全面提高J市的應(yīng)急處置針對(duì)J市大數(shù)據(jù)能力平臺(tái)的建設(shè)，我們將基于主流的大數(shù)據(jù)技術(shù)框架對(duì)當(dāng)前大數(shù)據(jù)能力平臺(tái)技術(shù)方案用服務(wù)，并利用統(tǒng)一門戶將相關(guān)數(shù)據(jù)應(yīng)用對(duì)外開放，向J市各級(jí)單位等用戶提供城市大腦的構(gòu)建提供數(shù)據(jù)支撐。具體，本次項(xiàng)目的我們將基于主流的大數(shù)據(jù)技術(shù)框架對(duì)當(dāng)前的J市數(shù)據(jù)共享交換平臺(tái)進(jìn)行完善大數(shù)據(jù)能力平臺(tái)技術(shù)方案主題、專題、標(biāo)簽等數(shù)據(jù)庫(kù)，由此構(gòu)建出層級(jí)清晰、功能區(qū)域劃分合理的J市大對(duì)于本次J市大數(shù)據(jù)能力平臺(tái)的建設(shè)，將結(jié)合J市大數(shù)據(jù)的建設(shè)現(xiàn)狀，牢牢抓住J市大數(shù)據(jù)應(yīng)用的痛點(diǎn)，以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等技術(shù)為支撐，以“統(tǒng)籌規(guī)劃、集約建設(shè)、共享共治”大數(shù)據(jù)能力平臺(tái)技術(shù)方案果，逐步完善豐富J市大數(shù)據(jù)資源池、運(yùn)營(yíng)平臺(tái)、管理機(jī)制、運(yùn)維支撐、組織保障體系和典型智慧應(yīng)用的建設(shè)。具體，對(duì)于本次J市大數(shù)據(jù)能力平臺(tái)項(xiàng)目建設(shè)的大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案整個(gè)數(shù)據(jù)治理團(tuán)隊(duì)的建設(shè)中可通過引入平臺(tái)與治理運(yùn)營(yíng)供應(yīng)商來共同數(shù)據(jù)規(guī)范是指對(duì)Z務(wù)核心數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的3大數(shù)據(jù)能力平臺(tái)建設(shè)方案在現(xiàn)有平臺(tái)基礎(chǔ)上，按照項(xiàng)目建設(shè)目標(biāo)，完善整個(gè)J市大數(shù)據(jù)平臺(tái)能力與功大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)提供底層安全保障，并達(dá)到符合密鑰建設(shè)統(tǒng)一運(yùn)維管理平臺(tái)，提供統(tǒng)一監(jiān)控運(yùn)維功能，保證整個(gè)J市大數(shù)據(jù)能力建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實(shí)際J市大數(shù)據(jù)能力平臺(tái)的總體架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運(yùn)行系統(tǒng)、AI能力平臺(tái)、GIS基礎(chǔ)能力平臺(tái)、可視化能力平臺(tái)、數(shù)據(jù)資源共享門戶、大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案人工訓(xùn)練和專家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞J市單位公共數(shù)據(jù)資源，形成J市大數(shù)據(jù)資源池，同時(shí)經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、大數(shù)據(jù)能力平臺(tái)技術(shù)方案從Z務(wù)辦公網(wǎng)、感知網(wǎng)、社會(huì)協(xié)同單位收集各類數(shù)據(jù)，位全局服務(wù)J市大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和數(shù)算，通過IDMapping，建立ID和實(shí)體人/物間的關(guān)系，從而串聯(lián)起實(shí)體人/物的屬基于業(yè)務(wù)需求引導(dǎo)和對(duì)數(shù)據(jù)資源信息的價(jià)值梳理,對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步提煉加大數(shù)據(jù)能力平臺(tái)技術(shù)方案數(shù)據(jù)治理平臺(tái)會(huì)包含部分5大庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門標(biāo)準(zhǔn)等需由實(shí)施人員等大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案定義、獲取原則、管理要求等。包括設(shè)計(jì)基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)大數(shù)據(jù)能力平臺(tái)技術(shù)方案業(yè)務(wù)操作的具體對(duì)象及其特征，注重唯一性，特征一致一的識(shí)別標(biāo)志（代碼，名稱，特征描述等用以明確區(qū)分業(yè)務(wù)對(duì)象，業(yè)務(wù)范圍大數(shù)據(jù)能力平臺(tái)技術(shù)方案數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼（標(biāo)準(zhǔn)代碼按照實(shí)際的業(yè)務(wù)領(lǐng)域進(jìn)行分類之據(jù)的特性內(nèi)置部分常用的規(guī)則，同時(shí)提供了大數(shù)據(jù)能力平臺(tái)技術(shù)方案據(jù)流程、各對(duì)象之間的關(guān)系，以及向外提供的大數(shù)據(jù)能力平臺(tái)技術(shù)方案據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以這些階段中，元數(shù)據(jù)管控組負(fù)責(zé)元數(shù)據(jù)信息的全生00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺(tái)元數(shù)據(jù)的自動(dòng)獲取過程，或者在數(shù)據(jù)處理程在系統(tǒng)層面實(shí)現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對(duì)象能夠大數(shù)據(jù)能力平臺(tái)技術(shù)方案元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對(duì)象等血緣關(guān)系和以父子依賴關(guān)系展大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案規(guī)則算法：groupby重復(fù)依據(jù)字段，cgroupby的結(jié)果來outerjoin，count不相等或檢查字段值和比照字段值有一個(gè)為空大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案平臺(tái)具備執(zhí)行標(biāo)準(zhǔn)的開源Hadoop接口調(diào)用能力，以及基于個(gè)性化大數(shù)據(jù)能力平臺(tái)技術(shù)方案平臺(tái)支持對(duì)流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實(shí)時(shí)采集-->數(shù)據(jù)實(shí)開發(fā)提供對(duì)流數(shù)據(jù)計(jì)算結(jié)果接口開發(fā)功能和計(jì)算結(jié)果數(shù)據(jù)可通過接口形式用戶查看計(jì)算模型邏輯，進(jìn)行模型再利用，減少大數(shù)據(jù)能力平臺(tái)技術(shù)方案設(shè)計(jì)、開發(fā)、配置到打包部署整個(gè)階段的GUI（GraphicalUserInterface，圖略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實(shí)現(xiàn)對(duì)采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一大數(shù)據(jù)能力平臺(tái)技術(shù)方案平臺(tái)提供對(duì)數(shù)據(jù)源注冊(cè)管理的功能，主要是對(duì)數(shù)據(jù)提供者所在數(shù)據(jù)庫(kù)、大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案8）hadoop平臺(tái)信息采集與資產(chǎn)注冊(cè)9）hadoophive庫(kù)表信息采集與資產(chǎn)注冊(cè)名規(guī)范，可實(shí)現(xiàn)對(duì)數(shù)據(jù)資產(chǎn)的自動(dòng)審核，主要包括對(duì)表/視圖、文件等數(shù)據(jù)資產(chǎn)大數(shù)據(jù)能力平臺(tái)技術(shù)方案平臺(tái)可基于數(shù)據(jù)資產(chǎn)（表通過在平臺(tái)中指定生成表的數(shù)據(jù)庫(kù)及表空間等大數(shù)據(jù)能力平臺(tái)技術(shù)方案產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計(jì)、資平臺(tái)提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢平臺(tái)提供數(shù)據(jù)標(biāo)簽?zāi)０骞芾砉δ埽赏ㄟ^下載功能將標(biāo)簽?zāi)０鍖?dǎo)出為Excel開發(fā)以列表形式和智能推薦形式將平臺(tái)中設(shè)置的基礎(chǔ)標(biāo)簽進(jìn)行呈現(xiàn)列表形大數(shù)據(jù)能力平臺(tái)技術(shù)方案開發(fā)通過標(biāo)簽將相關(guān)聯(lián)的數(shù)據(jù)目錄關(guān)聯(lián)在動(dòng)圖中展現(xiàn)給用戶，形成豐富數(shù)在平臺(tái)上用戶可以在此頁面通過各種過濾條件查詢出自己權(quán)限范圍內(nèi)滿足大數(shù)據(jù)能力平臺(tái)技術(shù)方案系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指大數(shù)據(jù)能力平臺(tái)技術(shù)方案機(jī)器學(xué)習(xí)和開放平臺(tái)三為一體，為大數(shù)據(jù)平臺(tái)提供1、可以賦能給大數(shù)據(jù)平臺(tái)以人工智能自學(xué)習(xí)的能力都是在Z務(wù)內(nèi)網(wǎng)環(huán)境運(yùn)行，所有標(biāo)注和訓(xùn)練工作也是在Z務(wù)云上執(zhí)行，保證了數(shù)3、AI能力平臺(tái)具有標(biāo)準(zhǔn)化的應(yīng)用界面，無需具有研發(fā)經(jīng)驗(yàn)，普通職員即可根據(jù)指導(dǎo)說明完成數(shù)據(jù)的標(biāo)注、模型的訓(xùn)練、接口的生成等流程，真正實(shí)現(xiàn)AI5、針對(duì)國(guó)家的信息安全方面要求，我方所有算法能力完全可以在國(guó)產(chǎn)化平大數(shù)據(jù)能力平臺(tái)技術(shù)方案序號(hào)1234567大數(shù)據(jù)能力平臺(tái)技術(shù)方案89等大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案序號(hào)1AutoCV分類23大數(shù)據(jù)能力平臺(tái)技術(shù)方案分割4AutoNLP分類56序列7AutoML分類89大數(shù)據(jù)能力平臺(tái)技術(shù)方案封裝好的解決方案，對(duì)工作和生活進(jìn)行AI賦序號(hào)產(chǎn)一二大數(shù)據(jù)能力平臺(tái)技術(shù)方案品級(jí)級(jí)1AI234567等89測(cè)文大數(shù)據(jù)能力平臺(tái)技術(shù)方案————建設(shè)GIS基礎(chǔ)平臺(tái)，提供統(tǒng)一的地理資源定位、區(qū)域資大數(shù)據(jù)能力平臺(tái)技術(shù)方案針對(duì)不同業(yè)務(wù)、不同數(shù)據(jù)源可實(shí)現(xiàn)統(tǒng)一圖層發(fā)布大數(shù)據(jù)能力平臺(tái)技術(shù)方案JavaScriptAPI是一套由JavaScript語言編寫的應(yīng)用程序接口，能夠在WEB系基于JS的API可提供多版本API的管控，針對(duì)不同級(jí)別的業(yè)務(wù)，提供不同版API支持跨瀏覽器，對(duì)多種瀏覽器的兼容性，提高交互大數(shù)據(jù)能力平臺(tái)技術(shù)方案對(duì)GIS引擎、API進(jìn)行統(tǒng)一管理、授權(quán)大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案GIS能力平臺(tái)立足于技術(shù)的不斷更新完善，為企業(yè)提供更專業(yè)的GIS應(yīng)用軟大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案可視化儀表盤快速開發(fā)，支持業(yè)務(wù)人員快速開發(fā)報(bào)表/儀表盤，海量數(shù)據(jù)分大數(shù)據(jù)能力平臺(tái)技術(shù)方案為多屏?xí)r代的企業(yè)帶來了全方位的數(shù)據(jù)可視化管理。從PC端到移動(dòng)端再到大數(shù)據(jù)能力平臺(tái)提供底層安全保障，并達(dá)到符合密鑰大數(shù)據(jù)能力平臺(tái)的環(huán)境安全部分對(duì)標(biāo)《網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》(22239-2019)的三級(jí)要求，從物理環(huán)境安全、網(wǎng)絡(luò)與通信安全、邊界安全、安全護(hù)體系遵循數(shù)據(jù)安全能力成熟度模型(GBT37988-2019)和《Z務(wù)信息共享數(shù)據(jù)安因此，在J市大數(shù)據(jù)能力平臺(tái)安全管理平臺(tái)設(shè)計(jì)過程中，將遵循內(nèi)生安全為系統(tǒng)集成實(shí)現(xiàn)全局賦能。具體，在對(duì)于J市大數(shù)據(jù)能力平臺(tái)的數(shù)據(jù)安全管理整體大數(shù)據(jù)能力平臺(tái)技術(shù)方案模型，數(shù)據(jù)安全生命周期各階段主要防護(hù)能力，J市大數(shù)據(jù)能力平臺(tái)的安全管理大數(shù)據(jù)能力平臺(tái)技術(shù)方案其他需要通過數(shù)據(jù)安全子平臺(tái)提供定制化的安全能力并與各子系統(tǒng)集成實(shí)相關(guān)標(biāo)準(zhǔn)和要求，進(jìn)行全面的、安全合理的、富有針對(duì)性的設(shè)計(jì)?？傮w秉持“同步規(guī)劃、同步建設(shè)、同步實(shí)施”的方針開展建設(shè)。依據(jù)于大數(shù)據(jù)能力平臺(tái)的建設(shè)合規(guī)性原則：本項(xiàng)目的建設(shè)是為了使上海市Z務(wù)云基礎(chǔ)設(shè)施大數(shù)據(jù)能力平臺(tái)技術(shù)方案設(shè)計(jì)應(yīng)考慮滿足未來3-5年的發(fā)展趨勢(shì)和擴(kuò)展需要，并支持根據(jù)實(shí)際需求和方案中所采用的產(chǎn)品技術(shù)和部署方式必須具有足夠的高可用性和安全大數(shù)據(jù)能力平臺(tái)是由若干子平臺(tái)及支撐平臺(tái)構(gòu)建的綜合性數(shù)據(jù)交換與處理大數(shù)據(jù)能力平臺(tái)技術(shù)方案據(jù)大小為5K左右，非結(jié)構(gòu)化數(shù)據(jù)主要集中于電子證照、地理信息系統(tǒng)及視頻系統(tǒng)中，預(yù)計(jì)每天數(shù)據(jù)交換量將達(dá)至280G，這要求對(duì)數(shù)據(jù)實(shí)時(shí)傳輸和處理能力較大數(shù)據(jù)能力平臺(tái)的整體安全防護(hù)體系包括數(shù)據(jù)資源平臺(tái)環(huán)境安全和數(shù)據(jù)全大數(shù)據(jù)能力平臺(tái)的環(huán)境安全部分對(duì)標(biāo)《網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》(22239-2019)的三級(jí)要求，從物理環(huán)境安全、網(wǎng)絡(luò)與通信安全、邊界安全、安全大數(shù)據(jù)能力平臺(tái)技術(shù)方案護(hù)體系遵循數(shù)據(jù)安全能力成熟度模型(GBT37988-2019)和《Z務(wù)信息共享數(shù)據(jù)安通過數(shù)據(jù)安全子平臺(tái)提供定制化的安全能力并與各子系其他需要通過數(shù)據(jù)安全子平臺(tái)提供定制化的安全能力并與各子系統(tǒng)集成實(shí)J市大數(shù)據(jù)能力平臺(tái)總體設(shè)計(jì)利用云上的資源和虛擬化技術(shù)特性，建設(shè)云密在云密碼應(yīng)用體系中建設(shè)采用虛擬資源服務(wù)模式面向大數(shù)據(jù)能力平臺(tái)提供大數(shù)據(jù)能力平臺(tái)技術(shù)方案成云密碼物理資源池。上層的密碼服務(wù)采用鏡像方式提供，為大數(shù)據(jù)能力平臺(tái)及其各子系統(tǒng)建立一套完善的密碼應(yīng)用資源。由于安全認(rèn)證服務(wù)有其特性，需要通過VPN設(shè)備來部署其認(rèn)證和加密隧道，需要配合具電子門禁記應(yīng)使用密碼技術(shù)的完整性功能來保證電子門禁系統(tǒng)進(jìn)出大數(shù)據(jù)能力平臺(tái)技術(shù)方案錄數(shù)據(jù)完整性視頻記錄數(shù)應(yīng)使用密碼技術(shù)的完整性功能來保證視頻監(jiān)控音像記錄應(yīng)在通信前基于密碼技術(shù)對(duì)通信雙方進(jìn)行驗(yàn)證或認(rèn)證，使用密保證傳輸過程中鑒別信息的機(jī)密性和網(wǎng)絡(luò)設(shè)備實(shí)體身份的真實(shí)應(yīng)采用密碼技術(shù)對(duì)連接到內(nèi)部網(wǎng)絡(luò)的設(shè)備進(jìn)行身份鑒別，確保性大數(shù)據(jù)能力平臺(tái)技術(shù)方案應(yīng)使用密碼技術(shù)對(duì)登錄的用戶進(jìn)行身份標(biāo)識(shí)和鑒別，身份標(biāo)識(shí)具有唯一性，身份鑒別信息其有復(fù)雜度要求在遠(yuǎn)程理時(shí)，應(yīng)使用密碼技術(shù)的機(jī)密性服務(wù)來實(shí)現(xiàn)鑒性應(yīng)采用密碼技術(shù)的完整性服務(wù)來保證系統(tǒng)資源訪問控應(yīng)使用密碼技術(shù)的完整性服務(wù)來保證重要信息資源敏應(yīng)采用可信計(jì)算技術(shù)建立從系統(tǒng)到應(yīng)用信任鏈，實(shí)現(xiàn)系統(tǒng)運(yùn)行系統(tǒng)運(yùn)行過程中重要程序或文件完整性保應(yīng)使用密碼技術(shù)的完整性功能來對(duì)日志記錄進(jìn)行完整大數(shù)據(jù)能力平臺(tái)技術(shù)方案證書的身份認(rèn)證系統(tǒng)及署智能密碼鑰匙（或其它的具備身份鑒別功能的密碼產(chǎn)應(yīng)使用密碼技術(shù)的完整性服務(wù)來保證業(yè)務(wù)應(yīng)用系統(tǒng)訪問控大數(shù)據(jù)能力平臺(tái)技術(shù)方案應(yīng)使用密碼技術(shù)的完整性功能來實(shí)現(xiàn)對(duì)日志記錄完整性的應(yīng)采用密碼技術(shù)對(duì)重要應(yīng)用程序的加載和卸載進(jìn)行安全控大數(shù)據(jù)能力平臺(tái)技術(shù)方案密鑰導(dǎo)入大數(shù)據(jù)能力平臺(tái)技術(shù)方案用公鑰之前應(yīng)用對(duì)其進(jìn)行驗(yàn)證；應(yīng)有安全措施防止密鑰泄露和替密鑰備份鑰只能用于解密該密鑰加密的歷史信息或驗(yàn)證該密鑰簽名的歷史大數(shù)據(jù)能力平臺(tái)技術(shù)方案密鑰管理服務(wù)的另一個(gè)功能是在云密碼服務(wù)系統(tǒng)需要將租戶密鑰導(dǎo)入到指安全管理制度應(yīng)包括密碼建設(shè)、運(yùn)維、人員、設(shè)備、密鑰等密大數(shù)據(jù)能力平臺(tái)技術(shù)方案際情況，設(shè)置密鑰管理人員、安全審計(jì)人員、密碼操作人員等關(guān)鍵崗位；建立相應(yīng)的崗位責(zé)任制度，明確相關(guān)人員在安全系統(tǒng)中的職責(zé)和權(quán)限，對(duì)關(guān)鍵崗位建立多人共管機(jī)制，相關(guān)設(shè)備信息系統(tǒng)規(guī)劃階段，責(zé)任單位應(yīng)依據(jù)密碼相關(guān)標(biāo)準(zhǔn)，制定密碼應(yīng)用方案，組織專家進(jìn)行評(píng)審，評(píng)審意見作為項(xiàng)目規(guī)劃立項(xiàng)的大數(shù)據(jù)能力平臺(tái)技術(shù)方案少于信息系統(tǒng)概述、安全需求分析、商用密碼系統(tǒng)設(shè)計(jì)方案、商用密碼產(chǎn)品清單（包括產(chǎn)品資質(zhì)、功能及性能列表和產(chǎn)品生展密碼應(yīng)用安全性評(píng)估，并根據(jù)評(píng)估意見進(jìn)行整改；有重大安全隱患的，應(yīng)停止系統(tǒng)運(yùn)行，制定整改方案，整改完成并通過B）事件發(fā)生后，應(yīng)及時(shí)向信息系統(tǒng)的上級(jí)主管部門體設(shè)計(jì)，對(duì)哪些安全機(jī)制發(fā)揮什么作用。保障框架應(yīng)與第4章“密碼應(yīng)用需求”大數(shù)據(jù)能力平臺(tái)技術(shù)方案支持MAC/HMAC等多種形式，可為大數(shù)據(jù)能力平臺(tái)各子系統(tǒng)提供敏感數(shù)據(jù)完整大數(shù)據(jù)能力平臺(tái)技術(shù)方案證書管理等功能，支持SM1/SM2/SM3/SM4國(guó)密算法，可為用戶程序、代碼、文件、操作等簽名/驗(yàn)證功能）身份鑒別平臺(tái)身份鑒別平臺(tái)對(duì)應(yīng)用管理員和運(yùn)維人員的身份鑒別通大數(shù)據(jù)能力平臺(tái)技術(shù)方案數(shù)據(jù)傳輸保密性和完整性具體而言大數(shù)據(jù)能力平臺(tái)上管理應(yīng)用及運(yùn)維人員都需要簽發(fā)證書，當(dāng)兩端需要進(jìn)行數(shù)據(jù)通信時(shí)，可以通過SM2密鑰協(xié)商算法協(xié)商臨時(shí)密鑰，隨后采用SM4和HAMC-SM3算法對(duì)傳數(shù)據(jù)存儲(chǔ)保密性和完整性保護(hù)大數(shù)據(jù)能力平臺(tái)各種子系統(tǒng)調(diào)用相應(yīng)云服務(wù)器密碼機(jī)是密碼應(yīng)用的基礎(chǔ)設(shè)備,高性能的云服務(wù)器密碼機(jī)各種密碼密鑰對(duì)生成為219100對(duì)/秒,簽名為129600次/秒,驗(yàn)簽為232500次/秒。云服務(wù)器密碼機(jī)可提供64個(gè)虛擬密碼機(jī),每個(gè)虛擬密碼機(jī)的性能大致會(huì)均分吞吐率?？紤]到一般用于存儲(chǔ)信息系統(tǒng)中代碼工作量較大且不大數(shù)據(jù)能力平臺(tái)技術(shù)方案性護(hù)護(hù)————————————————————護(hù)——————護(hù)性——————機(jī)——護(hù)——————————大數(shù)據(jù)能力平臺(tái)技術(shù)方案性機(jī)護(hù)器護(hù)護(hù)————密碼資源管理流程與安全管理流程相符，并單獨(dú)為密碼資源在制度、人員、源作為獨(dú)立的運(yùn)維體系。其組織架構(gòu)參照大數(shù)據(jù)大數(shù)據(jù)能力平臺(tái)技術(shù)方案全調(diào)用密碼機(jī)接口實(shí)現(xiàn)視頻記錄的完整性保護(hù)或使用加密存儲(chǔ)設(shè)備或采用合規(guī)的視頻全符合，設(shè)備管理員和網(wǎng)站管理員的終端部署支持安全瀏覽器和SSLVPN網(wǎng)關(guān)，通過支持SSL協(xié)議實(shí)現(xiàn)管理端終端和網(wǎng)關(guān)之間的身份鑒別、關(guān)鍵數(shù)據(jù)的完整性和機(jī)密性全全符合，設(shè)備管理員使用口令和智能密碼鑰符合，各服務(wù)器調(diào)用服務(wù)器密碼機(jī)采用性符合，各服務(wù)器調(diào)用服務(wù)器密碼機(jī)采用符合，SSLVPN網(wǎng)關(guān)實(shí)現(xiàn)了信息傳輸通道實(shí)現(xiàn)了對(duì)遠(yuǎn)程管理通道數(shù)據(jù)的身份鑒別信大數(shù)據(jù)能力平臺(tái)技術(shù)方案符合，通用服務(wù)器中所有重要程序或文件生成時(shí)利用SM2數(shù)字簽名技術(shù)進(jìn)行完整性保護(hù)，使用或讀取時(shí)調(diào)用驗(yàn)簽算法驗(yàn)證其全符合，使用身份鑒別信息和授權(quán)通過身份據(jù)庫(kù)表訪問控制信息和重要資源訪問控制性符合，日志信息進(jìn)行統(tǒng)一管理，調(diào)用服務(wù)符合，管理員登錄后所有信息都通過安全通道進(jìn)行加密傳輸；而普通應(yīng)用的數(shù)據(jù)傳符合，不同子系統(tǒng)調(diào)用密碼機(jī)實(shí)現(xiàn)對(duì)數(shù)據(jù)的加密存儲(chǔ)，需要根據(jù)不同子系統(tǒng)應(yīng)用場(chǎng)符合，僅有設(shè)備管理員可進(jìn)行重要程序或文件的加載或卸載，設(shè)備管理員的身份鑒理度需要從人員、制度和文檔方面建立密碼應(yīng)大數(shù)據(jù)能力平臺(tái)技術(shù)方案圖片檢驗(yàn)碼、短信認(rèn)證、郵件認(rèn)證、口令、OTP令牌認(rèn)證、UKEY認(rèn)證、指紋、合認(rèn)證、雙因素認(rèn)證、二次認(rèn)證等認(rèn)證方式，以便大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案敏感數(shù)據(jù)掃描：支持對(duì)HADOOP結(jié)構(gòu)化文件、半結(jié)構(gòu)化文件、非結(jié)構(gòu)化文大數(shù)據(jù)能力平臺(tái)技術(shù)方案據(jù)的分布情況進(jìn)行視圖繪制，能夠通過多種視圖展示據(jù)源間的靜態(tài)數(shù)據(jù)脫敏，需支持HADOOP結(jié)構(gòu)化文件、半結(jié)構(gòu)化文件、非結(jié)構(gòu)脫敏任務(wù)管理：提供統(tǒng)一WEB控制臺(tái)進(jìn)行靜態(tài)任務(wù)的配置，脫敏任務(wù)中包度查詢api接口。其他子平臺(tái)平臺(tái)可以通過接口調(diào)用的方式，來完成對(duì)敏感數(shù)據(jù)可定制脫敏規(guī)則：提供脫敏規(guī)則管理功能，可以根據(jù)不用的數(shù)據(jù)脫敏場(chǎng)景，大數(shù)據(jù)能力平臺(tái)技術(shù)方案分類分級(jí)結(jié)果上報(bào):對(duì)分類分級(jí)掃描結(jié)果實(shí)時(shí)或定時(shí)上報(bào)數(shù)據(jù)治理子平臺(tái)片生成的隨機(jī)數(shù)。密鑰生成后由加密卡中的內(nèi)部密鑰加密后存儲(chǔ)。支持SM系列密鑰安全傳輸：客戶端密鑰獲取支持SSL、用戶名口令及wrappingkey等多程中的安全性，避免接口通信信息泄露、中間人攻擊備份/恢復(fù)：支持用戶密鑰、模板、證書等重要數(shù)據(jù)的備份/恢復(fù)機(jī)制，用戶采集大數(shù)據(jù)能力平臺(tái)基礎(chǔ)環(huán)境網(wǎng)絡(luò)安全設(shè)備日志和各子平臺(tái)的操作系統(tǒng)日安全日志存儲(chǔ)：支持安全日志的分布式存儲(chǔ)，能夠滿足至少6個(gè)月的日志存安全日志檢索：支持以多種組合條件的安全日志查詢檢大數(shù)據(jù)能力平臺(tái)技術(shù)方案建設(shè)統(tǒng)一運(yùn)維管理平臺(tái)，提供統(tǒng)一監(jiān)控運(yùn)維功能，保證整個(gè)J市大數(shù)據(jù)能力得J市大數(shù)據(jù)能力平臺(tái)上快速發(fā)現(xiàn)異常，及時(shí)發(fā)現(xiàn)并告知維護(hù)人員，快速恢復(fù)，端管理、數(shù)據(jù)質(zhì)量保障等多個(gè)領(lǐng)域的綜合運(yùn)維管理能力，保障構(gòu)建J市大數(shù)據(jù)能統(tǒng)一監(jiān)控運(yùn)維平臺(tái)采用中臺(tái)技術(shù)架構(gòu)，整個(gè)平臺(tái)架構(gòu)核心由基礎(chǔ)能力平臺(tái)(資源管理、監(jiān)控預(yù)警、作業(yè)管理、運(yùn)維流程、分析)和統(tǒng)一門戶(支持PC、手機(jī)大數(shù)據(jù)能力平臺(tái)技術(shù)方案3.7.3基礎(chǔ)資源監(jiān)測(cè)大數(shù)據(jù)能力平臺(tái)技術(shù)方案行分析，分析統(tǒng)計(jì)出應(yīng)用處理緩慢的環(huán)節(jié)和執(zhí)行緩慢的SQL語句，通過告警信息通知用戶，用戶可根據(jù)告警信息對(duì)系統(tǒng)進(jìn)行優(yōu)化根據(jù)用戶的需求，部署各環(huán)節(jié)數(shù)據(jù)報(bào)表一致性對(duì)比的監(jiān)控,如發(fā)現(xiàn)數(shù)據(jù)存在大數(shù)據(jù)能力平臺(tái)技術(shù)方案根據(jù)用戶的需求，對(duì)Z務(wù)系統(tǒng)、數(shù)據(jù)中心、城市大腦應(yīng)用之間的數(shù)據(jù)傳輸總大數(shù)據(jù)能力平臺(tái)技術(shù)方案置的告警自動(dòng)清除策略自動(dòng)將已經(jīng)恢復(fù)或處理完畢的告警自動(dòng)清除(即將告警狀態(tài)變更為已關(guān)閉)。告警自動(dòng)清除策略定義：對(duì)于系統(tǒng)中故障已經(jīng)恢復(fù)或處理完大數(shù)據(jù)能力平臺(tái)技術(shù)方案3.執(zhí)行過程的歷史數(shù)據(jù)記錄4.執(zhí)行完成后必須通過確認(rèn)人的確認(rèn)5.執(zhí)行結(jié)果通知定義的相關(guān)人員大數(shù)據(jù)能力平臺(tái)技術(shù)方案建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實(shí)際構(gòu)建全市統(tǒng)一的總體態(tài)勢(shì)感知展示窗口，重點(diǎn)聚焦在“大數(shù)據(jù)應(yīng)用”相關(guān)大數(shù)據(jù)能力平臺(tái)技術(shù)方案工、API的轉(zhuǎn)換、系統(tǒng)中的算法加工，到最終指標(biāo)的呈現(xiàn)，4.各類圖表展示效果應(yīng)靈活、生動(dòng)，既體現(xiàn)莊重又大數(shù)據(jù)能力平臺(tái)技術(shù)方案聯(lián)關(guān)系，并以報(bào)表形式輸出分析結(jié)果，幫用戶分析以圖表、文字、地圖形式，設(shè)計(jì)大屏指標(biāo)，展示J市大數(shù)據(jù)資源在相關(guān)場(chǎng)景大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案4大數(shù)據(jù)資源中心建設(shè)方案清洗、轉(zhuǎn)換、融合、治理后，形成高質(zhì)量的公共數(shù)據(jù)資源，構(gòu)建形成J市標(biāo)準(zhǔn)化基于全市的Z務(wù)數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針的業(yè)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫(kù)和主題庫(kù)，并面及社會(huì)進(jìn)行數(shù)據(jù)開放。此外，我們還將持續(xù)開展、深入J市大數(shù)據(jù)的應(yīng)用探索，數(shù)據(jù)管理機(jī)制。通過數(shù)據(jù)治理，面向Z務(wù)、物聯(lián)、視頻三大類數(shù)據(jù)（含下屬區(qū)縣）各級(jí)Z務(wù)數(shù)據(jù)、物聯(lián)設(shè)備數(shù)據(jù)、視頻數(shù)據(jù)支撐數(shù)字J市建設(shè)上層應(yīng)用算法模型訓(xùn)練需求，支撐上層應(yīng)用系統(tǒng)的數(shù)據(jù)需求，J市大數(shù)據(jù)能力平臺(tái)的建設(shè)采用市級(jí)數(shù)據(jù)湖+基礎(chǔ)庫(kù)+主題庫(kù)的數(shù)據(jù)存儲(chǔ)架構(gòu)，市級(jí)數(shù)據(jù)湖與主題庫(kù)依托于大數(shù)據(jù)支撐子系統(tǒng)建設(shè)。數(shù)據(jù)來源主要來自于J市各級(jí)委辦單位、各鄉(xiāng)鎮(zhèn)街道，數(shù)據(jù)包括市政府及市級(jí)委辦局大數(shù)據(jù)能力平臺(tái)技術(shù)方案4.由數(shù)據(jù)數(shù)據(jù)交換子平臺(tái)將經(jīng)過治理的數(shù)據(jù)寫入至基礎(chǔ)庫(kù)和各類融合業(yè)從上述各原始數(shù)據(jù)源→市大數(shù)據(jù)資源中心→外部應(yīng)用/各委辦的數(shù)據(jù)流向可大數(shù)據(jù)能力平臺(tái)技術(shù)方案2.先進(jìn)性原則：考慮技術(shù)進(jìn)步和今后信3.一致性原則：對(duì)信息進(jìn)行統(tǒng)一，保證系統(tǒng)數(shù)據(jù)的一致性和有效性。4.完整性原則：是指數(shù)據(jù)的正確性和相容性，大數(shù)據(jù)能力平臺(tái)技術(shù)方案法用戶非法使用數(shù)據(jù)庫(kù)造成數(shù)據(jù)泄露、更改或破(1)預(yù)留字段的數(shù)量無法預(yù)測(cè)，預(yù)留N個(gè)還是預(yù)留N+1個(gè)，由于無法大數(shù)據(jù)能力平臺(tái)技術(shù)方案綜合前文對(duì)于數(shù)據(jù)分析、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)庫(kù)的分析與設(shè)計(jì)，本期次建設(shè)的J其中，市級(jí)數(shù)據(jù)湖主要用于存儲(chǔ)來自各Z務(wù)、視頻和社會(huì)數(shù)根據(jù)以上需求，本項(xiàng)目中J市大數(shù)據(jù)能力平臺(tái)的建設(shè)，將采用如下底層存儲(chǔ)可確保信息資源中心各類業(yè)務(wù)數(shù)據(jù)存儲(chǔ)計(jì)算能并返回網(wǎng)絡(luò)上傳送回的結(jié)果。HTTPs協(xié)立一個(gè)信息安全通道，來保證數(shù)據(jù)傳輸?shù)陌踩?；另一種至沒有數(shù)據(jù)損失，并快速恢復(fù)工作，使業(yè)務(wù)停頓時(shí)的可用性，從而保證J市大數(shù)據(jù)能力平臺(tái)大數(shù)據(jù)支撐子系統(tǒng)的穩(wěn)定運(yùn)行，提高其大數(shù)據(jù)能力平臺(tái)技術(shù)方案市級(jí)數(shù)據(jù)湖通過數(shù)據(jù)數(shù)據(jù)交換子平臺(tái)與進(jìn)行Z市級(jí)數(shù)據(jù)湖是所有從外部數(shù)據(jù)源落地到市數(shù)據(jù)管理部門的統(tǒng)一數(shù)據(jù)存儲(chǔ)空間。市級(jí)數(shù)據(jù)湖將基于Z務(wù)云存儲(chǔ)服務(wù)和大數(shù)據(jù)支行搭建，存儲(chǔ)通常包括分布式文件存儲(chǔ)系統(tǒng)、關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、列式存儲(chǔ)數(shù)據(jù)庫(kù)等類型，主要存儲(chǔ)Z務(wù)、視頻和物大數(shù)據(jù)能力平臺(tái)技術(shù)方案SRC近源數(shù)據(jù)層定位在于將原始數(shù)據(jù)源進(jìn)行全量映射保存，是外部各類數(shù)同時(shí)需要進(jìn)行相應(yīng)的設(shè)計(jì)，以此匯聚后下一步處理提供基礎(chǔ)支撐。結(jié)合J市大數(shù)結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范，主要通過關(guān)系非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方大數(shù)據(jù)能力平臺(tái)技術(shù)方案為了構(gòu)建有效的數(shù)據(jù)分層治理，構(gòu)建起逐層遞進(jìn)的數(shù)據(jù)流轉(zhuǎn)模式，數(shù)據(jù)湖構(gòu)建過程中，需要構(gòu)建ODS源數(shù)據(jù)層。ODS源數(shù)據(jù)層的數(shù)據(jù)是對(duì)SRC近源數(shù)據(jù)層數(shù)據(jù)進(jìn)行數(shù)據(jù)全/增量合并以及數(shù)據(jù)清洗和標(biāo)準(zhǔn)化動(dòng)作之后的數(shù)據(jù)存儲(chǔ)層，J市大數(shù)據(jù)能力平臺(tái)的數(shù)據(jù)湖支持大范圍內(nèi)的各種類型各類數(shù)據(jù)的存儲(chǔ)與管大數(shù)據(jù)能力平臺(tái)技術(shù)方案組合查詢和關(guān)聯(lián)查詢。查詢時(shí)候在查詢頁面顯大數(shù)據(jù)能力平臺(tái)技術(shù)方案銷）標(biāo)識(shí)，也可提供公民性別、民族、出生日期以人為主題的信息檢索、應(yīng)用分析需求最廣、所含信息要素也最多?！耙蝗舜髷?shù)據(jù)能力平臺(tái)技術(shù)方案碼0身份證;10港澳大數(shù)據(jù)能力平臺(tái)技術(shù)方案S大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案E模型名稱英文：DWD_EVT_INDIV_DE碼澳居民來往內(nèi)地通行證;11臺(tái)大數(shù)據(jù)能力平臺(tái)技術(shù)方案士;省市區(qū))大數(shù)據(jù)能力平臺(tái)技術(shù)方案居民死亡殯葬證編號(hào)碼大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案E大數(shù)據(jù)能力平臺(tái)技術(shù)方案脈率狀態(tài)1=偏高2=日月年模型名稱英文：DWD_EVT_INDIV_H大數(shù)據(jù)能力平臺(tái)技術(shù)方案碼0入院登記1病區(qū)分床2病區(qū)出院3病人出院4取消進(jìn)入產(chǎn)房7轉(zhuǎn)科狀態(tài)8數(shù)據(jù)轉(zhuǎn)出9DISEASE_TYPEDISEASE_NAME大數(shù)據(jù)能力平臺(tái)技術(shù)方案醫(yī)保中心編號(hào)(外地大數(shù)據(jù)能力平臺(tái)技術(shù)方案模型名稱英文：DWD_EVT_INDIV_HSPT碼0入院登記1病區(qū)分床2病區(qū)出院3病人出院4取消進(jìn)入產(chǎn)房7轉(zhuǎn)科大數(shù)據(jù)能力平臺(tái)技術(shù)方案狀態(tài)8數(shù)據(jù)轉(zhuǎn)出9大數(shù)據(jù)能力平臺(tái)技術(shù)方案MJZBZ大數(shù)據(jù)能力平臺(tái)技術(shù)方案碼MAJORGRADUATE;模型名稱英文：DWD_RES_INDIV_HOU碼大數(shù)據(jù)能力平臺(tái)技術(shù)方案模型名稱英文：DWD_RES_INDIV_碼大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案模型名稱英文：DWD_CRDT_INDIV_DISHONEST_R碼MOBILE大數(shù)據(jù)能力平臺(tái)技術(shù)方案__DATEMODIFIED _MODIFIER模型名稱英文：DWD_REL_INDIV_MARRIAG大數(shù)據(jù)能力平臺(tái)技術(shù)方案碼碼大數(shù)據(jù)能力平臺(tái)技術(shù)方案MOTHER_CCERT_CODEMOTHER_CINDIV_NAME大數(shù)據(jù)能力平臺(tái)技術(shù)方案旅游等有用指標(biāo)，并以專題視圖的形式提供大數(shù)據(jù)能力平臺(tái)技術(shù)方案題、生命周期主題、信用主題、關(guān)系主題、關(guān)鍵人主題6大主題域，數(shù)據(jù)應(yīng)用于大數(shù)據(jù)能力平臺(tái)技術(shù)方案法人性質(zhì)、注冊(cè)資金及所屬板塊等進(jìn)行綜合查詢，大數(shù)據(jù)能力平臺(tái)技術(shù)方案大數(shù)據(jù)能力平臺(tái)技術(shù)方案規(guī)則，實(shí)現(xiàn)多種數(shù)據(jù)類型的關(guān)聯(lián)和合并。法大數(shù)據(jù)能力平臺(tái)技術(shù)方案中央軍委改革和編制大數(shù)據(jù)能力平臺(tái)技術(shù)方案碼數(shù)據(jù)中心法人實(shí)體法定代表人/經(jīng)營(yíng)者住所/經(jīng)營(yíng)場(chǎng)所(中ADDRESS經(jīng)營(yíng)范圍/業(yè)務(wù)范圍法定代表人證件類大數(shù)據(jù)能力平臺(tái)技術(shù)方案舉辦單位/業(yè)務(wù)主管注冊(cè)號(hào)/事業(yè)單位證法人注銷原因(中法人變更登記事項(xiàng)分支機(jī)構(gòu)數(shù)(社會(huì)組代表機(jī)構(gòu)數(shù)(社會(huì)組登記類業(yè)務(wù)最后發(fā)稅務(wù)變更內(nèi)容(中稅務(wù)注銷機(jī)關(guān)(中大數(shù)據(jù)能力平臺(tái)技術(shù)方案實(shí)際經(jīng)營(yíng)地址(中稅務(wù)類業(yè)務(wù)最后發(fā)組織機(jī)構(gòu)代碼賦碼組織機(jī)構(gòu)代碼變更組織機(jī)構(gòu)代碼注銷質(zhì)監(jiān)類業(yè)務(wù)最后發(fā)補(bǔ)充公積金開設(shè)時(shí)間補(bǔ)充公積金注銷時(shí)間補(bǔ)充公積金發(fā)布時(shí)間大數(shù)據(jù)能力平臺(tái)技術(shù)方案工商聯(lián)小微企業(yè)標(biāo)記稱準(zhǔn)予設(shè)立登記通知NOT_NO大數(shù)據(jù)能力平臺(tái)技術(shù)方案?jìng)€(gè)體工商戶業(yè)務(wù)標(biāo)工商聯(lián)絡(luò)員手機(jī)號(hào)碼法定代表人/負(fù)責(zé)人/執(zhí)行事務(wù)合伙人國(guó)模型名稱英文：DWD_EVT_GRP_LO大數(shù)據(jù)能力平臺(tái)技術(shù)方案碼模型名稱英文：DWD_E