政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案

精選文庫(kù) *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案目 錄第一章 需求分析和項(xiàng)目建設(shè)的必要性 .41.1 項(xiàng)目建設(shè)目標(biāo)、內(nèi)容.41.1.1 項(xiàng)目建設(shè)目標(biāo).41.1.2 項(xiàng)目建設(shè)內(nèi)容.41.2 編制依據(jù) .51.3 與政務(wù)職能相關(guān)的社會(huì)問(wèn)題和政務(wù)目標(biāo)分析.61.3.1 社會(huì)問(wèn)題分析.61.3.2 政務(wù)目標(biāo)分析.81.4 業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析 .111.4.1 用戶角色分析.111.4.2 業(yè)務(wù)功能分析.121.4.3 業(yè)務(wù)流程 .141.4.4 業(yè)務(wù)量分析.141.5 信息量分析和預(yù)測(cè) .151.5.1 存儲(chǔ)量分析.151.5.2 處理量分析.191.5.3 網(wǎng)絡(luò)流量分析.201.6 系統(tǒng)功能和性能需求分析 .201.6.1 系統(tǒng)功能指標(biāo).201.6.2 系統(tǒng)性能指標(biāo).221.7 信息系統(tǒng)裝備和應(yīng)用現(xiàn)狀與差距.221.7.1 現(xiàn)狀 .221.7.2 差距 .231.8 項(xiàng)目建設(shè)的必要性 .23第二章 總體建設(shè)方案 . 262.1 建設(shè)原則 .262.1.1 統(tǒng)一性原則.262.1.2 可靠性原則.262.1.3 可伸縮和可擴(kuò)展性原則.262.1.4 開(kāi)放性原則.272.1.5 安全性原則.272.1.6 高效性原則.272.1.7 友好性原則.272.1.8 可管理易維護(hù)性 .28-I- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案2.2 總體目標(biāo)與分期目標(biāo).282.3 總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容 .292.4 總體設(shè)計(jì)方案 .302.4.1 基礎(chǔ)設(shè)施層.322.4.2 信息資源層.332.4.3 應(yīng)用支撐層.342.4.4 應(yīng)用層.342.4.5 服務(wù)層.342.4.6 安全保障體系.342.4.7 標(biāo)準(zhǔn)規(guī)范體系.35第三章 項(xiàng)目建設(shè)方案 . 363.1 標(biāo)準(zhǔn)規(guī)范建設(shè) .363.1.1 管理制度建設(shè).363.1.2 標(biāo)準(zhǔn)規(guī)范建設(shè).403.1.3 數(shù)據(jù)標(biāo)準(zhǔn)建設(shè).433.1.4 標(biāo)準(zhǔn)規(guī)范索引.463.2 信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì).473.2.1 信息資源規(guī)劃.473.2.2 數(shù)據(jù)中心建設(shè).533.3 門(mén)戶系統(tǒng)建設(shè) .693.3.1 信息資源政務(wù)門(mén)戶.693.3.2 信息資源開(kāi)放門(mén)戶.733.4 應(yīng)用系統(tǒng)建設(shè) .743.4.1 數(shù)據(jù)匯聚平臺(tái).743.4.2 數(shù)據(jù)治理平臺(tái).893.4.3 數(shù)據(jù)運(yùn)營(yíng)平臺(tái).1023.4.4 數(shù)據(jù)應(yīng)用平臺(tái).1043.5 四大基礎(chǔ)數(shù)據(jù)庫(kù)管理平臺(tái) .1083.5.1 人口庫(kù).1083.5.2 法人庫(kù). 1113.5.3 經(jīng)濟(jì)庫(kù). 1143.5.4 地理庫(kù). 1153.6 應(yīng)用支撐系統(tǒng)設(shè)計(jì) . 1163.6.1 統(tǒng)一用戶管理. 1163.6.2 統(tǒng)一應(yīng)用管理.1203.6.3 統(tǒng)一服務(wù)管理.1213.6.4 統(tǒng)一消息服務(wù).1233.6.5 統(tǒng)一日志服務(wù).124-II- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案3.7 安全保障體系建設(shè) .1243.7.1 建設(shè)目標(biāo) .1243.7.2 安全體系架構(gòu).1253.7.3 安全防護(hù)體系建設(shè).1253.7.4 安全管理體系建設(shè).1333.8 主要軟硬件選型原則和詳細(xì)軟硬件配置清單.1363.8.1 主要軟硬件選型原則 .1363.8.2 詳細(xì)軟硬件配置清單 .137第四章 效益分析 . 1384.1 經(jīng)濟(jì)效益 .1384.2 社會(huì)效益 .140第五章 項(xiàng)目風(fēng)險(xiǎn)與風(fēng)險(xiǎn)管理 . 1425.1 風(fēng)險(xiǎn)識(shí)別和分析.1425.1.1 組織風(fēng)險(xiǎn) .1425.1.2 管理風(fēng)險(xiǎn) .1425.1.3 業(yè)務(wù)風(fēng)險(xiǎn) .1425.1.4 技術(shù)風(fēng)險(xiǎn) .1425.2 風(fēng)險(xiǎn)對(duì)策和管理.1435.2.1 組織風(fēng)險(xiǎn)防范對(duì)策.1435.2.2 管理風(fēng)險(xiǎn)防范對(duì)策.1435.2.3 業(yè)務(wù)風(fēng)險(xiǎn)防范對(duì)策.1445.2.4 技術(shù)風(fēng)險(xiǎn)防范對(duì)策.144-III- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案第一章 需求分析和項(xiàng)目建設(shè)的必要性1.1 項(xiàng)目建設(shè)目標(biāo)、內(nèi)容1.1.1 項(xiàng)目建設(shè)目標(biāo)電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)項(xiàng)目建設(shè)目標(biāo)是，依托統(tǒng)一的“云”數(shù)據(jù)中心建設(shè)統(tǒng)一的公共數(shù)據(jù)開(kāi)放共享平臺(tái)。集中機(jī)關(guān)各部門(mén)業(yè)務(wù)應(yīng)用進(jìn)行，制定相關(guān)的數(shù)據(jù)規(guī)范和信息交換標(biāo)準(zhǔn)，使機(jī)關(guān)各部門(mén)業(yè)務(wù)系統(tǒng)依托統(tǒng)一的開(kāi)放平臺(tái)進(jìn)行開(kāi)發(fā)建設(shè)。確保部門(mén)之間系統(tǒng)之間的互聯(lián)互通、數(shù)據(jù)共享，為大數(shù)據(jù)分析提供數(shù)據(jù)依據(jù)。1.1.2 項(xiàng)目建設(shè)內(nèi)容電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)項(xiàng)目建設(shè)內(nèi)容包含：一套標(biāo)準(zhǔn)規(guī)范、兩個(gè)數(shù)據(jù)門(mén)戶、四大應(yīng)用平臺(tái)、四大基礎(chǔ)數(shù)據(jù)庫(kù)和一個(gè)應(yīng)用支撐平臺(tái)。具體建設(shè)內(nèi)容包括：1、一個(gè)應(yīng)用支撐平臺(tái)為了對(duì)需要調(diào)用電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)信息資源的政府部門(mén)應(yīng)用系統(tǒng)進(jìn)行有效管理，面向各類(lèi)電子政務(wù)應(yīng)用，規(guī)劃建設(shè)統(tǒng)一的應(yīng)用支撐平臺(tái)，統(tǒng)一標(biāo)準(zhǔn)規(guī)范，通過(guò)用戶管理、應(yīng)用管理、服務(wù)管理等核心組件，可以對(duì)接入系統(tǒng)有效管理、實(shí)現(xiàn)統(tǒng)一認(rèn)證及單點(diǎn)登錄、統(tǒng)一消息服務(wù)。-4- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案2、兩個(gè)數(shù)據(jù)門(mén)戶針對(duì)政府部門(mén)用戶建設(shè)信息資源政務(wù)門(mén)戶，針對(duì)企業(yè)、公眾用戶建設(shè)信息資源開(kāi)放門(mén)戶。3、四大應(yīng)用系統(tǒng)建設(shè)承載電子政務(wù)公共數(shù)據(jù)匯聚平臺(tái)、數(shù)據(jù)治理平臺(tái)、數(shù)據(jù)運(yùn)營(yíng)平臺(tái)和數(shù)據(jù)應(yīng)用平臺(tái)。4、四大基礎(chǔ)數(shù)據(jù)庫(kù)通過(guò)電子政務(wù)信息資源梳理，制定四大基礎(chǔ)數(shù)據(jù)庫(kù)的建庫(kù)、入庫(kù)和管理規(guī)則，建立四大基礎(chǔ)數(shù)據(jù)庫(kù)管理平臺(tái)，提供基礎(chǔ)庫(kù)內(nèi)容管理、數(shù)據(jù)處理、共享和應(yīng)用功能。四大基礎(chǔ)數(shù)據(jù)庫(kù)包括人口庫(kù)、法人庫(kù)、經(jīng)濟(jì)庫(kù)和地理庫(kù)。5、一套標(biāo)準(zhǔn)規(guī)范形成標(biāo)準(zhǔn)規(guī)范體系，包括管理制度、標(biāo)準(zhǔn)規(guī)范、數(shù)據(jù)標(biāo)準(zhǔn)等。1.2 編制依據(jù)1、中辦、國(guó)辦2006-2020年國(guó)家信息化發(fā)展戰(zhàn)略；2、國(guó)辦關(guān)于促進(jìn)電子政務(wù)協(xié)調(diào)發(fā)展的指導(dǎo)意見(jiàn)；3、國(guó)務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要；4、國(guó)家電子政務(wù)總體框架；5、國(guó)家電子政務(wù)“十二五”規(guī)劃(工信部規(guī)2011567號(hào))；6、關(guān)于印發(fā)“十二五”國(guó)家政務(wù)信息化工程建設(shè)規(guī)劃的通知(發(fā)改高技20121202號(hào))；-5- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案7、GB/T 21063-2007 政務(wù)信息資源目錄體系8、GB/T 21062-2007 政務(wù)信息資源交換體系9、國(guó)家電子政務(wù)工程建設(shè)項(xiàng)目管理暫行辦法10、政府信息公開(kāi)條例1.3 社會(huì)問(wèn)題和政務(wù)目標(biāo)分析1.3.1 社會(huì)問(wèn)題分析作為世界人口大國(guó)，理論上我國(guó)數(shù)據(jù)資源儲(chǔ)量極為豐富，但大部分政府?dāng)?shù)據(jù)（例如：交通、社保、稅收等），屬于結(jié)構(gòu)化數(shù)據(jù)，距離海量(volume)、速度(velocity)和多樣性(variety)的 3V屬性還有一定距離，但從戰(zhàn)略角度而言差距并不大。從數(shù)據(jù)規(guī)模來(lái)說(shuō)，政府擁有國(guó)內(nèi)最為龐大的數(shù)據(jù)儲(chǔ)量。政府?dāng)?shù)據(jù)廣泛存儲(chǔ)于各地、各級(jí)政府機(jī)關(guān)院所等不同單位、不同部門(mén)、不同系統(tǒng)甚至不同網(wǎng)絡(luò)環(huán)境中，海量超脫于地理空間的政府?dāng)?shù)據(jù)亟待存儲(chǔ)與處理。從數(shù)據(jù)來(lái)源來(lái)說(shuō)，由于各行業(yè)、各地采用的法律法規(guī)和標(biāo)準(zhǔn)并不統(tǒng)一。傳統(tǒng)的電子政務(wù)信息系統(tǒng)，僅為滿足特定功能而生，數(shù)據(jù)結(jié)構(gòu)差異性大，大量數(shù)據(jù)存放于歷史遺留應(yīng)用中，委辦局間碎片化、零散化、低效率的數(shù)據(jù)交互和分析普遍存在，導(dǎo)致政府?dāng)?shù)據(jù)來(lái)源極為復(fù)雜。從數(shù)據(jù)質(zhì)量和價(jià)值來(lái)說(shuō)，企業(yè)的數(shù)據(jù)種類(lèi)單一化程度較高，而政府?dāng)?shù)據(jù)涉及工商、稅務(wù)、交通、醫(yī)療、教育等領(lǐng)域，數(shù)據(jù)種類(lèi)繁-6- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案多，事關(guān)百姓生活的方方面面，數(shù)據(jù)質(zhì)量較高，數(shù)據(jù)的潛在價(jià)值十分可觀。如上所述，政府?dāng)?shù)據(jù)的特點(diǎn)可以概括為：數(shù)據(jù)規(guī)模大、數(shù)據(jù)來(lái)源和結(jié)構(gòu)復(fù)雜、數(shù)據(jù)價(jià)值高但利用率低。政府收集了大量有價(jià)值的數(shù)據(jù)，通過(guò)這些數(shù)據(jù)，可以更好地了解國(guó)家資源使用情況，政府開(kāi)支情況，土地交易和管理情況，這些將不僅強(qiáng)化政府責(zé)任，提升治理能力，還能提高資金支出效率，為人民提供更多更好的服務(wù)選擇。1、政府?dāng)?shù)據(jù)體量越來(lái)越大截至 2014 年，中國(guó)共有 664 個(gè)城市，2852 個(gè)行政縣，40446個(gè)行政鄉(xiāng)。當(dāng)前，中國(guó)中央和省級(jí)政務(wù)部門(mén)主要業(yè)務(wù)電子政務(wù)覆蓋率已經(jīng)達(dá)到 70%。據(jù)粗略估算，全國(guó)政府大數(shù)據(jù)加起來(lái)相當(dāng)于數(shù)百個(gè)阿里巴巴的體量。而隨著硬件技術(shù)的進(jìn)步，對(duì)于數(shù)據(jù)采集精度、采集頻率、數(shù)據(jù)存儲(chǔ)等能力在增強(qiáng)，使得數(shù)據(jù)規(guī)模仍有提升空間，近幾年數(shù)據(jù)中心的新建和擴(kuò)容呈現(xiàn)井噴式的發(fā)展，這是以硬件基礎(chǔ)設(shè)施帶動(dòng)的變革，促使軟件技術(shù)也得到了快速發(fā)展。隨著數(shù)據(jù)體量的增長(zhǎng)，大數(shù)據(jù)處理、大數(shù)據(jù)應(yīng)用分析的門(mén)檻將會(huì)逐漸提高。2、多部門(mén)協(xié)作成為常態(tài)化復(fù)雜的城市治理問(wèn)題，對(duì)跨部門(mén)的協(xié)作提出了更高的要求，過(guò)去個(gè)別部門(mén)間存在的職責(zé)交叉分散、協(xié)調(diào)運(yùn)行不暢等問(wèn)題。隨著“大部制”完善，建立健全了部門(mén)間協(xié)同運(yùn)行機(jī)制，逐步實(shí)現(xiàn)“多個(gè)部-7- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案門(mén)、一個(gè)政府”目標(biāo)。隨著部門(mén)與部門(mén)的邊界越來(lái)越模糊，政府?dāng)?shù)據(jù)跨部門(mén)共享共用已不再是亮點(diǎn)和創(chuàng)新，建立常態(tài)化共享機(jī)制成為政府大數(shù)據(jù)建設(shè)的入門(mén)。3、國(guó)家治理不能僅僅依靠政府由于時(shí)間和技術(shù)的局限性，以往國(guó)家治理基本是政府下達(dá)指令、向下逐層執(zhí)行的“開(kāi)環(huán)過(guò)程”。如今隨著互聯(lián)網(wǎng)發(fā)展，人民對(duì)于政府的期望越來(lái)越高，國(guó)家不僅要在政策出臺(tái)前廣泛征求、準(zhǔn)確把握民意；出臺(tái)后還需要獲得執(zhí)行反饋，并適時(shí)調(diào)整，政府治理變?yōu)橄逻_(dá)指令執(zhí)行反饋的“閉環(huán)過(guò)程”，需要借助社會(huì)各方面力量參與到國(guó)家治理過(guò)程之中。無(wú)論是社會(huì)自治還是合作共建，政府?dāng)?shù)據(jù)共享開(kāi)放都是大前提。4、社會(huì)普遍開(kāi)始重視數(shù)據(jù)安全和隱私數(shù)據(jù)如同一把雙刃劍，在帶來(lái)便利的同時(shí)也帶來(lái)了很多安全隱患，隨著全球各地用戶信息安全事件頻出，讓人們開(kāi)始感受到“數(shù)據(jù)”與生活接觸如此緊密，數(shù)據(jù)泄露可以對(duì)個(gè)人的生活質(zhì)量造成極大的威脅。數(shù)據(jù)安全和隱私保護(hù)不僅是公民個(gè)人的責(zé)任，對(duì)采集數(shù)據(jù)和共享數(shù)據(jù)的政府單位，也有義務(wù)保障數(shù)據(jù)的安全和隱私，此過(guò)程中，政策、技術(shù)、意識(shí)缺一不可。需嚴(yán)格依照相關(guān)規(guī)范文件，將安全運(yùn)營(yíng)意識(shí)滲透到政府?dāng)?shù)據(jù)開(kāi)放中。1.3.2 政務(wù)目標(biāo)分析1、實(shí)現(xiàn)政務(wù)公開(kāi)，打造透明政府-8- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案電子政務(wù)公共數(shù)據(jù)開(kāi)放共享促進(jìn)政府和公眾互動(dòng)，讓政務(wù)透明，幫助政府進(jìn)行社會(huì)管理和解決社會(huì)難題，大數(shù)據(jù)時(shí)代下，政府是整合開(kāi)放的平臺(tái)，是一個(gè)大數(shù)據(jù)共享平臺(tái)， 它建立了公眾與政府間的溝通渠道，越來(lái)越多的國(guó)家和組織利用其開(kāi)展民意調(diào)查，通過(guò)在線交互讓民眾成為政務(wù)流程的節(jié)點(diǎn)，透明政務(wù)，讓公眾參與到政策制定與執(zhí) 行、效果評(píng)估和監(jiān)督之中，使民眾參政議政成為可能。大數(shù)據(jù)推進(jìn)政府信息資源進(jìn)一步開(kāi)放，政府信息開(kāi)發(fā)利用效率倍增，促進(jìn)經(jīng)濟(jì)社會(huì)快速發(fā)展。2、實(shí)現(xiàn)數(shù)據(jù)融合，打造智慧政府電子政務(wù)公共數(shù)據(jù)開(kāi)放共享真正跨越了政府內(nèi)部協(xié)同的鴻溝，大大提高工作效率，降低政府運(yùn)行成本。其一，政府內(nèi)部協(xié)同除思想理念上的障礙外，技術(shù)上也存在一定障礙，隨著大數(shù)據(jù)技術(shù)發(fā)展，跨越系統(tǒng)、跨越平臺(tái)、跨越數(shù)據(jù)結(jié)構(gòu)的政府將在技術(shù)上使政府內(nèi)部縱向、橫向部門(mén)得以流暢協(xié)同。其二，由于利用大數(shù)據(jù)技術(shù)，數(shù)據(jù)獲取、處理及分析響應(yīng)時(shí)間大幅減少，工作效率明顯提高，同時(shí)降低了政府開(kāi)支。例如，政府利用大數(shù)據(jù)對(duì)社會(huì)人群進(jìn)行細(xì)分，對(duì)不同人群進(jìn)行針對(duì)性服務(wù)和政策施行。3、實(shí)現(xiàn)科學(xué)決策，打造責(zé)任政府電子政務(wù)公共數(shù)據(jù)開(kāi)放共享提高政府決策的科學(xué)性和精準(zhǔn)性，提高政府預(yù)測(cè)預(yù)警能力以及應(yīng)急響應(yīng)能力，越來(lái)越多的政府?dāng)P棄經(jīng)驗(yàn)和直覺(jué)，依賴(lài)電子政務(wù)的數(shù)據(jù)和分析進(jìn)行決策。現(xiàn)在大數(shù)據(jù)又超越了傳統(tǒng)的數(shù)據(jù)分析方法，不但是對(duì)大數(shù)據(jù)分析挖掘，對(duì)言論、圖-9- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案表等都可以進(jìn)行深度挖掘、人工智能。大數(shù)據(jù)的深入及廣泛應(yīng)用會(huì)給政府帶來(lái)科學(xué)和精準(zhǔn)的決策支持。4、為*電子政務(wù)提供一個(gè)安全可靠的信息資源存儲(chǔ)中心對(duì)各部門(mén)的共享交換的數(shù)據(jù)資源進(jìn)行統(tǒng)一的規(guī)劃管理和應(yīng)用，建設(shè)集約化的數(shù)據(jù)資源存儲(chǔ)中心，從而避免了各部門(mén)重復(fù)建設(shè)工作；同時(shí)提高數(shù)據(jù)安全方面的建設(shè)，從硬件設(shè)備、網(wǎng)絡(luò)、信息資源、應(yīng)用系統(tǒng)、管理平臺(tái)、數(shù)據(jù)庫(kù)等方面的全面保證數(shù)據(jù)的安全性，并根據(jù)用戶的不同訪問(wèn)需求、防止惡意入侵、病毒防護(hù)、分區(qū)域的安全設(shè)計(jì)，并在應(yīng)用服務(wù)上提供安全檢測(cè)服務(wù)。5、為*電子政務(wù)提供一個(gè)高效的應(yīng)用服務(wù)平臺(tái)*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的建設(shè)，為政府應(yīng)用系統(tǒng)和信息資源的高效管理和服務(wù)提供手段，通過(guò)對(duì)相關(guān)的基礎(chǔ)信息、業(yè)務(wù)信息、服務(wù)信息進(jìn)行管理，實(shí)現(xiàn)*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的信息管理和服務(wù)功能。城市級(jí)交換共享平臺(tái)則對(duì)各部門(mén)的信息資源提供交換共享支撐，以提高信息資源的綜合利用水平。通過(guò)整合各部門(mén)數(shù)據(jù)信息，建設(shè)基礎(chǔ)信息庫(kù)，并提供對(duì)外服務(wù)，實(shí)現(xiàn)*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的服務(wù)功能。6、為*電子政務(wù)提供一個(gè)長(zhǎng)效和可維護(hù)的信息服務(wù)體系*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的建設(shè)要對(duì)*電子政務(wù)體系提供長(zhǎng)久的服務(wù)，因此在管理和運(yùn)維上必需配備相應(yīng)的支撐。這一方面取決于管理制度的完善、管理手段的完備和對(duì)管理本身的技術(shù)支撐，另一方面，也取決于人員的配備和運(yùn)維體系的建立。-10- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案1.4 業(yè)務(wù)功能、業(yè)務(wù)流程和業(yè)務(wù)量分析1.4.1 用戶角色分析*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)的用戶分為：領(lǐng)導(dǎo)、各部門(mén)、企業(yè)單位及社會(huì)公眾。1.4.1.1 政府領(lǐng)導(dǎo)*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)有價(jià)值的數(shù)據(jù)、行政地圖、決策方法和應(yīng)急進(jìn)行融合，采用大數(shù)據(jù)分析技術(shù)，有利于各級(jí)領(lǐng)導(dǎo)、管理決策人員方便、直觀、形象地進(jìn)行各種分析，從而使統(tǒng)計(jì)決策的科學(xué)化、人性化、智能化管理走上一個(gè)新臺(tái)階。1.4.1.2 政府部門(mén)可以向*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供數(shù)據(jù)或使用平臺(tái)提供的數(shù)據(jù)；業(yè)務(wù)部門(mén)之間可以通過(guò)系統(tǒng)平臺(tái)交換共享數(shù)據(jù)；遵循標(biāo)準(zhǔn)規(guī)范進(jìn)行業(yè)務(wù)系統(tǒng)的建造和改進(jìn)，可實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)和數(shù)據(jù)開(kāi)放共享平臺(tái)的對(duì)接。1.4.1.3 社會(huì)公眾可以依托*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供的應(yīng)用服務(wù)對(duì)公眾需求做出快速反應(yīng)，公眾可以更直接廣泛的獲得政府提供的服務(wù)，如證照協(xié)同、社保電子傳遞等。1.4.1.4 企業(yè)單位通過(guò)*電子政務(wù)公共數(shù)據(jù)開(kāi)放共享平臺(tái)提供的應(yīng)用服務(wù)可以方-11- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案便企業(yè)進(jìn)行業(yè)務(wù)級(jí)信息查詢(xún)，并可通過(guò)業(yè)務(wù)協(xié)同對(duì)企業(yè)提供事項(xiàng)審批、信息推送服務(wù)。1.4.2 業(yè)務(wù)功能分析1.4.2.1 數(shù)據(jù)共享在政府部門(mén)內(nèi)部強(qiáng)調(diào)的是共享共用。先把政府部門(mén)內(nèi)部及部門(mén)之間數(shù)據(jù)共享的工作做起來(lái)。各級(jí)政府都以數(shù)據(jù)應(yīng)用為導(dǎo)向，需要什么數(shù)據(jù)就共享什么數(shù)據(jù)。部門(mén)間的信息共享，綜合考慮管理難度和技術(shù)難度建議分為三個(gè)階段：“條線內(nèi)部門(mén)共享”、“平級(jí)跨部門(mén)共享”、“跨層級(jí)和跨區(qū)域的共享”，通過(guò)統(tǒng)一規(guī)劃，逐步推進(jìn)的策略，打造部門(mén)間信息資源共享共用的新格局。1.4.2.2 數(shù)據(jù)開(kāi)放對(duì)社會(huì)的數(shù)據(jù)開(kāi)放，先從方便百姓生活又不是很敏感的數(shù)據(jù)開(kāi)始。特別是涉及公共安全、公共利益的數(shù)據(jù)，提供公共服務(wù)的機(jī)構(gòu)或企業(yè)有義務(wù)在一定前提條件下開(kāi)放，這樣一些可以預(yù)警、預(yù)防的群體性事件就能夠避免。按照社會(huì)關(guān)注程度、數(shù)據(jù)量大小和具體實(shí)施難度，數(shù)據(jù)開(kāi)放建議分為三個(gè)階段：“業(yè)務(wù)統(tǒng)計(jì)數(shù)據(jù)”、“少量高頻數(shù)據(jù)”、“重點(diǎn)業(yè)務(wù)數(shù)據(jù)”。通過(guò)以安全為前提，重點(diǎn)關(guān)注優(yōu)先試點(diǎn)，逐步擴(kuò)大范圍為原則，穩(wěn)步推行數(shù)據(jù)服務(wù)開(kāi)放。-12- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案1.4.2.3 數(shù)據(jù)融合政務(wù)大數(shù)據(jù)歸根結(jié)底，還是要面向行業(yè)應(yīng)用的，需要基于不同的業(yè)務(wù)部門(mén)開(kāi)展，并和現(xiàn)有平臺(tái)建立聯(lián)系。融合應(yīng)用可以分為“數(shù)據(jù)融合”、“業(yè)務(wù)融合”、“產(chǎn)業(yè)融合”三個(gè)層次：其中，數(shù)據(jù)融合是把本單位數(shù)據(jù)、從其他單位共享的數(shù)據(jù)，以及互聯(lián)網(wǎng)等社會(huì)相關(guān)的數(shù)據(jù)，相互融合，相互比對(duì)，建立融合數(shù)據(jù)資源中心，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)和口徑。業(yè)務(wù)融合主要圍繞各行業(yè)的特定業(yè)務(wù)場(chǎng)景，比如交通出行、醫(yī)療保障、民生服務(wù)等領(lǐng)域，建設(shè)智慧應(yīng)用，形成行業(yè)業(yè)務(wù)的決策分析體系，支撐城市運(yùn)行和城市治理的方方面面。產(chǎn)業(yè)融合，隨著一大批大數(shù)據(jù)處理、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)營(yíng)企業(yè)的興起，政府?dāng)?shù)據(jù)將不單單是自建自用，通過(guò)建設(shè)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)，數(shù)據(jù)交易平臺(tái)等形式，引入社會(huì)資本共同參與城市建設(shè)和社會(huì)治理，實(shí)現(xiàn)向集約型、服務(wù)型、智慧型政府的轉(zhuǎn)變。-13- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案1.4.3 業(yè)務(wù)流程開(kāi) 始從 緩 沖 區(qū) 增 量 數(shù) 據(jù) 表 中 獲 取 人 口 增量 數(shù) 據(jù)根 據(jù) 證 件 類(lèi) 型 判 斷 證 件 號(hào) 是否 符 合 規(guī) 范否通 過(guò) 證 件 號(hào) 判 斷 該 人 是 否 存在 于 人 口 主 表 中將 該 條 增 量 數(shù) 據(jù) 插 入 異 常 表 中否是將 人 口 庫(kù) 【 人 口 增 量 數(shù) 據(jù) 表 】中 該 人 口 記 錄 刪 除通 過(guò) 【 部 門(mén) 業(yè) 務(wù) 系 統(tǒng) 提 供 字 段 配 置表 】 得 到 該 業(yè) 務(wù) 系 統(tǒng) 需 采 集 的 字 段且 循 環(huán) 這 些 字 段判 斷 人 口 庫(kù) 該 字 段 值 的 來(lái) 源是 否 是 該 業(yè) 務(wù) 系 統(tǒng)將 該 人 口 記 錄 插 入 到 【 人 口 基礎(chǔ) 信 息 表 】 及 【 專(zhuān) 題 表 】是是否根 據(jù) 證 件 號(hào) 碼 和 類(lèi) 型 更 新【 人 口 基 礎(chǔ) 信 息 表 】 及 【 專(zhuān)題 表 】 的 字 段否判 斷 新 采 集 的 字 段 值 是 否 為空否將 該 人 口 記 錄 字 段 來(lái) 源 插 入 到【 字 段 來(lái) 源 表 】判 斷 人 口 庫(kù) 庫(kù) 該 字 段 值 是 否為 空否否判 斷 該 業(yè) 務(wù) 系 統(tǒng) 的 數(shù) 據(jù)是是 否 是 業(yè) 務(wù) 上 的 新 增 ?否是根 據(jù) 證 件 號(hào) 碼 和 類(lèi) 型 更 新 【 人 口 基礎(chǔ) 信 息 表 】 及 【 專(zhuān) 題 表 】 的 字 段 值是判 斷 該 業(yè) 務(wù) 系 統(tǒng) 是 否 為該 字 段 的 權(quán) 威 來(lái) 源更 新 【 字 段 來(lái) 源 表 】 中 該 字 段的 來(lái) 源循 環(huán) 人 口 庫(kù) 需 采 集 該 業(yè) 務(wù) 系統(tǒng) 的 字 段 是 否 結(jié) 束將 人 口 庫(kù) 【 人 口 增 量 數(shù) 據(jù) 表 】 中 該人 口 記 錄 刪 除結(jié) 束1.4.4 業(yè)務(wù)量分析業(yè)務(wù)量分析可以從平臺(tái)交互量、每天總用戶數(shù)（個(gè)）、每天每個(gè)用戶平均執(zhí)行操作數(shù)、高峰時(shí)段交互量占全天交互量的百分比、高峰時(shí)段持續(xù)時(shí)間（小時(shí)）、高峰時(shí)段在線用戶數(shù)（個(gè)）等方面指標(biāo)進(jìn)行綜合估算。*互聯(lián)網(wǎng)大數(shù)據(jù)分析平臺(tái)的業(yè)務(wù)量估算如下表所示：表 3-1 業(yè)務(wù)量估算序號(hào)數(shù)據(jù)名稱(chēng)平臺(tái)交互量數(shù)據(jù)量200（日均）100123每天總用戶數(shù)（個(gè)）每天每個(gè)用戶平均執(zhí)行操作數(shù)高峰時(shí)段交互量占全天交互量的百分比1000460%-14- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案序號(hào)數(shù)據(jù)名稱(chēng)數(shù)據(jù)量4（9：00-11：00，15：00-17：00）60（日均）56高峰時(shí)段持續(xù)時(shí)間（小時(shí)）高峰時(shí)段在線用戶數(shù)（個(gè)）1.5 信息量分析和預(yù)測(cè)1.5.1 存儲(chǔ)量分析本項(xiàng)目中存儲(chǔ)的數(shù)據(jù)主要包括兩大部分：系統(tǒng)網(wǎng)站群的在線行為數(shù)據(jù)和國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道、信息源以及政府網(wǎng)站群的在線內(nèi)容數(shù)據(jù)。在線用戶行為數(shù)據(jù)以符合 W3C格式標(biāo)準(zhǔn)的日志形式進(jìn)行存儲(chǔ)。網(wǎng)站內(nèi)容更新數(shù)據(jù)直接存到關(guān)系型數(shù)據(jù)庫(kù)或其他非關(guān)系型數(shù)據(jù)庫(kù)中。1、在線行為數(shù)據(jù)存儲(chǔ)量網(wǎng)站群的在線行為數(shù)據(jù)存儲(chǔ)主要分為三部分：（1）接收數(shù)據(jù)，是系統(tǒng)儲(chǔ)存的原始數(shù)據(jù)。（2）結(jié)構(gòu)化數(shù)據(jù)，將原始數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和去重后進(jìn)行結(jié)構(gòu)化后存儲(chǔ)。（3）分析數(shù)據(jù)庫(kù)，將結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行分析預(yù)計(jì)算后存儲(chǔ)。按照本項(xiàng)目需要涵蓋*系統(tǒng)網(wǎng)站群的 500個(gè)網(wǎng)站，每個(gè)網(wǎng)站的日平均訪問(wèn)按照 10000個(gè) PV計(jì)算，預(yù)計(jì)每日需要處理的總的 PV數(shù)為 500萬(wàn)。n 接收數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論其中接收數(shù)據(jù)庫(kù)的主要條目占用空間，如下表所示：?jiǎn)蝹€(gè) PV所要儲(chǔ)存的信息空間大小（字節(jié)）訪問(wèn)路徑信息1600-15- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案來(lái)源路徑信息1120其他信息（會(huì)話標(biāo)識(shí)、Cookie標(biāo)識(shí)、時(shí)間信息等）256匯總2976單個(gè) Session所要儲(chǔ)存的信息(1個(gè) Session大約產(chǎn)生 4PV）訪問(wèn)路徑信息5121120128來(lái)源路徑信息客戶端信息（IP、瀏覽器等）其他信息（會(huì)話標(biāo)識(shí)、Cookie標(biāo)識(shí)、時(shí)間信息等）256匯總2016單個(gè) Cookie所要儲(chǔ)存的信息(1個(gè) Cookie大約產(chǎn)生1.25Session)訪問(wèn)路徑信息512256768其他信息（Cookie標(biāo)識(shí)、時(shí)間信息等）匯總例如：按照其他同類(lèi)項(xiàng)目的數(shù)據(jù)估算，PV和 Session數(shù)量比為 4：1，Session和 Cookie的數(shù)量比為 1.25：1。則 500萬(wàn)的 PV會(huì)產(chǎn)生 125萬(wàn) 的 Session 以 及 產(chǎn) 生 100 萬(wàn) 的 Cookie， 總 占 據(jù) 空 間 為5000000*2976+1250000*2016+1000000*768=18G，包括索引以及其他表占用的空間之后，約為 20G。原始日志存儲(chǔ)到 SQL Server中會(huì)采用壓縮技術(shù)，大小將降為 5G。結(jié)論：對(duì)于接收數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500 萬(wàn)PV 至少需要 25G 的儲(chǔ)存空間。n 結(jié)構(gòu)化數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論*系統(tǒng)政府網(wǎng)站群監(jiān)測(cè)分析調(diào)度系統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)庫(kù)和原始數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)一致，但是經(jīng)過(guò)對(duì)原始數(shù)據(jù)庫(kù)的數(shù)據(jù)去冗余以及結(jié)構(gòu)化，用外鍵壓縮了原來(lái)直接存儲(chǔ)在各表里的信息，大小會(huì)變?yōu)樵紨?shù)據(jù)的一半，也就是 2.5G。-16- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案結(jié)論：對(duì)于結(jié)構(gòu)化數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500萬(wàn) PV至少需要 2.5GB的儲(chǔ)存空間。n 分析數(shù)據(jù)的測(cè)算依據(jù)及結(jié)論*系統(tǒng)政府網(wǎng)站群監(jiān)測(cè)分析調(diào)度系統(tǒng)的分析數(shù)據(jù)庫(kù)內(nèi)容基本是結(jié)構(gòu)化數(shù)據(jù)庫(kù)的拷貝，大小與結(jié)構(gòu)化數(shù)據(jù)庫(kù)基本一致，也為 2.5G。結(jié)論：對(duì)于“決策支持系統(tǒng)”的分析數(shù)據(jù)庫(kù)，采用了壓縮和優(yōu)化技術(shù)后，每 500萬(wàn) PV至少需要 2.5GB的儲(chǔ)存空間。綜上所述，在不做任何備份的情況下，每 500萬(wàn)的 PV，需要文件存儲(chǔ)空間為：25GB + 2.5GB + 2.5GB=30G。到 2015年底的存儲(chǔ)量為 10.5T，到 2019年底的存儲(chǔ)量為 52.5T，具體測(cè)算如下表所示：接收日志明細(xì)匯總數(shù)據(jù)合計(jì)875G單月數(shù)據(jù)量(G)保留周期(月)25*30=750 2.5*30=62.5 2.5*30=62.560606060一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)90004500075075010.5T52.5T375037502、在線內(nèi)容數(shù)據(jù)存儲(chǔ)量n 國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源按照本項(xiàng)目需要面向國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源進(jìn)行在線內(nèi)容采集爬取，按照覆蓋包括主流媒體在內(nèi)的 200個(gè)信息源，每個(gè)信息源爬取 3級(jí)計(jì)算，平均每天可以爬取更新的總的頁(yè)面數(shù)約為 30萬(wàn) 個(gè) ， 每 個(gè) 頁(yè) 面 按 照 100KB 計(jì) 算 ， 共 需 要 占 用 的 空 間 為30W*1000KB=30G。-17- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案到 2015年底的存儲(chǔ)量為 10.8T，到 2019年底的存儲(chǔ)量為 54T，具體測(cè)算如下表所示：國(guó)內(nèi)外互聯(lián)網(wǎng)重點(diǎn)渠道和信息源單月數(shù)據(jù)量(G)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)30萬(wàn)*30=900G10.8T54Tn *級(jí)以上政府網(wǎng)站群*級(jí)以上政府網(wǎng)站群網(wǎng)站內(nèi)容更新數(shù)據(jù)主要包括以下三部分：網(wǎng)站更新頁(yè)面、網(wǎng)站更新的入口，網(wǎng)站更新的白名單。按照本項(xiàng)目需要涵蓋*系統(tǒng)網(wǎng)站群及*各級(jí)政府網(wǎng)站群的6500個(gè)網(wǎng)站，平均每個(gè)網(wǎng)站每天更新 10個(gè)頁(yè)面，就是 6.5萬(wàn)個(gè)。如果每天爬取 10次，就是 106500=6.5 萬(wàn)個(gè)入口，每個(gè)網(wǎng)站算 10個(gè)白名單，那就是 10650010=65 萬(wàn)個(gè)白名單。總共是 6.5萬(wàn)+6.5萬(wàn)+65萬(wàn)=78萬(wàn)，共需要占用的空間為 78萬(wàn)頁(yè)*100KB/頁(yè)=78G。到 2015 年底的存儲(chǔ)量為 28.08T，到 2019 年底的存儲(chǔ)量為140.4T，具體測(cè)算如下表所示：更新頁(yè)面數(shù)據(jù)6.5*30=1952.34T網(wǎng)站入口數(shù)據(jù) 白名單數(shù)據(jù)合計(jì)單月數(shù)據(jù)量(G)一年內(nèi)需要存儲(chǔ)五年內(nèi)需要存儲(chǔ)6.5*30=195 65*30=1950 2340G2.34T11.7T23.4T117T28.08T140.4T11.7T綜上所述，系統(tǒng)的數(shù)據(jù)存儲(chǔ)總量如下表所示：表 3-2 數(shù)據(jù)量估算表序號(hào)數(shù)據(jù)名稱(chēng)初始量10.5T5年內(nèi)的增量12在線行為數(shù)據(jù)52.5T54T互聯(lián)網(wǎng)重點(diǎn)渠道和信息源*團(tuán)以上政府網(wǎng)站群10.8T328.08T49.38T140.4T246.9T合計(jì)-18- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案1.5.2 處理量分析（1）網(wǎng)站群用戶訪問(wèn)行為數(shù)據(jù)處理量分析以每天 725萬(wàn)個(gè)客戶端訪問(wèn)（包括 500萬(wàn) PV、100萬(wàn) Session、125萬(wàn) Cookie）并發(fā)計(jì)算，結(jié)合在線行為數(shù)據(jù)的接收主要集中在工作時(shí)間，7250000/8小時(shí)/60分鐘/60秒=251個(gè)/秒，日志接收服務(wù)器接受每秒鐘接收日志請(qǐng)求 251個(gè)，遠(yuǎn)遠(yuǎn)低于系統(tǒng)的每秒接收到的正常數(shù)（該值通常為 7000-9000）。根據(jù)日志接收每秒鐘的并發(fā)量為 251，因此系統(tǒng)的數(shù)據(jù)接收只需要再用兩臺(tái)服務(wù)器做負(fù)載均衡即可。但是為了防止數(shù)據(jù)接收網(wǎng)站的域名出現(xiàn)單點(diǎn)故障，因此系統(tǒng)的數(shù)據(jù)接收采用雙域名備份，即每個(gè)域名對(duì)應(yīng)兩臺(tái)數(shù)據(jù)接收服務(wù)器，一共四臺(tái)。根據(jù)系統(tǒng)需要滿足*政府網(wǎng)站智能分析系統(tǒng)診斷的需要，目前系統(tǒng)的單臺(tái)服務(wù)器的數(shù)據(jù)處理能力為 400家左右，因此需要 4臺(tái)數(shù)據(jù)庫(kù)服務(wù)器，另外需要兩臺(tái)相同配置的數(shù)據(jù)庫(kù)服務(wù)器作為備份。（2）其他在線內(nèi)容數(shù)據(jù)處理量分析一是系統(tǒng)需要支持對(duì)不少于 108萬(wàn)個(gè)數(shù)據(jù)采集點(diǎn)每天至少一次輪詢(xún)抓取，同時(shí)對(duì)抓取回的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理和清洗入庫(kù)工作，二是需要實(shí)現(xiàn)對(duì)存量數(shù)據(jù)和增量數(shù)據(jù)的指標(biāo)自動(dòng)抽取和更新工作，三是需要支持前臺(tái)交互系統(tǒng)的交互分析挖掘需求。結(jié)合以上幾部分需求，預(yù)計(jì)所需的內(nèi)容數(shù)據(jù)處理服務(wù)器約 50臺(tái)。其中較高性能處理服務(wù)器（單機(jī) 20 核服務(wù)器 CPU:2660*2MEM:144G DISK:SSD 480G*2+SAS 4T*6，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電-19- *政務(wù)大數(shù)據(jù)交換共享平臺(tái)建設(shè)方案源）10 臺(tái)，中等性能處理服務(wù)器（單機(jī) 12 核服務(wù)器,CPU:2620*2MEM:32G DISK:4T*10，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源）10臺(tái)。較低性能服務(wù)器（單機(jī) 12 核服務(wù)器,CPU:2620*2 MEM:72G DISK:SSD480G*2+SAS 600G*4，萬(wàn)兆網(wǎng)卡，遠(yuǎn)程管理，雙電源）30臺(tái)。1.5.3 網(wǎng)絡(luò)流量分析按每天處理 725萬(wàn)在線行為數(shù)據(jù)，每條數(shù)據(jù)為 10KB大小，108萬(wàn)條在線內(nèi)容數(shù)據(jù)，每條 100KB計(jì)算，需要的平均帶寬為 17Mbps，高峰時(shí)期按