城市更新與未來社區(qū)基礎平臺技術要求VIP

城市更新與未來社區(qū)基礎數據平臺技術要求本文件確立了數字化基礎數據平臺（以下統稱為平臺）的架構，規(guī)定了功能、數據要求、接口要求、安全要求、應用環(huán)境以及應用服務。本文件適用城市更新與未來社區(qū)基礎數據平臺的構建、運行維護、安全管理。2規(guī)范性引用文件下列文件中的內容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/TGB/TGB/T17798-200722080-201634079-2017地理空間數據交換格式信息技術安全技術信息安全管理體系要求基于云計算的電子政務公共平臺服務規(guī)范第3部分：數據管理GB/T34960.5-2018信息技術服務治理第5部分：數據治理規(guī)范GB/T36073-2018數據管理能力成熟度評估模型GB/T36478-2018物聯網信息交換和共享GB/T37043-2018智慧城市術語GB/T40689-2021智慧城市設備聯接管理與服務平臺技術要求DB23/T3304-2022大數據平臺數據接入規(guī)范DB36/T1646-2022地理空間數據共享和交換規(guī)范DB52/T1540.2-2021政務數據第2部分：元數據管理規(guī)范YD/T3760-2020大數據數據管理平臺技術要求與測試方法T/CAGIS2-2020空間三維模型數據服務接口3術語、定義和縮略語3.1術語和定義下列術語和定義適用于本文件。3.1.1元數據metadata定義和描述其他數據的數據。[來源：GB/T18391.1-2009,3.2.16]3.1.2斷點續(xù)傳breakpointresume在數據總線傳輸過程中，當遇到網絡故障、傳輸資源短缺、入原始庫積壓時，狀態(tài)總線記錄接入數據中斷點及數據接入中斷狀態(tài)，控制總線在數據計入所需網絡、儲存等資源可用時，從排隊任務中重新啟動斷點續(xù)傳任務，分配數據總線資源，從數據斷點處接入后續(xù)數據，不需要從頭開始數據傳輸，從而節(jié)約數據傳輸時間，提高數據接入效率。23.1.3數據治理datagovernance基于數據生命周期，進行數據全面質量管理、資產管理風險管理等統籌與協調管控的過程。注1：多學科視角下，數據治理需要解決數據權屬關系問題，明確數據利益相關方的角系和工作任務,避免數據風險,提高數據質量,確保數據資產能長期有序地注2：信息技術視角下,數據治理指對數據進行管控,處置、格式化和規(guī)范化的過程。數理的基本要素。數據治理涉及數據全生命期管理,無論數據是處于靜態(tài),動態(tài),3.2縮略語下列縮略語適用于本文件。BIM建筑信息模型（BuildingInformationModel/Modeling）GIS地理信息系統（GeographicInformationModel/Modeling）WMS網絡地圖服務（WebMapServices）WFS網絡要素服務（WebFeatureServices）WCS網絡覆蓋服務（WebCoverageServices）S3M空間三維模型（Spatial3DModel）I3M索引三維場景（Index3DScene）DWL數據操縱語言（DataManipulationLanguage）DDL數據庫模式定義語言（DataDefinitionLanguage）XML可擴展標記語言(ExtensibleMarkupLanguage)HTTP超文本傳輸協議（HypertextTransferProtocol）HTTPS超文本傳輸安全協議（HypertextTransferProtocolSecure）MQTT消息隊列遙測傳輸協議（MessageQueuingTelemetryTransport）CoAP約束應用協議（ConstrainedApplicationProtocol）ADS應用數據層（ApplicationDataService）DWD明細數據層（DataWarehouseDetail）DWS匯總數據層（DataWarehouseSummary）ODS操作數據層（operationaldatastore）CDM公共維度模型層(commondatamodel)DAG有向無環(huán)圖（DirectAcyclicGraph）4平臺架構4.1平臺設計原則4.1.1數據的一致性和標準性平臺除遵循數據庫設計的軟件行業(yè)標準外，還應遵循國家、地方標準及行業(yè)的習慣性事實標準。此外，平臺的建設中應充分考慮己建系統的數據，確保與現有數據的一致性和標準性。4.1.2數據的實用性和服務性平臺設計應充分考慮實際情況和應用特點，遵循“服務性與實用性并重的原則，通過數據整合與治理，數據高度可共享、和可根據實際需求不斷靈活組合，為業(yè)務應用服務，數據質量高，保證數據的實用性。4.1.3數據的獨立性和可擴展性設計時應做到數據具有獨立性，獨立于應用程序，使平臺的設計及結構的變化不影響程序，反之亦然。另外，數據庫設計應考慮其擴展性能，使得系統增加新應用或新需求時，不至于引起整個平臺結構的大變動。4.1.4數據的安全性通過設計合理和有效的備份和恢復策略，確保平臺遭遇突發(fā)事故時，能在最短的時間內恢復。同時，通過做好對平臺的訪問授權設計，保證數據不被非法訪問。4.1.5數據的分級管理機制根據用戶訪問平臺的角色，將用戶分為多個角色，分別賦予角色訪問數據的權限和使用平臺功能的權限，嚴格控制角色登錄，實現數據的分級管理。4.2平臺整體架平臺整體架構包含四個模塊和兩個體系，見圖1，四個模塊分別為應用系統模塊、中樞模塊、中臺模塊以及基礎設施模塊，兩個體系為標準規(guī)范體系和安全管理體系。基礎數據平臺以數據中臺為基礎結合高性能三維數字引擎技術、多源數據集成技術、數據融合分析技術、數據標準化技術等進行構建，并依托標準規(guī)范體系與安全管理體系進行平臺運營維護和數據安全管理。4標準規(guī)范體標準規(guī)范體系基礎平臺基礎平臺圖1平臺整體架構圖4.3功能架構平臺服務功能包括但不限于數據收集、數據處理、數據集成、數據管理、數據發(fā)布、數據共享、數據儲存等，見圖2。本平臺所有數據與應用層在線交互時應通過API接口由數據交互規(guī)范與數據交付標準約束。 圖2平臺功能架構圖5平臺功能標準5.1數據收集數據收集功能要求如下：a)應提供數據導入功能，支持結構化數據、非結構化數據和半結構化數據導入；b)應支持離線數據導入和實時數據導入；c)應提供自動定時導入數據功能；d)應支持數據傳輸過程中的斷點續(xù)傳；e)應支持對數據的DML的抽取，抽取內容包括insert、update、delete語句的解析和內容抽f)應支持對數據庫DDL的抽取，抽取內容包括但不限于數據庫空間、用戶、角色、視圖、函數、索引、約束等，對關系型數據庫的全量采集和增量采集；g)應支持多節(jié)點文件接力傳輸功能，實現多節(jié)點文件傳輸；h)應支持過期文件數據接入系統中間數據緩存功能；i)應支持多通道數據傳輸；j)應對收集數據進行清洗，清洗數據包括但不限于，缺失數據、錯誤數據、重復數據等；k)對于實時數據收集，應提供收集數據的關鍵信息、唯一性信息的日志儲存和查詢統計；應提供數據同步檢查和校驗功能，并輸出詳細日志；應支持一定時間范圍的收集狀態(tài)統計，包括對數據更新狀態(tài)、聯通狀態(tài)、數據量、校驗等情況統計；l)對于批量數據收集，應提供周期性計入信息查詢和統計，支持格式異常數據查詢和統計；m)宜提供開放的數據導入API；n)宜提供圖形界面實現數據導入功能。5.2數據集成數據集成功能要求如下：a)應保證實體的每次出現都指派一個唯一標識符；b)應確認哪些實體是相通的，并將該實體的各次出現合并起來；c)應明確字段結構，盡量保證字段的一致性，其中包括但不限于字段名稱、字段數據類型、字段數據格式、字段單位、字段取值范圍等；d)應盡量避免數據重復入庫；e)數據包括但不限于空間數據、實時數據、資產數據等。這些數據入庫時應轉換為統一通用的標準格式，應可進行可視化瀏覽，應可用統一接口服務。其中，工程數據中的三維模型整合轉換時應進行輕量化處理，以便于在其他平臺中進行超大模型三維可視化瀏覽。65.3數據儲存5.3.1應提供數據儲存功能，支持結構化數據、非結構化數據和半結構化數據儲存。5.3.2應提供與關系型數據庫、其他文件系統之間交換數據或文件的功能。5.3.3應支持與時序數據庫的實時數據交換。5.3.4支持分布式文件儲存，實現以下功能：a)應支持文件系統基本操作，包括上傳、下載、讀寫、復制、移動、刪除、重命名、權限修改等；b)應提供數據塊多副本儲存、恢復功能；c)宜支持文件快速檢索功能，支持數據資源的統一檢索、編目、增加和刪除操作；d)宜支持或數據壓縮儲存功能。5.3.5支持分布式列式數據儲存，實現以下功能：a)應支持以鍵值形式儲存數據的功能；b)宜支持基于表、列族和列的用戶權限管理功能，權限管理操作包括讀、寫、創(chuàng)建等。5.3.6支持分布式結構化數據儲存，實現以下功能：a)宜支持結構化數據的分布式儲存，保證數據儲存的可擴展性和一致性；b)宜提供API實現數據的各類查詢工作；c)宜支持多表關聯。5.3.7支持分布式圖數據儲存，實現以下功能：a)宜支持有節(jié)點及邊組成的數據模型；b)宜支持圖查詢，支持單節(jié)點、多節(jié)點多層關系的擴先查詢；c)宜支持圖遍歷，支持最短路徑、最優(yōu)路徑便利查詢；d)宜支持圖分析。5.4數據處理5.4.1基本要求數據處理功能除應符合GB/T38673-2020中6.4的內容外，還應符合5.4.2~5.4.7的要求。5.4.2數據提取非結構化數據提取非結構數據提取應符合以下要求：a)應根據非結構化數據包含的索引格式，在集群中提取相應數據并形成結構化數據保存于關系型儲存中；b)應遵從數據標準，根據預設不同數據類型的相應提取策略和規(guī)則，加載相應的提取模塊進行非結構化數據的提取處理。結構化數據提取應遵從數據標準，根據預設的結構化數據提取策略和規(guī)則，對原數據中的各類數據進行關鍵信息提取。對象化提取對象化提取應符合以下要求：a)應遵從數據標準，根據對象提取規(guī)則對數據主題進行對象化處理；b)應支持對象特征自動提取，根據對象特征自動建模，利用并行分布式計算資源，對數據進行對象化提取、儲存對象數據、更新對象數據；c)應對對象化結果數據，通過對象化去重，消除冗余數據；d)應對制定數據來源數據進行標識的操作，在對象化提取環(huán)節(jié)，應將標識提取到對象化數據5.4.3數據清洗不符合數據類型：a)缺失的數據；b)錯誤的數據；c)重復的數據。非結構化數據清洗：a)文本數據清洗可通過分詞、預料標注、字典構建、關鍵詞識別等技術，根據相應的非結構化數據特點進行數據建模，去重；b)圖片數據清洗可通過意圖找圖技術進行圖片去重；c)音頻數據清洗可通過MD5值校驗和音頻對比分析進行去重；d)視頻數據可通過關鍵幀抽取，通過意圖找圖、語音識別、MD5值校驗等技術進行去重。結構化數據清洗：a)應遵從數據標準，根據業(yè)務規(guī)劃對冗余數據進行過濾，根據不同的去重規(guī)則和方法對數據進行去重扁頂，去除重復冗余數據；b)可通過定義過濾規(guī)則，使用流式SQL和表達式，按條件對數據進行重新組合和二次加工。5.4.4數據標識數據標識具備以下功能要求：c)應支持離線和在線標識；d)應根據預設的策略和規(guī)則對數據進行標識；e)宜對數據進行標識化可以增加數據維度，拓展數據的屬性，提供建立與數據之上的抽象。5.4.5數據糾錯為了確保數據的準確性和可靠性，數據糾錯功能需要達到以下要求：8a)應對進入各類資源庫、主題庫和業(yè)務庫的數據進行準確性認定；b)應針對有誤策略執(zhí)行回滾操作，并對相應數據進行糾錯。5.4.6策略配置管理為了實現高效的數據管理和處理，平臺需要支持靈活的策略配置管理，具體要求如下：a)應支持各類數據文件的同步、異步、多借點間文件接力傳輸；b)應支持對文件、文件夾、文件夾下制定文件傳輸等功能；c)應支持對數據文件的全量、增量傳輸，對中間過期文件的壓縮、清理，及文件的多副本儲存；d)應支持實時數據交換機加工，實現數據庫、文件、JSON、XML及MQ、TLQ等之間的相互交換功能；e)應提供調度任務實時可視化監(jiān)控；f)應提供事件觸發(fā)調度功能，包括但不限于文件就緒觸發(fā)、變化日志觸發(fā)、HTTPS等接口或URL調度時間觸發(fā)，支持操作系統shell腳本，和數據庫系統的shell命令和SQL腳本調度功能等；g)應提供流程調度組件，包括采樣分流組件和任務編排組件，實現多任務的并行、串行、混合調度；h)宜支持按年、月、周、日、小時、分鐘、秒定時調度，可選制定有效時間內調度。5.4.7任務調度為了確保數據處理任務能夠按照預定的時間和順序被執(zhí)行，平臺的任務調度功能應滿足以下要a)應支持任意種類、任意數據結構、任意目標庫的數據提取傳輸；b)支持Kafka、webservice等消息處理機制，支持流式和離線處理；c)應支持任意類型的數據融合任務配置，在保證數據安全的基礎上，根據傳輸策略，進行數據傳輸和儲存；d)應支持過濾、融合規(guī)則自定義，包括但不限于字符串操作、字符串替換、字符串截取、NULL值替換、數據類型轉換、正則處理、公式計算，以及對關鍵字段控制、重復、異常等問題數據過濾規(guī)則等；e)宜支持基于數據元的異構數據自動解析，并能按業(yè)務場景進行自定義配置。5.5數據管理數據治理功能中的數據采集規(guī)范宜依照GB/T36225.3-2021進行規(guī)范，其他功能要求如下：a)應提供可靠的數據應用規(guī)范，支持數據應用流程管理、數據應用審查、數據應用發(fā)布等；b)應支持數據質量分析和預警，甄別數據優(yōu)劣程度，對質量較差數據進行清理，對長期不用數據進行清洗和歸檔；c)應支持通過預定規(guī)則進行數據稽核，稽核發(fā)現的問題按照預定規(guī)則自動治理或者生成任務工單進行處理，并生成稽核報告；d)應支持對數據屬性標簽標注功能，包括但不限于單個和批量標注標簽，標簽的增加、刪除和修改等；e)應支持數據血緣關系管理，可自動生成和維護數據血緣關系地圖；f)應支持敏感數據識別、標記和脫敏，脫敏類型包括但不限于替換、截斷、掩碼、重排、日期偏移、取整等；g)應支持數據資源目錄動態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應支持對不完整數據、錯誤數據、重復數據進行統一標識、對比、清洗、整合和轉換等操作[27]。5.6數據發(fā)布數據發(fā)布功能要求如下：a)管理者應通過共享交換功能發(fā)布目錄內容，提供數據目錄內容查詢檢索、目錄導航、目錄下載和目錄訂閱服務，以及目錄服務接口等；b)管理者應通過共享交換功能發(fā)布參與共享和交換的本平臺數據文件，提供數據的查詢檢索、快速瀏覽和數據下載服務；c)當參與共享交換的數據文件有更新時，管理者應將數據更新情況及時反饋給數據使用者；d)管理者應通過共享交換功能將融合后的數據發(fā)布成相應的信息服務，使用者可以通過共享交換功能進行在線調用。5.7數據共享5.7.1在線方式為了促進數據的實時共享與交換，當網絡條件允許時，推薦采用以下在線方式進行數據共享：a)通過網絡在線調用、訪問數據服務接口的方式或在線上傳、下載的方式，實現數據共享和交換；b)在線方式適用于網絡聯通環(huán)境下對數字化文件或服務接口進行共享和交換的場合。5.7.2離線方式考慮到不同網絡環(huán)境下的需求及非數字化文件的共享需要，離線數據共享方式應遵循以下規(guī)定：a)通過對移動設備進行拷貝和對紙質文件進行復制，實現數據共享和交換；b)離線方式適用于不同網絡環(huán)境下、需要簽收確認或對非數字化文件進行共享和交換的場合，提供者通過離線拷貝的方式，人工將數據提交到數據平臺。5.7.3共享內容共享的數據內容應包括但不限于工程數據、地理數據等。5.7.4數據共享安全保障數據共享的安全要求包括但不限于以下內容：a)應可設定授權服務的有效期，并支持授權時間延期；b)應遵循數據共享最小化原則，僅對業(yè)務必須的數據進行共享授權；c)應對敏感數據進行脫敏，并對相應的操作進行記錄；d)應對數據交換兩端進行用戶身份鑒別或者身份認證；e)應保證數據通信過程中的保密性和完整性；f)在數據導入過程中，應檢驗數據質量，質量檢驗內容應包含空間參考系、數據的完整性、邏輯一致性等質量元素。5.7.5數據共享使用安全要求數據使用的安全要求包括但不限于以下內容：a)使用或存儲依法應當予以保密的數據或者數據服務時，按照保密有關法律、法規(guī)規(guī)定執(zhí)b)應對訪問數據處理系統、服務器操作系統、數據庫系統、備份系統的管理員進行身份鑒c)應對服務器系統、數據庫系統等重要系統設置用戶訪問控制策略，阻斷對應用、系統等的任何非授權訪問，提出告警、并記錄審計日志；d)應支持溯源數據的采集和存儲，對關鍵溯源數據進行備份，并采取安全措施對溯源數據進行保護；e)應對數據存儲環(huán)境進行分域分級設計，設置存儲機制將數據分域分級儲存，并建立數據冗余一致性控制策略；f)制定數據備份策略，設置數據恢復策略，在數據恢復過程中進行完整性校驗；g)提供者應基于國家相關法律法規(guī)對數據使用和分析處理的相關要求，建立數據使用監(jiān)管機制，約束數據需求方對共享數據的正當使用。6數據要求6.1元數據要求6.1.1元數據采集為了確保元數據的全面性和準確性，元數據采集應滿足以下要求：a)元數據采集應能夠適應異構環(huán)境，支持從傳統關系型數據庫和大數據平臺中采集數據產生系統數據加工處理系統和數據應用報表系統的全量元數據，包括過程中的數據實體（系統、庫、表、字段的描述）以及數據實體加工處理過程中的邏輯；b)平臺元數據系統應支持人工輸入，允許人工的增、刪、改、查及發(fā)布。6.1.2元數據維護為了保持元數據的質量并確保其有效管理，元數據維護應具備以下功能：a)元數據維護應提供對元數據的增加、刪除和修改等基本操作。對于元數據的增量維護，應能保留歷史版本信息；b)元數據的維護應可通過服務封裝的形式向各系統的其他模塊提供數據維護接口。6.1.3.元數據變更管理為了確保元數據變更的可追溯性和版本控制，元數據變更管理應實現以下功能：a)元數據變更管理應能進行版本管理，對不同時期進入元數據庫的統一實體的元數據進行管理。基本功能應能顯示同一實體的元數據的修改歷史。b)元數據變更在最新元數據中的改動不影響定版元數據的正常使用；同時應每次發(fā)布都有版本留痕，支持個版本對比分析。6.1.4.數據檢核為了保證元數據的一致性和完整性，平臺需要實施嚴格的數據檢核，具體要求包括：a)元數據應保持其一致性。一致性檢核用來檢驗來源系統元數據以及元數據之間信息是否一致的功能，應能幫助管理人員分析出元數據管理平臺與來源系統之間的差異，輔助管理人員更好的維護原數據管理平臺。b)元數據應有良好的屬性填充情況。屬性填充率檢核是用來檢驗選定范圍內元數據屬性的填充情況，方便用戶了解某些重要元數據的屬性填充情況。c)元數據的組合關系應符合元模型中設置的組合和被組合關系。組合關系檢核用根據元模型中設置的組合和被組合關系對元數據進行檢查，查找出不符合元模型定義的組合關系的元數據，例如找出沒有與任何數據庫表建立組合關系的字段。6.1.5.血緣管理為了追蹤數據間的依賴關系及其影響范圍，血緣管理功能應達到以下要求：a)平臺數據間血緣關系應能清晰反應數據間的關系，包括但不限于：組合關系、依賴關系、數據流向拓普信息；b)當平臺數據需要進行調整時，用戶應能通過血緣分析，根據目標數據資源的影響范圍制定數據資源的調整策略。6.2三維數據要求三維數據參數要求應根據GB/T51447-2021、ISO16739-1:2018IFC標準體系和DD2015-06等標準內容進行規(guī)范。7接口要求7.1接口標準平臺接口標準宜參考GB/T38672-2020第6章內容進行規(guī)范，具體要求如下：7.1.1總體要求各類接口應滿足如下總體要求：a)開放性：符合產業(yè)習慣，兼容主流開原接口，減小接口定制化帶來的重新設計、適配成本；b)易用性：盡可能設計成抽象程度高、屏蔽底層實現、語法易理解的接口；c)擴展性：統一接口可通過增加函數、操作符、語句等形式支持新的功能。7.1.2平臺應用接口要求為了確保平臺應用接口的開放性、易用性和擴展性，接口設計應滿足以下要求：a)應支持多種數據來源（業(yè)務系統、數據庫、文件等）、多種數據類型（例如業(yè)務相關數據、監(jiān)控數據）、多種數據格式（結構化、半結構化、非結構化等）的數據訪問；b)應支持按照大數據采集樓村規(guī)則進行數據采集；c)應支持接口運行情況（如主要函數調用時延）的監(jiān)控，能及時發(fā)現錯誤、產生告警信號；d)宜支持多種數據訪問接口實例的定時（例如按天、小時、分鐘等）調用啟動；e)宜支持對接常用數據庫采集工具、主流日志采集工具；f)宜支持對接基于系統應用服務接口實現數據采集的工具；g)接口生成宜不收業(yè)務系統的開發(fā)語言、所處環(huán)境、系統形態(tài)等限制；h)流數據分析接口要求包括：1）應基于SQL擴展支持流數據的查詢和分析；2）應支持流和表、流和流的鏈接；3）應提供流的聚合查詢，只支持常見的聚合函數（如匯總、均值、最大、最小4）應支持基于時間窗口的聚合查詢；5）應支持基于時間窗口的模式識別、復雜時間分析；6）應支持基于時間窗口的地理數據分析；7）應支持多種時間窗口，包括但不限于跳躍窗口、滑動窗口、會話窗口；8）宜支持基于時間窗口的進行流的連接。i)圖數據分析接口的要求包括：1）應兼容主流開源接口，支持標簽屬性圖數據模型；2）應支持基本的圖操作，包括但不限于增加或刪除頂點、增加或刪除邊，增加、刪除或修改頂點或邊的屬性，支持關聯刪除，定義屬性類型等；3）應支持定點查詢、路徑查詢、子圖查詢和全圖查詢；4）應支持查詢圖拓撲結構的基本指標，包括但不限于中介中心度、緊密中心度等；5）宜提供主流開發(fā)語言接口。j)日志分析接口的要求包括：1）應兼容主流開源組件接口；2）應提供人工智能分析能力，包括但不限于關聯分析、異常問題識別等；3）應支持復雜報表分析。包括但不限于來源分析、熱點頁面、平均響應時長等；4）應支持對相關指標進行預警設置。5）數據同步接口的要求包括：6）宜支持一個系統一次錄入，其他公用信息系統的相同數據同步寫入；7）宜支持跨系統在業(yè)務層面信息的互通互聯工作；8）宜支持跨系統共享共用的數據。7.1.3平臺開發(fā)接口要求為了便于開發(fā)者集成和擴展平臺功能，平臺提供的開發(fā)接口應滿足以下要求：a)應支持業(yè)界常用接口，兼容主流開原接口，支持系統集成；b)應支持海量數據的分布式離線計算，支持MapReduce計算模型，支持數據的讀取、分發(fā)、聚集、輸出等處理功能c)應提供內存計算的多種語言開發(fā)接口（例如Scala，Java），提供高度抽象算子構建分布式數據處理應用；d)應支持分布式文件存儲的文件操作(包括但不限于文件創(chuàng)建、讀取、寫人、刪除、文件狀態(tài)信息查詢等)及文件夾操作(包括但不限于文件夾創(chuàng)建、刪除、狀態(tài)信息查詢、內容統計信息查詢等)；e)應支持分布式文件系統設置，包括但不限于設置訪問權限、設置文件所有者、設置訪問時間或者修改時間等；f)應支持關系型數據庫的DDL、DML操作，支持標準SQL;g)應支持多維分析數據庫以標準SQL.查詢和分析；h)應支持海量全文檢索，提供結構化、非結構化文本的多條件檢索、統計和報表生成；i)應支持自定義函數的定義、加載、使用機制；j)應支持海量結構化數據的交互式OLAP分析；k)宜支持分布式內存計算框架接人多種數據源(例如HDFS、HBase、Hive），支持離線計算程序平滑轉接；l)宜支持分布式列式存儲不同類型素引(例如主鍵素引、組合索引、全文素引)的創(chuàng)建、查詢、重建。7.1.4平臺管理接口要求為了便于平臺的管理和運維，平臺管理接口需要滿足以下要求：a)應支持大數據組件的安裝部署、支持升級配置(包括但不限于查詢可升級的版本、需配置的參數等)；b)應支持用戶管理，包括但不限于增加、刪除、修改用戶，增加、刪除、修改角色、用戶權限控制等；c)應支持監(jiān)控告警，對資源使用情況、資源運行狀態(tài)等進行監(jiān)控，并提供多種展示方式,支持健康檢查；d)應支持各類日志的收集和存儲，包括但不限于運行日志操作日志；e)應支持標準管理協議(例如SNMP)，提供RESTAPI.CLI等交互方式[21]。8安全要求8.1用戶管理用戶管理要求如下：a)應對登錄用戶進行身份標識和鑒別，保證用戶身份標識唯一性；b)用戶身份鑒別信息應滿足一定的復雜度要求，并定期更換；8.2權限管理權限要求如下：a)應按照權限最小化原則為用戶配置權限；b)應允許同一租戶內存在多個組織的用戶，機構層級不受限制；c)應允許集團下屬企業(yè)擁有獨立的應用環(huán)境、用戶空間和數據空間；d)數據及業(yè)務流程應可夸跨租戶管理。對應未來社區(qū)項目應用，也可按照項目創(chuàng)建租戶；e)應支持基于證書或Token的服務鑒權；f)應提供多種策略的數據備份或恢復選項；g)應支持用戶行為審計管理。8.3日志管理日志管理要求如下：a)應提供記錄系統操作日志功能，記錄用戶的重要操作；b)應保證系統操作日志無法刪除、修改或被覆蓋；c)操作日志應包括日期、時間、操作者信息、操作類型、操作描述和操作結果等；d)應提供對系統操作日志進行統計、查詢、分析計生呈報表的功能。8.4數據安全數據安全要求除應符合以下標準外，還應符合中國鐵建城市更新與未來社區(qū)數字化安全導則全部a)應提供數據儲存加密功能，支持數據庫及數據加密；b)應提供系統敏感數據加密傳輸功能，并且加密密鑰可被替換；c)宜支持數據列級的數據加密。9應用環(huán)境9.1軟件環(huán)境9.1.1微服務治理架構采用SpringCloud架構，治理組件：a）服務注冊中心：Nacos；b)服務獎集合熔斷：Sentinel；c)API網關：SpringCloudGateway；d)負載均衡：Ribbon。9.1.2開發(fā)框架后端框架使用Springboot；前端框架使用Vue.js，ElementUI.js，iView.js。9.1.3消息中間件主要采用Kafka，局部涉及RabitMQ。9.1.4數據庫關系數據庫：PostgreSQL；聚合分析數據庫：Druid；空間數據庫：PostGIS組件；時序數據庫：TDEngine；邊緣數據庫：influxDB。9.1.5邊緣計算架構實現主要使用Balena，邊緣端接入管理選用RedNode，邊緣端OS采用YoctoLinux，邊緣端數據可視化選用Grafana，邊緣端數據庫采用influxDB。9.1.6大數據分析聚合數據儲存選用ApacheDruid，BI分析選用Kylin，ETL及機器學習選用MLSQL，數據可視化選用MetaBase。9.1.7三維可視化GIS后端選用GeoServer,GeoTools,PostGIS;GIS/BIM前端采用Cesium.js9.2硬件環(huán)境私有云本地部署。9.3網絡環(huán)境千兆光纖和千兆局域網。10應用服務10.1數據分析服務10.1.1支持數據查詢，實現以下功能：a)應提供通過標準的數據庫連接接口進行查詢的功能；b)應提供通過RESTAPI查詢接口進行