智能高速鐵路概論 課件 第七章 智能高速鐵路基礎(chǔ)平臺(tái)V2

第七章智能高速鐵路基礎(chǔ)平臺(tái)第七章智能高速鐵路基礎(chǔ)平臺(tái)目錄/Contents2024/5/10智能高速鐵路概論201鐵路主數(shù)據(jù)中心02鐵路數(shù)據(jù)服務(wù)平臺(tái)03“溫度-粒度-敏度”融合的數(shù)據(jù)湖04“通用-專用”結(jié)合的數(shù)據(jù)分析算法05鐵路BIM服務(wù)平臺(tái)1鐵路主數(shù)據(jù)中心第七章2024/5/10智能高速鐵路概論3中國鐵路主數(shù)據(jù)中心（武清）作為國鐵集團(tuán)級(jí)業(yè)務(wù)應(yīng)用系統(tǒng)生產(chǎn)運(yùn)行中心，承載全路集中應(yīng)用系統(tǒng)部署及數(shù)據(jù)資源存儲(chǔ)，是智能高速鐵路基礎(chǔ)平臺(tái)的核心基礎(chǔ)設(shè)施。中國鐵路主數(shù)據(jù)中心（武清）按“兩軸、四區(qū)”結(jié)構(gòu)布局，總建筑規(guī)模54560m2，建設(shè)信息樓、運(yùn)維樓、柴發(fā)樓，其中信息樓具有單層面積大（1萬m2）、單層信息模塊數(shù)量多（8個(gè)模塊）、信息機(jī)房機(jī)柜密度高（2.6m2/機(jī)柜）等特點(diǎn)。1鐵路主數(shù)據(jù)中心第七章2024/5/10智能高速鐵路概論4主數(shù)據(jù)中心基礎(chǔ)設(shè)施架構(gòu)1鐵路主數(shù)據(jù)中心第七章2024/5/10智能高速鐵路概論5云服務(wù)層相關(guān)技術(shù)介紹IaaS服務(wù)基礎(chǔ)架構(gòu)即服務(wù)基礎(chǔ)架構(gòu)即服務(wù)通常簡稱為“IaaS”，是一種云計(jì)算形式，通過互聯(lián)網(wǎng)向消費(fèi)者提供基本的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)資源，按使用量計(jì)費(fèi)。IaaS使最終用戶能夠根據(jù)需要擴(kuò)展和縮減資源，從而減少對(duì)高額前期資本支出或不必要的“自有”基礎(chǔ)架構(gòu)的需求，尤其適合應(yīng)對(duì)峰值工作負(fù)載的情況。PaaS服務(wù)平臺(tái)即服務(wù)

平臺(tái)即服務(wù)（PaaS）是一種云計(jì)算模型，其中第三方提供商通過互聯(lián)網(wǎng)向用戶提供硬件和軟件工具（通常是應(yīng)用程序開發(fā)所需的工具）。PaaS提供商在其自己的基礎(chǔ)架構(gòu)上托管硬件和軟件。因此，PaaS使開發(fā)人員免于必須安裝內(nèi)部硬件和軟件來開發(fā)或運(yùn)行新應(yīng)用程序的麻煩。1鐵路主數(shù)據(jù)中心第七章2024/5/10智能高速鐵路概論6云服務(wù)層相關(guān)技術(shù)介紹SaaS服務(wù)軟件即服務(wù)軟件即服務(wù)(SaaS)指一種基于云的軟件交付模式，具體而言，就是由云提供商開發(fā)和維護(hù)云應(yīng)用軟件，提供自動(dòng)軟件更新，并通過互聯(lián)網(wǎng)以即用即付費(fèi)的方式將軟件提供給客戶。其中，所有硬件和傳統(tǒng)軟件，包括中間件、應(yīng)用軟件和安全性等均由公有云提供商托管。SaaS建立在IaaS及PaaS的基礎(chǔ)之上，是云服務(wù)中最上層、直面用戶的一層。XaaS服務(wù)一切皆服務(wù)XaaS代表一切皆服務(wù)。XaaS利用云計(jì)算而不是現(xiàn)場本地軟件來提供各種服務(wù)并接觸客戶。它為客戶在倉庫甚至現(xiàn)場的服務(wù)器上運(yùn)行業(yè)務(wù)提供了更大的靈活性。XaaS公司使用云計(jì)算向全球數(shù)百萬客戶提供服務(wù)，他們的產(chǎn)品通常是可供用戶隨時(shí)登錄的在線平臺(tái)。從該工作區(qū)進(jìn)行更改或下載數(shù)據(jù)后，瀏覽器會(huì)將請(qǐng)求發(fā)送到平臺(tái)。通常，該平臺(tái)在本地服務(wù)器、云提供商或基于Web的網(wǎng)絡(luò)上運(yùn)行。1鐵路主數(shù)據(jù)中心第七章2024/5/10智能高速鐵路概論7數(shù)據(jù)中心的特點(diǎn)基于軟件定義存儲(chǔ)的鐵路云平臺(tái)超融合架構(gòu)技術(shù)超融合架構(gòu)系統(tǒng)把所有服務(wù)器的計(jì)算資源和本地存儲(chǔ)資源有機(jī)結(jié)合，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)設(shè)備的深度融合。通過分布式存儲(chǔ)技術(shù)將不同服務(wù)器本地盤組成存儲(chǔ)資源池，根據(jù)存儲(chǔ)設(shè)備性能的高低將存儲(chǔ)資源池分為高速池和低速池，為上層應(yīng)用提供存儲(chǔ)功能。基于軟件定義網(wǎng)絡(luò)（SDN）的主數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)SDN的核心理念是改變傳統(tǒng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)流的控制方式。在傳統(tǒng)網(wǎng)絡(luò)中，報(bào)文從源點(diǎn)傳送到目的地的轉(zhuǎn)發(fā)行為由各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)獨(dú)立控制完成，每個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)都需要獨(dú)立配置。SDN架構(gòu)中，控制和轉(zhuǎn)發(fā)是分離的，控制更靈活，轉(zhuǎn)發(fā)更標(biāo)準(zhǔn)化。云計(jì)算技術(shù)主數(shù)據(jù)中心云平臺(tái)基礎(chǔ)設(shè)施層采用虛擬化技術(shù)將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源有機(jī)結(jié)合，為云計(jì)算服務(wù)提供基礎(chǔ)架構(gòu)層面的支撐。把應(yīng)用系統(tǒng)各硬件間的物理劃分打破，從而實(shí)現(xiàn)架構(gòu)的動(dòng)態(tài)化，實(shí)現(xiàn)物理資源的集中管理和使用。2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論8鐵路數(shù)據(jù)服務(wù)平臺(tái)包括基礎(chǔ)數(shù)據(jù)管理、數(shù)據(jù)集成、數(shù)據(jù)共享、大數(shù)據(jù)存儲(chǔ)與分析、數(shù)據(jù)治理等功能組成，統(tǒng)一為各業(yè)務(wù)應(yīng)用系統(tǒng)提供基礎(chǔ)數(shù)據(jù)、共享數(shù)據(jù)和大數(shù)據(jù)分析服務(wù)?；A(chǔ)數(shù)據(jù)管理包括主數(shù)據(jù)管理、地理信息管理及基礎(chǔ)平臺(tái)所涉及的元數(shù)據(jù)信息管理功能。數(shù)據(jù)集成主要提供結(jié)構(gòu)化數(shù)據(jù)集成、實(shí)時(shí)流數(shù)據(jù)集成、非結(jié)構(gòu)化數(shù)據(jù)集成等功能。數(shù)據(jù)共享主要面向全類型數(shù)據(jù)（結(jié)構(gòu)化、非結(jié)構(gòu)化）的存儲(chǔ)、查詢，以海量規(guī)模存儲(chǔ)、快速查詢讀取為特征。大數(shù)據(jù)存儲(chǔ)與分析主要提供統(tǒng)計(jì)分析、數(shù)據(jù)挖掘服務(wù)、可視化服務(wù)等功能。數(shù)據(jù)治理主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理和數(shù)據(jù)安全管理等功能。2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論9為提高數(shù)據(jù)服務(wù)平臺(tái)的數(shù)據(jù)轉(zhuǎn)儲(chǔ)和集中整體能力，應(yīng)用一套結(jié)合最新分布式技術(shù)和大數(shù)據(jù)技術(shù)的系統(tǒng)架構(gòu)，該系統(tǒng)架構(gòu)存儲(chǔ)、檢索、訂閱、傳輸、運(yùn)用鐵路車載海量數(shù)據(jù)，并能通過橫向集群擴(kuò)容提升數(shù)據(jù)能力。系統(tǒng)分布式基礎(chǔ)架構(gòu)如圖所示。當(dāng)數(shù)據(jù)運(yùn)用負(fù)載壓力大時(shí)可以橫向擴(kuò)展節(jié)點(diǎn)以應(yīng)對(duì)數(shù)據(jù)消費(fèi)高峰，當(dāng)數(shù)據(jù)運(yùn)用負(fù)載壓力小時(shí)可以縮減節(jié)點(diǎn)以節(jié)約成本。鐵路數(shù)據(jù)服務(wù)平臺(tái)分布式基礎(chǔ)架構(gòu)2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論10鐵路數(shù)據(jù)服務(wù)平臺(tái)分布式架構(gòu)2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論11鐵路數(shù)據(jù)服務(wù)平臺(tái)用戶服務(wù)架構(gòu)系統(tǒng)運(yùn)行流程如圖所示。通過在列車運(yùn)用所建設(shè)無線端接入技術(shù)地面配套系統(tǒng)（包括地面基站、數(shù)據(jù)服務(wù)站點(diǎn)），實(shí)現(xiàn)將列車非實(shí)時(shí)數(shù)據(jù)傳輸?shù)降孛嫦到y(tǒng)；在數(shù)據(jù)中心部署地面服務(wù)器匯集各動(dòng)車運(yùn)用所存儲(chǔ)的非實(shí)時(shí)數(shù)據(jù)文件索引信息，并建立車載數(shù)據(jù)資源目錄，為多元用戶需求提供體系化系統(tǒng)功能服務(wù)。2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論12服務(wù)平臺(tái)的關(guān)鍵頁面包括：鐵路列車運(yùn)營狀態(tài)總覽、列車故障預(yù)警、產(chǎn)品診斷中心等。鐵路數(shù)據(jù)服務(wù)平臺(tái)-列車運(yùn)行狀態(tài)總覽列車運(yùn)行狀態(tài)總覽：對(duì)產(chǎn)品裝車及列車配置情況、地理分布、專項(xiàng)數(shù)據(jù)進(jìn)行匯總展示，在宏觀層面全方位多角度監(jiān)控有關(guān)業(yè)務(wù)過程，如圖所示。2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論13鐵路數(shù)據(jù)服務(wù)平臺(tái)-列車故障預(yù)警列車故障預(yù)警：服務(wù)平臺(tái)的核心功能，通過集成數(shù)據(jù)、算法、算力為產(chǎn)品運(yùn)用現(xiàn)場提供故障預(yù)警。功能包括預(yù)警情況、信息篩選、工作進(jìn)度統(tǒng)計(jì)、對(duì)外接口監(jiān)測、預(yù)警參數(shù)查看、閉環(huán)反饋信息收集等，如圖所示。服務(wù)平臺(tái)的關(guān)鍵頁面包括：鐵路列車運(yùn)營狀態(tài)總覽、列車故障預(yù)警、產(chǎn)品診斷中心等。2鐵路數(shù)據(jù)服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論14鐵路數(shù)據(jù)服務(wù)平臺(tái)-產(chǎn)品診斷中心產(chǎn)品診斷中心：為保障產(chǎn)品運(yùn)用穩(wěn)定，進(jìn)一步提升產(chǎn)品質(zhì)量，對(duì)產(chǎn)品運(yùn)用過程中的故障信息及歷史狀態(tài)數(shù)據(jù)進(jìn)行采集、分析、統(tǒng)計(jì)。并進(jìn)一步通過本文提出的特征貢獻(xiàn)度及因果推斷的方法為產(chǎn)品專家進(jìn)行優(yōu)化改良提供決策依據(jù)，如圖所示。服務(wù)平臺(tái)的關(guān)鍵頁面包括：鐵路列車運(yùn)營狀態(tài)總覽、列車故障預(yù)警、產(chǎn)品診斷中心等。3“溫度-粒度-敏度”融合的數(shù)據(jù)湖第七章2024/5/10智能高速鐵路概論15建成數(shù)據(jù)湖的需求分析數(shù)據(jù)量大基于國外技術(shù)平臺(tái)的標(biāo)動(dòng)列車每列產(chǎn)生數(shù)據(jù)量為日均2GB，年均0.7TB?；谧灾髦R(shí)產(chǎn)權(quán)的復(fù)興號(hào)列車每列產(chǎn)生數(shù)據(jù)量為日均7GB，年均2.5TB。數(shù)百列高速鐵路列車一年產(chǎn)生的數(shù)據(jù)早已超過TB級(jí)。信號(hào)源雜不同制造商、不同設(shè)備、不同信號(hào)源、不同傳感器、不同接口、不同協(xié)議、不同傳輸方式給列車運(yùn)行狀態(tài)數(shù)據(jù)采集帶來了挑戰(zhàn)。譜系廣闊以中國高鐵為例，中國高鐵先后經(jīng)歷了CRH1加拿大龐巴迪平臺(tái)、CRH2日本川崎平臺(tái)、CRH3德國西門子平臺(tái)、CRH5法國阿爾斯通平臺(tái)以及CR400復(fù)興號(hào)自主平臺(tái)，每個(gè)譜系的技術(shù)平臺(tái)皆有各自的技術(shù)體系。用戶各異系統(tǒng)潛在的用戶包括國家管理部門、鐵路局、主機(jī)廠、子系統(tǒng)集成商、設(shè)備供應(yīng)商等。用戶角色和需求的多元化給地面運(yùn)維平臺(tái)帶來了功能架構(gòu)挑戰(zhàn)。3“溫度-粒度-敏度”融合的數(shù)據(jù)湖第七章2024/5/10智能高速鐵路概論16數(shù)據(jù)湖是一種新型的大數(shù)據(jù)存儲(chǔ)方案，支持任意的數(shù)據(jù)格式，有較好的數(shù)據(jù)分析和處理能力。其主要特點(diǎn)是：數(shù)據(jù)存儲(chǔ)成本低、數(shù)據(jù)保真度高、可訪問性好和數(shù)據(jù)分析靈活?？梢圆恢付〝?shù)據(jù)的存儲(chǔ)目的直接將原始數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)湖中，這正符合列車數(shù)據(jù)的存儲(chǔ)要求。數(shù)據(jù)采集層通過實(shí)時(shí)傳入或批量導(dǎo)入的方式將數(shù)據(jù)傳輸?shù)酱鎯?chǔ)層進(jìn)行存儲(chǔ)。數(shù)據(jù)存儲(chǔ)層無需提前定義數(shù)據(jù)模式(Schema)，以原始格式存儲(chǔ)數(shù)據(jù)，降低數(shù)據(jù)前期的傳輸和預(yù)處理成本。數(shù)據(jù)蒸餾層從存儲(chǔ)層獲取原始數(shù)據(jù)，并按照數(shù)據(jù)分析要求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換。數(shù)據(jù)處理層

對(duì)數(shù)據(jù)進(jìn)一步處理，將其轉(zhuǎn)化為可查詢的結(jié)構(gòu)化數(shù)據(jù)。統(tǒng)一操作層管理數(shù)據(jù)湖的存儲(chǔ)和計(jì)算任務(wù)，監(jiān)控?cái)?shù)據(jù)湖運(yùn)行狀態(tài)。對(duì)數(shù)據(jù)進(jìn)一步處理，將其轉(zhuǎn)化為可查詢的結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)分析層

利用SQL或HiveSQL對(duì)數(shù)據(jù)進(jìn)行查詢分析操作。3“溫度-粒度-敏度”融合的數(shù)據(jù)湖第七章2024/5/10智能高速鐵路概論17“溫度-粒度-敏度”融合的數(shù)據(jù)湖基于主數(shù)據(jù)中心基礎(chǔ)設(shè)施和平臺(tái)底層架構(gòu)，構(gòu)建“溫度-粒度-敏度”融合的國鐵集團(tuán)企業(yè)級(jí)數(shù)據(jù)湖，實(shí)現(xiàn)數(shù)據(jù)的保真性、靈活性、可管理、可追溯、可分析、可存儲(chǔ)，支撐基礎(chǔ)平臺(tái)各項(xiàng)功能，加速提取高價(jià)值數(shù)據(jù)的速度，推進(jìn)數(shù)據(jù)價(jià)值高效釋放。針對(duì)湖內(nèi)數(shù)據(jù)資源，從業(yè)務(wù)角度出發(fā)，提出了“溫度-粒度-敏度”融合的數(shù)據(jù)模型構(gòu)建流程，構(gòu)建了包含主題模型、概念模型、邏輯模型在內(nèi)的企業(yè)級(jí)統(tǒng)一數(shù)據(jù)模型?；诮y(tǒng)一存儲(chǔ)，從技術(shù)屬性、業(yè)務(wù)屬性、安全屬性等多角度出發(fā)，針對(duì)存儲(chǔ)數(shù)據(jù)的不同特征、不同共享需求和存取模式，自動(dòng)適配存儲(chǔ)結(jié)構(gòu)，保障數(shù)據(jù)存取效率和安全，將不同種類的數(shù)據(jù)根據(jù)其特性存儲(chǔ)到不同的存儲(chǔ)體系內(nèi)。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論18為滿足通用數(shù)據(jù)分析算法和鐵路行業(yè)專用數(shù)據(jù)分析模型融合應(yīng)用的需要，構(gòu)建了覆蓋回歸分析、相關(guān)度分析、主成分分析、聚類分析等的機(jī)器學(xué)習(xí)算法庫，建立了覆蓋運(yùn)輸安全、客運(yùn)服務(wù)、固定設(shè)施、移動(dòng)裝備的專業(yè)模型庫，攻克了訓(xùn)練數(shù)據(jù)集的全生命周期管理技術(shù)，實(shí)現(xiàn)了模型構(gòu)建、模型訓(xùn)練、模型保存、模型上線、模型發(fā)布的全業(yè)務(wù)流程管理。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論19回歸分析聚類分析關(guān)聯(lián)分析數(shù)據(jù)預(yù)測解決客運(yùn)收入預(yù)測、客流量預(yù)測、路基沉降預(yù)測等問題。數(shù)據(jù)分類優(yōu)化算法解決旅客畫像分析、旅客類型細(xì)分、應(yīng)急救援選址、北斗基站選址等問題。解決事故故障關(guān)聯(lián)分析、事故致因分析、列車商品推薦、廣告推薦、重點(diǎn)人員推薦、重點(diǎn)設(shè)備推薦和安全知識(shí)圖譜等問題。解決客流量預(yù)測、車流量預(yù)測等關(guān)鍵問題，以及鐵路關(guān)鍵指標(biāo)預(yù)測問題。解決設(shè)備故障診斷、綜合安全預(yù)警、綜合安全畫像和旅客類型細(xì)分等問題。解決模型參數(shù)辨識(shí)、自動(dòng)排班計(jì)劃、安全巡檢路徑最優(yōu)設(shè)計(jì)、列車速度設(shè)計(jì)、列車開行方案等問題。鐵路機(jī)器學(xué)習(xí)算法庫4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論20鐵路專業(yè)模型全生命周期管理技術(shù)提煉鐵路大數(shù)據(jù)分析典型場景建立鐵路運(yùn)營方面的訓(xùn)練數(shù)據(jù)庫建立面向鐵路運(yùn)營管理應(yīng)用場景的基礎(chǔ)算法庫建立面向運(yùn)營應(yīng)用場景的專業(yè)機(jī)理模型庫4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論21通用鐵路大數(shù)據(jù)分析算法4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論22通用數(shù)據(jù)預(yù)處理方法：數(shù)據(jù)清理通過填補(bǔ)缺失值、光滑噪聲數(shù)據(jù)，平滑或刪除離群點(diǎn)，并解決數(shù)據(jù)的不一致性來“清理“數(shù)據(jù)。填補(bǔ)缺失值方法有定值填充、統(tǒng)計(jì)量填充、插值法填充和模型填充等；異常值處理方法有簡單統(tǒng)計(jì)分析，基于絕對(duì)離差中位數(shù)（MAD），基于距離檢測異常值，基于密度檢測異常值，基于聚類檢測異常值。數(shù)據(jù)集成數(shù)據(jù)分析任務(wù)多半涉及數(shù)據(jù)集成。數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合成、存放在一個(gè)一致的數(shù)據(jù)存儲(chǔ)，如數(shù)據(jù)倉庫中。這些源可能包括多個(gè)數(shù)據(jù)庫、數(shù)據(jù)方或一般文件。數(shù)據(jù)集成包括實(shí)體識(shí)別問題，冗余問題，數(shù)據(jù)值的沖突和處理。數(shù)據(jù)規(guī)約用于數(shù)據(jù)分析的數(shù)據(jù)可能包含數(shù)以百計(jì)的屬性，其中大部分屬性與挖掘任務(wù)不相關(guān)，是冗余的。維度歸約通過刪除不相關(guān)的屬性，來減少數(shù)據(jù)量，并保證信息的損失最小。方法包括維度規(guī)約和維度變換。數(shù)據(jù)變換數(shù)據(jù)變換包括對(duì)數(shù)據(jù)進(jìn)行規(guī)范化，離散化，稀疏化處理，達(dá)到適用于挖掘的目的。規(guī)范化對(duì)數(shù)據(jù)按照一定比例進(jìn)行縮放，使之落在一個(gè)特定的區(qū)域。離散化是指將連續(xù)的數(shù)據(jù)進(jìn)行分段，使其變?yōu)橐欢味坞x散化的區(qū)間。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論23通用模型評(píng)估算法：分類模型評(píng)估分類任務(wù)的評(píng)估常用交叉熵、f1-score、precision、recall。交叉熵：在分類模型中交叉熵比MSE更合適，交叉熵關(guān)注的是正確類別的預(yù)測概率。準(zhǔn)確率（accuracy）即所有的預(yù)測正確（TP+TN）的占總數(shù)（TP+FP+TN+FN）的比例；查準(zhǔn)率P（precision）是指分類器預(yù)測為Positive的正確樣本（TP）的個(gè)數(shù)占所有預(yù)測為Positive樣本個(gè)數(shù)（TP+FP）的比例；查全率R（recall）：是指分類器預(yù)測為Positive的正確樣本（TP）占所有Positive樣本個(gè)數(shù)的比例。F1-score是查準(zhǔn)率P、查全率R的調(diào)和平均。回歸模型評(píng)估篩選過濾算法K最近鄰分類均方誤差（MSE）為實(shí)際值與預(yù)測值的差值取平方求平均。MAE也就是真實(shí)預(yù)測誤差。均方根誤差（RMSE）是對(duì)MSE的開根號(hào)。平均絕對(duì)誤差（MAE）是預(yù)測值與真實(shí)值之間的誤差取絕對(duì)值的平均。RMSE，MSE都有加平方，放大了較大誤差樣本的影響（對(duì)于異常值更敏感）。均方根對(duì)數(shù)誤差(RMSLE)對(duì)y值作對(duì)數(shù)處理。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論24通用機(jī)器學(xué)習(xí)算法（1）：趨勢(shì)預(yù)測算法

常用的趨勢(shì)預(yù)測算法包括ARIMA模型，神經(jīng)網(wǎng)絡(luò)模型和Prophet模型。ARIMA模型的首先對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行，采取對(duì)數(shù)、差分等相應(yīng)的變換將其變?yōu)槠椒€(wěn)序列。當(dāng)序列不是白噪聲序列時(shí)，即可選擇合適的ARIMA模型進(jìn)行擬合。神經(jīng)網(wǎng)絡(luò)模型，能夠達(dá)到較好的效果，但是模型不夠靈活；訓(xùn)練模型還需要大量的數(shù)據(jù)，數(shù)量不夠多很可能會(huì)產(chǎn)生過擬合，影響訓(xùn)練效果。關(guān)聯(lián)規(guī)則算法常用的關(guān)聯(lián)規(guī)則算法包括Apriori算法和FP-Growth算法。Apriori算法是生成頻繁集的一種算法。Apriori原理有個(gè)重要假設(shè)，如果某個(gè)項(xiàng)集是頻繁的，那么它的所有子集勢(shì)必也是頻繁的。傳統(tǒng)的Apriori算法的計(jì)算量很大，當(dāng)商品數(shù)據(jù)量大時(shí)基本上效率很低，所以后來FP-Tree算法優(yōu)化了該算法。智能推薦算法常用的四種主流的推薦算法：協(xié)同過濾推薦、基于內(nèi)容推薦、基于知識(shí)推薦、以及混合推薦。協(xié)同過濾推薦的主要思想是，利用已有用戶群過去的行為預(yù)測當(dāng)前用戶最可能喜歡哪些物品?；趦?nèi)容推薦的工作原理是，評(píng)估用戶還沒看到的物品與當(dāng)前用戶過去喜歡的物品的相似程度。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論25通用機(jī)器學(xué)習(xí)算法（2）：深度學(xué)習(xí)算法深度學(xué)習(xí)算法已經(jīng)成為了當(dāng)今數(shù)據(jù)處理領(lǐng)域最熱門的研究方向，不同的算法在不同的應(yīng)用場景中都有著獨(dú)特的優(yōu)勢(shì)和局限性。常用的深度學(xué)習(xí)算法包括卷積神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)，自編碼器，

強(qiáng)化學(xué)習(xí)，深度信念網(wǎng)絡(luò)，生成對(duì)抗網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)，

稀疏編碼和時(shí)空卷積網(wǎng)絡(luò)。隨機(jī)森林算法

隨機(jī)森林既可以勝任分類任務(wù)又可以勝任回歸任務(wù)。隨機(jī)森林采用Bagging的思想，是一種集成學(xué)習(xí)算法，算法由Bootstrap與Aggregating兩部分組成。隨機(jī)森林集成多個(gè)弱分類器，以決策樹為基本單元，通過集成大量的決策樹，就構(gòu)成了隨機(jī)森林。梯度提升算法梯度提升算法是Boosting中的一大類算法，它的思想借鑒于梯度下降法，其基本原理是根據(jù)當(dāng)前模型損失函數(shù)的負(fù)梯度信息來訓(xùn)練新加入的弱分類器，然后將訓(xùn)練好的弱分類器以累加的形式結(jié)合到現(xiàn)有模型中。采用決策樹作為弱分類器的GradientBoosting算法被稱為GBDT，有時(shí)又被稱為MART（MultipleAdditiveRegressionTree）。GBDT中使用的決策樹通常為CART。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論26通用高級(jí)統(tǒng)計(jì)算法：均值檢驗(yàn)均值檢驗(yàn)是一種用于檢驗(yàn)樣本均值是否與總體均值相等的方法。均值檢驗(yàn)分為單樣本均值檢驗(yàn)、兩獨(dú)立樣本均值檢驗(yàn)和配對(duì)樣本均值檢驗(yàn)。單樣本均值檢驗(yàn)用于檢驗(yàn)單樣本的均值是否與已知的總體均值相等。兩獨(dú)立樣本均值檢驗(yàn)用于檢驗(yàn)兩對(duì)獨(dú)立的樣本的均值是否相等，這里可根據(jù)總體方差是否相等分類討論。配對(duì)樣本均值檢驗(yàn)用于檢驗(yàn)配對(duì)樣本的均值是否相等。分散性度量極差又被稱為范圍差或全距（Range），以R表示，是用來表示統(tǒng)計(jì)資料中的變異量數(shù)，其最大值與最小值之間的差距，即最大值減最小值后所得之?dāng)?shù)據(jù)。它是標(biāo)志值變動(dòng)的最大范圍，它是測定標(biāo)志變動(dòng)的最簡單的指標(biāo)。移動(dòng)極差是其中一種。極差不能用做比較，單位不同，方差能用做比較，因?yàn)槎际莻€(gè)比率。數(shù)據(jù)降維分析降維就是指采用某種映射方法，將原高維空間中的數(shù)據(jù)點(diǎn)映射到低維度的空間中。降維方法包括主成分分析，等距映射，局部線性嵌入。主成分分析將原有眾多具有一定相關(guān)性的指標(biāo)重新組合成一組少量互相無關(guān)的綜合指標(biāo)，使得降維后數(shù)據(jù)的均方誤差盡可能小。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論27專用算法：面向特定需求的專用算法包括智能故障診斷、剩余壽命預(yù)測和健康管理三大關(guān)鍵算法。智能故障診斷算法：智能故障診斷技術(shù)依靠各類機(jī)器學(xué)習(xí)方法快速處理高速列車監(jiān)測數(shù)據(jù)，及時(shí)識(shí)別各關(guān)鍵設(shè)備的健康狀態(tài)，使得設(shè)備維護(hù)人員可以在設(shè)備故障早期采取維修或預(yù)防的措施，優(yōu)化生產(chǎn)環(huán)境，提高生產(chǎn)效率。目前，智能故障診斷理論與方法的研究以淺層模型為主，即模型結(jié)構(gòu)不含隱層節(jié)點(diǎn)或僅含單隱層節(jié)點(diǎn)，如自組織神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等。與淺層模型相對(duì)的是深度模型，該模型具有多隱層結(jié)構(gòu)，結(jié)構(gòu)復(fù)雜但對(duì)海量數(shù)據(jù)的表征能力強(qiáng)，隨著機(jī)械監(jiān)測數(shù)據(jù)量的急劇增加，深度學(xué)習(xí)模型逐漸吸引了學(xué)者們的研究興趣。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論28基于淺層模型的智能故障診斷智能故障診斷算法：（1）人工特征提?。涸\斷專家利用先進(jìn)的信號(hào)處理技術(shù)解析設(shè)備監(jiān)測信號(hào)的特性，設(shè)計(jì)相關(guān)算法，提取故障特征，表征設(shè)備的故障信息；（2）特征降維：若提取特征的維度過高，需要利用特征降維算法對(duì)故障特征進(jìn)行優(yōu)選，克服維數(shù)災(zāi)難問題；（3）健康狀態(tài)識(shí)別：以得到的故障特征為輸入，采用淺層模型識(shí)別機(jī)械設(shè)備的健康狀態(tài)。聚類聚類按照對(duì)象間的特征、親疏程度和相似性，把列車關(guān)鍵部件振動(dòng)信號(hào)歸為某一種健康狀態(tài)的過程，這一過程中只需要未標(biāo)記類別的訓(xùn)練樣本。K最近鄰分類K最近鄰分類只依據(jù)最鄰近的一個(gè)或者幾個(gè)健康狀態(tài)樣本來決定待分樣本所屬的健康狀態(tài)。支持向量機(jī)支持向量機(jī)利用非線性變換，將原始的樣本空間映射到高維的特征空間，在新的空間尋找最優(yōu)分類面去分類樣本，在樣本數(shù)小的情況下也可以達(dá)到很高的精度?；旌现悄茉\斷首先采用不同信號(hào)處理技術(shù)和特征提取方法獲得故障特征。然后將復(fù)雜的診斷問題分解，針對(duì)每一子問題，協(xié)同使用不同的人工智能技術(shù)進(jìn)行故障診斷，然后對(duì)各子問題的診斷結(jié)果進(jìn)行融合。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論29基于深度模型的智能故障診斷智能故障診斷算法：區(qū)別于淺層模型，深度學(xué)習(xí)旨在構(gòu)建具有深度結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，通過逐層非線性變換，將特征提取、特征降維、模式分類統(tǒng)籌在一個(gè)學(xué)習(xí)框架中，利用海量數(shù)據(jù)進(jìn)行訓(xùn)練，刻畫數(shù)據(jù)中豐富的內(nèi)在信息，最終提升分類或預(yù)測的準(zhǔn)確率。受其研究成果影響，學(xué)者逐漸將深度學(xué)習(xí)理論引入機(jī)械智能故障診斷領(lǐng)域。自動(dòng)編碼機(jī)自動(dòng)編碼器的輸入數(shù)據(jù)和輸出目標(biāo)相同，通過編碼網(wǎng)絡(luò)將高維空間的輸入數(shù)據(jù)轉(zhuǎn)換為低維空間的編碼向量，再將低維空間的編碼向量重構(gòu)回原來的輸入數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)通常卷積神經(jīng)網(wǎng)絡(luò)輸入為原始信號(hào)，也可以使用提取的指標(biāo)作為輸入。卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)包括兩層，其一為卷積層，用于提取前一層輸出的局部特征；其二是池化層，利用最大池化或者平均池化的方式，對(duì)特征進(jìn)行降維，提高識(shí)別結(jié)果的魯棒性。深度稀疏網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)通過構(gòu)建深層次的模型，結(jié)合大量的訓(xùn)練數(shù)據(jù)，組合低層特征形成更加抽象的高層特征，最終提升分類精度。由于旋轉(zhuǎn)機(jī)械信號(hào)存在稀疏特性，因此將稀疏因子引入到深度網(wǎng)絡(luò)的建立中，形成深度稀疏網(wǎng)絡(luò)。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論30剩余壽命預(yù)測算法：剩余壽命預(yù)測的主要任務(wù)是根據(jù)高速列車關(guān)鍵部件的歷史服役記錄、狀態(tài)監(jiān)測數(shù)據(jù)等信息，預(yù)測其健康狀態(tài)退化到完全失去服役能力的剩余時(shí)長。根據(jù)其基本理論和方法流程的不同，剩余壽命預(yù)測方法可概括為四大類方法，即：基于物理模型、基于統(tǒng)計(jì)模型、人工智能和多模型融合的壽命預(yù)測方法。基于物理模型的剩余壽命預(yù)測方法該方法通過研究列車關(guān)鍵部件失效機(jī)理，從而建立產(chǎn)品衰退過程數(shù)學(xué)模型來描述其衰退過程并進(jìn)一步實(shí)現(xiàn)壽命預(yù)測。基于統(tǒng)計(jì)模型的剩余壽命預(yù)測方法該方法在構(gòu)建基于統(tǒng)計(jì)模型的壽命預(yù)測方法時(shí)，首先根據(jù)專家經(jīng)驗(yàn)建立高速列車關(guān)鍵部件的統(tǒng)計(jì)失效模型，而后利用實(shí)時(shí)量測信息計(jì)算剩余壽命及其概率密度。基于人工智能的剩余壽命預(yù)測方法深度殘差網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)、時(shí)間卷積網(wǎng)絡(luò)等深度學(xué)習(xí)模型具有更強(qiáng)的表征學(xué)習(xí)能力，可提升模型的預(yù)測性能并實(shí)現(xiàn)“端到端”的智能剩余壽命預(yù)測。多模型融合的剩余壽命預(yù)測方法研究人員通過將上述三類方法融合，得到以下方法：“統(tǒng)計(jì)模型+人工智能”方法；“物理模型+統(tǒng)計(jì)模型”方法；“物理模型+統(tǒng)計(jì)模型+人工智能”方法。4“通用-專用”結(jié)合的數(shù)據(jù)分析算法第七章2024/5/10智能高速鐵路概論31健康管理算法：在列車健康管理領(lǐng)域中，當(dāng)前的研究工作和實(shí)際應(yīng)用主要針對(duì)列車運(yùn)行過程中的物質(zhì)運(yùn)動(dòng)形態(tài)，即根據(jù)高速列車運(yùn)行過程中關(guān)鍵設(shè)備發(fā)生的磨損、疲勞、腐蝕等性能劣化，對(duì)相應(yīng)設(shè)備加以檢測、修復(fù)、改造和更換，研究重點(diǎn)在于設(shè)備的可靠性、維修性和工藝性。因此，針對(duì)高速列車健康管理的研究工作主要面向維護(hù)策略研究。基于狀態(tài)的維護(hù)策略又稱視情維護(hù)策略，是一種以產(chǎn)品技術(shù)狀態(tài)為基礎(chǔ)的預(yù)防性維護(hù)方式，可根據(jù)產(chǎn)品的日常點(diǎn)檢、定期檢查、連續(xù)監(jiān)測、故障診斷提供的信息，使用壽命預(yù)測方法來判斷產(chǎn)品的惡化程度，在產(chǎn)品失效之前對(duì)設(shè)備進(jìn)行有計(jì)劃的適當(dāng)維護(hù)。5鐵路BIM服務(wù)平臺(tái)第七章2024/5/10智能高速鐵路概論32鐵路BIM服務(wù)平臺(tái)融入了鐵路BIM聯(lián)盟IFD53、信息交換、IFC、WBS等標(biāo)準(zhǔn)，以模型高效存儲(chǔ)、模型標(biāo)準(zhǔn)化集成、BIM模型輕量化轉(zhuǎn)化、BIM模型動(dòng)態(tài)發(fā)布及渲染等服務(wù)為核心，可實(shí)現(xiàn)基于BIM模型的數(shù)模一體化應(yīng)用，同時(shí)支撐BIM模型管理、在線審核、統(tǒng)計(jì)及輕量化瀏覽。通過發(fā)布BIM服務(wù)，向各方提供BIM數(shù)據(jù)及基礎(chǔ)應(yīng)用服務(wù)。模型高效存儲(chǔ)及檢索服務(wù)模型統(tǒng)一格式存儲(chǔ)及檢索標(biāo)準(zhǔn)編碼服務(wù)模型發(fā)布與渲染服務(wù)模型瀏覽模型爆炸模型剖切模型測量模型漫游模型輕量化服務(wù)多格式輸入多格式輸出模型標(biāo)準(zhǔn)化集成服務(wù)點(diǎn)-面切線裝配中心線-里程裝配5鐵路BIM服務(wù)平臺(tái)2024/5/10智能高速鐵路概論33第七章采用新一代數(shù)據(jù)庫存儲(chǔ)技術(shù)，所有幾何和非幾何信息均存儲(chǔ)于數(shù)據(jù)庫，方便檢索與查詢?；谝惶譈IM數(shù)據(jù)模型進(jìn)行設(shè)計(jì)、施工深化和協(xié)同管理，有效解決了當(dāng)前BIM應(yīng)用中，模型輕量化造成的信息丟失。模型高效存儲(chǔ)及檢索服務(wù)5鐵路BIM服務(wù)平臺(tái)2024/5/10智能高速鐵路概論34第七章通過集成IFD標(biāo)準(zhǔn)并發(fā)布統(tǒng)一服務(wù)，實(shí)現(xiàn)IFD標(biāo)準(zhǔn)部署。通過程序化或交互式批量化向工程實(shí)例模型賦碼，加快檢索效率。模型高效存儲(chǔ)及檢索服