產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊

產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊V1、0報表報告等多種分析功能,提供表格分析、趨勢分析、同比、環(huán)比分析、分布分析、對比、關(guān)聯(lián)分析等多種分析方法,使用人員還可以根據(jù)需要,自定義指標、維度、歷史數(shù)據(jù)范圍等,以多種直觀、靈活的方式展現(xiàn)。實現(xiàn)短信、彩信、手機上網(wǎng)等重點業(yè)務端到端的質(zhì)量分析;實現(xiàn)網(wǎng)絡隱患的主動發(fā)現(xiàn)與溯源;實現(xiàn)多專業(yè)的日常分析與跨專業(yè)的網(wǎng)絡專題分析;呈現(xiàn)資源瓶頸、呈現(xiàn)質(zhì)量短板、呈現(xiàn)關(guān)聯(lián)信息支撐生產(chǎn)與優(yōu)化方案制定。綜合資源數(shù)據(jù)分析系統(tǒng)面向維護、面向質(zhì)量、面向經(jīng)營,通過提取、整合專業(yè)網(wǎng)管、綜合網(wǎng)管、業(yè)務管理、運維管理、市場支撐在內(nèi)的各層面系統(tǒng)的信息資源,通過對信息深加工BOSS結(jié)合BSS數(shù)據(jù)進行跨域分析,解決網(wǎng)絡資源的精確投放問題;綜合資源數(shù)據(jù)分析系統(tǒng)提供靈活自定義功能實現(xiàn)多專業(yè)的日常分析與跨專業(yè)的專題分析,提升運行維護效率,同時也大大減輕了一線人員的壓力。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊2.1系統(tǒng)邏輯架構(gòu)SysDBVendorSpeciPig(DataFlow)Hive(SQL)sqop(Coordination)ZookeerMapReduce(Jobscheduling/ExecutionSystem)LP云計算基于高效的虛擬計算資源,應用程序,以靈活安全的方式達到快速擴展與縮減的效果,從而交付高品質(zhì)服務。業(yè)務以及客戶服務以相對簡化的方式交付,這將大大推進立異與池、存儲池、網(wǎng)絡及安全池架構(gòu)虛擬化結(jié)構(gòu)。2.2系統(tǒng)邏輯數(shù)據(jù)模型綜合資源數(shù)據(jù)分析系統(tǒng)邏輯數(shù)據(jù)模型劃分為五個主題域:客戶主題域:描述各類參與人(個人、集團、團體等)在中國移動業(yè)務活動所處角色的各類信息,主要包括客戶、客戶性能;服務主題域:描述中國移動向客戶提供的主要服務,主要包括服務、服務性能;資源主題域:資源就是移動公司擁有的為客戶提供服務的所有載體,主要包括資源、公共主題域:主要包括基本類型、時間、位置、性能等等;企業(yè)效能主題域:企業(yè)效能主題域主要刻畫企業(yè)內(nèi)部資源的生產(chǎn)效率,包括網(wǎng)絡的效率與運維人員工作的效率等等;產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊所示:0..*0..*資源0..0,20..*基本類型0..*基本類型ABE性能0..*0..*戶性能效能戶性能效能0..*00..*0..*0..*客戶0..*0..*0..*產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊2.3系統(tǒng)模型結(jié)構(gòu)綜合資源數(shù)據(jù)分析系統(tǒng)服務各級管理、規(guī)劃、維護、優(yōu)化及網(wǎng)絡分析人員以及希望了解網(wǎng)絡數(shù)據(jù)的市場相關(guān)人員,實現(xiàn)匹配網(wǎng)絡資源與業(yè)務發(fā)展,發(fā)現(xiàn)網(wǎng)絡短板,優(yōu)化客戶感知,提升運行維護效率的目標,為企業(yè)運營決策與維護優(yōu)化提供完整、及時、準確、科學的信息支撐,從而保障網(wǎng)絡收益最大化,保持競爭優(yōu)勢。對問題進行層進實溯源分析,實現(xiàn)網(wǎng)絡隱患的主動發(fā)現(xiàn)與溯源;重點實現(xiàn)語音、短信、彩信、與手機報的端到端分析;實現(xiàn)網(wǎng)絡概覽、網(wǎng)絡運行分析、業(yè)務能力分析、客戶全向分析、網(wǎng)絡運營分析、熱點聚焦等業(yè)務功能。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.1元數(shù)據(jù)管理本章節(jié)對元數(shù)據(jù)管理模塊基本功能做出要求與描述,主要包括元數(shù)據(jù)基本維護、元數(shù)據(jù)變更管理、元數(shù)據(jù)查詢、元數(shù)據(jù)統(tǒng)計、元數(shù)據(jù)質(zhì)量管理與元數(shù)據(jù)權(quán)限管理。3.1.1.1元數(shù)據(jù)的基本維護元數(shù)據(jù)維護提供對元數(shù)據(jù)的增加、刪除與修改等基本操作。對于元數(shù)據(jù)的增量維護,要保留歷史版本信息。元數(shù)據(jù)的維護操作就是原子操作,這些原子操作可通過服務封裝的形式向綜合資源數(shù)據(jù)分析系統(tǒng)的其它模塊提供元數(shù)據(jù)維護接口。3.1.1.2元數(shù)據(jù)變更管理元數(shù)據(jù)變更管理包括變更通知與版本管理兩個部分。變更通知就是當元數(shù)據(jù)發(fā)生改變時,系統(tǒng)自動發(fā)送信息(郵件、短信)給訂閱用戶。用戶可以主動訂閱自己關(guān)心的元數(shù)據(jù),幫助了解與自身工作相關(guān)的業(yè)務系統(tǒng)變更情況,提高工作版本管理就是對不同時期進入元數(shù)據(jù)庫的同一實體的元數(shù)據(jù)進行管理。要求的基本功能體的元數(shù)據(jù)的修改歷史。另外還提供版本差異分析與版本變更分析等。并且能夠進行單個元數(shù)據(jù)版本的恢復。3.1.1.3元數(shù)據(jù)查詢數(shù)據(jù)庫中的元數(shù)據(jù)基本信息進行查詢的功能,通過該功能可以查詢數(shù)據(jù)庫表、維表、指標、過程及參與的輸入輸出實體信息,以及其它納入管理的實體基本信息,查詢的信息按處理的層次及業(yè)務主題進行組織,查詢功能返回實體及其所屬的相關(guān)信息。元數(shù)據(jù)查詢功能要求支持對歷史版本信息的查詢,以了解具體實體的歷史變更情況。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.1.1.4元數(shù)據(jù)統(tǒng)計元數(shù)據(jù)統(tǒng)計就是指用戶可以按不同類別進行元數(shù)據(jù)個數(shù)的統(tǒng)計。方便用戶全面了解元數(shù)據(jù)管理模塊中的元數(shù)據(jù)分布,該統(tǒng)計功能可以按元數(shù)據(jù)類型、元數(shù)據(jù)創(chuàng)建者與元數(shù)據(jù)的版本3.1.1.5元數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理模塊應具備對元數(shù)據(jù)本身質(zhì)量進行檢查的功能。元數(shù)據(jù)質(zhì)量檢查包含但不限于以下內(nèi)容:元數(shù)據(jù)一致性、元數(shù)據(jù)關(guān)系的健全性、元數(shù)據(jù)屬性的填充率、元數(shù)據(jù)名稱重復性、元數(shù)據(jù)關(guān)鍵屬性的填充率與元數(shù)據(jù)關(guān)鍵屬性值的唯一性。對于以上檢查結(jié)果,元數(shù)據(jù)管理模塊可生成詳細的檢查報告,并能夠支持相關(guān)人員對檢查報告的檢索與查找,能夠把指定檢查一致性檢查主要就是指從運營分析系統(tǒng)中抽取元數(shù)據(jù),并與元數(shù)據(jù)庫的對應信息進行比較,及時發(fā)現(xiàn)運營分析系統(tǒng)的應用變更,保證元數(shù)據(jù)的及時更新。一致性檢查包括兩種方產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊健全性檢查在運營分析系統(tǒng)元數(shù)據(jù)庫中,除個別類型元數(shù)據(jù)之外,各類元數(shù)據(jù)之間都有著千絲萬縷的聯(lián)系,并且相互間的關(guān)聯(lián)關(guān)系需要保持一致,不應出現(xiàn)空鏈或者錯鏈的情況(即存在外鍵或鏈接,但所鏈接的內(nèi)容不存在或錯誤);運營分析系統(tǒng)各個子系統(tǒng)內(nèi)部的元數(shù)據(jù)之間的關(guān)聯(lián)也要保持一致;同時,子系統(tǒng)之間的元數(shù)據(jù)關(guān)聯(lián)也要保持一致(不能出現(xiàn)某一個系統(tǒng)引用另一個系統(tǒng)中出現(xiàn)的元數(shù)據(jù)對象,卻在另一個系統(tǒng)中找不到這個對象的情況)。元數(shù)據(jù)管理模塊通過元數(shù)據(jù)的這些關(guān)系描述了運營分析系統(tǒng)的數(shù)據(jù)流向、過程依賴與業(yè)務承載等各種內(nèi)在的規(guī)律。元數(shù)據(jù)關(guān)系就是否健全直接影響到維護人員的問題判斷與處理結(jié)果,直接影響著開發(fā)者對數(shù)據(jù)流向的分析與判斷,因此,元數(shù)據(jù)管理模塊必須在元數(shù)據(jù)的關(guān)聯(lián)關(guān)系健全性方面作好保障檢查工作。對于元數(shù)據(jù)關(guān)系健全性檢查工作,可以從以下幾個方面進行:數(shù)據(jù)處理關(guān)系檢查數(shù)據(jù)處理關(guān)系就是數(shù)據(jù)實體與數(shù)據(jù)處理過程之間的關(guān)系。數(shù)據(jù)處理關(guān)系檢查就是從元數(shù)據(jù)庫中找出缺乏應有數(shù)據(jù)處理關(guān)系的數(shù)據(jù)實體與數(shù)據(jù)處理過程。例如,找出沒有與任何數(shù)據(jù)處理過程建立數(shù)據(jù)處理關(guān)系的數(shù)據(jù)實體與找出沒有與數(shù)據(jù)實體建立數(shù)據(jù)輸入輸出關(guān)系的數(shù)據(jù)處理過程。上下級關(guān)系檢查產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊上下級關(guān)系就是在元數(shù)據(jù)庫中對運營分析系統(tǒng)實體進行分級管理所形成的元數(shù)據(jù)關(guān)系,例如將指標按業(yè)務主題與業(yè)務子主題進行分級管理。上下級關(guān)系檢查就是在元數(shù)據(jù)庫中找出存在不合理上下級關(guān)系的實體,例如找出沒有與任何業(yè)務主體建立關(guān)系的指組合關(guān)系檢查組合關(guān)系就是運營分析系統(tǒng)實體之間的整體與部分關(guān)系,例如數(shù)據(jù)庫表與字段之間的關(guān)系。組合關(guān)系檢查時在元數(shù)據(jù)庫中找出存在不合理組合關(guān)系的元數(shù)據(jù),例如找出沒有與任何數(shù)據(jù)庫表建立關(guān)系的字段。元數(shù)據(jù)屬性檢查就是對元數(shù)據(jù)庫中實體屬性詳細信息方面的檢查,包括元數(shù)據(jù)屬性填充率檢查、元數(shù)據(jù)名稱重復性檢查與元數(shù)據(jù)關(guān)鍵屬性值的唯一性檢查等。對于元數(shù)據(jù)屬性填充率檢查,省公司可以根據(jù)自己的建設情況,抽樣檢查部分重要屬性,原則上必須涵蓋實體的關(guān)鍵屬性。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.1.1.6元數(shù)據(jù)權(quán)限管理元數(shù)據(jù)模塊的權(quán)限管理負責元數(shù)據(jù)管理功能的權(quán)限分派、審批以及訪問日志記錄,實現(xiàn)對元數(shù)據(jù)管理模塊的數(shù)據(jù)訪問與功能的使用進行有效監(jiān)控。元數(shù)據(jù)管理模塊的權(quán)限管理工作應納入綜合資源數(shù)據(jù)分析系統(tǒng)中統(tǒng)一管理。本節(jié)詳細描述了綜合資源數(shù)據(jù)分析系統(tǒng)元數(shù)據(jù)管理模塊功能層的各個分析功能。本章節(jié)對元數(shù)據(jù)管理模塊分析功能做出要求與描述,主要包括元數(shù)據(jù)血統(tǒng)分析、元數(shù)據(jù)影響分析、數(shù)據(jù)映射分析、差異分析與實體關(guān)聯(lián)分析。3.1.2.1血統(tǒng)分析血緣分析(也稱血統(tǒng)分析)就是指從某一實體出發(fā),往回追溯其處理過程,直到綜合資源數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)源接口采集層。對于不同類型的實體,其涉及的轉(zhuǎn)換過程可能有不同類理過程,又涉及倉庫匯總處理過程;而對于指標,則除了上面的處理過程,還涉及指標生成的處理過程。數(shù)據(jù)源接口實體由源系統(tǒng)提供,作為綜合資源數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)輸入,其它的數(shù)據(jù)實體都經(jīng)過了一個或多個不同類型的處理過程。血緣分析正就是提供了這樣一種功能,可以讓使用者根據(jù)需要了解不同的處理過程,每個處理過程具體做什么,需要什么樣的輸入,又產(chǎn)生什么樣的輸出。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊為實現(xiàn)血緣分析,對于任何指定的實體,首先獲得該實體的所有前驅(qū)實體,然后對這些前驅(qū)實體遞歸地獲得各自的前驅(qū)實體,結(jié)束條件就是所有實體到達數(shù)據(jù)源接口或者就是實體沒有相應的前驅(qū)實體。血緣分析應能夠以圖形的方式展現(xiàn)所有實體與處理過程。3.1.2.2影響分析影響分析就是指從某一實體出發(fā),尋找依賴該實體的處理過程實體或其她實體。如果需要可以采用遞歸方式尋找所有的依賴過程實體或其她實體。該功能支持當某些實體發(fā)生變化或者需要修改時,評估實體影響范圍。影響分析應能夠以圖形的方式展現(xiàn)所有實體與關(guān)聯(lián)關(guān)系。3.1.2.3數(shù)據(jù)映射分析用戶能夠查瞧數(shù)據(jù)處理程序內(nèi)部的映射關(guān)系,了解數(shù)據(jù)加工過程的細節(jié)。以圖形展現(xiàn)數(shù)3.1.2.4差異分析實體差異分析就是對元數(shù)據(jù)的不同實體進行檢查,用圖形與表格的形式展現(xiàn)它們之間的差異,包括名字、屬性及數(shù)據(jù)血緣與對系統(tǒng)其她部分影響的差異等。3.1.2.5實體關(guān)聯(lián)分析實體關(guān)聯(lián)分析就是從某一實體關(guān)聯(lián)的其它實體與其參與的處理過程兩個角度來查瞧具體數(shù)據(jù)的使用情況,形成一張實體與所參與處理過程的網(wǎng)絡,從而進一步了解該實體的重要程度。本功能可以用來支撐需求變更影響評估的應用。對于關(guān)系數(shù)據(jù)表,可以分析與某個表有關(guān)的實體或處理過程,查瞧具體數(shù)據(jù)的使用情況,從而判斷該表的重要程度。該功能有助于尋找數(shù)據(jù)庫中關(guān)鍵表與冗余表,為系統(tǒng)調(diào)優(yōu)提供支產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.2數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量問題處理包括問題生成(來源)、問題分析、問題處理與問題總結(jié)四個環(huán)節(jié),下按問題生成途徑可以把數(shù)據(jù)質(zhì)量問題分為以下幾種:數(shù)據(jù)質(zhì)量監(jiān)控生成的問題數(shù)據(jù)質(zhì)量監(jiān)控根據(jù)預先配置的告警轉(zhuǎn)問題規(guī)則,可由系統(tǒng)自動將一定級別的告警轉(zhuǎn)為數(shù)據(jù)質(zhì)量問題;也可以在告警處理過程中手工方式將告警轉(zhuǎn)為問題。數(shù)據(jù)質(zhì)量監(jiān)控生成的問題主要由告警信息組成,問題發(fā)現(xiàn)時間為告警產(chǎn)生的時間。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊數(shù)據(jù)質(zhì)量評估發(fā)現(xiàn)的問題通過對數(shù)據(jù)質(zhì)量一段時期的評估,可能從中發(fā)現(xiàn)一些數(shù)據(jù)質(zhì)量問題,通過數(shù)據(jù)質(zhì)量業(yè)務人員或維護人員手工提交的問題綜合資源數(shù)據(jù)分析系統(tǒng)的業(yè)務人員或維護人員在日常工作過程中也會發(fā)現(xiàn)數(shù)據(jù)質(zhì)問題工單的流轉(zhuǎn)也可以通過數(shù)據(jù)質(zhì)量模塊的問題錄入界面進行問題的錄入。在以上三種數(shù)據(jù)質(zhì)量問題中,數(shù)據(jù)質(zhì)量監(jiān)控生成的問題為系統(tǒng)自動產(chǎn)生的問題,其余兩種為手工提交的問題。在問題生成過程中,無論就是自動生成還就是手工提交的問題,都可以先檢查數(shù)據(jù)質(zhì)量知識庫中就是否有相同或類似的問題,生成建議的解決方案。數(shù)據(jù)質(zhì)量問題生成后,首先需要進行問題的分析與定位工作,當發(fā)生重要或嚴重級別的問題時,可根據(jù)需要先采取數(shù)據(jù)處理流程掛起與問題隔離措施:通過手工或自動的方式將數(shù)據(jù)處理流程掛起,并將存在問題的數(shù)據(jù)進行隔離。通過流程掛起與問題數(shù)據(jù)隔離,可將問題的影響范圍控制在較小的區(qū)間內(nèi),防止問題擴大,便于問題的解決。無論就是否采取問題隔離措施,在問題分析與定位過程中,根據(jù)問題信息與問題關(guān)聯(lián)的對象,對問題的原因進行分析。在分析過程中借用以下兩種工具輔助分析與定位問題:元數(shù)據(jù)分析工具使用元數(shù)據(jù)分析工具首先需要知道問題關(guān)聯(lián)的對象,或者在問題信息中先識別問題關(guān)聯(lián)的對象,然后通過元數(shù)據(jù)管理模塊的分析工具進行問題分析與定位才有效。如使用血緣分析工具定位問題產(chǎn)生的根源,使用影響分析工具分析問題對綜合分析全局的影響程度等。數(shù)據(jù)質(zhì)量知識庫通過問題信息中的關(guān)鍵字、問題關(guān)聯(lián)的對象或?qū)ο箢愋?可以在數(shù)據(jù)質(zhì)量知識庫中尋找相同或相似的問題,通過分析歷史問題的發(fā)生規(guī)律,有利于對當前問題的分析與定位。對于綜合資源數(shù)據(jù)處理環(huán)節(jié)造成的數(shù)據(jù)質(zhì)量問題,啟動相應的數(shù)據(jù)質(zhì)量維護流程,解決相應的數(shù)據(jù)質(zhì)量問題?？梢钥紤]通過EOMS系統(tǒng)來處理數(shù)據(jù)質(zhì)量的相關(guān)問題。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊1)問題總結(jié)類型當問題處理環(huán)節(jié)結(jié)束后,需要對問題處理的全過程進行記錄與總結(jié)。問題總結(jié)可以劃分為不同的類型:a)單一數(shù)據(jù)質(zhì)量問題的總結(jié)單一問題的總結(jié)就是對單個數(shù)據(jù)質(zhì)量問題處理的過程與結(jié)果進行評估;以及在采,以便質(zhì)量管理工作的改進。b)數(shù)據(jù)質(zhì)量的階段性總結(jié)階段性總結(jié)就是對綜合資源數(shù)據(jù)分析系統(tǒng)一個時間階段內(nèi)的數(shù)據(jù)質(zhì)量狀況進行總結(jié)。階段性總結(jié)數(shù)據(jù)質(zhì)量監(jiān)控信息庫、數(shù)據(jù)質(zhì)量問題信息庫與數(shù)據(jù)質(zhì)量知識庫為基礎(chǔ),通過對各種信息進行分類統(tǒng)計,得到不同角度的總結(jié)報告,如月度數(shù)據(jù)質(zhì)量問題分析報告與數(shù)據(jù)源接口質(zhì)量評估分析報告等。經(jīng)過問題總結(jié),形成數(shù)據(jù)質(zhì)量知識庫,其中問題處理過程、問題解決方案等均可以作為數(shù)據(jù)質(zhì)量知識的一部分進行存儲。2)問題總結(jié)對系統(tǒng)功能的要求a)問題查詢功能查詢作為總結(jié)分析功能的基礎(chǔ),系統(tǒng)能對數(shù)據(jù)質(zhì)量存儲庫中的各類信息進行靈活查及問題處理過程與數(shù)據(jù)質(zhì)量知識庫等,同時,查詢所得的數(shù)據(jù)就是關(guān)聯(lián)性的,如某一數(shù)據(jù)質(zhì)量問題可以追溯到檢查結(jié)果信息、采集信息與被檢查對象及屬性等。b)問題統(tǒng)計分析功能系統(tǒng)能快速的統(tǒng)計某一維度或組合維度的數(shù)據(jù)質(zhì)量情況,如可以統(tǒng)計某周期內(nèi)數(shù)據(jù)階段問題,優(yōu)化檢查規(guī)則、并可形成知識。c)問題總結(jié)轉(zhuǎn)化為知識功能通過對問題的總結(jié),可以將典型的問題及其解決方案轉(zhuǎn)為數(shù)據(jù)質(zhì)量知識;或者將共轉(zhuǎn)化為知識的輔助功能。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊數(shù)據(jù)質(zhì)量知識就是在綜合資源數(shù)據(jù)分析系統(tǒng)使用及運維過程中,由數(shù)據(jù)質(zhì)量管理子系統(tǒng)收集的有關(guān)數(shù)據(jù)及過程問題的處理經(jīng)驗總結(jié)。這些知識可作為今后數(shù)據(jù)質(zhì)量問題解決方法的參考,并可以按關(guān)鍵字的形式進行索引與分類管理。3.2.3.1數(shù)據(jù)質(zhì)量知識的產(chǎn)生數(shù)據(jù)質(zhì)量知識主要來源于對數(shù)據(jù)質(zhì)量問題的總結(jié),同時,對數(shù)據(jù)質(zhì)量問題的不同解決方案以及對知識本身的評價也就是對數(shù)據(jù)質(zhì)量知識的補充與完善。通過調(diào)用綜合資源數(shù)據(jù)分析系統(tǒng)知識庫的知識生成接口提交數(shù)據(jù)質(zhì)量知識。庫中包括了以下經(jīng)驗的集合:接口問題解決經(jīng)驗、數(shù)據(jù)抽取問題解決經(jīng)驗、決經(jīng)驗與指標問題解決經(jīng)驗等。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊數(shù)據(jù)質(zhì)量管理系統(tǒng)在對數(shù)據(jù)的質(zhì)量進行監(jiān)控的同時,也對數(shù)據(jù)提供者有了考核的依據(jù)?？己嗽u估包括以下功能:數(shù)據(jù)質(zhì)量核查評估規(guī)則管理數(shù)據(jù)質(zhì)量核查評估報表數(shù)據(jù)質(zhì)量核查評估報告3.2.4.1數(shù)據(jù)質(zhì)量評估規(guī)則管理數(shù)據(jù)質(zhì)量評估規(guī)則就是指根據(jù)核查結(jié)果,對數(shù)據(jù)核查特性的一個量化評估規(guī)則。例如數(shù)據(jù)的完整性,可以根據(jù)數(shù)據(jù)的完整率對應的評估;數(shù)據(jù)的及時性根據(jù)數(shù)據(jù)不及時的次數(shù)進行評估;數(shù)據(jù)的有效性根據(jù)數(shù)據(jù)的有效率進行評估;數(shù)據(jù)的一致性根據(jù)波動率超過閥值的次數(shù)進提供數(shù)據(jù)質(zhì)量不同特性的數(shù)據(jù)考核規(guī)則增加、修改、刪除;保存考核規(guī)則的歷史修訂記錄;查瞧歷史記錄;支持區(qū)分核查的數(shù)據(jù)內(nèi)容,設置數(shù)據(jù)完整性、及時性,有效性,一致性的評分規(guī)則;3.2.4.2數(shù)據(jù)質(zhì)量評估報表根據(jù)核查結(jié)果以及核查評分規(guī)則的設置,自動提供核查評估報表。詳細描詳細描述呈現(xiàn)各數(shù)據(jù)源各性能數(shù)據(jù)集的數(shù)據(jù)完整率以及對應的評分呈現(xiàn)各數(shù)據(jù)源各配置數(shù)據(jù)集的數(shù)據(jù)完整率以及對應的評分呈現(xiàn)各核查數(shù)據(jù)集配置完整率以及對應的評分呈現(xiàn)各核查數(shù)據(jù)集性能完整率以及對應的評分分數(shù)據(jù)源性能完整性報表數(shù)據(jù)源配置完整性報表核查點配置完整性報表性報表考評表《完整性考核日報表》產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊分OMC呈現(xiàn)每天的告警完整率《及時性考核日報表》《有效性考核日報表》《一致性日報表》《數(shù)據(jù)質(zhì)量綜合評估日報表》《數(shù)據(jù)質(zhì)量綜合評估月報表》數(shù)據(jù)源性能數(shù)據(jù)及時性數(shù)據(jù)源告警數(shù)據(jù)及時性數(shù)據(jù)采集層性能數(shù)據(jù)及時性數(shù)據(jù)采集層告警數(shù)據(jù)及時性數(shù)據(jù)源數(shù)據(jù)有效性報表核查點數(shù)據(jù)有效性報表OMC各性能數(shù)據(jù)集的數(shù)據(jù)及時率以及對應的評分OMC分OMC呈現(xiàn)各性能數(shù)據(jù)集采集的數(shù)據(jù)及時率以及對應的評分分OMC呈現(xiàn)各核查數(shù)據(jù)集的數(shù)據(jù)有效率以及對應的評分分核查數(shù)據(jù)集呈現(xiàn)數(shù)據(jù)有效率以及對應的評分每日各數(shù)據(jù)采集點波動率超閥值次數(shù)數(shù)據(jù)源、各網(wǎng)管系統(tǒng)的數(shù)據(jù)完整性、及時性、有效性、一致性綜合評估日報表。數(shù)據(jù)源、各網(wǎng)管系統(tǒng)的數(shù)據(jù)完整性、及時性、有效性、一致性綜合評估月報表。3.2.4.3數(shù)據(jù)源接口質(zhì)量評估數(shù)據(jù)源接口質(zhì)量評估就是數(shù)據(jù)質(zhì)量管理子系統(tǒng)在元數(shù)據(jù)管理模塊的支撐下,對數(shù)據(jù)源接口質(zhì)量的定期評估,就是綜合資源數(shù)據(jù)分析系統(tǒng)對數(shù)據(jù)源接口數(shù)據(jù)質(zhì)量的定期考核。在一定時間范圍內(nèi),數(shù)據(jù)質(zhì)量管理子系統(tǒng)通過對數(shù)據(jù)源接口質(zhì)量問題的統(tǒng)計分析,結(jié)合數(shù)據(jù)源接口質(zhì)量評估規(guī)則,生成數(shù)據(jù)源接口質(zhì)量評估報告。數(shù)據(jù)源接口質(zhì)量評估要求在以下數(shù)據(jù)質(zhì)量問題指標的基礎(chǔ)上,建立數(shù)據(jù)源接口質(zhì)量指標數(shù)據(jù)質(zhì)量問題類指標?不準確問題數(shù)量產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊?不一致問題數(shù)量?不及時問題數(shù)量?不有效問題數(shù)量?不完整問題數(shù)量數(shù)據(jù)質(zhì)量處理情況指標?數(shù)據(jù)源接口問題總數(shù)量:指在一定時間范圍內(nèi),數(shù)據(jù)源接口出現(xiàn)數(shù)據(jù)質(zhì)量問題的總數(shù)量(包括重復出現(xiàn)次數(shù));?問題處理完成比率:指在一定時間范圍內(nèi),處理完成的數(shù)據(jù)源接口質(zhì)量問題數(shù)量的比值;?問題平均處理時長:指在一定時間范圍內(nèi),數(shù)據(jù)源接口質(zhì)量問題處理總時長與?重大問題出現(xiàn)次數(shù):指在一定時間范圍內(nèi),出現(xiàn)重大數(shù)據(jù)質(zhì)量問題的次數(shù),如:影響增值業(yè)務話單接口數(shù)據(jù)質(zhì)量問題等。數(shù)據(jù)源接口質(zhì)量評估功能要求在元數(shù)據(jù)管理模塊中配置數(shù)據(jù)源接口質(zhì)量評估規(guī)則,并進行數(shù)據(jù)源接口質(zhì)量評估規(guī)則的管理。數(shù)據(jù)源接口質(zhì)量評估規(guī)則就是指:根據(jù)數(shù)據(jù)源接口質(zhì)量問題各指標對綜合資源數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)質(zhì)量影響程度的不同,在元數(shù)據(jù)管理模塊中定義與指標相對應的評分規(guī)則。數(shù)據(jù)源接口質(zhì)量評估要求數(shù)據(jù)質(zhì)量管理子系統(tǒng)將每月的數(shù)據(jù)源接口質(zhì)量評估結(jié)果及時發(fā)送給數(shù)據(jù)源系統(tǒng)相關(guān)管理人員。數(shù)據(jù)源接口質(zhì)量評估報告應詳細反映當月數(shù)據(jù)源接口質(zhì)量問題情況,主要應包括以下內(nèi)容:2)數(shù)據(jù)源接口質(zhì)量問題各指標值3)數(shù)據(jù)源接口質(zhì)量評分接口側(cè)質(zhì)量問題、發(fā)生時間、問題類型、嚴重級別、問題描述與處理結(jié)果。數(shù)據(jù)質(zhì)量管理子系統(tǒng)就是綜合資源數(shù)據(jù)分析系統(tǒng)的有機組成部分,通過與綜合分析其它模塊的信息交互可以提升數(shù)據(jù)質(zhì)量管理子系統(tǒng)的利用價值。同時,數(shù)據(jù)質(zhì)量管理子系統(tǒng)本身也可以利用這些服務功能。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊數(shù)據(jù)質(zhì)量對外服務功能一般以界面集成(頁面嵌入)或服務接口調(diào)用方式供綜合分析門3.2.5.1數(shù)據(jù)質(zhì)量信息查詢功能數(shù)據(jù)質(zhì)量信息查詢可以分為以下兩種信息的查詢:1)數(shù)據(jù)質(zhì)量問題查詢:可以查詢單個或多個對象在某個時間段內(nèi)的數(shù)據(jù)質(zhì)量問題,對于存在數(shù)據(jù)質(zhì)量問題的信息給予特別顯示(如紅色字體、閃爍等),以引起運維人員的注意,運維人員可以從該指標對象出發(fā)進行問題的分析與處理。2)數(shù)據(jù)質(zhì)量統(tǒng)計查詢:可以查詢某一維度或幾個組合維度的數(shù)據(jù)質(zhì)量統(tǒng)計信息,如在綜合資源數(shù)據(jù)分析系統(tǒng)中使用該查詢功能以顯示上周數(shù)據(jù)質(zhì)量問題總量、接口到達3.3數(shù)據(jù)采集管理3.3.1.1主動檢測主動檢測為主動采集的發(fā)起方。檢測數(shù)據(jù)源端數(shù)據(jù)完整性,檢測到數(shù)據(jù)完整后主動發(fā)送觸發(fā)采集的消息。主動檢測需要具有較高效率,最大限度降低由于檢測造成的數(shù)據(jù)源側(cè)負荷。檢測功能主要包括檢測任務生成與檢測任務執(zhí)行。檢測任務生成需提供配置功能,可對條數(shù)、經(jīng)驗時間點等參數(shù)進行配置。各個數(shù)據(jù)源應當優(yōu)先提供數(shù)據(jù)庫接口,對于數(shù)據(jù)庫接口可以根據(jù)設定的某測量當前時間的理論數(shù)據(jù)條數(shù)、該測量最近一段時間的平均數(shù)據(jù)條數(shù)與指標檢查規(guī)則來檢查數(shù)據(jù)源側(cè)數(shù)據(jù)的完整性。對于其她接口方式可以根據(jù)具體的接口特性進行檢測規(guī)則的設置。考慮到當前數(shù)據(jù)源側(cè)的數(shù)據(jù)質(zhì)量的不穩(wěn)定因素,主動檢測模塊應當能夠?qū)?shù)據(jù)源側(cè)的數(shù)據(jù)入庫時間戳進行識別,對于變化的數(shù)據(jù)應當具備重新采集的能力。也可以通過對數(shù)據(jù)源側(cè)的數(shù)據(jù)庫日志進行跟蹤,感知數(shù)據(jù)變化從而觸發(fā)采集。3.3.1.2對數(shù)據(jù)源側(cè)觸發(fā)消息的接收綜合資源數(shù)據(jù)分析系統(tǒng)應當提供消息接收能力,即能夠接收各專業(yè)網(wǎng)管發(fā)送的專業(yè)網(wǎng)管產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊數(shù)據(jù)準備好通知消息,及時進行數(shù)據(jù)的采集,當專業(yè)網(wǎng)管進行數(shù)據(jù)補采后,也能及時觸發(fā)綜合分析進行數(shù)據(jù)補采,最大限度保持數(shù)據(jù)完整性。要求綜合資源數(shù)據(jù)分析系統(tǒng)具有較強的并發(fā)能力,不丟消息,在1分鐘內(nèi)完成消息入庫,保證后續(xù)能及時進行采集。3.3.1.3數(shù)據(jù)采集解析格式標準化,寫入數(shù)據(jù)緩沖區(qū)。采集適配器應當為支持二次開發(fā)的程序或組件,對于同一種接口類型、接口特性的多個數(shù)據(jù)源應當作為同一個程序的多個實例存在,而只針對不同的接口類型設定不同的適配器。采集適配器應當具備可視化的配置管理能力,即可以通過圖形化界面對不同的數(shù)據(jù)源選擇不同的采集適配器進行數(shù)據(jù)采集,并對不同的數(shù)據(jù)源根據(jù)實際需要,可視化的配置需要采集的數(shù)據(jù)范圍與相應的約束條件。對于數(shù)據(jù)源側(cè)的數(shù)據(jù)配置信息應當從元數(shù)據(jù)庫中獲取被采集側(cè)元數(shù)據(jù),并在采集模塊的配置界面中通過可視化界面進行采集范圍的選取。對于數(shù)據(jù)的格式標準化,應當遵照ODM-A相應模型的約定,盡量保持原有數(shù)據(jù)源側(cè)的模3.3.1.4數(shù)據(jù)裝載B增量入庫:只把采集到的新數(shù)據(jù)入庫;全量入庫:采取把數(shù)據(jù)庫中數(shù)據(jù)先刪除后入庫方式。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.3.1.5數(shù)據(jù)智能補采根據(jù)數(shù)據(jù)的完整性情況,與數(shù)據(jù)補采策略,能夠自動重新發(fā)起采集任務,把數(shù)據(jù)重新進行采集,保證數(shù)據(jù)的完整性,最大限度與數(shù)據(jù)源側(cè)保持一致。3.3.2.1數(shù)據(jù)抽取式;如果采用數(shù)據(jù)庫方式則需要對臨時數(shù)據(jù)與正式數(shù)據(jù)分開存儲。3.3.2.2數(shù)據(jù)清洗數(shù)據(jù)清洗負責對“臟數(shù)據(jù)”進行剔除,消除數(shù)據(jù)的不一致。對于數(shù)據(jù)清洗過程要求具備完善的日志功能,日志內(nèi)容需要記錄數(shù)據(jù)清洗的原因,被清洗的數(shù)據(jù)存放到哪里與被清洗的記錄數(shù)。在元數(shù)據(jù)管理中已經(jīng)對數(shù)據(jù)的基礎(chǔ)值域范圍進行了描述,數(shù)據(jù)清洗模塊可以從元數(shù)據(jù)管理系統(tǒng)中獲取相關(guān)信息進行數(shù)據(jù)處理。3.3.2.3數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換主要包括如下三個方面:產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊統(tǒng)一網(wǎng)元數(shù)據(jù)編碼,將不同數(shù)據(jù)源的同一網(wǎng)元的數(shù)據(jù)集中轉(zhuǎn)換成統(tǒng)一格式編碼;轉(zhuǎn)換數(shù)據(jù)類型,對與目標數(shù)據(jù)類型不一致的數(shù)據(jù)進行轉(zhuǎn)換;轉(zhuǎn)換數(shù)據(jù)格式,對與目標數(shù)據(jù)格式不一致的數(shù)據(jù)進行轉(zhuǎn)換。在該模塊的程序日志中,需要記錄數(shù)據(jù)轉(zhuǎn)換的原因與記錄數(shù)。數(shù)據(jù)轉(zhuǎn)換算法應當可被元數(shù)據(jù)管理系統(tǒng)識別并采集。3.3.2.4數(shù)據(jù)裝載直接加載數(shù)據(jù)緩沖區(qū)中無需另外處理的“干凈”數(shù)據(jù);加載經(jīng)過清洗與轉(zhuǎn)換后的符合目標數(shù)據(jù)模型的數(shù)據(jù);加載成功后,刪除緩沖區(qū)中相應數(shù)據(jù),并寫進日志文件;加載日志包括加記錄數(shù)與加載時間戳。式描述。需要將細粒度數(shù)據(jù)根據(jù)維度層次匯總成高粒度數(shù)據(jù),包含時間、空間粒度、業(yè)務等匯總?cè)蝿沼|發(fā)條件:完成維度數(shù)據(jù)與事實數(shù)據(jù)加載后觸發(fā)。匯總?cè)罩局饕?匯總粒度、匯總時間戳、匯總原始數(shù)據(jù)記錄數(shù)、匯總結(jié)果記錄數(shù)。由于數(shù)據(jù)采集模塊需要發(fā)起大量的數(shù)據(jù)采集、轉(zhuǎn)換、加載等任務,所以要求該模塊具備完備的任務調(diào)度管理能力,能夠?qū)Ω黝惾蝿者M行配置、啟動、跟蹤。并具備任務聯(lián)動能力,即可以將多個任務通過流程組裝成一個聯(lián)合任務,各任務之間存在相互制約關(guān)系,任務調(diào)度管理能夠根據(jù)各任務的執(zhí)行狀態(tài)、結(jié)果來自動的啟動后續(xù)任務,任務間允許并發(fā)及串行兩種要求各任務的配置應當為可視化的配置。對于任務啟動至少包括定時啟動與條件啟動兩種模式。同時允許管理員進行任務的手動力,即可以通過可視化的界面對各任務的啟動時間、執(zhí)行狀態(tài)、執(zhí)行結(jié)果、結(jié)束時間等進行產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊應當能夠?qū)θ蝿贞犃猩疃冗M行監(jiān)控,當出現(xiàn)異常時,系統(tǒng)應當能夠給出相應告警信息。3.4綜合分析網(wǎng)絡概覽提供一個呈現(xiàn)最新的網(wǎng)絡信息的公共窗口,分為綜合視圖與專業(yè)視圖。采用了雷達圖、柱狀圖、趨勢圖、分布分析等分析方法,提供各專業(yè)重要指標的展現(xiàn)與分析,如核心力匹配情況;掌握網(wǎng)絡質(zhì)量與客戶感知的變化趨勢,及時發(fā)現(xiàn)網(wǎng)絡與業(yè)務發(fā)展的異常,輔以管網(wǎng)絡概覽呈現(xiàn)的內(nèi)容可以為公司決策層領(lǐng)導、管理層領(lǐng)導及生產(chǎn)人員提供一個集中、全面了解全網(wǎng)運行質(zhì)量情況、業(yè)務發(fā)展情況、關(guān)鍵網(wǎng)絡問題、全網(wǎng)資源情況等的渠道,有助于領(lǐng)導迅速了解整體網(wǎng)絡情況與關(guān)鍵問題,從而為迅速決策提供依據(jù)。對異常指標集中提示,達到異常信息共享的目的,引導生產(chǎn)人員及時發(fā)現(xiàn)網(wǎng)絡異常情況,提高問題的處理效率。網(wǎng)絡運行分析通過對網(wǎng)絡的分析,預測,發(fā)現(xiàn)網(wǎng)絡性能問題與瓶頸,定位問題原因,發(fā)現(xiàn)網(wǎng)絡惡化趨勢并進行預防,及時排查網(wǎng)絡隱患;為管理層、規(guī)劃等部門提供網(wǎng)絡運行的質(zhì)量現(xiàn)狀、網(wǎng)絡負荷情況與分布規(guī)律、網(wǎng)絡資源利用效率與均衡性等方面提供評估依據(jù)。了網(wǎng)絡規(guī)模、網(wǎng)絡負荷與網(wǎng)絡利用情況的分析,網(wǎng)絡質(zhì)量分析包含無線網(wǎng)、核心網(wǎng)、數(shù)據(jù)網(wǎng)、與告警分析。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊業(yè)務能力分析實現(xiàn)面向業(yè)務的分析實現(xiàn)業(yè)務的端到端管理,支持業(yè)務整體質(zhì)量及業(yè)務價值提升,提升網(wǎng)絡質(zhì)量與網(wǎng)絡效益。業(yè)務能力分析包含用戶量分析、業(yè)務量分析、業(yè)務質(zhì)量分析、業(yè)務運營分析、集客業(yè)務分析五部分內(nèi)容。通過業(yè)務能力分析,掌握網(wǎng)絡業(yè)務發(fā)展與趨勢變化情況,了解網(wǎng)絡容量與業(yè)務發(fā)展就是否匹配,判斷就是否由于業(yè)務量的變動導致網(wǎng)絡負荷的波動的問題。,通過分析各類業(yè)務流量與發(fā)展情況,掌握網(wǎng)絡業(yè)務發(fā)展與趨勢變化情況,最終達到合理規(guī)劃資源,提高網(wǎng)絡利用率的客戶全向分析對客戶進行全方位多緯度的分析,通過用戶數(shù)量分析展示用戶發(fā)展趨勢,客戶行為分析了解用戶的使用習慣,為業(yè)務發(fā)展提供依據(jù),從用戶感知的角度,基于客戶感知指標與客戶投訴數(shù)據(jù),多維度進行問題挖掘分析,定位引起客戶感知惡化的網(wǎng)絡問題,同時通過分析客服轉(zhuǎn)派的投訴工單,從三個角度進行統(tǒng)計分析,發(fā)現(xiàn)網(wǎng)絡薄弱環(huán)節(jié)、隱患,為網(wǎng)絡優(yōu)化提供方向。同時對各投訴工單處理單位、各類投訴的處理時長進行分類統(tǒng)計,掌握各類投訴處理的一般情況,從而為提升客戶感知,降低用戶投訴等提供有力的保障。饋,及時對出現(xiàn)的異?，F(xiàn)象進行根源分析與處理,降低客戶投訴率。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊網(wǎng)絡運營分析面向運維工作管理,發(fā)現(xiàn)改進運維工作的重點方向,支撐運維支撐效率提升與成本縮減。通過分析主要運維流程的進處理質(zhì)量與效率,為管理層快速了解運維人員工作效率,各個部門的溝通效率、配合效率等提供直觀與定量化的手段,從而近一步提升運維支3.5安全管理系統(tǒng)安全管理模塊負責綜合資源數(shù)據(jù)分析系統(tǒng)的敏感數(shù)據(jù)的訪問控制與各環(huán)節(jié)審計日志記錄的管理,對綜合資源數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)訪問與功能使用進行有效監(jiān)控與控制。同時3.5.1用戶信息管理用戶管理模塊管理用戶基本信息及相關(guān)驗證信息,主要包括:姓名、賬號、密碼、部門、手機號、郵箱、所在地區(qū)、備注等。3.5.2用戶組信息管理用戶組管理包含以下內(nèi)容:用戶組維護可以對用戶組進行增加、修改、刪除等操作,用戶組信息主要包括:名稱、描述、樹形結(jié)構(gòu)用戶組采用樹形的管理結(jié)構(gòu),參照公司的組織架構(gòu),使對用戶的管理更加清晰,權(quán)限分配也更加容易。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊角色管理應包含兩部分內(nèi)容:管理各功能模塊與角色的對應關(guān)系,支持角色對綜合資源數(shù)據(jù)分析系統(tǒng)功能模塊權(quán)限的增、刪、改等操作角色本身與管理:角色進行增刪改操作時,屬于本角色的用戶對相應的綜合資源數(shù)據(jù)分析系統(tǒng)功能模塊的權(quán)限也作相應的變動。3.5.4權(quán)限管理權(quán)限管理就是對綜合資源數(shù)據(jù)分析系統(tǒng)維護及使用權(quán)限的管理,主要涉及對操作該系統(tǒng)的人員進行授權(quán)管理與對系統(tǒng)功能角色的管理。進行資源權(quán)限指定與定義個功能,如指定某個用戶只能按照某一主題域?qū)嶓w進行數(shù)據(jù)訪問操產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊3.5.5用戶認證管理綜合資源數(shù)據(jù)分析系統(tǒng)與4A平臺配合,實現(xiàn)單點認證SSO(SingleSignOn)功能:用戶A。綜合資源數(shù)據(jù)分析系統(tǒng)接收用戶的認證請求,將用戶請求信息發(fā)送到4A平臺,由4A平臺為合法用戶生成用戶身份憑證,并將憑證反饋至綜合資源數(shù)據(jù)分析系統(tǒng),從而完成用戶登錄認證過程,綜合資源數(shù)據(jù)分析系統(tǒng)從各環(huán)節(jié)層次抽取的審計日志信息,按照4A管理平臺的要求對其進行重新過濾與格式化整理,并最終進行日志信息入庫。整個過程需實現(xiàn)處理的流程化及綜合資源數(shù)據(jù)分析系統(tǒng)對各層次所產(chǎn)生的日志記錄進行獲取并整理。其中包括訪問層日據(jù)質(zhì)量監(jiān)控的日志記錄。審計綜合資源數(shù)據(jù)分析系統(tǒng)的全部日志信息可被安全管控平臺獲取,由安全管控平臺完成各類日志審計工作,綜合資源數(shù)據(jù)分析系統(tǒng)不提供日志審計能力。產(chǎn)品數(shù)據(jù)分析系統(tǒng)用戶手冊綜合資源數(shù)據(jù)分析系統(tǒng)必須支持刪除指定時間段內(nèi)的