江蘇公司第三代支撐系統(tǒng)CRM云化實(shí)踐經(jīng)驗(yàn).docx

江蘇公司第三代支撐系統(tǒng)CRM云化實(shí)踐經(jīng)驗(yàn)構(gòu)建組件庫(kù)，采用灰度割接策略，保障系統(tǒng)平滑過渡1. 項(xiàng)目背景4G時(shí)代，加速中國(guó)移動(dòng)由語(yǔ)音業(yè)務(wù)向數(shù)據(jù)業(yè)務(wù)全面轉(zhuǎn)型，圍繞互聯(lián)網(wǎng)化業(yè)務(wù)模式的需求日益旺盛，在此大背景下，江蘇公司面臨全新的業(yè)務(wù)及技術(shù)挑戰(zhàn)。為應(yīng)對(duì)移動(dòng)互聯(lián)網(wǎng)蓬勃發(fā)展、4G時(shí)代流量經(jīng)營(yíng)、云計(jì)算和大數(shù)據(jù)的轉(zhuǎn)型挑戰(zhàn)，江蘇公司第三代業(yè)務(wù)支撐系統(tǒng)圍繞系統(tǒng)X86云化改造、多中心解耦、軟件組件庫(kù)建設(shè)、技術(shù)架構(gòu)全面升級(jí)，提升系統(tǒng)并發(fā)處理能力與快速響應(yīng)市場(chǎng)能力，實(shí)現(xiàn)系統(tǒng)低成本高效率運(yùn)行，保障江蘇移動(dòng)在4G時(shí)代的業(yè)務(wù)、技術(shù)先進(jìn)性與市場(chǎng)競(jìng)爭(zhēng)力，支撐4G時(shí)代的業(yè)務(wù)創(chuàng)新與轉(zhuǎn)型、強(qiáng)化線上線下渠道融合能力、強(qiáng)化互聯(lián)網(wǎng)商業(yè)模式和互聯(lián)網(wǎng)營(yíng)銷模式的支撐能力，提升客戶體驗(yàn)與業(yè)務(wù)運(yùn)營(yíng)能力。江蘇公司作為集團(tuán)公司首批試點(diǎn)省，于2014年初啟動(dòng)第三代業(yè)務(wù)支撐系統(tǒng)項(xiàng)目的規(guī)劃、建設(shè)工作。根據(jù)公司總體要求，項(xiàng)目采取“技術(shù)和業(yè)務(wù)雙驅(qū)動(dòng)、架構(gòu)云化、多中心解耦、平滑過渡”的建設(shè)原則，逐步實(shí)現(xiàn)CRM系統(tǒng)向互聯(lián)網(wǎng)云化架構(gòu)演進(jìn)。2. 現(xiàn)狀分析江蘇公司雖然在2014年上半年前已完成CRM系統(tǒng)WEB層100%X86云化改造，但是應(yīng)用層和數(shù)據(jù)庫(kù)仍然以小型機(jī)為主要基礎(chǔ)設(shè)施，擴(kuò)容成本高，建設(shè)周期長(zhǎng)，水平擴(kuò)展困難。現(xiàn)有的傳統(tǒng)架構(gòu)制約了公司互聯(lián)網(wǎng)轉(zhuǎn)型業(yè)務(wù)的發(fā)展，以江蘇公司世界杯期間搶紅包為例，瞬時(shí)業(yè)務(wù)并發(fā)量增長(zhǎng)2000%，導(dǎo)致接口堵塞，業(yè)務(wù)訂購(gòu)失敗。另外，我省雖然CRM和BOSS系統(tǒng)完全解耦，但是CRM系統(tǒng)內(nèi)部各模塊之間的耦合性仍然很高，無(wú)法支持按照模塊輕量改造發(fā)布上線。我省的架構(gòu)，采用點(diǎn)對(duì)點(diǎn)集成為主，服務(wù)共享不足，接口復(fù)用性不足，支撐效率較低。為此，我省積極參與集團(tuán)公司第三代CRM云化試點(diǎn)項(xiàng)目，進(jìn)行系統(tǒng)X86云化架構(gòu)改造，建立一套松耦合、高并發(fā)、低成本，快速響應(yīng)市場(chǎng)需求的輕量化支撐系統(tǒng)。在CRM系統(tǒng)云化改造和割接過程中，項(xiàng)目團(tuán)隊(duì)遇到諸多困難和挑戰(zhàn)。江蘇公司CRM系統(tǒng)經(jīng)過多年的建設(shè)和沉淀，系統(tǒng)非常龐大、復(fù)雜，業(yè)務(wù)規(guī)則、服務(wù)缺乏統(tǒng)一管理，服務(wù)和接口缺乏生命周期的管理機(jī)制，系統(tǒng)中存在大量冗余服務(wù)和接口，給系統(tǒng)平滑割接提出了新的挑戰(zhàn)。我省在第三代CRM項(xiàng)目試點(diǎn)過程中除了滿足集團(tuán)公司規(guī)范和試點(diǎn)要求外，重點(diǎn)圍繞我省系統(tǒng)支撐面臨的困難，制定針對(duì)性的建設(shè)和割接方案。2.1、面臨的困難一：軟件組件服務(wù)缺乏統(tǒng)一管理，復(fù)用性不足，導(dǎo)致系統(tǒng)無(wú)序增長(zhǎng)，梳理改造復(fù)雜原CRM系統(tǒng)中有成千上萬(wàn)個(gè)服務(wù)、方法、接口、進(jìn)程等軟件組件，這些軟件組件之間的關(guān)聯(lián)關(guān)系更是錯(cuò)綜復(fù)雜，合理有效地繼承割接到第三代云化架構(gòu)存在諸多問題。問題1：“核心能力”缺乏有效的掌控手段。軟件組件都是業(yè)務(wù)支撐系統(tǒng)核心能力，沒有顯性化的統(tǒng)一管理系統(tǒng)，開發(fā)商和移動(dòng)方人員無(wú)法了解支撐系統(tǒng)的軟件組件全局視圖。在云化架構(gòu)改造割接過程中，容易出現(xiàn)軟件組件改造遺漏或錯(cuò)誤。問題2：軟件組件復(fù)用性不足。開發(fā)商在進(jìn)行需求設(shè)計(jì)和開發(fā)過程中，明明已有現(xiàn)成的軟件組件，或者只需要對(duì)原有軟件組件稍作修改（例如：增加參數(shù)）就可以復(fù)用，但是往往為了規(guī)避風(fēng)險(xiǎn)或由于不熟悉系統(tǒng)的軟件組件，不能確定原有的軟件組件使用的場(chǎng)景，無(wú)法評(píng)估修改原有軟件組件會(huì)帶來什么風(fēng)險(xiǎn)，因此，為了保險(xiǎn)起見，又新開發(fā)一個(gè)類似軟件組件。長(zhǎng)此以往，導(dǎo)致支撐系統(tǒng)越來越龐大，越來越復(fù)雜，經(jīng)初步統(tǒng)計(jì)，原有CRM系統(tǒng)中僅后臺(tái)服務(wù)就有10824個(gè)。如果把原系統(tǒng)中冗余的軟件組件繼承到第三代CRM系統(tǒng)中，會(huì)造成云化架構(gòu)系統(tǒng)負(fù)荷增加，項(xiàng)目建設(shè)周期增長(zhǎng)，增加后續(xù)云化系統(tǒng)的維護(hù)難度，同時(shí)增加開發(fā)成本。 問題3：當(dāng)系統(tǒng)出現(xiàn)故障時(shí)，維護(hù)人員即使定位出是某個(gè)軟件組件問題，但是如何進(jìn)行修復(fù)，需要召集局方和開發(fā)商負(fù)責(zé)維護(hù)、開發(fā)、設(shè)計(jì)等多名人員進(jìn)行修復(fù)方案和風(fēng)險(xiǎn)的評(píng)估，花費(fèi)大量人力和時(shí)間。2.2、面臨的困難二：第三代CRM系統(tǒng)云化架構(gòu)和模型與原系統(tǒng)發(fā)生根本性變更，而公司要求系統(tǒng)平滑過渡，給項(xiàng)目割接帶來重大挑戰(zhàn)挑戰(zhàn)1：江蘇公司的CRM系統(tǒng)是由華為公司建設(shè)，雖然第三代CRM系統(tǒng)的開發(fā)商仍然是華為公司，但是開發(fā)團(tuán)隊(duì)不同，原有的系統(tǒng)是由華為山東團(tuán)隊(duì)建設(shè)，第三代CRM系統(tǒng)是由華為南研團(tuán)隊(duì)建設(shè)。第三代系統(tǒng)采用全新的開發(fā)框架、J2EE云化架構(gòu)，數(shù)據(jù)模型也重新構(gòu)建，本次項(xiàng)目基本上將CRM系統(tǒng)推翻重做。而公司要求本次項(xiàng)目系統(tǒng)割接保持平滑過渡，存在較大難度。挑戰(zhàn)2：第三代CRM系統(tǒng)引入了服務(wù)總線（ ESB）、流程引擎（ BPM ）、規(guī)則引擎（ BRM）、分布式服務(wù)框架（DSF）、分布式數(shù)據(jù)訪問服務(wù)（DDS）、搜素引擎（VSerch）等多項(xiàng)關(guān)鍵開源技術(shù)，這些新技術(shù)的性能、效果如何，與第三代整體架構(gòu)是否能夠完好地匹配，都要驗(yàn)證。挑戰(zhàn)3：現(xiàn)有產(chǎn)品達(dá)到16000多個(gè)，業(yè)務(wù)規(guī)則和系統(tǒng)處理邏輯都非常復(fù)雜，很多業(yè)務(wù)規(guī)則、業(yè)務(wù)之間的依賴和沖突關(guān)系是在程序代碼中實(shí)現(xiàn)，梳理起來很困難，難免出現(xiàn)個(gè)別梳理遺漏情況。3. 解決思路和方案3.1、構(gòu)建軟件組件庫(kù)，實(shí)現(xiàn)組件服務(wù)顯性化管理 江蘇公司利用第三代CRM項(xiàng)目建設(shè)的契機(jī)，通過功能原子化，形成通用功能組件庫(kù)，建設(shè)一套軟件組件管理系統(tǒng)，將業(yè)務(wù)支撐系統(tǒng)使用的組件、服務(wù)、方法、進(jìn)程等按類別、應(yīng)用場(chǎng)景等統(tǒng)一納入系統(tǒng)管理，實(shí)現(xiàn)了圖形化全景展示。并結(jié)合日常開發(fā)管理辦法，制定一套標(biāo)準(zhǔn)化的管理規(guī)范，實(shí)現(xiàn)軟件組件的顯性化管理、核心能力的回收、問題快速定位和風(fēng)險(xiǎn)評(píng)估，提高軟件組件的復(fù)用度。CRM系統(tǒng)內(nèi)部，軟件組件可復(fù)用，降低CRM系統(tǒng)的開發(fā)工作量；對(duì)于CRM外部系統(tǒng)，通過軟件組件服務(wù)的標(biāo)準(zhǔn)化封裝，提供對(duì)外圍的服務(wù)能力，同時(shí)可支持對(duì)外部系統(tǒng)的軟件組件的統(tǒng)一維護(hù)，實(shí)現(xiàn)公司級(jí)的軟件組件統(tǒng)一管理。一期系統(tǒng)已梳理維護(hù)組件72個(gè)、服務(wù)726個(gè)、操作3022個(gè)，并相應(yīng)梳理維護(hù)了它們之間的關(guān)聯(lián)關(guān)系，為系統(tǒng)的后續(xù)優(yōu)化和維護(hù)打下了基礎(chǔ)。3.1.1、構(gòu)建軟件組件管理平臺(tái)，提升軟件組件的可維護(hù)性，實(shí)現(xiàn)軟件組件標(biāo)準(zhǔn)化管理。每個(gè)組件提供相應(yīng)的屬性信息管理和維護(hù)功能，包含：組件的名稱、入?yún)ⅰ⒊鰠?、開放渠道、組件類型、能力應(yīng)用說明、場(chǎng)景實(shí)例等。開發(fā)、設(shè)計(jì)、需求分析和維護(hù)人員可以根據(jù)組件名稱查詢組件的詳細(xì)信息，可以通過組件查詢歸屬模塊信息。 3.1.2、建立組件、服務(wù)、操作等之間的依賴關(guān)系，實(shí)現(xiàn)軟件組件圖形化展示。實(shí)現(xiàn)根據(jù)一個(gè)組件、服務(wù)或操作，圖形化、地圖化全景展示其涉及的影響信息，讓設(shè)計(jì)、開發(fā)人員能夠全面評(píng)估組件的影響范圍和改造風(fēng)險(xiǎn)，提升開發(fā)效率和開發(fā)質(zhì)量；維護(hù)人員能夠快速定位服務(wù)故障，快速制定解決方案。在“依賴關(guān)系查詢”界面，點(diǎn)擊組件、服務(wù)或者操作名稱，可以進(jìn)入“依賴關(guān)系查詢XX明細(xì)日志頁(yè)面”，顯示詳細(xì)的明細(xì)日志。也可以查詢到此組件、服務(wù)或者操作的上下游關(guān)聯(lián)關(guān)系。這樣，在日常需求開發(fā)或者故障修復(fù)時(shí)，我們就可以根據(jù)該組件、服務(wù)或者操作的使用場(chǎng)景、關(guān)聯(lián)關(guān)系，評(píng)估、判斷該組件、服務(wù)或者操作是否可以復(fù)用和修改，修改的影響范圍和風(fēng)險(xiǎn)也可以快速完成評(píng)估。3.1.3、建立一套軟件組件管理規(guī)范，提升組件復(fù)用度。每次新需求的設(shè)計(jì)都由評(píng)審委員會(huì)對(duì)使用的軟件組件進(jìn)行評(píng)審，避免重復(fù)開發(fā)相同的組件，實(shí)現(xiàn)組件和系統(tǒng)的解耦，提升開發(fā)效率，降低成本。經(jīng)梳理和整合，系統(tǒng)后臺(tái)服務(wù)由老系統(tǒng)的10824個(gè)簡(jiǎn)化為3748個(gè)。 3.2、 引入灰度發(fā)布策略，實(shí)現(xiàn)系統(tǒng)分地市、分業(yè)務(wù)、分用戶平穩(wěn)割接上線3.2.1、 進(jìn)行產(chǎn)商品的全面梳理和精簡(jiǎn)，完成調(diào)用量較低的接口整合下線 江蘇公司NGCRM系統(tǒng)經(jīng)過5年多的運(yùn)行，新增了大量的產(chǎn)品和接口，但是由于缺乏生命周期管理，產(chǎn)品和接口只增不減，導(dǎo)致系統(tǒng)中遺留很多無(wú)效、冗余的產(chǎn)品和接口。為了對(duì)第三代CRM系統(tǒng)瘦身，我省不能把原系統(tǒng)中所有的產(chǎn)品和接口全盤繼承到新系統(tǒng)中，因此，在系統(tǒng)改造割接前，先對(duì)系統(tǒng)中的產(chǎn)品和接口進(jìn)行全面梳理和精簡(jiǎn)。（1） 進(jìn)行產(chǎn)商品的梳理和精簡(jiǎn)產(chǎn)商品化涉及到組織、流程、業(yè)務(wù)模式的變革與優(yōu)化，組織保障是基礎(chǔ)，模板化是工具和手段。公司安排市場(chǎng)部牽頭，集團(tuán)客戶部、數(shù)據(jù)部、數(shù)據(jù)業(yè)務(wù)運(yùn)營(yíng)中心、互聯(lián)網(wǎng)中心、地市公司等多個(gè)業(yè)務(wù)部門參與，組成業(yè)務(wù)產(chǎn)商品梳理小組，開展專題工作。梳理了全省超過16532個(gè)產(chǎn)品精簡(jiǎn)到8212個(gè)，8320個(gè)無(wú)訂購(gòu)量的產(chǎn)品在3個(gè)月內(nèi)分批下線，業(yè)務(wù)小組負(fù)責(zé)對(duì)這些業(yè)務(wù)功能進(jìn)行整合，對(duì)訂購(gòu)量少、效能差的業(yè)務(wù)功能進(jìn)行精簡(jiǎn)，對(duì)8320個(gè)3個(gè)月內(nèi)無(wú)訂購(gòu)量的產(chǎn)品分在分批下線，最終精簡(jiǎn)到8212個(gè)。同時(shí)對(duì)全省300個(gè)營(yíng)銷活動(dòng)配置精簡(jiǎn)為15個(gè)營(yíng)銷模板。（2） 接口整合下線項(xiàng)目接口小組牽頭，聯(lián)合業(yè)務(wù)部門、電子渠道對(duì)現(xiàn)網(wǎng)系統(tǒng)的接口進(jìn)行全面梳理。共計(jì)梳理219個(gè)平臺(tái)，其中一級(jí)BOSS 56個(gè)，省內(nèi)平臺(tái)即增值業(yè)務(wù)平臺(tái)33個(gè)，外圍平臺(tái)131個(gè)。梳理落地發(fā)接口共8095個(gè)，有調(diào)用量3222個(gè)，最近半年調(diào)用量為0的4873個(gè)。優(yōu)先安排調(diào)用量為0的接口前后4個(gè)月分批下線，同時(shí)對(duì)涉及現(xiàn)網(wǎng)適配改造的1125個(gè)接口進(jìn)行整合改造。3.2.2、 版本灰度發(fā)布，降低系統(tǒng)上線風(fēng)險(xiǎn)為實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)或?qū)ｎ}先小規(guī)模試用，再批量上線，使用zookeeper、nginx構(gòu)建灰度管理平臺(tái)，部署灰度發(fā)布環(huán)境，多維度實(shí)現(xiàn)灰度發(fā)布能力（用戶維度、地域維度、營(yíng)業(yè)員維度）。同時(shí)，在管理上成立公司級(jí)的項(xiàng)目保障團(tuán)隊(duì)，優(yōu)化割接上線流程，降低割接上線風(fēng)險(xiǎn)。3.2.2.1、總體割接思路（1） 高并發(fā)熱點(diǎn)業(yè)務(wù)、安全加固、數(shù)據(jù)分發(fā)中心、共享內(nèi)存、分布式緩存、讀寫分離等不涉及應(yīng)用架構(gòu)的專題直接在原系統(tǒng)上改造支撐，實(shí)施周期短。（2） 涉及應(yīng)用架構(gòu)在新架構(gòu)中支撐，風(fēng)險(xiǎn)較大，利用系統(tǒng)的灰度發(fā)布能力，采用分業(yè)務(wù)/分用戶/分渠道/分地市上線策略。 分業(yè)務(wù)：查詢繳費(fèi)業(yè)務(wù)-少量簡(jiǎn)單業(yè)務(wù)-前臺(tái)業(yè)務(wù)-后臺(tái)管理 分用戶：友好用戶-2-3萬(wàn)個(gè)人用戶-地市全量用戶 分渠道：實(shí)體渠道-電渠 分地市：小地市（鎮(zhèn)江）試點(diǎn)-大地市逐步推廣3.2.2.2、 在技術(shù)方面，引入灰度發(fā)布策略（1） 灰度發(fā)布方案 支持按用戶灰度發(fā)布灰度發(fā)布規(guī)則配置使用灰度版本的用戶白名單，可以是散號(hào)，也可以是號(hào)段。例如：灰度用戶號(hào)13800000009。電子渠道：那么屬于灰度用戶范圍的用戶路由到灰度環(huán)境。其他用戶路由到非灰度用戶。電子渠道一般是最終用戶發(fā)來的消息，所以建議按用戶灰度在電子渠道上使用。支持按地域灰度灰度地域，指用戶的歸屬地如：南京、蘇州為灰度區(qū)域電子渠道：未輸入號(hào)碼之前訪問的是非灰度版本，輸入號(hào)碼之后，根據(jù)該用戶號(hào)碼查詢其歸屬地信息，如果屬于南京或者蘇州，則發(fā)送到灰度環(huán)境，如果不屬于南京與蘇州，則發(fā)送到非灰度環(huán)境。此處的地域信息與現(xiàn)網(wǎng)數(shù)據(jù)庫(kù)保存的用戶歸屬地一致，比如查詢用戶歸屬地查到的是市級(jí)名稱，則灰度發(fā)布規(guī)則配置地域信息也要配置成市級(jí)名稱。支持按操作員灰度發(fā)布按操作員灰度id：0001，0002營(yíng)業(yè)廳：營(yíng)業(yè)員0001or0002登錄后路由到灰度環(huán)境，其他營(yíng)業(yè)員登錄后則路由到非灰度環(huán)境。營(yíng)業(yè)員0001or0002辦理的所有用戶均路由到灰度環(huán)境，其他營(yíng)業(yè)員辦理的用戶則路由到非灰度環(huán)境。營(yíng)業(yè)廳系統(tǒng)一般營(yíng)業(yè)廳操作員登錄的時(shí)候就需要知道是灰度環(huán)境還是非灰度環(huán)境，建議使用操作員灰度方式在營(yíng)業(yè)廳場(chǎng)景使用。配置灰度發(fā)布規(guī)則到zookeeper配置中心，該規(guī)則可后臺(tái)配置。nginx實(shí)時(shí)監(jiān)控zookeeper節(jié)點(diǎn)并緩存灰度發(fā)布規(guī)則，解析外部請(qǐng)求發(fā)過來的消息，并轉(zhuǎn)發(fā)到灰度版本webserver或者穩(wěn)定版本的web server 。MQ、DSF、eBus等相關(guān)組件遵循優(yōu)先分發(fā)原則，即邏輯Set里的服務(wù)調(diào)用和消息訂閱都優(yōu)先分發(fā)給邏輯Set里面的節(jié)點(diǎn)，形成邏輯上的Set切割?；诮K移動(dòng)本次的項(xiàng)目范圍未包含前端nginx，主要從第三代CRM統(tǒng)一接口框架eBus中完成灰度請(qǐng)求識(shí)別及灰度標(biāo)識(shí)的傳遞。在系統(tǒng)割接過程中，電子渠道通過能力開放平臺(tái)接入nginx，nginx實(shí)時(shí)監(jiān)控zookeeper節(jié)點(diǎn)并緩存灰度發(fā)布規(guī)則，根據(jù)發(fā)布規(guī)則判斷是否調(diào)用灰度版本。營(yíng)業(yè)前臺(tái)已割接業(yè)務(wù)同樣通過nginx灰度發(fā)布規(guī)則，判斷是否調(diào)用灰度版本。未割接業(yè)務(wù)不走灰度版本。（2） 灰度發(fā)布總體流程n 創(chuàng)建灰度發(fā)布規(guī)則灰度發(fā)布規(guī)則即哪些用戶是灰度用戶，灰度發(fā)布規(guī)則創(chuàng)建時(shí)包括規(guī)則編號(hào)、關(guān)鍵字、規(guī)則名稱、規(guī)則對(duì)應(yīng)的值。如下圖所示，點(diǎn)擊創(chuàng)建按鈕即可開始創(chuàng)建規(guī)則，并給出該規(guī)則所對(duì)應(yīng)的值。如：whitelis13800000009n 創(chuàng)建灰度發(fā)布任務(wù)灰度發(fā)布任務(wù)代表了本次灰度升級(jí)，本次灰度發(fā)布任務(wù)包含哪些規(guī)則，一個(gè)灰度發(fā)布任務(wù)可以有多個(gè)灰度發(fā)布規(guī)則，灰度過程中，規(guī)則可根據(jù)具體情況進(jìn)行修改。n 灰度環(huán)境部署對(duì)灰度任務(wù)中選中的灰度節(jié)點(diǎn)進(jìn)行升級(jí)。n 業(yè)務(wù)流程驗(yàn)證灰度發(fā)布過程中以及所有節(jié)點(diǎn)都灰度升級(jí)后均需要驗(yàn)證相關(guān)業(yè)務(wù)是否正常處理。3.2.2.3、 在管理方面，省市聯(lián)動(dòng)，優(yōu)化割接上線流程由于第三代CRM系統(tǒng)采用全新的技術(shù)架構(gòu)、引入多個(gè)新的技術(shù)組件，同時(shí)數(shù)據(jù)模型也發(fā)生了變更，為了保證系統(tǒng)平滑過渡，我省在制定割接方案時(shí)，由公司領(lǐng)導(dǎo)掛帥，協(xié)調(diào)業(yè)務(wù)部門和地市公司充分參與，進(jìn)行UAT測(cè)試、并行測(cè)試用例的制定和評(píng)審，并組織驗(yàn)收測(cè)試，并對(duì)上線流程進(jìn)行了優(yōu)化。（1） 項(xiàng)目組織保障：公司領(lǐng)導(dǎo)掛帥，成立跨部門、跨地市兩級(jí)項(xiàng)目組 u 成立公司副總經(jīng)理掛帥的重大聯(lián)合項(xiàng)目組（包括信息技術(shù)中心、規(guī)劃部、市場(chǎng)部、品管部、采購(gòu)部、工程部、客服中心、集客部、數(shù)據(jù)部、財(cái)務(wù)部、各地市公司等部門），保障各部門的人力投入，共同推進(jìn)第三代業(yè)務(wù)支撐系統(tǒng)建設(shè)。 u 第三代業(yè)務(wù)支撐系統(tǒng)的建設(shè)不僅僅是技術(shù)平臺(tái)的升級(jí)，同時(shí)涉及業(yè)務(wù)流程與產(chǎn)品的梳理、優(yōu)化、業(yè)務(wù)測(cè)試與驗(yàn)證，因此業(yè)務(wù)部門的充分參與是保障項(xiàng)目成功的重要基礎(chǔ)。u 項(xiàng)目團(tuán)隊(duì)建立多級(jí)溝通和預(yù)警機(jī)制，包括項(xiàng)目級(jí)別的會(huì)議制度、各執(zhí)行組的會(huì)議制度，并明確了不同類別的項(xiàng)目匯報(bào)形式。同時(shí)制定了項(xiàng)目組織普通預(yù)警、中度預(yù)警和緊急預(yù)警的三級(jí)預(yù)警機(jī)制，明確了風(fēng)險(xiǎn)預(yù)警通報(bào)標(biāo)準(zhǔn)、問題上升的流程，以及預(yù)警問題溝通會(huì)制度。（2） 測(cè)試環(huán)節(jié)引入U(xiǎn)AT測(cè)試和并行測(cè)試為提高測(cè)試可靠性，江蘇公司采用預(yù)備上線的應(yīng)用部署主機(jī)和容災(zāi)數(shù)據(jù)庫(kù)構(gòu)建并行環(huán)境，針對(duì)前臺(tái)受理業(yè)務(wù)，參與并行測(cè)試的營(yíng)業(yè)廳通過撈取前一日生產(chǎn)業(yè)務(wù)受理流水，進(jìn)行業(yè)務(wù)回歸并與生產(chǎn)庫(kù)比較并行測(cè)試結(jié)果；針對(duì)電子渠道采用測(cè)試號(hào)碼驗(yàn)證，通過灰度管理平臺(tái)的白名單路由機(jī)制在并行環(huán)境完成測(cè)試號(hào)碼業(yè)務(wù)受理。組織市場(chǎng)部、集團(tuán)客戶部、客戶服務(wù)中心等業(yè)務(wù)部門和地市公司營(yíng)業(yè)員進(jìn)行UAT客戶驗(yàn)收測(cè)試，所有UAT測(cè)試用例都由業(yè)務(wù)部門和營(yíng)業(yè)員編寫或評(píng)審。（3） 割接流程優(yōu)化，降低割接風(fēng)險(xiǎn)以往的CRM系統(tǒng)項(xiàng)目割接上線，一般采用開發(fā)版本研發(fā)測(cè)試后，版本發(fā)布到江蘇移動(dòng)現(xiàn)場(chǎng)測(cè)試環(huán)境測(cè)試，測(cè)試通過后，版本發(fā)布到生產(chǎn)環(huán)境面向某個(gè)地市或者全省開放，同時(shí)進(jìn)行數(shù)據(jù)割接。這樣存在較大的風(fēng)險(xiǎn)，沒有經(jīng)過生產(chǎn)環(huán)境的實(shí)際體驗(yàn)和驗(yàn)證，系統(tǒng)割接上線后存在問題的概率較大；一旦上線后發(fā)現(xiàn)系統(tǒng)BUG或者割接數(shù)據(jù)存在問題，影響面較廣。本次項(xiàng)目割接對(duì)原有的流程進(jìn)行了優(yōu)化：（1） 在原有的流程基礎(chǔ)上，增加了并行環(huán)境灰度測(cè)試階段，版本發(fā)布到并行環(huán)境，由開發(fā)商、第三方測(cè)試人員針對(duì)測(cè)試號(hào)碼進(jìn)行測(cè)試驗(yàn)證。（2） 增加生產(chǎn)環(huán)境灰度體驗(yàn)階段，在并行環(huán)境測(cè)試通過率達(dá)標(biāo)后，版本發(fā)布到生產(chǎn)環(huán)境，割接部分真實(shí)的友好客戶到生產(chǎn)系統(tǒng)，利用灰度策略，面向部分工號(hào)開放權(quán)限，由開發(fā)商、第三方測(cè)試團(tuán)隊(duì)、地市公司營(yíng)業(yè)員共同進(jìn)行驗(yàn)證測(cè)試。（3） 生產(chǎn)環(huán)境灰度體驗(yàn)通過后，再進(jìn)行全量用戶數(shù)據(jù)的割接，面向某個(gè)地市或全省營(yíng)業(yè)員開放權(quán)限。4. 實(shí)施效果4.1、 軟件組件庫(kù)建設(shè)后，問題定位、方案、風(fēng)險(xiǎn)評(píng)估效率大幅提升（1） 江蘇移動(dòng)業(yè)務(wù)支撐技術(shù)人員可以實(shí)時(shí)掌握業(yè)務(wù)支撐系統(tǒng)的核心技術(shù)信息，部門的需求、設(shè)計(jì)、開發(fā)、維護(hù)人員提升掌控CRM支撐系統(tǒng)核心能力水平，局方自有人員獨(dú)立定位故障、評(píng)估風(fēng)險(xiǎn)的問題占比由10%提升到50%。（2） CRM業(yè)務(wù)支撐新需求的軟件組件復(fù)用率由20%提升到33%。（3） 開發(fā)工作量評(píng)審有依據(jù)，總體工作量局方評(píng)審有效核減率由9%提升到11%。（4） 問題定位時(shí)間由原來的平均30分鐘以上提升到10分鐘以內(nèi)，風(fēng)險(xiǎn)評(píng)估平均時(shí)間由原來的6小時(shí)，提升到目前30分鐘。4.2、 引入灰度發(fā)布技術(shù)后，實(shí)現(xiàn)系統(tǒng)平滑過渡（1） 系統(tǒng)割接平穩(wěn)，未引起地市波動(dòng)，大面積故障率為0。分業(yè)務(wù)功能上線，大系統(tǒng)小做，降低項(xiàng)目改造和割接規(guī)模，降低項(xiàng)目改造和割接風(fēng)險(xiǎn)。目前已完成高并發(fā)熱點(diǎn)業(yè)務(wù)、安全加固、數(shù)據(jù)分發(fā)中心、共享內(nèi)存、分布式緩存、讀寫分離等6個(gè)不涉及應(yīng)用架構(gòu)的專題割接上線；完成查詢繳費(fèi)云化全省割接上線，完成CRM交易中心、新系統(tǒng)框架3個(gè)版本在鎮(zhèn)江割接上線，上線過程和上線后，共計(jì)收到灰度用戶反饋的問題單142個(gè)，發(fā)生1次系統(tǒng)性能的嚴(yán)重問題。由于采用灰度發(fā)布策略，及時(shí)進(jìn)行了修復(fù)，未引起批量投訴和系統(tǒng)預(yù)警。專題灰度用戶反饋問題單數(shù)量嚴(yán)重問題高并發(fā)熱點(diǎn)業(yè)務(wù)3無(wú)安全加固12無(wú)數(shù)據(jù)分發(fā)中心8無(wú)共享內(nèi)存0無(wú)分布式緩存28發(fā)現(xiàn)1個(gè)嚴(yán)重性能問題，系統(tǒng)上線后，系統(tǒng)性能不僅未提升，反而大幅下降，經(jīng)核查主要是Conherence參數(shù)設(shè)置錯(cuò)誤，經(jīng)調(diào)優(yōu)后恢復(fù)正常。讀寫分離0級(jí)2無(wú)查詢繳費(fèi)云化24無(wú)交易中心第一版本8無(wú)交易中心第二版本26無(wú)交易中心第三版本31無(wú)總計(jì)1421（2） 共計(jì)10個(gè)專題上線，未暫停前臺(tái)一次。相比較5年前鎮(zhèn)江NGBOSS割接，營(yíng)業(yè)前臺(tái)暫停2天業(yè)務(wù)，本次割接上線基本未給公司造成任何波動(dòng)。4.3、 產(chǎn)品、接口梳理和精簡(jiǎn)，提升業(yè)務(wù)發(fā)布效率（1） 全省超過16532個(gè)產(chǎn)品精簡(jiǎn)到8212個(gè)，8320個(gè)無(wú)訂購(gòu)量的產(chǎn)品分在3個(gè)月內(nèi)分批下線。（2） 落地發(fā)接口由8095個(gè)精簡(jiǎn)到3222個(gè)，完成4873個(gè)0調(diào)用量的接口下線。5. 后續(xù)思考5.1、 拓展軟件組件服務(wù)管理系統(tǒng)功能，提升系統(tǒng)透明管理能力在現(xiàn)有軟件組件服務(wù)管