重慶電力營銷數(shù)據(jù)歸檔項目成果及發(fā)展趨勢探討

1、    重慶電力營銷數(shù)據(jù)歸檔項目成果及發(fā)展趨勢探討    段立+劉沖+蒲箭摘 要電力營銷數(shù)據(jù)歸檔，是一種為解決系統(tǒng)數(shù)據(jù)庫的運維管理問題而進(jìn)行的操作。本文介紹了重慶電力營銷數(shù)據(jù)歸檔項目成果，并圍繞營銷數(shù)據(jù)歸檔進(jìn)行了一系列的探討，希望本文的研究能為同行提供借鑒。關(guān)鍵詞電力公司；數(shù)據(jù)歸檔；重慶doi：10.3969/j.issn.1673 - 0194.2017.22.102tp309.3 a 1673-0194（2017）22-0-021 重慶電力營銷業(yè)務(wù)歷史數(shù)據(jù)歸檔工作背景2010年，國網(wǎng)重慶市電力公司（以下簡稱：重慶電力）上線了營銷業(yè)務(wù)應(yīng)用系統(tǒng)。該系統(tǒng)涵

2、蓋重慶電力營銷專業(yè)19個業(yè)務(wù)類型、137個業(yè)務(wù)項以及700多個子項，涉及業(yè)擴、計量、抄表、核算、收費、用檢和客服等電力營銷業(yè)務(wù)范圍，為重慶電力營銷人員順利開展相關(guān)業(yè)務(wù)工作奠定了基礎(chǔ)。從上線以來，營銷業(yè)務(wù)應(yīng)用系統(tǒng)的用戶數(shù)量迅猛增長，目前已經(jīng)有接近1 500萬電力用戶，系統(tǒng)的數(shù)據(jù)量已超過13 tb，并且以每年2 tb以上的數(shù)量遞增，給系統(tǒng)數(shù)據(jù)庫的運維管理帶來了很大的壓力，重慶電力也感受到海量數(shù)據(jù)對系統(tǒng)穩(wěn)定運行帶來的壓力。隨著營銷系統(tǒng)數(shù)據(jù)量的迅速增長，營銷業(yè)務(wù)應(yīng)用系統(tǒng)面臨著多方面的問題：第一，系統(tǒng)運行性能下降會讓前臺用戶與系統(tǒng)進(jìn)行交互時花費更多的時間，拖慢業(yè)務(wù)處理速度和客戶服務(wù)效率；第二，龐大的系統(tǒng)

3、數(shù)據(jù)量會使系統(tǒng)花費更長的時間處理相應(yīng)操作，以及要花費大量的窗口備份時間；第三，系統(tǒng)管理成本不斷提升，維護日益龐大的數(shù)據(jù)庫所消耗的成本遠(yuǎn)高于輕負(fù)載的數(shù)據(jù)庫；第四，運維人員需要消耗更多的時間和精力去重構(gòu)數(shù)據(jù)庫，從人力資源角度來說是一種不必要的浪費；第五，系統(tǒng)宕機時間會隨著數(shù)據(jù)庫規(guī)模的擴大而逐漸增長。隨著電力企業(yè)的對外服務(wù)壓力不斷增大，電力企業(yè)對于系統(tǒng)性能的需求也在不斷提升。為了有效提升系統(tǒng)性能，減輕服務(wù)壓力，國網(wǎng)重慶市電力公司于2017年開展了營銷業(yè)務(wù)應(yīng)用系統(tǒng)的歷史數(shù)據(jù)歸檔工作，目的是最大限度減少營銷業(yè)務(wù)應(yīng)用系統(tǒng)數(shù)據(jù)庫存儲數(shù)據(jù)量，并提升系統(tǒng)的整體運行效率。歸檔采用完全在線方式進(jìn)行，將系統(tǒng)影響降至最

4、低，完成后系統(tǒng)運行情況達(dá)到了預(yù)期效果。本次營銷業(yè)務(wù)應(yīng)用系統(tǒng)采用了完全在線歸檔，在歸檔期間，所有業(yè)務(wù)正常運行，在最大程度上減少了歸檔工作給基層單位運營帶來的不便。經(jīng)過歸檔后，在線系統(tǒng)數(shù)據(jù)量從歸檔前的13 tb降低到8 tb，系統(tǒng)負(fù)載顯著減少，同時也讓主機資源消耗降低了很多，cpu占用比例從歸檔前的53%下降到35%，降幅達(dá)1/3，內(nèi)存由91%下降到80%，降幅為12%。營銷業(yè)務(wù)應(yīng)用系統(tǒng)經(jīng)過歸檔后，抄表核算、收費賬務(wù)、業(yè)務(wù)流程等模塊的響應(yīng)速度都有了不同層次的提升，從1.8秒降低至0.8秒左右，大大提升了系統(tǒng)性能，提高了資源的利用率和系統(tǒng)的可用性，從而降低了重慶電力營銷業(yè)務(wù)應(yīng)用系統(tǒng)的總投資成本，為營

5、銷業(yè)務(wù)應(yīng)用系統(tǒng)的良好運行提供了技術(shù)上的保障。2 電力行業(yè)歷史數(shù)據(jù)歸檔的現(xiàn)狀2.1 電力行業(yè)各應(yīng)用系統(tǒng)數(shù)據(jù)迅猛增長在信息技術(shù)快速發(fā)展的今天，電力企業(yè)的各信息系統(tǒng)也邁進(jìn)了大數(shù)據(jù)時代。在2007年之前，電力行業(yè)的業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫體量超過1tb的便是大型數(shù)據(jù)庫系統(tǒng)。如今，電力行業(yè)各應(yīng)用系統(tǒng)數(shù)據(jù)迅猛增長，以重慶電力公司為例，10tb數(shù)量級僅是中型數(shù)據(jù)庫系統(tǒng)，超過20tb的數(shù)據(jù)庫系統(tǒng)多達(dá)數(shù)套。業(yè)務(wù)系統(tǒng)累積的數(shù)量越大，系統(tǒng)運行性能就越慢，維護成本也越高。因此，電力企業(yè)大量的業(yè)務(wù)系統(tǒng)都有歷史數(shù)據(jù)歸檔的迫切性。2.2 電力行業(yè)歷史數(shù)據(jù)歸檔的技術(shù)現(xiàn)狀目前，電力企業(yè)絕大多數(shù)應(yīng)用系統(tǒng)的數(shù)據(jù)庫歸檔，采用的歸檔方式是首先將

6、歷史數(shù)據(jù)抽取到歷史數(shù)據(jù)平臺，然后再利用數(shù)據(jù)庫自身的sql命令刪除歷史數(shù)據(jù)。電力企業(yè)采用這種方式有許多不足。首先，由于生產(chǎn)系統(tǒng)數(shù)據(jù)量太大，每張表（包括移除歷史數(shù)據(jù)、重整數(shù)據(jù)庫碎片、索引等操作）的歸檔時間都很長，而在生產(chǎn)表操作的過程中，都會給該表加上“數(shù)據(jù)庫鎖”；其次，“數(shù)據(jù)庫鎖”會使生產(chǎn)業(yè)務(wù)系統(tǒng)性能急劇下降，無法完成對外的業(yè)務(wù)交易。因此，傳統(tǒng)的歸檔方法，僅適用于數(shù)據(jù)量小的應(yīng)用系統(tǒng)或有較多停機時間的應(yīng)用系統(tǒng)。3 新型數(shù)據(jù)歸檔方式在重慶電力的實踐傳統(tǒng)的數(shù)據(jù)歸檔技術(shù)采用刪除歷史數(shù)據(jù)方式產(chǎn)生的“數(shù)據(jù)庫鎖”，會影響生產(chǎn)系統(tǒng)的性能或要求生產(chǎn)系統(tǒng)停機操作，不適合于重慶電力營銷業(yè)務(wù)的發(fā)展現(xiàn)狀。因此，重慶電力公司

7、上線了營銷業(yè)務(wù)應(yīng)用系統(tǒng)。該系統(tǒng)能保持營銷業(yè)務(wù)應(yīng)用系統(tǒng)完全在線，且所有歷史數(shù)據(jù)歸檔操作均不對生產(chǎn)系統(tǒng)性能造成影響的新型數(shù)據(jù)技術(shù)。在實踐中發(fā)現(xiàn)，新型數(shù)據(jù)歸檔方式的工作流程如下。首先，工作人員在需要歸檔的原表中建立采集觸發(fā)器，收集新發(fā)交易，存放在交易隊列表中，此過程持續(xù)到該表歸檔結(jié)束前的表名切換。其次，工作人員使用數(shù)據(jù)庫底層的fastcopy技術(shù)將原表數(shù)據(jù)拷貝到臨時表。再次，工作人員利用觸發(fā)器將收集的新發(fā)交易追加到臨時表中，同樣，此過程持續(xù)該表歸檔結(jié)束前的表名切換時。然后，工作人員在將原表數(shù)據(jù)拷貝到臨時表后，觸發(fā)器自動比較臨時表數(shù)據(jù)與原表中的新發(fā)交易記錄是否一致，如果不一致，繼續(xù)等待原表與臨時表的同

8、步。最后，工作人員在確認(rèn)數(shù)據(jù)完全一致時，采用數(shù)據(jù)庫的online（exchange partition）或者tlock（rename）進(jìn)行表名切換。臨時表改成原表名，原表備份成orig表或者直接刪除，這樣便在線完成了一張數(shù)據(jù)庫表的歸檔。新型數(shù)據(jù)歸檔技術(shù)是基于數(shù)據(jù)庫底層技術(shù)，不會產(chǎn)生數(shù)據(jù)庫鎖，并且可以同時進(jìn)行歷史數(shù)據(jù)遷移、表及索引的碎片整理和重整。因此，整個歸檔操作過程不會對業(yè)務(wù)系統(tǒng)的性能產(chǎn)生影響，且整個歸檔進(jìn)程完全可視可控，極大降低了由數(shù)據(jù)庫歸檔帶來的額外風(fēng)險。4 未來電力行業(yè)應(yīng)用系統(tǒng)歷史數(shù)據(jù)歸檔的發(fā)展趨勢隨著信息技術(shù)的不斷發(fā)展，電力行業(yè)已經(jīng)或即將進(jìn)行大數(shù)據(jù)時代。在大數(shù)據(jù)時代，一方面，電力企業(yè)

9、需要對大數(shù)據(jù)進(jìn)行充分挖掘，為電力企業(yè)創(chuàng)造更多的有利價值；另一方面，針對大數(shù)據(jù)的信息生命周期管理也十分重要。本文所探討的歷史數(shù)據(jù)歸檔，實質(zhì)便是針對大量歷史數(shù)據(jù)的信息生命周期管理。合理的信息生命周期管理，可以為電網(wǎng)企業(yè)節(jié)省大量的管理維護成本。本文介紹的新型數(shù)據(jù)歸檔方式的優(yōu)勢主要體現(xiàn)在兩個方面：一方面業(yè)務(wù)生產(chǎn)系統(tǒng)不需要停機，另一方面整個歸檔過程不會對業(yè)務(wù)生產(chǎn)系統(tǒng)產(chǎn)生性能影響。隨著大數(shù)據(jù)時代的到來，電力企業(yè)在進(jìn)行業(yè)務(wù)系統(tǒng)歷史數(shù)據(jù)歸檔時，除了要保持完全在線、對生產(chǎn)系統(tǒng)無影響外，還有兩個技術(shù)點將成為未來歷史數(shù)據(jù)歸檔的趨勢。第一，在歷史數(shù)據(jù)歸檔中，壓縮技術(shù)或重復(fù)數(shù)據(jù)刪除技術(shù)的充分應(yīng)用。目前，電力企業(yè)采用的歸檔技術(shù)是將生產(chǎn)數(shù)據(jù)從高端存儲介質(zhì)轉(zhuǎn)移至低端存儲介質(zhì)，以達(dá)到節(jié)省成本的目的。歸檔至低端存儲的歷史數(shù)據(jù)如果能充分應(yīng)用壓縮技術(shù)或重復(fù)數(shù)據(jù)刪除技術(shù)，將進(jìn)一步節(jié)省電力企業(yè)對歷史數(shù)據(jù)管理的投資成本。第二，歷史數(shù)據(jù)的自動轉(zhuǎn)移技術(shù)。目前，針對非結(jié)構(gòu)化數(shù)據(jù)的歷史數(shù)據(jù)歸檔，已有成熟的技術(shù)可以根據(jù)策略配置，自動將歷史數(shù)據(jù)轉(zhuǎn)移到低端存儲介質(zhì)，以近全自動化的方式完成歷史數(shù)據(jù)的信息生命周期管理。而針對數(shù)據(jù)庫類的結(jié)構(gòu)化數(shù)據(jù)，目前還未出現(xiàn)成熟的自動化歷史數(shù)據(jù)歸檔技術(shù)。相信在不久的