數(shù)據(jù)復(fù)制軟件產(chǎn)業(yè)深度調(diào)研及未來(lái)發(fā)展現(xiàn)狀趨勢(shì)

數(shù)據(jù)復(fù)制軟件產(chǎn)業(yè)深度調(diào)研及未來(lái)發(fā)展現(xiàn)狀趨勢(shì)數(shù)據(jù)復(fù)制技術(shù)行業(yè)操作系統(tǒng)層復(fù)制技術(shù)概況根據(jù)數(shù)據(jù)捕獲環(huán)節(jié)的不同，操作系統(tǒng)層復(fù)制可以分為字節(jié)級(jí)復(fù)制和塊級(jí)復(fù)制。字節(jié)級(jí)復(fù)制技術(shù)是指對(duì)生產(chǎn)服務(wù)器文件系統(tǒng)的I/O操作信息進(jìn)行實(shí)時(shí)捕獲，生成序列化I/O操作日志并發(fā)送至目標(biāo)服務(wù)器，操作日志包括I/O操作發(fā)生的時(shí)間、發(fā)起的進(jìn)程、操作具體針對(duì)的文件、文件具體操作的位置以及操作的內(nèi)容。目標(biāo)服務(wù)器收到I/O操作日志后進(jìn)行數(shù)據(jù)的寫入，完成數(shù)據(jù)復(fù)制。該技術(shù)具有對(duì)計(jì)算機(jī)資源占用小、復(fù)制顆粒度細(xì)等優(yōu)勢(shì)，能夠?qū)崿F(xiàn)高實(shí)時(shí)性的數(shù)據(jù)復(fù)制，在容災(zāi)以及持續(xù)數(shù)據(jù)保護(hù)領(lǐng)域有較強(qiáng)的優(yōu)勢(shì)。塊級(jí)復(fù)制技術(shù)是指在生產(chǎn)服務(wù)器的文件系統(tǒng)之下和磁盤驅(qū)動(dòng)之上的卷層設(shè)置驅(qū)動(dòng)模塊，實(shí)現(xiàn)磁盤數(shù)據(jù)變化的捕捉。通過對(duì)生產(chǎn)服務(wù)器磁盤空間進(jìn)行劃分，構(gòu)建磁盤位圖，將發(fā)生數(shù)據(jù)變化的位圖信息發(fā)送至目標(biāo)服務(wù)器并與前次位圖信息進(jìn)行整合，實(shí)現(xiàn)數(shù)據(jù)的復(fù)制。和字節(jié)級(jí)復(fù)制相比，塊級(jí)復(fù)制顆粒度較粗，單次傳輸數(shù)據(jù)量較大，適用于具有海量文件的文件系統(tǒng)或者非標(biāo)準(zhǔn)化文件系統(tǒng)的場(chǎng)景，在定時(shí)備份領(lǐng)域具有較強(qiáng)的優(yōu)勢(shì)。操作系統(tǒng)層復(fù)制技術(shù)由于不受底層存儲(chǔ)型號(hào)的限制，可以實(shí)現(xiàn)跨物理、虛擬、云等復(fù)雜環(huán)境，是第三方數(shù)據(jù)復(fù)制軟件企業(yè)主要使用的技術(shù)。部分存儲(chǔ)硬件企業(yè)在發(fā)展過程中，通過不斷收購(gòu)第三方數(shù)據(jù)復(fù)制軟件企業(yè)，也擁有了較成熟的操作系統(tǒng)層復(fù)制技術(shù)。數(shù)據(jù)復(fù)制技術(shù)行業(yè)存儲(chǔ)硬件層復(fù)制技術(shù)發(fā)展概況存儲(chǔ)硬件層復(fù)制主要指基于存儲(chǔ)磁盤陣列之間的直接鏡像，是通過存儲(chǔ)系統(tǒng)內(nèi)建的固件或操作系統(tǒng)，利用IP網(wǎng)絡(luò)或光纖等傳輸介質(zhì)連結(jié)，將數(shù)據(jù)以同步或異步的方式復(fù)制到目標(biāo)端。存儲(chǔ)硬件層復(fù)制的優(yōu)勢(shì)在于復(fù)制工作僅在存儲(chǔ)硬件層面進(jìn)行，與操作系統(tǒng)層無(wú)關(guān)，因此可以避免服務(wù)器的性能開銷過大的問題，適用于關(guān)鍵任務(wù)和高端交易應(yīng)用，也是目前最廣泛用于容災(zāi)場(chǎng)景的數(shù)據(jù)復(fù)制技術(shù)之一。存儲(chǔ)硬件層復(fù)制的劣勢(shì)在于主要適用于同品牌且同型號(hào)的同構(gòu)存儲(chǔ)系統(tǒng)，并需配備低延遲和大帶寬的物理鏈路，成本較高，給異地復(fù)制帶來(lái)極大困難。存儲(chǔ)硬件層的復(fù)制技術(shù)通常依賴于特定存儲(chǔ)硬件，因此使用該技術(shù)的主要是存儲(chǔ)硬件廠商，代表產(chǎn)品為DELLEMC的SRDF軟件、IBM的PPRC軟件等。數(shù)據(jù)復(fù)制軟件行業(yè)競(jìng)爭(zhēng)格局國(guó)內(nèi)數(shù)據(jù)復(fù)制軟件市場(chǎng)，同樣呈現(xiàn)出以國(guó)外知名企業(yè)為主導(dǎo)的競(jìng)爭(zhēng)格局。由于我國(guó)在存儲(chǔ)硬件、數(shù)據(jù)庫(kù)、操作系統(tǒng)等信息基礎(chǔ)設(shè)施領(lǐng)域受制于國(guó)外，國(guó)內(nèi)數(shù)據(jù)復(fù)制軟件行業(yè)整體起步較晚，在過去較長(zhǎng)一段時(shí)間內(nèi)市場(chǎng)占有率低，且產(chǎn)品的應(yīng)用場(chǎng)景主要集中在定時(shí)備份領(lǐng)域，少有國(guó)內(nèi)的數(shù)據(jù)復(fù)制軟件企業(yè)能進(jìn)入容災(zāi)及大數(shù)據(jù)等對(duì)數(shù)據(jù)復(fù)制實(shí)時(shí)性、穩(wěn)定性要求較高的領(lǐng)域。近年來(lái)，隨著信息技術(shù)的不斷演進(jìn)和市場(chǎng)需求的變化，以華為、英方軟件為代表的國(guó)內(nèi)數(shù)據(jù)復(fù)制廠商憑借持續(xù)地研發(fā)投入和技術(shù)積累，結(jié)合對(duì)國(guó)內(nèi)用戶需求的較深理解，已擁有了較為先進(jìn)的數(shù)據(jù)復(fù)制技術(shù)，數(shù)據(jù)復(fù)制軟件產(chǎn)品在功能和性能上達(dá)到和國(guó)外知名企業(yè)的同等水平，且在國(guó)產(chǎn)化適配、售后服務(wù)等方面具備更強(qiáng)的優(yōu)勢(shì)，逐步開始在容災(zāi)及大數(shù)據(jù)等對(duì)數(shù)據(jù)復(fù)制技術(shù)要求較高的領(lǐng)域替代國(guó)外產(chǎn)品，市場(chǎng)占有率呈上升趨勢(shì)。大數(shù)據(jù)采集行業(yè)發(fā)展情況和發(fā)展趨勢(shì)（一）大數(shù)據(jù)采集行業(yè)發(fā)展情況海量數(shù)據(jù)從生產(chǎn)到發(fā)揮價(jià)值，需要經(jīng)過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據(jù)采集與預(yù)處理作為大數(shù)據(jù)生命周期的第一環(huán)節(jié)，是釋放數(shù)字價(jià)值的前提。數(shù)據(jù)復(fù)制軟件在大數(shù)據(jù)行業(yè)的應(yīng)用主要是作為數(shù)據(jù)采集的基礎(chǔ)工具，將來(lái)自不同數(shù)據(jù)庫(kù)、不同數(shù)據(jù)類型的數(shù)據(jù)實(shí)時(shí)傳輸至統(tǒng)一平臺(tái)，為大數(shù)據(jù)分析提供實(shí)時(shí)、安全、可靠的數(shù)據(jù)，屬于大數(shù)據(jù)產(chǎn)業(yè)的基礎(chǔ)支撐層。與傳統(tǒng)的數(shù)據(jù)采集不同，大數(shù)據(jù)采集需要面對(duì)海量數(shù)據(jù)、多種數(shù)據(jù)類型和多樣化的終端類型，對(duì)采樣數(shù)據(jù)的實(shí)時(shí)性要求也越來(lái)越高。在大數(shù)據(jù)采集時(shí)，需要通過計(jì)算機(jī)進(jìn)行規(guī)則配置、任務(wù)調(diào)度，實(shí)現(xiàn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的預(yù)處理，為后續(xù)的實(shí)時(shí)分析決策、數(shù)據(jù)查詢、分發(fā)、計(jì)算和分析提供堅(jiān)實(shí)基礎(chǔ)。（二）大數(shù)據(jù)采集行業(yè)發(fā)展趨勢(shì)1、大數(shù)據(jù)行業(yè)應(yīng)用的深入促進(jìn)大數(shù)據(jù)采集需求日益增長(zhǎng)在政策和技術(shù)的雙重驅(qū)動(dòng)下，我國(guó)大數(shù)據(jù)產(chǎn)業(yè)規(guī)模快速增長(zhǎng)，大數(shù)據(jù)應(yīng)用的行業(yè)也越來(lái)越廣泛，從互聯(lián)網(wǎng)行業(yè)向金融、醫(yī)療、教育等各行各業(yè)拓展。根據(jù)中國(guó)信通院發(fā)布的《大數(shù)據(jù)白皮書2020》，2019年我國(guó)以云計(jì)算、大數(shù)據(jù)技術(shù)為基礎(chǔ)的平臺(tái)類運(yùn)營(yíng)技術(shù)服務(wù)收入2．2萬(wàn)億元，其中，典型云服務(wù)和大數(shù)據(jù)服務(wù)收入達(dá)3284億元，提供服務(wù)的企業(yè)達(dá)2977家，大數(shù)據(jù)產(chǎn)業(yè)發(fā)展日益壯大。數(shù)據(jù)采集是大數(shù)據(jù)在各行各業(yè)應(yīng)用并且創(chuàng)造價(jià)值的前提。隨著大數(shù)據(jù)的行業(yè)應(yīng)用不斷深入，物聯(lián)網(wǎng)、智能家居等領(lǐng)域的大數(shù)據(jù)技應(yīng)用逐漸成熟，數(shù)據(jù)采集的需求也將被逐步激發(fā)，帶動(dòng)數(shù)據(jù)采集軟件及服務(wù)的市場(chǎng)規(guī)模日益增長(zhǎng)。2、大數(shù)據(jù)采集環(huán)節(jié)更加注重異構(gòu)數(shù)據(jù)源兼容性隨著數(shù)據(jù)量的指數(shù)增長(zhǎng)，數(shù)據(jù)的存儲(chǔ)、計(jì)算、部署等方式都在同步變化，各行業(yè)的業(yè)務(wù)系統(tǒng)也變得越來(lái)越復(fù)雜。以銀行為例，金融業(yè)是我國(guó)信息化程度最高、信息技術(shù)應(yīng)用最密集的行業(yè)之一，在數(shù)據(jù)爆發(fā)式增長(zhǎng)、數(shù)據(jù)庫(kù)、數(shù)據(jù)中心建設(shè)等大背景下，銀行的業(yè)務(wù)系統(tǒng)由單一系統(tǒng)逐漸演變成按業(yè)務(wù)、按部門劃分的復(fù)雜系統(tǒng)群，數(shù)據(jù)庫(kù)類型開始由Oracle、DB2數(shù)據(jù)庫(kù)變得更加多元，數(shù)據(jù)中心規(guī)模持續(xù)擴(kuò)張、逐漸云化，最終形成了復(fù)雜而龐大的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)架構(gòu)。日益復(fù)雜的業(yè)務(wù)系統(tǒng)和數(shù)據(jù)架構(gòu)形成了數(shù)據(jù)結(jié)構(gòu)、存取方式、形式不同的異構(gòu)數(shù)據(jù)源，對(duì)大數(shù)據(jù)采集的異構(gòu)兼容性提出了更高的要求。工信部發(fā)布的《十四五大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》中明確提出，以構(gòu)建穩(wěn)定高效產(chǎn)業(yè)鏈為主要目標(biāo)，在數(shù)據(jù)生成采集環(huán)節(jié)，著重提升產(chǎn)品的異構(gòu)數(shù)據(jù)源兼容性、大規(guī)模數(shù)據(jù)集采集與加工效率。3、大數(shù)據(jù)采集的安全與隱私保護(hù)需求持續(xù)上漲近年來(lái)，我國(guó)大數(shù)據(jù)的安全與隱私保護(hù)需求持續(xù)上漲，大數(shù)據(jù)采集過程中的安全流通和隱私計(jì)算技術(shù)也愈發(fā)得到重視。隨著大數(shù)據(jù)的不斷發(fā)展和應(yīng)用，越來(lái)越多的安全問題隨之浮現(xiàn)。在數(shù)據(jù)采集過程中，第三方可能在采集傳輸數(shù)據(jù)過程中截獲、偽造數(shù)據(jù)，不但造成了用戶隱私、敏感數(shù)據(jù)泄露的嚴(yán)重后果，同時(shí)也影響了政府、企業(yè)后臺(tái)數(shù)據(jù)分析的準(zhǔn)確性。因此，在大數(shù)據(jù)采集及預(yù)處理過程中，除了假流量數(shù)據(jù)清洗、正常數(shù)據(jù)補(bǔ)全、無(wú)效數(shù)據(jù)剔除外，還存在數(shù)據(jù)格式化、數(shù)據(jù)隔離、數(shù)據(jù)加密、數(shù)據(jù)脫敏和攻擊識(shí)別等需求。近年來(lái)我國(guó)網(wǎng)絡(luò)安全市場(chǎng)規(guī)模持續(xù)增長(zhǎng)，從2016年的269．5億元增長(zhǎng)至2020年的531．9億元，2021年將達(dá)到649．7億元，有望帶動(dòng)大數(shù)據(jù)采集的安全與隱私保護(hù)市場(chǎng)的持續(xù)擴(kuò)容。數(shù)據(jù)復(fù)制軟件在各應(yīng)用場(chǎng)景備份是指對(duì)源數(shù)據(jù)形成一份同樣的拷貝，存放至其它設(shè)備中。在發(fā)生自然災(zāi)害、軟硬件故障、人為誤操作等原因?qū)е聰?shù)據(jù)失效時(shí)，可通過恢復(fù)備份的方式重新找回失效數(shù)據(jù)。備份被認(rèn)為是數(shù)據(jù)保護(hù)的最后一道防線，確保在企業(yè)遭遇事故時(shí)至少擁有一份數(shù)據(jù)可以用來(lái)恢復(fù)。數(shù)據(jù)復(fù)制軟件是數(shù)據(jù)備份的核心。備份數(shù)據(jù)的可用性依賴于數(shù)據(jù)復(fù)制的完整性和一致性。同時(shí)，通過優(yōu)化數(shù)據(jù)復(fù)制技術(shù)，可以減少備份數(shù)據(jù)的傳輸量和數(shù)據(jù)丟失量，節(jié)省備份存儲(chǔ)資源，提升備份效率。容災(zāi)是指在本地或異地，建立兩套或多套功能相同的業(yè)務(wù)系統(tǒng)，互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)主生產(chǎn)系統(tǒng)非計(jì)劃性停止工作時(shí)，整個(gè)應(yīng)用系統(tǒng)可以切換到備用業(yè)務(wù)系統(tǒng)，使得該系統(tǒng)功能可以繼續(xù)正常工作。根據(jù)保障等級(jí)由低至高，容災(zāi)可以分為數(shù)據(jù)級(jí)、應(yīng)用級(jí)和業(yè)務(wù)級(jí)。數(shù)據(jù)級(jí)容災(zāi)重點(diǎn)在于數(shù)據(jù)，災(zāi)難發(fā)生后可以確保用戶原有的數(shù)據(jù)不會(huì)丟失或丟失量最少，通過備份可以實(shí)現(xiàn)數(shù)據(jù)級(jí)容災(zāi)；應(yīng)用級(jí)容災(zāi)的重點(diǎn)在于應(yīng)用系統(tǒng)的不間斷服務(wù)，讓終端用戶感受不到災(zāi)難的發(fā)生，應(yīng)用的服務(wù)請(qǐng)求能夠繼續(xù)平穩(wěn)運(yùn)行并對(duì)外提供服務(wù)。數(shù)據(jù)復(fù)制軟件是實(shí)現(xiàn)應(yīng)用級(jí)容災(zāi)的重要工具，只有兩套業(yè)務(wù)系統(tǒng)擁有相同或幾乎相同的數(shù)據(jù)，才能保證應(yīng)用的順利切換。數(shù)據(jù)復(fù)制的實(shí)時(shí)性決定了系統(tǒng)切換后的數(shù)據(jù)丟失量，是衡量容災(zāi)系統(tǒng)等級(jí)的重要指標(biāo)。業(yè)務(wù)級(jí)容災(zāi)是最高級(jí)別的容災(zāi)，超過了IT系統(tǒng)層面的保障，還包括對(duì)辦公地點(diǎn)、場(chǎng)所、人員、網(wǎng)絡(luò)等的保障。隨著通信技術(shù)的發(fā)展，數(shù)據(jù)的傳輸速度不斷提升，海量數(shù)據(jù)得以匯聚。大數(shù)據(jù)可以總結(jié)事物發(fā)展規(guī)律、預(yù)測(cè)發(fā)展趨勢(shì)并指導(dǎo)決策，因此在生產(chǎn)和生活中得到了越來(lái)越廣泛的應(yīng)用。而海量數(shù)據(jù)從生產(chǎn)到發(fā)揮價(jià)值，需要經(jīng)過采集、處理、分析等環(huán)節(jié)，其中大數(shù)據(jù)采集與預(yù)處理作為大數(shù)據(jù)生命周期的第一環(huán)節(jié)，是釋放數(shù)字價(jià)值的前提。數(shù)據(jù)復(fù)制軟件是大數(shù)據(jù)采集的基礎(chǔ)工具，可以將海量數(shù)據(jù)實(shí)時(shí)傳輸至大數(shù)據(jù)平臺(tái)或分發(fā)至各數(shù)據(jù)需求部門，為數(shù)據(jù)仿真、分析、決策、風(fēng)控等場(chǎng)景提供實(shí)時(shí)、安全、可靠的數(shù)據(jù)。數(shù)據(jù)復(fù)制技術(shù)行業(yè)下游催生需求空間數(shù)據(jù)復(fù)制軟件的主要功能是將一組數(shù)據(jù)從一個(gè)數(shù)據(jù)源拷貝到一個(gè)或多個(gè)數(shù)據(jù)源，涵蓋數(shù)據(jù)的監(jiān)控、獲取、傳輸、存儲(chǔ)、校驗(yàn)等步驟。根據(jù)獲取數(shù)據(jù)的層級(jí)不同，數(shù)據(jù)復(fù)制軟件也可分為存儲(chǔ)硬件層數(shù)據(jù)復(fù)制軟件、操作系統(tǒng)層數(shù)據(jù)復(fù)制軟件和數(shù)據(jù)庫(kù)層數(shù)據(jù)復(fù)制軟件：存儲(chǔ)硬件層數(shù)據(jù)復(fù)制軟件從存儲(chǔ)設(shè)備中直接獲取數(shù)據(jù)，并將其復(fù)制至新的存儲(chǔ)設(shè)備