DS8000存儲(chǔ)容災(zāi)技術(shù)概述(ppt 66頁(yè)).ppt

2010年5月 DS8000存儲(chǔ)容災(zāi)技術(shù) 1 1 1 1 1 東四容災(zāi)方案介紹 目錄 DS8000存儲(chǔ)PPRC介紹 2 DS8000硬件圖示 3 DS8000組件 FramesFrames 4 DS8000體系架構(gòu) 5 將物理磁盤(pán)組成邏輯卷 提供給服務(wù)器使用 使得這些邏輯卷看起來(lái)像是物理磁盤(pán)一樣 DS8000邏輯配置 磁盤(pán)虛擬化 6 DS8000邏輯配置層次 OnearraysiteusedtoconstructoneRAIDArray 8DDMs RAID5 10 61ArrayperRankRankcanbeCKDorFB1 NranksinExtentPoolAssociatedwithServer0orServer1DividedintoExtentsVolumesaremadeinExtentPool 7 DS8000邏輯配置層次 續(xù) VolumesorLUNsMadeupofextentsfromoneextentpoolMinsize0 1GBor1cylinderMaxsize2TB FB 56GB CKD AssociatedwithLSSduringconfigurationVolumeGroupContainsLUNsandhostattachments FBLUNmaskingOnehostattachment oneportorportgroup canbememberofonlyonevolumegroupOnevolumecanbememberofmultiplevolumegroupsMultiplehosts evendifferentopensystemsservertypes canbememberofthesamevolumegroupHostMultipleserverportscanbespecified inoneormoregroups inonehostdefinition DS8000邏輯配置 Array Anarrayiscreatedfromonearraysite ForminganarraymeansdefiningitforaspecificRAIDtypeRAID5 10 6IntheDS8000currentimplementation onearrayisdefinedusingonearraysiteAccordingtotheDS8000sparingalgorithm fromzerototwosparesmaybetakenfromthearraysiteAnarrayisformedusingonearraysiteandwhilethearraycouldbeaccessedbyeachadapterofthedeviceadapterpair itismanagedbyonedeviceadapterWhichadapterandwhichservermanagesthisarrayaredefinedlaterintheconfigurationpathD1 D2 D3 andsoon standforthesetofdatacontainedononediskwithinastripeonthearrayIf forexample1GBofdataiswritten itisdistributedacrossallthedisksofthearray ArraySite Array配置示例 DS8000邏輯配置 Rank Whenanewrankisdefined itsnameischosenbytheDSStorageManagerForexample R1 R2 orR3 andsoonYouhavetoaddanarraytoarankProcessofformingarank ThearrayisformattedforeitherFB opensystems orCKD zSeries data Thisdeterminesthesizeofthesetofdatacontainedononediskwithinastripeonthearray Thecapacityofthearrayissubdividedintoequalsizedpartitions calledextents Theextentsizedependsontheextenttype FBorCKDOneextentistheminimumphysicalallocationunitwhenaLUNorCKDvolumeiscreated 11 DS8000邏輯配置 ExtentPool AnextentpoolisalogicalconstructtoaggregatetheextentsfromasetofrankstoformadomainforextentallocationtoalogicalvolumeSameRAIDtypeandthesamediskRPMcharacteristicsSothattheextentsintheextentpoolhavehomogeneouscharacteristicsNopredefinedaffinityofranksorarraystoastorageserverTheaffinityoftherank andit sassociatedarray toagivenserverisdeterminedatthepointitisassignedtoanextentpoolWhenassignedtoextentpoolsranksareorganizedintworankgroups Rankgroup0iscontrolledbyserver0Rankgroup1iscontrolledbyserver1OneormorerankswiththesameextenttypecanbeassignedtoanextentpoolOnerankcanbeassignedtoonlyoneextentpool Therecanbeasmanyextentpoolsasthereareranks Atleasttwoextentpools oneperservertobalancetheactivity ofeachtypeCKDorFBAdditionalextentpoolsmaybeusedtosegregaterankswithdifferentDDMtypes 12 DS8000邏輯配置 邏輯卷 Alogicalvolumeiscomposedofasetofextentsfromoneextentpool OnaDS8000 upto65280volumescanbecreated 13 DS8000邏輯配置 LSS Alogicalsubsystem LSS isanotherlogicalconstruct Itgroupslogicalvolumes LUNs ingroupsofupto256logicalvolumes LSSsalsohaveanaffinitytotheservers Alleven numberedLSSs X 00 X 02 X 04 uptoX FE belongtoserver0Allodd numberedLSSs X 01 X 03 X 05 uptoX FD belongtoserver1 14 DS8000邏輯配置 LSS示例 15 DS8000邏輯配置 HostAttachment Multipleserverportscanbespecified inoneormoregroups inonehostdefinitionEachhostattachmentcanbeassociatedwithavolumegrouptodefinewhichLUNsthatHBAisallowedtoaccess Multiplehostattachmentscansharethesamevolumegroup 16 DS8000邏輯配置 VolumeGroup MapsLUNstoserverportsorportgroupsFBLUNmaskingLUNmaskingatVGlevel notLUNlevelSpecifichostattachmentcanbeinonlyonevolumegroupOptionsforsharedaccessPlacehostsinseparatevolumegroupsandsharedvolumesinmultiplevolumegroupsPlacesharedvolumesandmultiplehostsinsinglevolumegroupOneHostport portgroupcanbememberofonevolumegroupOneVolumecanbememberofmorethanonevolumegroupMorethanonehost evendifferentopensystemsservertypes canbememberofonevolumegroup 17 DS8000邏輯配置 總結(jié) 18 18 18 18 18 目錄 19 19 19 19 19 建立存儲(chǔ)容災(zāi)重要性 無(wú)法預(yù)知的IT硬件設(shè)備的損壞 斷電 火災(zāi) 自然災(zāi)害 恐怖襲擊等 造成數(shù)據(jù)丟失或業(yè)務(wù)的突然中斷 系統(tǒng)人員誤操作造成意外宕機(jī)或關(guān)鍵數(shù)據(jù)丟失 無(wú)法避免 手段頻多的黑客攻擊 病毒入侵 垃圾郵件 網(wǎng)絡(luò)與系統(tǒng)的漏洞 造成網(wǎng)絡(luò)癱瘓 系統(tǒng)崩潰 一旦發(fā)生災(zāi)難 洪水 地震 火災(zāi)等 或者人為災(zāi)難 用戶失誤 磁盤(pán)失效等 導(dǎo)致數(shù)據(jù)丟失或者業(yè)務(wù)中斷時(shí) 能夠快速 及時(shí)地恢復(fù)數(shù)據(jù) 保證業(yè)務(wù)的連續(xù)運(yùn)行 提高系統(tǒng)可用性 增加業(yè)務(wù)的可持續(xù)性 減少關(guān)鍵業(yè)務(wù)應(yīng)用程序受故障影響在災(zāi)難和不可預(yù)知事件發(fā)生后 最快恢復(fù)關(guān)鍵業(yè)務(wù)數(shù)據(jù) 保障業(yè)務(wù)運(yùn)營(yíng)持續(xù)性 20 DS8000容災(zāi)技術(shù)介紹 IBM企業(yè)級(jí)存儲(chǔ)容災(zāi)解決方案通過(guò)IBMSystemStorageDS8000企業(yè)級(jí)高端磁盤(pán)存儲(chǔ)系統(tǒng) 結(jié)合IBM特有的數(shù)據(jù)復(fù)制技術(shù)MetroMirror 同步的數(shù)據(jù)復(fù)制 和GlobalMirror 異步的數(shù)據(jù)復(fù)制 在兩套或多套DS8000磁盤(pán)存儲(chǔ)設(shè)備間建立數(shù)據(jù)復(fù)制關(guān)系從而實(shí)現(xiàn)高可用性 在數(shù)據(jù)存儲(chǔ)方面提高IT基礎(chǔ)架構(gòu)的整體可用性 方案配合Power服務(wù)器AIX操作系統(tǒng)的特色軟件PowerHA XD及IBM全面的業(yè)務(wù)連續(xù)性計(jì)劃配套服務(wù) 建立完善的災(zāi)難備份中心 從而保證關(guān)鍵數(shù)據(jù)的可恢復(fù)性與業(yè)務(wù)應(yīng)用的可持續(xù)性 21 遠(yuǎn)程數(shù)據(jù)同步復(fù)制技術(shù) MetroMirror PPRC的同步實(shí)現(xiàn)機(jī)制 1 在生產(chǎn)系統(tǒng)中的應(yīng)用程序?qū)?shù)據(jù)寫(xiě)到生產(chǎn)系統(tǒng)的磁盤(pán) 2 生產(chǎn)系統(tǒng)中心的磁盤(pán)數(shù)據(jù)傳輸?shù)絺浞葜行牡拇疟P(pán)3 當(dāng)生產(chǎn)數(shù)據(jù)都寫(xiě)入備份中心存儲(chǔ)設(shè)備后 備份磁盤(pán)將寫(xiě)完操作信息返給生產(chǎn)磁盤(pán)4 生產(chǎn)系統(tǒng)收到災(zāi)備系統(tǒng)傳回的已寫(xiě)信息之后 生產(chǎn)機(jī)的磁盤(pán)系統(tǒng)通知主機(jī)該寫(xiě)操作已完畢 現(xiàn)在同步復(fù)制技術(shù)PPRC已經(jīng)正式改名為MetroMirror 同步數(shù)據(jù)復(fù)制零數(shù)據(jù)丟失支持最遠(yuǎn)303公里 數(shù)據(jù)寫(xiě)入后備存儲(chǔ) 返回寫(xiě)操作完成信息 返回?cái)?shù)據(jù)寫(xiě)入成功信息 數(shù)據(jù)寫(xiě)入存儲(chǔ) 22 遠(yuǎn)程數(shù)據(jù)異步復(fù)制技術(shù) 保證一致性 GlobalMirror PPRC XD的異步機(jī)制 1 在生產(chǎn)系統(tǒng)中的應(yīng)用程序?qū)?shù)據(jù)寫(xiě)到生產(chǎn)系統(tǒng)的磁盤(pán) 2 當(dāng)數(shù)據(jù)完全寫(xiě)入生產(chǎn)中心存儲(chǔ)設(shè)備后 I O完成的信息會(huì)返給生產(chǎn)主機(jī) 當(dāng)生產(chǎn)系統(tǒng)收到磁盤(pán)系統(tǒng)傳回的已寫(xiě)信息之后 生產(chǎn)系統(tǒng)應(yīng)用繼續(xù)執(zhí)行 即可以進(jìn)行下一步操作 3 備份機(jī)磁盤(pán)數(shù)據(jù)復(fù)制 備份磁盤(pán)復(fù)制生產(chǎn)系統(tǒng)數(shù)據(jù) 生產(chǎn)磁盤(pán)會(huì)定期把已經(jīng)改變了的數(shù)據(jù)傳輸?shù)絺浞葜行牡拇疟P(pán) 4 當(dāng)數(shù)據(jù)已經(jīng)寫(xiě)入備份中心存儲(chǔ)設(shè)備后 寫(xiě)完操作信息會(huì)返回給生產(chǎn)磁盤(pán) 生產(chǎn)中心的磁盤(pán)系統(tǒng)認(rèn)為此次操作完成 異地RPO最短3 5秒 無(wú)距離限制 保證數(shù)據(jù)一致性 數(shù)據(jù)寫(xiě)入存儲(chǔ) 返回?cái)?shù)據(jù)寫(xiě)入成功信息 23 本地?cái)?shù)據(jù)復(fù)制技術(shù) FlashCopy FlashCopy提供一個(gè) 時(shí)間點(diǎn) 的拷貝服務(wù)功能 從源卷到目標(biāo)卷快速地復(fù)制數(shù)據(jù) 邏輯拷貝通?？梢栽跀?shù)秒時(shí)間內(nèi)完成 然后就釋放源卷 進(jìn)行正常工作 而物理拷貝操作在后臺(tái)進(jìn)行當(dāng)物理拷貝進(jìn)行過(guò)程中 拷貝和被拷貝數(shù)據(jù)都能被使用 24 PPRC flashcopy技術(shù)的結(jié)合 A B做PPRC B是不能被服務(wù)器訪問(wèn)的 為充分利用災(zāi)備中心的設(shè)備 DS8000FlashCopy功能可以對(duì)B進(jìn)行一份或多分快照 用于系統(tǒng)查詢 批處理 測(cè)試 25 DS8000容災(zāi)解決方案介紹 兩地三中心方案 26 DS8000容災(zāi)解決方案介紹 存儲(chǔ)HA 異地災(zāi)備 HA GM 27 27 27 27 27 東四容災(zāi)方案介紹 目錄 28 東四現(xiàn)有存儲(chǔ) 29 東四容災(zāi)系統(tǒng) 30 北京聯(lián)通容災(zāi)拓?fù)鋱D 31 31 31 31 31 目錄 DS8000存儲(chǔ)PPRC介紹 32 DS8000邏輯配置步驟 1 安裝激活許可2 配置IO卡 定義IO的類(lèi)型 3 創(chuàng)建arrays 配置arrays的raid類(lèi)型 raid5 raid10 radi6 4 創(chuàng)建ranks 5 創(chuàng)建extentpools 配置extentpool的server Server0orServer1 并指定rank到extentpool 6 創(chuàng)建LUN 定義lun類(lèi)型 FB CDK 7 創(chuàng)建volgrp8 創(chuàng)建主機(jī)連接關(guān)系 33 安裝許可 1 通過(guò)DSCLI下的lskey命令 查看許可證狀態(tài)2 通過(guò)applykey命令 安裝許可證3 通過(guò)lskey驗(yàn)證 34 配置I O端口 1 通過(guò)lsioport命令 檢查端口的狀態(tài)2 通過(guò)setioport命令 設(shè)置端口狀態(tài)dscli setioport topologyscsi fcpI0000 35 創(chuàng)建Array 1 通過(guò)lsarraysite命令檢查DS8000上安裝的Arraysite2 通過(guò)mkarray命令創(chuàng)建Array 36 創(chuàng)建Array 3 通過(guò)lsarray命令驗(yàn)證創(chuàng)建的Array 37 創(chuàng)建Rank 1 在創(chuàng)建Array的基礎(chǔ)上 通過(guò)mkrank命令創(chuàng)建Rank2 通過(guò)lsrank命令驗(yàn)證已創(chuàng)建的Rank 38 創(chuàng)建ExtpoolExtpool 并指定 RankRank到Extpool 1 通過(guò)mkextpool命令驗(yàn)證創(chuàng)建的Extpool2 通過(guò)lsexptool命令查看Extpool 確認(rèn)其ID 39 創(chuàng)建ExtpoolExtpool 并指定 RankRank到Extpool 3 通過(guò)chrank命令 將Rank指定到Extpool4 通過(guò)lsexptool命令查看Extpool 可以看到Extpool的容量 40 創(chuàng)建標(biāo)準(zhǔn)的FB卷 1 適用于單個(gè)Rank的Extpool情況2 通過(guò)mkfbvol命令 創(chuàng)建FB卷3 通過(guò)lsfbvol命令 檢查創(chuàng)建好的卷 41 創(chuàng)建在存儲(chǔ)池中條帶化的FB卷 1 適用于多個(gè)Rank的Extpool情況2 通過(guò)mkfbvol命令 創(chuàng)建FB卷 注意 eamrotateexts參數(shù)3 通過(guò)lsfbvol命令 檢查創(chuàng)建好的卷 42 創(chuàng)建VolumeGroup 1 確定需要連接的主機(jī)類(lèi)型scsimap256或是scsimask 43 創(chuàng)建VolumeGroup 2 通過(guò)mkvolgrp命令 創(chuàng)建VG3 通過(guò)showvolgrp命令 查看VG中的卷 44 創(chuàng)建VolumeGroup 4 通過(guò)chvolgrp命令 修改VG中的卷 45 創(chuàng)建主機(jī)連接 并指定VG到相應(yīng)的主機(jī)連接 1 通過(guò)mkhostconnect命令 創(chuàng)建主機(jī)連接建立hostconnect連接時(shí) 選擇存儲(chǔ)Ioport時(shí)盡量選擇不同IO卡的口 防止IO卡故障造成連接不可用 mkhotconnect wwname10000000C9846593 profile IBMpSeries AIX volgrpV9 ioportI0202p570 ZHJFDB1 FCS1mkhotconnect wwname10000000C9846593 profile IBMpSeries AIX volgrpV9 ioportI0203p570 ZHJFDB1 FCS1mkhotconnect wwname10000000C984507D profile IBMpSeries AIX volgrpV9 ioportI0332p570 ZHJFDB1 FCS2mkhotconnect wwname10000000C984507D profile IBMpSeries AIX volgrpV9 ioportI0333p570 ZHJFDB1 FCS2mkhotconnect wwname10000000C984659E profile IBMpSeries AIX volgrpV9 ioportI0202p570 ZHJFDB2 FCS1mkhotconnect wwname10000000C984659E profile IBMpSeries AIX volgrpV9 ioportI0203p570 ZHJFDB2 FCS1mkhotconnect wwname10000000C984644D profile IBMpSeries AIX volgrpV9 ioportI0332p570 ZHJFDB2 FCS2mkhotconnect wwname10000000C984644D profile IBMpSeries AIX volgrpV9 ioportI0333p570 ZHJFDB2 FCS22 通過(guò)lshostconnect命令 NameIDWWPNHostTypeProfileportgrpvolgrpIDESSIOport p570 ZHJFDB1 FCS1004010000000C9846593 IBMpSeries AIX0V9I0202p570 ZHJFDB1 FCS1004110000000C9846593 IBMpSeries AIX0V9I0203p570 ZHJFDB1 FCS2004210000000C984507D IBMpSeries AIX0V9I0332p570 ZHJFDB1 FCS2004310000000C984507D IBMpSeries AIX0V9I0333p570 ZHJFDB2 FCS1004410000000C984659E IBMpSeries AIX0V9I0202p570 ZHJFDB2 FCS1004510000000C984659E IBMpSeries AIX0V9I0203p570 ZHJFDB2 FCS2004610000000C984644D IBMpSeries AIX0V9I0332p570 ZHJFDB2 FCS2004710000000C984644D IBMpSeries AIX0V9I03333 通過(guò)chhostconnect命令 可以修改指定的VG 46 多路徑管理軟件 多路徑管理軟件SubsystemDeviceDriver SDD SUNStorEdgeTrafficManagerforSUNSolaris HPPVLinksforHP UX IBMAIXnativemultipathingI Osupport MPIO IBMi5 OSV5R3multipathsupport Inaddition therearethird partymultipathingsolutions suchasVeritasDMP whichispartofVeritasVolumeManager 47 建立PPRC步驟 1 確定生產(chǎn)端 容災(zāi)端lun已建立lun對(duì)應(yīng)關(guān)系原則 兩端lun的大小 id最好一樣 lss分配原則 按系統(tǒng)分類(lèi) 給每個(gè)系統(tǒng)分配特定的LSS 根據(jù)存儲(chǔ)整體規(guī)劃2 確定生產(chǎn)端與容災(zāi)端的物理鏈路存在3 建立PPRCpath 并修改lss屬性 pprcpath是建立在物理鏈路的基礎(chǔ)上的邏輯鏈路 每條物理鏈路最多能建256條邏輯鏈路 pprcpath的通信是基于LSS每個(gè)LSS最多對(duì)應(yīng)4個(gè)LSS東四lss屬性timeout為30秒4 建立pprc關(guān)系 48 確定容災(zāi)LUN對(duì)應(yīng)關(guān)系 以綜合結(jié)算系統(tǒng)為例生產(chǎn)端存儲(chǔ) 東四數(shù)據(jù)保護(hù)DS8100容災(zāi)端存儲(chǔ) 金盞DS8300T生產(chǎn)端LUN 7800 7805 7810 7815 7820 7826 7830 7832 7900 790 7910 7915 7920 7926 7930 793容災(zāi)端LUN 7800 7805 7810 7815 7820 7826 7830 7832 7900 790 7910 7915 7920 7926 7930 793 49 確定可用的物理鏈路 可以通過(guò)lsavailpprcport命令查詢1 首先要先查詢到兩端的設(shè)備id和設(shè)備的wwwn號(hào) 可以用lssi命令查詢到 PPRCfromshujubaohu DS8100toDR DS8300T shujubaohu DS8100 IBM 2107 75APMFC044 DR DS8300T DS8300 IBM 2107 75DMLFC243 2 輸入lsavailpprcport命令lsavailpprcport devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 fullid78 783 輸出結(jié)果LocalPortAttachedPortType IBM 2107 75APML1 I0033IBM 2107 75DMLN1 I0030FCPIBM 2107 75APML1 I0233IBM 2107 75DMLN1 I0130FCP 50 建立pprcpath 1 用mkpprcpath命令建立pprcpathmkpprcpath devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 srclss78 tgtlss78I0033 I0030I0233 I0130mkpprcpath devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 remotewwnn5005076305FFC243 srclss79 tgtlss79I0033 I0030I0233 I0130pprcpath方向是單向的 如果要建立反向的pprcpathf需要在對(duì)端存儲(chǔ)上建立pprcpath 2 用lspprcpath命令查詢 51 修改LSS屬性 1 用chlss命令修改chlss devIBM 2107 75APML1 pprcconsistgrpenable extlongbusy3078chlss devIBM 2107 75APML1 pprcconsistgrpenable extlongbusy30792 用showlss命令查看 52 建立PPRC關(guān)系 1 用mkpprc命令建立pprc關(guān)系mkpprc devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 typemmir7800 7805 7800 78057810 7815 7810 78157820 7826 7820 78267830 7832 7830 78327900 7905 7900 79057910 7915 7910 79157920 7926 7920 79267930 7932 7930 7932 type參數(shù)是控制pprc的類(lèi)型 mmir為同步 gcp為異步 dev參數(shù)為生產(chǎn)端設(shè)備id remotedev參數(shù)為容災(zāi)端設(shè)備id2 通過(guò)lspprc命令可以查看PPRC的狀態(tài)lspprc devIBM 2107 75APML1 remotedevIBM 2107 75DMLN1 l7800 7805 7800 78057810 7815 7810 78157820 7826 7820 78267830 7832 7830 78327900 7905 7900 79057910 7915 7910 79157920 7926 7920 79267930 7932 7930 7932剛執(zhí)行完命令時(shí) pprcr的狀態(tài)為copy pending 在后臺(tái)進(jìn)行同步 當(dāng)所有數(shù)據(jù)同步完成后的狀態(tài)為full duplex 53 建立PPRC關(guān)系 54 生產(chǎn)端向容災(zāi)端存儲(chǔ)切換步驟 數(shù)據(jù)級(jí)容災(zāi) 1 停止生產(chǎn)端應(yīng)用2 停止生產(chǎn)端主機(jī)環(huán)境3 failoverpprc 從生產(chǎn)端切到容災(zāi)端 在容災(zāi)端操作 4 建立容災(zāi)端到生產(chǎn)端pprcpath 在容災(zāi)端操作 5 failbackpprc 從容災(zāi)端同到生產(chǎn)端 在容災(zāi)端操作 6 容災(zāi)端存儲(chǔ)對(duì)生產(chǎn)端主機(jī)授權(quán)7 啟動(dòng)生產(chǎn)端主機(jī)環(huán)境8 啟動(dòng)生產(chǎn)端應(yīng)用注 第4 5步為在生產(chǎn)端存可用的情況 如果生產(chǎn)端存儲(chǔ)不可用 此步驟不執(zhí)行 以上步驟為在zone通道已打通的情況 55 failoverpprc failoverpprc在災(zāi)備端轉(zhuǎn)換備份卷為主卷建立反向的MetroMirror關(guān)系 此時(shí)LUN的對(duì)應(yīng)關(guān)系為Suspended狀態(tài) 數(shù)據(jù)并未反向同步 1 前提條件 生產(chǎn)端已跟容災(zāi)端建立PPRC關(guān)系2 dev參數(shù)為容災(zāi)端的設(shè)備ID remotedev參數(shù)為生產(chǎn)端設(shè)備ID3 LUN對(duì)應(yīng)關(guān)系為容災(zāi)端LUN對(duì)應(yīng)生產(chǎn)端LUN 56 failoverpprc 生產(chǎn)端LUN關(guān)系 容災(zāi)端LUN關(guān)系 57 failoverpprc 在災(zāi)備端執(zhí)行Failover 58 failbackpprc 在災(zāi)備端執(zhí)行Failback failbackpprc將數(shù)據(jù)拷貝回原有的生產(chǎn)卷1 先決條件是在容災(zāi)端執(zhí)行failoverpprc命令2 已建立容災(zāi)端到生產(chǎn)端pprcpat