POLARDB的Oracle兼容性實(shí)現(xiàn)剖析

1、Oracle兼容性需求業(yè)界需求公有云已經(jīng)進(jìn)入了深水區(qū)， 需要更多地深入線下的存儲(chǔ)和計(jì)算場(chǎng)景當(dāng)今政治環(huán)境下， 迫切的去O 需求阿里兼容性需求向?qū)Ч性坪途€下業(yè)務(wù)積累A DA M 兼容性篩選目錄兼容性的考慮架構(gòu)的兼容性O(shè)racle遷往POLARDB的考量語(yǔ)法兼容性的實(shí)現(xiàn)剖析兼容性的考慮工具和生態(tài)：兼容DBA、開(kāi)發(fā)者等相關(guān)人員的使用習(xí)慣；SQL語(yǔ)法：對(duì)應(yīng)用而言需要改造成本接近于零；性能：避免性能退化；成本：可以將成本做到極低；Architecture of POLARDBRDMAPolarStore/SANParserExtensionOptimizerPLPGSQLPostgreSQLlibpqj

2、dbcClientSDKRDMAASMPackagePLSQLParserOptimizerOraclepgAdminpsqlDMSOEMsqlplusOCIojdbcClientSDK操作界面應(yīng)用開(kāi)發(fā)架構(gòu)兼容HighlyCompatiblewithOracle安全可靠DMSEvaluationTestingMigrationCostBenchmarkDTS兼容性測(cè)試全量遷移性能壓測(cè)增量遷移 真實(shí)業(yè)務(wù)SQL測(cè)試數(shù)據(jù)回流Elasticity存儲(chǔ)按使用量計(jì)費(fèi) 計(jì)算和存儲(chǔ)可彈性擴(kuò) 展Database MigrationCycleADAM兼容性評(píng)估 性能評(píng)估ManagementDMS&Console生

3、命周期管理賬戶管理，備份管理SQL審計(jì)，日志管理PerformancePerformance Insight慢SQL分析 全鏈路診斷SQL Timing分析ADAM數(shù)據(jù)庫(kù)和應(yīng)用遷移（Advanced Database & Application Migration, 以下簡(jiǎn)稱ADAM），是阿 里云結(jié)合阿里巴巴多年內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)和應(yīng)用異構(gòu)遷移的經(jīng)驗(yàn)，自主研發(fā)的、遷移ORACLE數(shù) 據(jù)庫(kù)和應(yīng)用上云的企業(yè)級(jí)遷云產(chǎn)品和解決方案，能幫助企業(yè)最大限度降低ORACLE數(shù)據(jù)庫(kù)和應(yīng)用遷 移上云的風(fēng)險(xiǎn)、技術(shù)難度和實(shí)施周期。評(píng)估系統(tǒng)改造系統(tǒng)遷移系統(tǒng)畫(huà)像系統(tǒng) 客觀ORACLE數(shù)據(jù)庫(kù)畫(huà) 像 自動(dòng)發(fā)現(xiàn)業(yè)務(wù)系統(tǒng)架構(gòu)，

4、確定邊界 識(shí)別關(guān)鍵用法 評(píng)估技術(shù)可行性 評(píng)估實(shí)施工作量 自動(dòng)生成解決方案 自動(dòng)兼容性轉(zhuǎn)換 自動(dòng)規(guī)格計(jì)算 結(jié)構(gòu)、數(shù)據(jù)遷移 校驗(yàn)、治理 離線+在線、可擴(kuò)展 SQL翻譯工具 數(shù)據(jù)庫(kù)改造工具 應(yīng)用改造工具 PLSQL2JAVA改造工具采集系統(tǒng) 采集Oracle 采集應(yīng)用 安全、脫敏語(yǔ)法兼容性實(shí)現(xiàn)方法的選型原則語(yǔ)法優(yōu)先插件優(yōu)先Rewrite優(yōu)先慎重增加執(zhí)行算子兼顧新舊版本的兼容語(yǔ)法兼容性的實(shí)現(xiàn)方法PL + Extension內(nèi)核修改Re w r i t e增加執(zhí)行算子內(nèi)核修改 + Extension控制流程PL+ExtensionAnyData創(chuàng)建方法使用方式C R E A T E T Y P E S

5、Y S . A n y D a t a A S O B J E C T (d t T y p e N a m e V A R C H A R 2 , d t V a l u e C L O B ,/ * 獲取數(shù)據(jù)類型函數(shù) * /M E M B E R F U N C T I O N G e t T y p e N a m e ( s e l f I N A n y D a t a) R E T U R N V A R C H A R 2 D E T E R M I N I S T I C ,/ * I N T 類型到A n y D a t a 類型的轉(zhuǎn)換函數(shù) * / S T A T I C F

6、 U N C T I O N C o n v e r t I n t e g e r (n u m I N I N T E G E R) R E T U R N A n y D a t a ,/ * 訪問(wèn)函數(shù) f o r A n y D a t a * /M E M B E R F U N C T I O N A c c e s s I n t e g e r ( s e l f I N A n y D a t a) R E T U R N I N T E G E R ,/ * 其他類型的轉(zhuǎn)換函數(shù)、訪問(wèn)函數(shù) * / ) ;C R E A T E E X T E N S I O N p o l

7、a r _ a n y d a t a ; C R E A T E T A B L E t 1 ( c 1 S Y S . A n y D a t a ) ;I N S E R T I N T O t 1V A L U E S ( A n y D a t a . C o n v e r t I n t e g e r ( 1 2 ) ) ; I N S E R T I N T O t 1V A L U E S ( A n y D a t a . C o n v e r t V a r c h a r ( T e s t A n y D a t a ) ) ;S E L E C TS Y S .

8、 A n y D a t a . G e t T y p e N a m e ( c 1 ) t y p e n a m e , ( C A S E S Y S . A n y D a t a . G e t T y p e N a m e ( c 1 )W H E N S Y S . I N T E G E R T H E NS Y S . A n y D a t a . A c c e s s N u m b e r ( c 1 ) : : v a r c h a r 2 W H E N S Y S . V A R C H A R T H E NS Y S . A n y D a t a

9、. A c c e s s V a r c h a r ( c 1 ) : : v a r c h a r 2 E N D ) c tF R O M t 1 ;RewritePivotselect * from SalesOrder pivot(sum(sales) for product in (A, B);RewritePivotImp_cols,- for each agg_func(CASE WHEN for_col=in_val THEN agg_param END)- 未出現(xiàn)在Pivot clause中的 列Imp_cols,增加執(zhí)行算子UnPivotS E L E C T *F

10、R O M P i v o t _ S a l e s O r d e rU N P I V O T ( t o t a l _ s a l e s F O R p r o d u c t I N ( A a s P _ A , B a s P _ B , C a s P _ C ) ) ;增加執(zhí)行算子UnPivotS E L E C T *F R O M p i v o t _ S a l e s O r d e r U N P I V O T ( t o t a l _ s a l e sF O R p r o d u c tI N ( a a s P _ A , B a s P _ B

11、, C a s P _ C ) ) ;s e l e c t s . s h o p , t . *f r o m p i v o t _ s a l e s o r d e r sc r o s s j o i n l a t e ra l ( va l u e s ( P _ A , s . a ) ,( P _ B , s . b ) ,( P _ C , s . c ) a s t ( p r o d u c t , t o t a l _ s a l e s ) w h e r e t .t o t a l _ s a l e s i s n o t n u l l ; ;High

12、CostRewrite+ExtensionConnectBy98100102101103104S E L E C T *F R O M e m p l o y e eS TA R T W I T H E N O = 1 0 0 C O N N E C T BY P R I O R e n o = m n o ;Replace 104ERROR: CONNECT BY loop in user data.Rewrite+ExtensionConnectBy,ARRAY AS recursionpath,Array_append(prior.recursionpath, ) AS recursio

13、npatrecursiveRewrite+ExtensionConnectByJoinquals: prior. = ANDpolar_cyclechecker_notice( = ANY (prior.recursionpath)- - E X T E N S I O N :C R E A T E O R R E P L A C E F U N C T I O Np g _ c a t a l o g . p o l a r _ c y c l e c h e c k e r _ n o t i c e r ( n e e d _ r e p o r t B O O L E A N )R E

14、 T U R N S b o o l e a n A S $ $ B E G I NI F n e e d _ r e p o r t T H E NR A I S E C O N N E C T B Y l o o p i n u s e r d a t a . ; E N D I F ;R E T U R N T R U E ; E N D ;$ $ L A N G U A G E p l p g s q l I M M U T A B L E ;控制流程SavePointinprocedure/ P G _ T R Y ( ) ;/ / f o r e a c h ( s , s t m

15、 t s )/ / b e g i ne x e c _ s t m t s ;/ / ( 1 )/ / P L s t m t/ e x e c _ s t m t ;( 2 ) s p l _ e x e c _ f u n c t i o n/ / e x e c _ s t m t _ c o m m i t e x e c _ s t m t _ r o l l b a c ke x e c _ s t m t _ s a v e p o i n te x e c _ s t m t _ r o l l b a c k _ t o e x e c _ s t m t _ o t h e re x