openGauss應(yīng)用實(shí)踐的那些年那些事華為內(nèi)部資料

部門：作者：日期：田文罡華為技術(shù)有限公司openGauss技術(shù)委員會(huì)主席openGauss應(yīng)用實(shí)踐的那些年那些事姓名：田文罡openGauss技術(shù)委員會(huì)主席，加入華為公司16年，一直從事數(shù)據(jù)庫開發(fā)，十多年數(shù)據(jù)庫內(nèi)核開發(fā)經(jīng)驗(yàn)。開發(fā)過嵌入式數(shù)據(jù)庫，內(nèi)存數(shù)據(jù)庫，磁盤數(shù)據(jù)庫，分布式數(shù)據(jù)庫，Serverless端云協(xié)同平臺(tái)。對(duì)MySQL，PostgreSQL開源數(shù)據(jù)庫和商業(yè)數(shù)據(jù)庫實(shí)現(xiàn)原理和架構(gòu)有深入的研究。熟悉Cassandra等NoSQL數(shù)據(jù)庫，spanner等前沿?cái)?shù)據(jù)庫實(shí)現(xiàn)原理和技術(shù)?，F(xiàn)在負(fù)責(zé)openGauss整體架構(gòu)設(shè)計(jì)和后續(xù)演進(jìn)。個(gè)人介紹openGauss應(yīng)用實(shí)踐一OM場景openGauss應(yīng)用實(shí)踐二資源受限場景設(shè)備管理OM場景的特征1、電信設(shè)備一般是刀片式服務(wù)器，即數(shù)據(jù)庫一般是作為設(shè)備管理軟件的一個(gè)內(nèi)部組件。2、電信OM場景要求數(shù)據(jù)庫要小型化。3、電信OM場景要求數(shù)據(jù)庫可靠，基本不能出現(xiàn)問題。4、電信OM設(shè)備場景要求數(shù)據(jù)庫能夠自動(dòng)維護(hù)，不需要人工干預(yù)。5、電信OM場景對(duì)數(shù)據(jù)庫的操作主要是插入、刪除和查詢。openGauss應(yīng)用實(shí)踐一

OM場景數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）OM1、配置管理2、性能管理3、故障管理4、安全管理1、商業(yè)數(shù)據(jù)庫安裝盤:1.7G，千兆網(wǎng)卡安裝:3分鐘，百兆網(wǎng)卡:15分鐘。安裝完成后，占用硬盤大，空庫7GB。2、

備份數(shù)據(jù)庫時(shí)間長,備份文件大。3、

雙機(jī)倒換時(shí)間長，雙機(jī)修復(fù)時(shí)間。openGauss數(shù)據(jù)庫雙機(jī)—可靠數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用1、靜態(tài)配置standby_mode='on'primary_conninfo='host=192.168.1.50port=5432user=foopassword=foopass'restore_command='cp

/path/to/archive/%f%p'archive_cleanup_command='pg_archivecleanup/path/to/archive%r'

數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用2、動(dòng)態(tài)指定3、自動(dòng)選主gs_ctlstart-Mprimarygs_ctlstart-Mstandbygs_ctlstart-Mpendinggs_ctlfailoverMultinodeLSNproblemRaft(Term)openGauss數(shù)據(jù)庫雙機(jī)—可用數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用1、串行恢復(fù)gs_ctlstop–mimmediate

Serialrestore日志redo數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用2、并行恢復(fù)gs_ctlstop–mimmediate

FileParallelrestore日志redo數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用3、極致RTOgs_ctlstop–mimmediatePageparallelrestore日志redo日志redo日志redoFile粒度Page粒度openGauss數(shù)據(jù)庫雙機(jī)—靈活數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用1、最大性能synchronous_commit=local數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用數(shù)據(jù)庫（主）數(shù)據(jù)庫（備）應(yīng)用2、最大可靠3、最大可用synchronous_commit=on,remote_write,remote_applymost_available_sync=trueopenGauss應(yīng)用實(shí)踐二

資源受限數(shù)據(jù)庫（主）數(shù)據(jù)庫（主）應(yīng)用synchronous_commit=localshared_buffers=500MB應(yīng)用層雙機(jī)，內(nèi)存受限，CPU核數(shù)有限：1、800個(gè)鏈接，每個(gè)鏈接4M2、SQL命令串行執(zhí)行，SQL命令低時(shí)延。openGauss數(shù)據(jù)庫—服務(wù)器線程池?cái)?shù)據(jù)庫PgBouncer應(yīng)用1、外接連接池1、管理復(fù)雜2、開銷大（兩次網(wǎng)絡(luò)交互，內(nèi)部轉(zhuǎn)換）數(shù)據(jù)庫PgBouncer應(yīng)用數(shù)據(jù)庫應(yīng)用2、內(nèi)置鏈接池3、服務(wù)器線程池1、管理簡單2、一次網(wǎng)絡(luò)交互，內(nèi)部轉(zhuǎn)換1、管理簡單2、直接處理openGauss數(shù)據(jù)庫—SQLBYPASS數(shù)據(jù)庫分析器應(yīng)用1、SQL正常處理流程1、調(diào)用棧深2、執(zhí)行時(shí)間長2、SQLBYPASS處理流程優(yōu)化器執(zhí)行器存儲(chǔ)器數(shù)據(jù)庫分析器應(yīng)用BYPASS存儲(chǔ)器1、直通訪問2、執(zhí)行時(shí)間短openGauss數(shù)據(jù)庫—事務(wù)機(jī)制事務(wù)應(yīng)用1、32位事務(wù)ID1、動(dòng)態(tài)快照2、64位事務(wù)IDxminxmax事務(wù)應(yīng)用2、靜態(tài)快照dataxminxmaxdatalsn…….lsnxid_basemulti_baseProcArrayCSN數(shù)據(jù)庫維護(hù)的自動(dòng)化1、數(shù)據(jù)庫日志統(tǒng)一規(guī)劃路徑，包括gs_ctl,gs_dump,pg_log目錄。2、數(shù)據(jù)庫日志目錄占用空間監(jiān)控，刪除最舊的日志，保留最新的日志。根據(jù)日期和占用的磁盤空間確定刪除策略。3、數(shù)據(jù)庫進(jìn)程的監(jiān)控，數(shù)據(jù)庫有很多周期線程，需要監(jiān)控這些線程狀態(tài)是否一直正常。4、數(shù)據(jù)庫服務(wù)是否正常，通過定期查詢一個(gè)表的數(shù)據(jù)，檢查數(shù)據(jù)庫服務(wù)是否正常。5、數(shù)據(jù)占用磁盤空間監(jiān)控，定期監(jiān)控?cái)?shù)據(jù)庫數(shù)據(jù)目錄占用的磁盤空間。6、定期監(jiān)控?cái)?shù)據(jù)庫雙機(jī)線程和同步狀態(tài)。7、定期收集數(shù)據(jù)庫的日志信息，pg_locks表信息和pg_activity信息。數(shù)據(jù)庫可靠性增強(qiáng)1、停止的可靠性增強(qiáng)，如果存在會(huì)話連接訪問，可能會(huì)遺留會(huì)話進(jìn)程，無法停止。導(dǎo)致下次啟動(dòng)失敗，所以在數(shù)據(jù)庫停止流程中增加了強(qiáng)制殺死操作。2、控制文件冗余，控制文件是數(shù)據(jù)庫啟動(dòng)第一次讀取的文件，如果損壞，那么數(shù)據(jù)庫將無法啟動(dòng)，所以進(jìn)行冗余，可以保證啟動(dòng)能夠順利進(jìn)行。3、長事務(wù)監(jiān)控，打開會(huì)話事務(wù)時(shí)長監(jiān)控。如果一個(gè)會(huì)話長時(shí)間運(yùn)行，強(qiáng)制回滾，避免出現(xiàn)業(yè)務(wù)吊死。4、數(shù)據(jù)頁損壞修復(fù)，如果發(fā)現(xiàn)數(shù)據(jù)頁損