【鄒晟】混合云容器穩(wěn)定性治理實(shí)踐

GOGOPS全球運(yùn)維大會(huì)2023·上海站目錄目錄業(yè)務(wù)復(fù)蘇后服務(wù)器業(yè)務(wù)復(fù)蘇后服務(wù)器私有云機(jī)房資源的GOGOPS全球運(yùn)維大會(huì)2023·上海站GOGOPS全球運(yùn)維大會(huì)2023·上海站混合云的目標(biāo)-降本增效提升到40%-60%業(yè)務(wù)高峰無需人工擴(kuò)容業(yè)務(wù)高峰無需人工擴(kuò)容云云效果：釋放本地存儲(chǔ)，節(jié)省成本GOGOPS全球運(yùn)維大會(huì)2023·上海站>上公有云的價(jià)值對(duì)現(xiàn)有應(yīng)用的影響?保障上公有云后應(yīng)用的整體SLA?提供和私有云同樣的服務(wù)體驗(yàn)······················································································?平滑地彈縮公有云?公有云高可靠分驗(yàn)證2.階段二：灰度并全量P3、P4應(yīng)用，然后全量3.階段三：灰度并全1.公有云可用區(qū)failover2.私有云應(yīng)用級(jí)多機(jī)房failover分驗(yàn)證2.階段二：灰度并全量P3、P4應(yīng)用，然后全量3.階段三：灰度并全1.公有云可用區(qū)failover2.私有云應(yīng)用級(jí)多機(jī)房failover1.完善公有云觀測(cè)指標(biāo)2.根因分析與預(yù)案推薦3.一鍵快速下云GOPS全球運(yùn)維大會(huì)2023·上海站GOPS全球運(yùn)維大會(huì)2023·上海站1.壓測(cè)評(píng)估系統(tǒng)容量2.業(yè)務(wù)流量預(yù)測(cè)1.應(yīng)用啟動(dòng)加速2.縮減發(fā)布批次系統(tǒng)優(yōu)化:應(yīng)用授權(quán)3.升級(jí)為高配pod,減少實(shí)例數(shù)1.壓測(cè)評(píng)估系統(tǒng)容量2.業(yè)務(wù)流量預(yù)測(cè)1.應(yīng)用啟動(dòng)加速2.縮減發(fā)布批次系統(tǒng)優(yōu)化:應(yīng)用授權(quán)3.升級(jí)為高配pod,減少實(shí)例數(shù)2.評(píng)估鏈路延時(shí)影響，謹(jǐn)慎上云GOPS全球運(yùn)維大會(huì)2023·GOPS全球運(yùn)維大會(huì)2023·上海站GOGOPS全球運(yùn)維大會(huì)2023·上海站2.對(duì)容器的自助運(yùn)維能力（重啟、debug、接入摘除流量、重建等）2.對(duì)容器的自助運(yùn)維能力（重啟、debug、接入摘除流量、重建等）1.交付順暢度（公有云的api限流、個(gè)別pod失敗等）GOGOPS全球運(yùn)維大會(huì)2023·上海站可靠性保障系統(tǒng)瓶頸治理平臺(tái)功能泛化GOGOPS全球運(yùn)維大會(huì)2023·上海站GOGOPS全球運(yùn)維大會(huì)2023·上海站可靠性保障治理實(shí)踐-故障應(yīng)急要點(diǎn)：要點(diǎn)：failover結(jié)論：1.公有云到私有云延時(shí)0.7～1ms，影響看業(yè)務(wù)的鏈路總時(shí)長(zhǎng)增加多少2.500+P1/P2應(yīng)用可以上云。。。。。。。流量算法預(yù)測(cè)結(jié)合五一經(jīng)驗(yàn)倍關(guān)注業(yè)務(wù)指標(biāo)與性能指標(biāo)pod最大數(shù)等優(yōu)化方向：優(yōu)化方向：2.支持應(yīng)用授權(quán)，2.支持應(yīng)用授權(quán)，優(yōu)化過程：GOGOPS全球運(yùn)維大會(huì)2023·上海站優(yōu)化總結(jié)：：大應(yīng)用采用高配額的pod優(yōu)化效果最佳，減少發(fā)布批次是長(zhǎng)期收益的右GOGOPS全球運(yùn)維大會(huì)2023·上海站√×題√×√×√×量√√vk并發(fā)更新annotation/label被覆蓋vk并發(fā)更新annotation/label被覆蓋參考：/virtual-kubelet/virtual-kubelet/pull/976k8s1.21+通過指定注解controller.kubernetes.io/pod-deletion-cost實(shí)現(xiàn)指定pod縮容刪除前對(duì)pod摘除流量，狀態(tài)變?yōu)閚otready,再進(jìn)行縮容公有云機(jī)器大多數(shù)情況下是最后擴(kuò)容、最后ready的（默認(rèn)選項(xiàng)，實(shí)現(xiàn)成本最低）4.OpenKruiseCloneSet原生支持縮容指定podGOG