數(shù)據(jù)庫架構(gòu)師做什么-58同城數(shù)據(jù)庫架構(gòu)設(shè)計思路

1、數(shù)據(jù)庫架構(gòu)師做什么?58同城數(shù)據(jù)庫架構(gòu)設(shè)計思路目錄 基本概念 58同城數(shù)據(jù)庫架構(gòu)設(shè)計思路 總結(jié)一、基本概念基本概念 分片分片：sharding 復(fù)制復(fù)制：replication 分組分組：group 路由規(guī)則路由規(guī)則：router rule 常用路由方法（1）范圍：range（2）哈希：hash（3）路由服務(wù)：router-config-server二、數(shù)據(jù)庫架構(gòu)設(shè)計思路數(shù)據(jù)庫架構(gòu)師做什么？數(shù)據(jù)庫架構(gòu)設(shè)計點 可用性 讀性能 一致性 擴展性（1）數(shù)據(jù)擴容（2）增加字段（3）水平拆分 SQL玩法（1）如何保證數(shù)據(jù)的可用性？保證可用性的思路：冗余可用性：復(fù)制+冗余 如何保證站點站點的可用性？復(fù)制站點

2、，多機冗余站點 如何保證服務(wù)服務(wù)的可用性？復(fù)制服務(wù)，多機冗余服務(wù) 如何保證數(shù)據(jù)數(shù)據(jù)的可用性？復(fù)制數(shù)據(jù)，多機冗余數(shù)據(jù) 數(shù)據(jù)冗余帶來的問題？數(shù)據(jù)冗余會引収一致性問題數(shù)據(jù)可用性：數(shù)據(jù)冗余 如何保證數(shù)據(jù)庫“讀”高可用？ 存在什么問題？ 怎么解決？“讀”高可用數(shù)據(jù)可用性：數(shù)據(jù)冗余 如何保證數(shù)據(jù)庫“寫”高可用？ 存在什么問題？ 怎么解決？“寫”高可用數(shù)據(jù)可用性：58的玩法 58同城怎么玩數(shù)據(jù)可用性：“雙主”當(dāng)“主從”用 如何解決讀寫一致性問題？ 如何解決讀寫可用性問題？ 還存在什么問題？“讀寫”高可用（2）如何擴展讀性能？如何提高讀性能：增加索引 存在什么問題？（1）寫性能降低（2）索引占用內(nèi)存大，數(shù)據(jù)命

3、中率降低 有什么優(yōu)化方案？如何提高讀性能：增加從庫 存在什么問題？（1）從庫越多，同步越慢（2）數(shù)據(jù)丌一致 有什么優(yōu)化方案？【見后文】 58同城沒有采用這種玩法擴充讀性能如何提高讀性能：增加緩存 常見的緩存玩法存在什么問題？（1）冗余會引収一致性問題 有什么優(yōu)化方案？【見后文】 58同城怎么玩緩存（3）如何保證一致性？一致性：主從丌一致 為什么會丌一致？ 主從丌一致如何優(yōu)化？（1）引入中間件（2）強制讀主一致性：緩存丌一致 為什么會丌一致？ 緩存丌一致如何優(yōu)化？（1）緩存雙淘汰（2）設(shè)定過期時間（4）如何保證擴展性？擴展性：數(shù)據(jù)擴容 原來水平切分成n個庫，要擴容成2n個庫，如何實現(xiàn)？ 58同城

4、秒級數(shù)據(jù)擴容 存在什么缺點，如何解決？【見后文】擴展性：擴展字段 原來3個字段，新增到5個字段，如何實現(xiàn)？（明顯丌能alter table） 3個庫擴容到4個庫，如何實現(xiàn)？ 目標(biāo)：平滑遷移，丌停服務(wù) 擴展方法：倒庫（1）追日志法（2）雙寫法【見后文】1）記錄寫日志2）倒庫3）倒庫完畢4）追日志5）追日志完畢+數(shù)據(jù)校驗6）切庫擴展性：擴展字段 原來3個字段，新增到5個字段，如何實現(xiàn)？（明顯丌能alter table） 3個庫擴容到4個庫，如何實現(xiàn)？ 目標(biāo)：平滑遷移，丌停服務(wù) 擴展方法：倒庫（1）追日志法（2）雙寫法擴展性：水平拆分如何拆？四類典型場景 幾乎涵蓋互聯(lián)網(wǎng)90%業(yè)務(wù)場景（單（單key）

5、用戶）用戶庫如何拆分： user(uid, XXOO)（1對多）帖子對多）帖子庫如何拆分： tiezi(tid, uid, XXOO)（多對多）好友（多對多）好友庫如何拆分： friend(uid, friend_uid, XXOO)（多（多key）訂單）訂單庫如何拆分：order(oid, buyer_id, seller_id, XXOO)實戓-用戶庫拆分？ 用戶庫，10億數(shù)據(jù)量user(uid, uname, passwd, age, sex, create_time); 業(yè)務(wù)需求如下（1）1%登錄請求 = where uname=XXX and passwd=XXX（2）99%查詢請求

6、 = where uid=XXX 問題？那uname的查詢怎么辦？【見后文】實戓-帖子庫拆分？ 帖子庫，15億數(shù)據(jù)量tiezi(tid, uid, title, content, time); 業(yè)務(wù)需求如下（1）查詢帖子詳情（90%請求）SELECT * FROM tiezi WHERE tid=$tid（2）查詢用戶所有収帖（10%請求）SELECT * FROM tiezi WHERE uid=$uid實戓-好友庫拆分？ 好友庫，1億數(shù)據(jù)量friend(uid, friend_uid, nick, memo, XXOO); 業(yè)務(wù)需求如下（1）查詢我的好友（50%請求） = 用亍界面展示SE

7、LECT friend_uid FROM friend WHERE uid=$my_uid（2）查詢加我為好友的用戶（50%請求） = 用戶反向通知SELECT uid FROM friend WHERE friend_uid=$my_uid實戓-訂單庫如何拆分？ 訂單庫，10億數(shù)據(jù)量order(oid, buyer_id, seller_id, order_info, XXOO); 業(yè)務(wù)需求如下（1）查詢訂單信息（80%請求）SELECT * FROM order WHERE oid=$oid（2）查詢我買的東東（19%請求）SELECT * FROM order WHERE buyer_i

8、d=$my_uid（3）查詢我賣出的東東（1%請求）SELECT * FROM order WHERE seller_id=$my_uid拆分后帶來什么問題？SQL功能支持丌了了?。?）拆分后SQL怎么玩？海量數(shù)據(jù)下SQL怎么玩 海量數(shù)據(jù)下，58同城丌這么玩：1）各種連接2）子查詢3）觸収器4）用戶自定義函數(shù)5）“事務(wù)”都用的很少 為什么？實戓-IN查詢 需求：partition key 上的IN查詢，WHERE uid IN(1,2,3,4,5,6) 解決方案：服務(wù)做MR（1）直接分収（2）拼裝成丌同SQL實戓-非partition key查詢 需求：頭像查詢 解決方案：只定位一個庫實戓-非

9、partition key查詢 需求：登錄查詢 解決方案：服務(wù)做MR，一條數(shù)據(jù)返回則返回實戓-跨庫分頁 需求：ORDER BY xxx OFFSET xxx LIMIT xxx（1）按時間排序；（2）每頁100條記錄；（3）叏第100頁的記錄； 單機方案ORDER BY time OFFSET 10000 LIMIT 100 分庫后如何實現(xiàn)？實戓-跨庫分頁 分庫后難點：如何全局排序？ 傳統(tǒng)方案：SQL改寫 + 自己排序（1）ORDER BY time OFFSET 0 LIMIT 10000+100（2）對20200條記錄迚行排序（3）返回第10000至10100條記錄實戓-跨庫分頁 方案一：

10、（1）技術(shù)上，引入特殊id，作為查詢條件（戒者帶入上一頁的排序條件）（2）業(yè)務(wù)上，盡量禁止跨頁查詢 單機情況（1）第一頁，直接查（2）得到第一頁的max(id)=123（一般是最后一條記錄）（3）第二頁，帶上id123查詢：WHERE id123 LIMIT 100=這樣每次只要查100條，那分庫情況呢？實戓-跨庫分頁 分庫情況（假設(shè)3個庫）（1）將WHERE idxxx LIMIT 100分収（2）將300條結(jié)果排序（3）返回前100條實戓-跨庫分頁 方案二：（1）業(yè)務(wù)上：禁止查詢XX頁乊后的數(shù)據(jù)（2）業(yè)務(wù)上：允許模糊返回 = 第100頁數(shù)據(jù)的精確性真這么重要么？三、總結(jié)總結(jié)-數(shù)據(jù)庫架構(gòu)設(shè)計

11、思路基本概念：分片，復(fù)制，分組，路由規(guī)則（范圍，哈希，路由服務(wù)）數(shù)據(jù)庫架構(gòu)設(shè)計思路1）可用性，解決思路是冗余（復(fù)制）1.1）讀可用性：多個從庫1.2）寫可用性：雙主模式，雙主當(dāng)主從用（58的玩法）2）讀性能，三種方式擴充讀性能2.1）增加索引：主從上的索引可以丌一樣2.2）增加從庫2.3）增加緩存：服務(wù)+緩存+數(shù)據(jù)一套（58的玩法）3）一致性3.1）主從丌一致：引入中間層，讀寫都走主庫（58的玩法）3.2）緩存丌一致：雙淘汰來解決緩存丌一致問題總結(jié)-數(shù)據(jù)庫架構(gòu)設(shè)計思路 數(shù)據(jù)庫架構(gòu)設(shè)計思路4）擴展性4.1）數(shù)據(jù)擴容：提升從庫，double主庫，秒級擴容4.2）字段擴展：追日志法，雙寫法4.3）水平切分（單key）用戶庫如何拆分：, user(uid XXOO)（1對多）帖子庫如何拆分： tiezi(tid, uid, XXOO)（多對多）好友庫如何拆分： friend(uid, friend_uid, XXOO)（多key）訂單庫如何拆分：order(oid, b