MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解

MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第1頁(yè)。

MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第1頁(yè)。

MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解

MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第2頁(yè)。

MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第2頁(yè)。

導(dǎo)讀：MongoDB數(shù)據(jù)文件內(nèi)部的組織結(jié)構(gòu)是什么樣的？下面圖片摘自10gen工程師MathiasStearn在MongoSV2011大會(huì)上的發(fā)言稿，手繪的數(shù)據(jù)文件結(jié)構(gòu)。MongoDB被越來(lái)越多人了解和學(xué)習(xí)，在學(xué)習(xí)過(guò)程中，大家不斷有問(wèn)題提出：有人在Quora上提問(wèn)：MongoDB數(shù)據(jù)文件內(nèi)部的組織結(jié)構(gòu)是什么樣的。隨后10gen的工程師JaredRosoff出來(lái)做了簡(jiǎn)短的回答。每一個(gè)數(shù)據(jù)庫(kù)都有自己獨(dú)立的文件。如果你開(kāi)啟了directoryperdb選項(xiàng)，那你每個(gè)庫(kù)的文件會(huì)單獨(dú)放在一個(gè)文件夾里。數(shù)據(jù)庫(kù)文件在內(nèi)部會(huì)被切分成單個(gè)的塊，每個(gè)塊只保存一個(gè)名字空間的數(shù)據(jù)。在MongoDB中，名字空間用于區(qū)分不同的存儲(chǔ)類(lèi)別。比如每個(gè)collection有一個(gè)獨(dú)立的名字空間，每個(gè)索引也有自己的名字空間。在一個(gè)塊中，會(huì)保存多條記錄，每條記錄是BSON格式的，記錄與記錄之間通過(guò)雙向鏈表進(jìn)行連接。索引數(shù)據(jù)也存在數(shù)據(jù)文件中，不過(guò)索引是被組織成BTree結(jié)構(gòu)，而不是雙向鏈表。對(duì)每個(gè)數(shù)據(jù)庫(kù)，有一個(gè)命名空間文件，用于保存每個(gè)名字空間對(duì)應(yīng)的元數(shù)據(jù)。我們通過(guò)查詢(xún)這些元數(shù)據(jù)來(lái)找到對(duì)應(yīng)的名字空間的存儲(chǔ)塊位置。如果你開(kāi)啟了jorunaling日志，那么還會(huì)有一些文件存儲(chǔ)著你所有的操作記錄。下面圖片摘自10gen工程師MathiasStearn在MongoSV2011大會(huì)上的發(fā)言稿，手繪的數(shù)據(jù)文件結(jié)構(gòu)。1.每個(gè)數(shù)據(jù)庫(kù)有相應(yīng)的數(shù)據(jù)文件和命名空間文件MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第3頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第3頁(yè)。2.數(shù)據(jù)文件從16MB開(kāi)始，新的數(shù)據(jù)文件比上一個(gè)文件大一倍，最大為2GB3.文件使用MMAP進(jìn)行內(nèi)存映射，會(huì)將所有數(shù)據(jù)文件映射到內(nèi)存中，但是只是虛擬內(nèi)存，只有訪(fǎng)問(wèn)到這塊數(shù)據(jù)時(shí)才會(huì)交換到物理內(nèi)存。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第4頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第4頁(yè)。4.MongoDB的數(shù)據(jù)文件映射到內(nèi)存表中的位置MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第5頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第5頁(yè)。5.使用32位機(jī)器的話(huà)，內(nèi)存地址最大可以標(biāo)識(shí)4GB內(nèi)存MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第6頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第6頁(yè)。6.但是在32位機(jī)器上，4GB內(nèi)存會(huì)有1GB被內(nèi)核戰(zhàn)用，大約0.5GB會(huì)用于mongod進(jìn)程的stack空間，只剩下大約2.5GB可用于映射數(shù)據(jù)文件。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第7頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第7頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第8頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第8頁(yè)。7.在64位機(jī)器上則最多可以表示128TB的空間MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第9頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第9頁(yè)。8.每個(gè)數(shù)據(jù)文件會(huì)被分成一個(gè)一個(gè)的數(shù)據(jù)塊，塊與塊之間用雙向鏈表連接MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第10頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第10頁(yè)。9.在名字空間文件中，保存的是一個(gè)hashtable，保存了每個(gè)名字空間的存儲(chǔ)信息元數(shù)據(jù)，包括其大小，塊數(shù)，第一塊位置，最后一塊位置，被刪除的塊的鏈表以及索引信息MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第11頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第11頁(yè)。10.這些位置通過(guò)DiskLoc數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲(chǔ)，存儲(chǔ)了數(shù)據(jù)文件編號(hào)和塊在文件中的位置MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第12頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第12頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第13頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第13頁(yè)。11.對(duì)每一個(gè)塊來(lái)說(shuō)，其頭部包含了一些塊的元數(shù)據(jù)，比如自己的位置，上一個(gè)和下一個(gè)塊的位置以及塊中第一條和最后一條記錄的位置指針。剩下的部分用于存儲(chǔ)具體的數(shù)據(jù)，具體數(shù)據(jù)之間也是通過(guò)雙向鏈接來(lái)進(jìn)行連接。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第14頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第14頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第15頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第15頁(yè)。12.下面是BTree的存儲(chǔ)結(jié)構(gòu)和工作原理MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第16頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第16頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第17頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全文共19頁(yè)，當(dāng)前為第17頁(yè)。MongoDB數(shù)據(jù)庫(kù)的數(shù)據(jù)文件內(nèi)部結(jié)構(gòu)圖解全