MongoDB概述與存儲結構

大數(shù)據(jù)處理系統(tǒng)

——存儲管理mongoDB1大數(shù)據(jù)的存儲平臺大多采用NoSQ數(shù)據(jù)庫系統(tǒng)，它能充分利用分布式計算機平臺的特點，具有更好的存儲和訪問效率。NoSQL的崛起2023/6/292NoSQL全稱是NotOnlySql，指的是非關系型的數(shù)據(jù)庫。NoSQL數(shù)據(jù)庫主要應用于web2.0的大規(guī)模系統(tǒng)，具有模式靈活、最終一致性、面向海量數(shù)據(jù)、分布式、開源、水平可擴展、配置簡單、非關系型等特點。存儲類型NoSQL產品特性列式存儲Hbase、CassandraHypertable按列存儲數(shù)據(jù)，最大的特點是方便存儲結構和半結構化數(shù)據(jù)，方便做數(shù)據(jù)壓縮，針對某一列或者某幾列的查詢有非常大的I/O優(yōu)勢鍵值存儲Redis、TokyoCabinetTokyoTyrant、Flare可以通過鍵快速查詢到值。一般來說，存儲不管值的格式，照單全收文檔式存儲MongoDB、CouchDB文檔存儲一般用類似JSON格式存儲，存儲的內容是文檔類型的，這樣也就有機會對某些字段建立索引，實現(xiàn)關系型數(shù)據(jù)庫的某些功能對象式存儲db4oVersant通過類似面向對象語言的語法操作數(shù)據(jù)庫，通過對象的方式存取數(shù)據(jù)mongoDB簡介3MongoDB是一個介于關系數(shù)據(jù)庫和非關系數(shù)據(jù)庫之間的產品MongoDB是一個開源的、模式自由的、面向文檔存儲的、分布式的數(shù)據(jù)庫MongoDB是由C++語言編寫的開源數(shù)據(jù)庫系統(tǒng)MongoDB服務端可運行在Linux、Windows或OS

X平臺，支持32位和64位應用數(shù)據(jù)模型4MongoDB數(shù)據(jù)庫是一個面向集合且模式自由的文檔類型數(shù)據(jù)庫。1.面向集合面向集合是指數(shù)據(jù)被分組存在在數(shù)據(jù)集中，被稱為一個集合（Collencton==table）。集合類似于關系型數(shù)據(jù)庫的表（table）,不同于表的是，集合不需要定義任何模式，集合在存儲文檔，一個文檔類似于關系型數(shù)據(jù)庫的一條記錄。在MongoDB中，要操作一個表并不需要創(chuàng)建它，可以直接往集合中插入數(shù)據(jù)，如果集合不存在，它會自動創(chuàng)建這個集合。2.模式自由模式自由就是對存儲在MongoDB數(shù)據(jù)庫中的數(shù)據(jù)，我們不需要知道它是什么結構（可以是任何的文檔）。3.文檔型文檔型存儲的數(shù)據(jù)是鍵值對的集合，鍵是字符串，值可以是數(shù)據(jù)類型集合中的任意類型，包括數(shù)組和文檔。我們把這個數(shù)據(jù)格式稱為BSON（BinarySerializedDocumentNotation）功能性51.完整的索引支持：可以對文檔創(chuàng)建索引，甚至還可以對內嵌文檔以及數(shù)組創(chuàng)建索引。MongoDB的查詢優(yōu)化器會自動分析查詢語句，然后生成一個高效的查詢集合。2.動態(tài)查詢：MongoDB的查詢指令使用JSON形式，使查詢表達式變得非常豐富，還可以非常容易地查詢文檔中的內嵌對象和數(shù)組。3.查詢監(jiān)視：MongoDB提供了很多性能監(jiān)視工具，用于分析數(shù)據(jù)庫操作的性能。

功能性64.復制及自動故障轉移：MongoDB數(shù)據(jù)庫支持服務器之間的復制，從節(jié)點可以復制主節(jié)點的數(shù)據(jù)，主節(jié)點的所有對數(shù)據(jù)的操作都會同步到從節(jié)點。從節(jié)點的數(shù)據(jù)跟主節(jié)點的數(shù)據(jù)是完全一樣的，以作備份。主節(jié)點發(fā)生故障之后，從節(jié)點可以升級為主節(jié)點，也可以通過從節(jié)點對故障主節(jié)點進行數(shù)據(jù)恢復。5.高效地傳統(tǒng)存儲方式：支持二進制數(shù)據(jù)及大型對象（如視頻），可以將圖片文件甚至視頻轉換成二進制的數(shù)據(jù)存儲到數(shù)據(jù)庫中。6.自動分片以支持云級別的伸縮性：可以水平擴展數(shù)據(jù)庫集群，動態(tài)添加片（服務器）。其他特征71.拓展功能強大2.便于管理3.適用于多種場合MongoDB的適用場景MongoDB的主要目標是在鍵/值存儲方式（提供了高性能和高度伸縮性）以及傳統(tǒng)的RDBMS系統(tǒng)（豐富的功能）架起一座橋梁，集兩者的優(yōu)勢于一身。（1）網(wǎng)站數(shù)據(jù)：MongoDB非常適合實時的插入，更新與查詢，并具備網(wǎng)站實時數(shù)據(jù)存儲所需的復制及高度伸縮性。（2）緩存：由于性能很高，MongoDB也適合作為信息基礎設施的緩存層。在系統(tǒng)重啟之后，由MongoDB搭建的持久化緩存層可以避免下層的數(shù)據(jù)源過載。（3）大尺寸，低價值的數(shù)據(jù)：使用傳統(tǒng)的關系型數(shù)據(jù)庫存儲一些數(shù)據(jù)時可能會比較昂貴，在此之前，很多時候程序員往往會選擇傳統(tǒng)的文件進行存儲。8MongoDB的適用場景（4）高伸縮性的場景：MongoDB非常適合由數(shù)十或數(shù)百臺服務器組成的數(shù)據(jù)庫。MongoDB的路線圖中已經(jīng)包含對MapReduce

引擎的內置支持。（5）用于對象及JSON數(shù)據(jù)的存儲：MongoDB的Bson數(shù)據(jù)格式非常適合文檔化格式的存儲及查詢。9Mo驕ng濟oD漿B與MS嫁S伐QL攝S藥er獸ve霉r的語蔬句對夠照——選擇估查詢My斗SQ讀L:SE弄LE瀉CT煙*啦F雀RO米M采us適erMo痰ng攝o:db姑.u甲se悠r.曲fi排nd嚼()My掃SQ腿L:SE批LE擺CT僻*兆F腳RO甚M阿us趁er妹W互HE進RE甜n貫am客e肉=清'f彎oo陳ba湯r'Mo理ng聯(lián)o:db郊.u勇se噸r.描fi趟nd通({暖'n山am辟e'斷:懇'喇fo如ob矩ar熔'}美)20狂23帖/6澤/2哀610My晉SQ烘L:IN筋SE揀RT獵I絨NT翠O智us頭er耀(彩`n廢am擱e`脊,枝`a跌ge歲`)華v沈al馳ue贏s殊('齒fo貴ob斥ar第',辰25戒)Mo權ng景o:db健.u喚se東r.舒in長se烈rt羽({鼠'n數(shù)am瘡e'贊:油'偷fo乘ob緩ar濫',認'語ag堤e'參:棉2漫5}發(fā))if排y矩ou科w剝an努t叛ad據(jù)d湖a擇c愉ol震um孝n誓`e抗ma厭il連`匆on藥M耗yS湊QL棉,y堵ou發(fā)m小us食t吹:AL熊TE懼R率TA狡BL濫E丙us鏈er誼….Bu搏t捧in共M臉on靈go趕,y偷ou葉c健an桑j絹us糞t:db蜜.u校se遷r.煤in談se直rt晚({鄭'n隙am時e'矮:哨'冶fo共ob顫ar找',鳥'藥ag織e'熱:仁2虎5,賢'串em更ai輔l'歪:啟'沫fo誕o@飽ba汗r.顏co急m'紛})Mo叔ng峰oD降B與MS壁S基QL包S攜er旋ve吹r的語外句對抹照——插入1112Mo塊ng傳oD持B在執(zhí)迎行插趨入時呈，首滋先，箱會將現(xiàn)插入嗎的數(shù)禮據(jù)轉逼換成BS碼ON格式頁；然后后，Mo矛ng籃oD霸B數(shù)據(jù)絕庫會鋸對BS罩ON進行剩解析芽，并碌且檢縮慧查是饅否存萍在“_i表d”鍵（_i餡d鍵在芒插入肉數(shù)據(jù)考庫時Mo例ng將oD狐B會自顧動生開成）臭。Mo歇ng愉oD流B還對成文檔爽的大泳小做侍了限災制。1.謊8之前爪的版離本，費文檔椒不能桿超過4M曉B；1.成8之后浪的版提本支奧持16禾MB。除京了這弄些之慚外，狀沒有蹄別的超數(shù)據(jù)掠校驗奪，就芝是簡廁單的爹將文鑰檔原錢樣存葛入數(shù)走據(jù)庫葬中。谷這樣承做的敬壞處埋是允銜許插批入無拼限數(shù)坦據(jù)；攔好處遭就是蔽不會么受到嗓注入由式攻都擊，豪讓數(shù)歷據(jù)庫芽更加鄉(xiāng)豐安全鳳。Mo然ng邪oD拴B在記始錄長率度變防化后嶼，發(fā)孝現(xiàn)當控前記討錄所競在空便間后隆面沒若有空崖余的已空間創(chuàng)可供狡其變紹長。灶那么涌這條盛記錄守就會草被刪桂除然畝后移犬動到渾數(shù)據(jù)程集的鄉(xiāng)豐最后杯。My注SQ愧L:DE沸LE真TE窯*沾F棋RO提M云us稱erMo村ng斧o:db導.u語se萄r.爆re朝mo太ve香({賴})My倦SQ杯L:DE畝LE買TE雕F神RO鈔M亂us攀er眉W蔑HE東RE排a渴ge倡<蹄3裝0Mo申ng賤o:db芽.u薪se骨r.亭re私mo粒ve仿({橋'a醒ge燭'倉:憐{$互lt武:夢3撥0}木})$g州t測:子>頭;驚$g封te垃:希>鳳=茂;蘿$l債t脊:踐<上;贈$l飾te姥:塞<溜=伙;這$n幼e充:冒!=Mo脖ng棄oD捆B與MS倚S靠QL亮S疾er濁ve侄r的語在句對蛇照——刪除13刪除叛原理14位置畢通過Di格sk剛Lo寫c數(shù)據(jù)擔結構枝進行雀存儲仍，存持儲了游數(shù)據(jù)掃文件爺編號側和塊脖在文洪件中尚的位姓置，負刪除灶的塊徹或者速域都腥會在Dl江et陸ed讀Li憶st中標犧記，按并不糊是直果接抹憂掉。My租SQ盈L:UP紅DA芬TE銹u皮se控r蹦SE耕T搶`a稱ge悔`桶=永36括W侄HE萌RE掃`券na院me這`剪=跟'f妥oo辦ba枝r'Mo昨ng躍o:db型.u前se妄r.弦up占da灣te武({登'n慰am墓e'啟:千'說fo答ob認ar嘴'}宏,遠{$歇se悟t趨:訪{'神ag熊e'單:噸3朝6}蘿})My裹SQ搶L:UP句DA壯TE敬u銳se范r底SE妨T跟`a該ge懲`映=腔`a耍ge瘡`得+捕3傲WH直ER燃E建`n陰am蔑e`久=畫'花fo惜ob腸ar底'Mo非ng腦o:db控.u附se喚r.振up捆da州te慘({騰'n燦am耕e'凝:箱'域fo造ob容ar蛇'}挺,胞{$衫in少c慨:阻{'宏ag示e'垃:趟3假}}笑)Mo灘ng湯oD協(xié)B與MS篩S晚QL干S柏er存ve舟r的語有句對她照——更新15大數(shù)平據(jù)處牙理系他統(tǒng)——分析Hi綱ve基于鍵分布吵式計仿算平友臺上瓣的數(shù)柜據(jù)分項析工雜具包住括Ap們ac搬he譜P激ig、Hi竊ve、Ap妹ac走he捷K映yl布in、Rh創(chuàng)ad坊oo組p等。16Hi板ve定義Hi瘦ve是建慨立在Ha沾do王op上的醒數(shù)據(jù)南倉庫佩基礎穩(wěn)構架血。它即提供劉了一抓系列罪的工捕具，告可以淘用來五進行醒數(shù)據(jù)萬提取頌轉化固加載稼（ET洞L），筐這是在一種鏡可以忙存儲貞、查飲詢和欺分析鐵存儲到在Ha俊do嚇op中的鏟大規(guī)耗模數(shù)繞據(jù)的眠機制銜。Hi選ve定義查了簡題單的絲式類SQ島L查詢遣語言且，稱夕為HQ巷L，它偉允許順熟悉SQ片L的用題戶查滿詢數(shù)嫌據(jù)。賊同時因，這魚個語暫言也旺允許鞭熟悉Ma括pR池ed景uc滲e開發(fā)著者的輔開發(fā)仿自定羞義的ma倡pp諸er和re批du速ce搭r來處田理內裝建的ma混pp悶er和re豬du羊ce辭r無法眉完成殖的復絹雜的倘分析賣工作終。Hi谷ve沒有械專門引的數(shù)眉據(jù)格碗式。Hi廁ve可以線很好沙的工帳作在Th丹ri清ft之上厚，控投制分控隔符指，也扒允許篩用戶揚指定館數(shù)據(jù)北格式戚。17Hi康ve的適故用場慢景Hi它ve構建送在基束于靜燙態(tài)批廚處理援的Ha峽do喜op之上分，Ha斃do庫op通常鴿都有男較高逗的延哈遲并體且在有作業(yè)導提交男和調投度的伍時候貞需要奮大量殲的開踏銷。詳因此四，Hi堵ve并不寧能夠陽在大典規(guī)模者數(shù)據(jù)萌集上營實現(xiàn)吸低延肢遲快喚速的前查詢舊，例桿如，Hi蠻ve在幾哈百MB的數(shù)苗據(jù)集兄上執(zhí)回行查狹詢一袖般有饒分鐘糕級的昏時間倦延遲革。因掙此，Hi塵ve并不勸適合青那些驗需要惰低延光遲的榜應用普，例歲如，表聯(lián)機中事務暈處理療（OL憂TP）。Hi作ve查詢武操作粥過程鄰嚴格陵遵守Ha臂do浩op太M助ap衣Re征du與ce的作本業(yè)執(zhí)貢行模迷型，Hi嫂ve將用寬戶的Hi穿ve筒QL語句煮通過殼解釋牽器轉與換為Ma捐pR臉ed趟uc逢e作業(yè)陳提交潤到Ha聲do育op集群餅上，Ha惡do枝op監(jiān)控街作業(yè)左執(zhí)行限過程與，然證后返丑回作池業(yè)執(zhí)棵行結雙果給須用戶墾。Hi尚ve并非籠為聯(lián)師機事頓務處獎理而服設計柏，Hi雷ve并不皂提供燒實時喉的查湖詢和卸基于雖行級鐘的數(shù)吵據(jù)更排新操劃作。Hi秀ve的最浸佳使磨用場針合是旋大數(shù)浴據(jù)集董的批強處理輛作業(yè)且，例露如，吹網(wǎng)絡斑日志蔬分析迫。18Hi鄉(xiāng)豐ve的設芹計特帥點支持籍索引損，加夕快數(shù)鉛據(jù)查吵詢。不同糟的存姥儲類室型，局例如雜，純蛛文本謀文件所、HB乎as理e中的監(jiān)文件改。將元清數(shù)據(jù)法保存偶在關紐奉系數(shù)庸據(jù)庫凳中，影大大乖減少康了在工查詢泊過程破中執(zhí)數(shù)行語鄙義檢悶查的蜘時間秋?？梢晕仓苯酉嗍褂檬泊鎯Υ旁贖a光do暈op文件嘴系統(tǒng)河中的壤數(shù)據(jù)精。內置歐大量禽用戶徑函數(shù)UD濫F來操戀作時蜘間、吩字符混串和叮其他坑的數(shù)摟據(jù)挖彈掘工努具，千支持螞用戶產擴展UD仁F函數(shù)南來完眠成內添置函件數(shù)無憂法實切現(xiàn)的切操作透。類SQ習L的查嘗詢方吊式，竹將SQ愛L查詢辭轉換埋為Ma蝕pR暢ed矛uc駛e的jo疲b在Ha煤do狂op集群略上執(zhí)綱行。19hi械ve的技眾術架不構20ha伴do儲op和ma場pr援ed或uc異e是hi景ve架構的根讓基。Hi榜ve架構鑄包括時如下織組件：CL腫I（co熔mm饞an胳d育li諷ne辨i穗nt緩er助fa滋ce）、JD掌BC攤/O茂DB吹C、Th示ri緒ft顆S蓮er危ve加r、WE聯(lián)BGU邁I、me頁ta買st類or得e和Dr蓋iv屢er我(C避om伸pl威ie制r、Op凈ti英mi湊ze轉r和Ex埋ec撈ut出or翁)，這聰些組古件我可以厲分為濤兩大緒類：趙服務溜端組蜂件和慨客戶端費組件泡。服務勻端組想件：Dr勾iv勢er組件：該阻組件朱包括Co巡壽mp垃li難er、Op運ti裂mi緞ze惰r和Ex嶄ec呆ut梢or，它滅的作訪用是郊將我線們寫叮的Hi家ve燥QL（類SQ街L）語梢句進煮行解它析、貌編譯攔優(yōu)化出，生獅成執(zhí)嗚行計造劃，播然后裳調用灰底層居的ma蹤蝶pr蒸ed伏uc艘e計算仍框架鑰。Me繁ta宵st推or護e組件：元箭數(shù)據(jù)酸服務澤組件東，這辜個組頑件存問儲hi況ve的元智數(shù)據(jù)駐，hi屆ve的元哨數(shù)據(jù)辜存儲詠在關賣系數(shù)陜據(jù)庫季里，hi盞ve支持鄰的關承系數(shù)顧據(jù)庫羽有de鹿rb雁y、my玩sq呢l。元斯數(shù)據(jù)茫對于hi軟ve十分雀重要獵，因鵲此hi撐ve支持諸把me活ta弓st苗or野e服務顆獨立鴨出來貌，安艙裝到闖遠程娘的服哲務器瘋集群總里，桶從而渣解耦hi圓ve服務酬和me讀ta小st擔or順e服務天，保欣證hi津ve運行足的健節(jié)壯性粒，這湖個方瞞面的提知識覺，我裕會在梢后面曉的me陣ta摟st臨or但e小節(jié)賊里做針詳細滋的講致解。Th校ri另ft服務：th澇ri車ft是fa窩ce屬bo捉ok開發(fā)稅的一冤個軟斬件框肅架，請它用塘來進灑行可米擴展刪且跨避語言敲的服顏務的女開發(fā)械，hi勤ve集成閉了該皮服務論，能賭讓不縫同的遣編程怒語言接調用hi韻ve的接脹口。21客戶巴端組藝件：CL郊I：co蕉mm吸an局d歌li熱ne女i寧nt抗er腹fa立ce，命著令行極接口掙。Th哭ri斯ft客戶述端：上末面的全架構多圖里游沒有棍寫上Th耳ri嗓ft客戶味端，膝但是hi泄ve架構損的許艷多客惜戶端涉接口米是建悅立在th勻ri咬ft客戶魔端之墨上，繳包括JD語BC和OD詳BC接口嫌。WE扒BG你UI：hi謠ve客戶漸端提伴供了濱一種霞通過妨網(wǎng)頁懼的方貝式訪圾問hi忙ve所提荒供的簽服務蜂。這陳個接道口對含應hi能ve的hw胳i組件證（hi鮮ve拌w娛eb勸i校nt巡壽er活fa振ce），旁使用冒前要傍啟動hw辦i服務旺。22Hi躬ve常用幅優(yōu)化床方法jo齊in連接活時的議優(yōu)化侮：當自三個上或多劫個以最上的融表進栽行jo耀in操作季時，復如果府每個on使用盲相同鼠的字艙段連食接時忠只會牙產生服一個ma東pr擔ed兼uc幸e。jo興in連接怖時的稠優(yōu)化捐：當梢多個烏表進催行查略詢時悼，從統(tǒng)左到趨右表收的大曠小順奴序應天該是槽從小恭到大歪。原叢因：hi狼ve在對醫(yī)每行正記錄圈操作尤時會智把其燈他表超先緩四存起仿來，豈直到秧掃描狐最后磁的表耽進行淡計算在wh雞er仍e字句承中增習加分潤區(qū)過籠濾器旬。當可察以使慚用le幣ft幸s肆em褲i熄jo粥in語法匹時不暴要使叼用in焦ne沙r挪jo熔in，前多者效擠率更樣高。堂原因壁：對進于左工表中燦指定少的一架條記旱錄，庫一旦濟在右嘉表中矩找到吩立即究停止圍掃描偶。如果貴所有貨表中戴有一綁張表忍足夠享小，拘則可務置于權內存秒中，稍這樣偵在和狐其他墓表進絲式行連洲接的笛時候究就能攔完成猴匹配鬧，省煌略掉re畫du術ce過程共。設繡置屬教性即賠可實地現(xiàn)，se喉t桶hi凱ve弓.a趨ut申o.撞co炊ve柔rt薪.j準oi講n=棍tr推ue渴;用戶夾可以草配置統(tǒng)希望報被優(yōu)吊化的亦小表言的大機小se瓶t殺hi湯ve府.m日ap本jo旦in捧.s喚ma票ll幼ta貓bl證e