《大數(shù)據(jù)存儲技術與應用》 課件 項目三-任務五 淺析對象存儲系統(tǒng)

《大數(shù)據(jù)存儲技術與應用》大數(shù)據(jù)存儲技術與應用項目三淺析云存儲服務任務五淺析對象存儲系統(tǒng)什么是DAS？NAS存儲架構？SAN存儲架構？SAN存儲的優(yōu)勢和缺點？回顧任務描述:本節(jié)任務闡述了對象存儲系統(tǒng)，剖析了對象存儲與傳統(tǒng)存儲的差異，最后介紹了軟件定義存儲（SDS）和典型的對象存儲系統(tǒng)OpenStackSwift。任務教學目標：了解結構化數(shù)據(jù)與非結構化數(shù)據(jù)了解對象存儲與傳統(tǒng)存儲了解為什么要用OpenStackSwift任務概要任務引入-云存儲技術隨著計算機技術、互聯(lián)網(wǎng)技術的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術。而云存儲就是脫胎于云計算技術的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應用。教學內(nèi)容結構化數(shù)據(jù)與非結構化數(shù)據(jù)對象存儲系統(tǒng)定義對象存儲與傳統(tǒng)存儲一二三四軟件定義存儲（SDS）五為什么是OpenStackSwift結構化數(shù)據(jù)與非結構化數(shù)據(jù)知識點一（一）結構化數(shù)據(jù)結構化數(shù)據(jù)部分1部分2……互相關聯(lián)層次分明例如：數(shù)字，符號；關系型數(shù)據(jù)庫（二維表）場景：財務系統(tǒng)、醫(yī)療數(shù)據(jù)庫、教育一卡通等（一）結構化數(shù)據(jù)數(shù)據(jù)庫的二維表Execl的電子成績單二維：有行有列圖書館：圖書管理軟件（二）半結構化數(shù)據(jù)半結構化數(shù)據(jù)是結構化數(shù)據(jù)的一種形式，它并不符合關系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關聯(lián)起來的數(shù)據(jù)模型結構，但包含相關標記，用來分隔語義元素以及對記錄和字段進行分層。<name>A</name><age>13</age><gender>female</gender></person><person><name>B</name><gender>male</gender></person>常見的半結構數(shù)據(jù)有XML和JSON，對于對于兩個XML文件，

第一個可能有第二個可能有（三）非結構化數(shù)據(jù)相對于結構化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結構化數(shù)據(jù)。場景：醫(yī)療影像系統(tǒng)、教育點播系統(tǒng)，文件服務器等

A圖像B文本C視頻D超媒體E非關系型數(shù)據(jù)庫（三）非結構化數(shù)據(jù)非結構化數(shù)據(jù)的存儲要求持續(xù)性可訪問性低成本可管理型（四）結構化數(shù)據(jù)與非結構化數(shù)據(jù)完全結構的數(shù)據(jù)如：關系型數(shù)據(jù)庫面向對象數(shù)據(jù)庫中的數(shù)據(jù)完全無結構的數(shù)據(jù)如：聲音圖像文件半結構的數(shù)據(jù)如：HTML文檔對象存儲系統(tǒng)定義知識點二對象存儲系統(tǒng)定義1.對象不是要管理塊和文件，純粹的對象存儲系統(tǒng)管理的是對象。更精確的講，所有現(xiàn)在的對象存儲系統(tǒng)把文件作為對象來管理。2.元數(shù)據(jù)對象由元數(shù)據(jù)（可提供對象中數(shù)據(jù)的上下文關系信息）、有效負載和實際數(shù)據(jù)組成。3.固定對象純對象存儲代表一個固定內(nèi)容的倉庫，意味著對象可以被創(chuàng)建、刪除和讀取，但不能被修改。4.冗余性對象存儲通過在多個節(jié)點上存儲相同對象的多個副本實現(xiàn)冗余性和高可靠性。對象存儲系統(tǒng)定義5.協(xié)議支持對象存儲通常通過基于HTTP協(xié)議的RESTAPI訪問。6.應用軟件支持與集成訪問對象存儲依賴于RESTAPI，除了客戶化應用程序集成，一些商業(yè)應用，特別是備份和歸檔應用，已經(jīng)增加了對于對象存儲集成的支持，主要連接到AmazonS3云存儲。7.云功能通過互聯(lián)網(wǎng)進行共享訪問；多租戶和不同用戶數(shù)據(jù)的安全隔離；云的計量和收費的自動跟蹤。8.用例對象存儲在經(jīng)常變化的非常大的非結構化數(shù)據(jù)存儲中工作的非常好，也可作為不活躍數(shù)據(jù)的交易存儲層之外的存儲層，或者是歸檔存儲。對象存儲與傳統(tǒng)存儲知識點三（一）各存儲系統(tǒng)比較

塊存儲文件存儲對象存儲傳輸單位塊文件對象：攜帶自定義元數(shù)據(jù)的文件傳輸協(xié)議光纖，iSCSI，SATACIFS&NFS基于HTTP的REST/SOAPAPI云數(shù)據(jù)固定屬性固定文件屬性支持自定義云數(shù)據(jù)適用場景交易數(shù)據(jù)和高頻次改變的數(shù)據(jù)文件數(shù)據(jù)簡易存儲及共享內(nèi)容長項交易數(shù)據(jù)簡單訪問、易于管理可擴展性和分布式訪問文件修改可在存儲上即時更改文件可在存儲上即時更改文件額外的對象會被創(chuàng)建限制難以跨數(shù)據(jù)中心擴容在十億節(jié)點下，元數(shù)據(jù)和擴展性會成為瓶頸并不是為了高頻次操作的數(shù)據(jù)設計的（二）對象存儲分類具備云功能的水平擴展NAS第二代對象存儲系統(tǒng)CAS對象存儲分類020301（三）對象存儲組成結構對象存儲系統(tǒng)存放容器A=ID1容器B=ID2……對象1=ID3對象2=ID4……對象存儲系統(tǒng)：容器（Bucket）+對象（Object）+（四）對象存儲—分層結構對比扁平化的更少的元數(shù)據(jù)存儲和訪問（五）對象存儲—特點1容量：TB-EB數(shù)量：十個-百億對象字節(jié)：數(shù)個-萬億字節(jié)超強擴展性2動態(tài)數(shù)據(jù)保護級別-保留期限-復制分數(shù)等基于策略自動化管理3同一種架構，同一套系統(tǒng)不同用戶，不同應用多租戶4后臺數(shù)據(jù)掃描完整性校驗自動化對象修復完整性/安全性（六）對象存儲—應用場景1存儲資源池2網(wǎng)盤應用3集中備份4歸檔和分級存儲軟件定義存儲（SDS）知識點四（一）軟件定義存儲（SDS）是一種數(shù)據(jù)存儲方式，所有存儲相關的控制工作都僅在相對于物理存儲硬件的外部軟件中，在一個服務器上或者作為操作系統(tǒng)（OS）或hypervisor的一部分。（二）SDS系統(tǒng)一共分為4個層次01存儲路由（Storagerouting）02存儲韌性（Storageresilience）03物理硬件（physicalhardware）04帶外控制器（Out-of-bandcontroller）（三）軟件定義存儲的優(yōu)點SDS系統(tǒng)可以高效地管理存儲規(guī)模，提髙基礎設施的運營效率。軟硬件的解耦合允許在標準服務器硬件之上構筑一個統(tǒng)一的存儲系統(tǒng)。SDS解決方案通常是開源的，這意味著更好的標準、更多的工具，以及避免鎖定到單一供應商那里。為什么是OpenStackSwift知識點四為什么是OpenStackSwift是一種全新的存儲系統(tǒng)可以安裝在所謂的商品硬件之上Swift是一個對象存儲系統(tǒng)Swift擁有廣泛的用途Swift任務小結實現(xiàn)對象存儲的多種方式：CAS、第二代對象存儲系統(tǒng)、具備云功能的水平擴展NASSDS方案是存儲非結構化數(shù)據(jù)的最佳選擇：存儲路由（Storagerouting）存儲韌性（Storageresilience）物理硬件（physicalhardware）帶外控制器（Out-of-bandcontroller）Swift是一個對象存儲系統(tǒng)，可以安裝在所謂的商品硬件（commodityhardware）之上，是一個在保障數(shù)據(jù)可用性前提下易于擴展容忍故障的分布式系統(tǒng)。拓展訓練Xena獨立學習OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎設施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術債務來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構的680多位開發(fā)者累計提交了150