大數(shù)據(jù)存儲挑戰(zhàn)

大數(shù)據(jù)存儲主講教師：龍霄漢《大數(shù)據(jù)導(dǎo)論》課程Introductiontobigdata大數(shù)據(jù)存儲大數(shù)據(jù)存儲011大數(shù)據(jù)存儲大數(shù)據(jù)存儲大數(shù)據(jù)已成為目前學(xué)術(shù)界和工業(yè)界共同關(guān)注的熱點(diǎn)問題，同時(shí)，閃存、相變存儲器等新型存儲技術(shù)也正在極大地影響著計(jì)算機(jī)系統(tǒng)的軟硬件設(shè)計(jì)與應(yīng)用。大數(shù)據(jù)管理面臨著諸多的挑戰(zhàn)，例如能耗、性能等，而新型存儲介質(zhì)則在Ｉ／Ｏ延遲、能耗等方面優(yōu)于傳統(tǒng)磁盤存儲介質(zhì)。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲目前一般認(rèn)為大數(shù)據(jù)具有４Ｖ特征，即Volume、Velocity、Variety、Veracity，其中Volume特征是指大數(shù)據(jù)的規(guī)模巨大，通常是ＰＢ甚至ＺＢ級別。在2011，就產(chǎn)生了1.8ZB（也就是1.8萬億GB）的大數(shù)據(jù)。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲大數(shù)據(jù)的4V特征對現(xiàn)有的數(shù)據(jù)管理技術(shù)提出了許多新的挑戰(zhàn)。從存儲的角度看，大數(shù)據(jù)管理面臨的主要問題可歸納為如下幾個(gè)方面：大數(shù)據(jù)存儲架構(gòu)的挑戰(zhàn)大數(shù)據(jù)管理算法的挑戰(zhàn)大數(shù)據(jù)管理的能耗挑戰(zhàn)圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲大數(shù)據(jù)存儲架構(gòu)的挑戰(zhàn)：磁盤讀寫性能差，與主存的速度差距正在逐漸增大，使得傳統(tǒng)的主存－磁盤存儲架構(gòu)越來越無法適應(yīng)大數(shù)據(jù)管理的要求。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲大數(shù)據(jù)管理算法的挑戰(zhàn)：隨著新型存儲介質(zhì)越來越多地被運(yùn)用于大規(guī)模分布式存儲中，大規(guī)模分布式數(shù)據(jù)庫中傳統(tǒng)的持久化策略、索引結(jié)構(gòu)、查詢執(zhí)行、查詢優(yōu)化、恢復(fù)策略等均是基于磁盤存儲設(shè)計(jì)的，新型存儲介質(zhì)具有完全不同于磁盤的物理特性，因此無法發(fā)揮新型存儲的優(yōu)勢。圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲大數(shù)據(jù)管理的能耗挑戰(zhàn)：能耗在現(xiàn)有大型數(shù)據(jù)管理系統(tǒng)（通常是數(shù)據(jù)中心）中的費(fèi)用比例逐年升高（目前大約占總能耗的16%左右），給企業(yè)帶來了沉重的經(jīng)濟(jì)負(fù)擔(dān)圖片來自互聯(lián)網(wǎng)大數(shù)據(jù)存儲大數(shù)據(jù)存儲通常采用分布式存儲策略，但傳統(tǒng)的分布式存儲策略通常采用基于副本的方式。例如，MongoDB設(shè)計(jì)了復(fù)制集指定每個(gè)文檔的副本保存位置，HBase基于HDFS進(jìn)行副本管理并采用機(jī)架感知的方式進(jìn)行副本分布。但是，已有的這些分布式存儲策略沒有考慮不同存儲介質(zhì)的性能、成本以及物理特性上的差異。引入了多樣化的新型存儲介質(zhì)后，需要設(shè)計(jì)新的數(shù)據(jù)分配算法，使數(shù)據(jù)分布在合適的新型存儲介質(zhì)上，從而加快數(shù)據(jù)的訪問性能。圖片來自互聯(lián)網(wǎng)總結(jié)隨著新型存儲的快速發(fā)展和大數(shù)據(jù)時(shí)代的來臨，面向新型存儲的大數(shù)據(jù)管理將成為未來新的研究熱點(diǎn)。利用新型存儲的獨(dú)特優(yōu)勢來解決大數(shù)據(jù)管理中的關(guān)鍵