石油地震勘探及其大數(shù)據(jù)快速存儲技術(shù)研究介紹-IndicoIHEP課件

報告人：韓昭核探測器與核電子學國家重點實驗室（科大部）2013年5月3日1石油地震勘探及其大數(shù)據(jù)快速存儲技術(shù)研究介紹

2石油地震勘探簡介石油地震勘探是指利用儀器檢測、記錄人工激發(fā)地震的反射波、折射波的傳播時間、振幅、波形等，對地層界面、巖土性質(zhì)、地質(zhì)構(gòu)造進行成像分析。人造地震是現(xiàn)在最重要的一種油氣勘探方法。3石油地震勘探簡介地震石油勘探的特點與發(fā)展趨勢：1、在地震數(shù)據(jù)處理中，利用檢波器采集的數(shù)據(jù)對地質(zhì)結(jié)構(gòu)成像分析。地震數(shù)據(jù)有很大的噪聲，檢波器排布越密集，可以得到越準確的地質(zhì)結(jié)構(gòu)。2、為了勘探更深處的油氣，探測設(shè)備覆蓋的范圍越來越廣。3、因為上述原因，現(xiàn)在地震勘探使用的地震儀器，達到了萬道量級，有些勘探公司已經(jīng)做到了十萬道，并且提出了百萬道的目標。4石油地震勘探中要解決的問題對如此大規(guī)模的地震勘探設(shè)備，在前端的數(shù)據(jù)采集傳輸，后端的數(shù)據(jù)存取都要面臨很多問題1、數(shù)據(jù)采集傳輸中的問題（1）大量節(jié)點的管理（2）數(shù)據(jù)可靠傳輸（3）供電（4）低功耗（5）節(jié)點同步5石油地震勘探中要解決的問題2、數(shù)據(jù)存取處理中的問題（1）近年來處理器的能力隨著半導體工藝的發(fā)展進步很快，比如，主流PC的CPU主頻已經(jīng)達到3GHz以上，服務(wù)器CPU大都達到十核以上。然而提供數(shù)據(jù)存儲的仍然是傳統(tǒng)的磁介質(zhì)硬盤，它的性能卻提高很有限。很多文獻資料表明IO速度已經(jīng)成為制約數(shù)據(jù)處理過程的一個瓶頸。（2）地震數(shù)據(jù)采集中，原始數(shù)據(jù)是記錄在磁帶中的，進行數(shù)據(jù)處理時，會將磁帶中的數(shù)據(jù)按一定的格式存儲在硬盤中?，F(xiàn)階段由于檢波器數(shù)目的增大地球物理勘探所產(chǎn)生的數(shù)據(jù)量越來越大，大都達到了TB甚至PB的量級，這對于后端的大數(shù)據(jù)處理產(chǎn)生了巨大的壓力。在一些地震數(shù)據(jù)處理的過程中數(shù)據(jù)分發(fā)所用的時間已經(jīng)和數(shù)據(jù)處理所花費的時間基本相當。（3）地震數(shù)據(jù)處理的過程中，需要對各種不同的數(shù)據(jù)組合進行讀取分析，大部分情況下，這些數(shù)據(jù)都離散的分散在文件中，并不是連續(xù)的，這些離散的數(shù)據(jù)會導致數(shù)據(jù)獲取的速度大大降低。（4）本人主要工作是解決這一部分的問題。6離散數(shù)據(jù)存取速度慢的原因事實上，硬盤讀出數(shù)據(jù)的速度并不慢，但受到機械運動因素的影響，尋道時間非常慢。對于8KB數(shù)據(jù)，數(shù)據(jù)讀取時間約為0.05ms平均尋道時間約為9ms平均尋道時間>>數(shù)據(jù)讀取時間對于機械式硬盤，最影響速度的是隨機訪問。然而地震的數(shù)據(jù)需要不同的組合，絕大部分是隨機的小數(shù)據(jù)訪問模式。解決辦法，多硬盤有效并行工作7磁盤陣列磁盤陣列（RedundantArraysofInexpensiveDisksRAID），利用數(shù)組方式來作磁盤組，在一定程度上實現(xiàn)了數(shù)據(jù)的分布存儲，可以達到并行，增加IO的作用。8傳統(tǒng)的地震數(shù)據(jù)存取方式以POSIX為代表的基于文件系統(tǒng)的存儲是現(xiàn)在大多數(shù)實驗中大數(shù)據(jù)的存儲模式。地震數(shù)據(jù)按照一定格式存儲在文件中，典型的訪問函數(shù)為open文件，seek到特定的位置，read一定長度的內(nèi)容。POSIX標準是以一種流（stream）的串行的方式來訪問數(shù)據(jù)存儲區(qū)的。9磁盤陣列存在的問題磁盤陣列并沒有拋棄傳統(tǒng)的串行的文件系統(tǒng)存儲方式，每個硬盤并不知道自己的數(shù)據(jù)，這些需要上層的串行命令，并靠RAID控制器分發(fā)實現(xiàn)。而這一過程是串行的，在硬盤數(shù)量不斷增加的情況下，會成為阻礙性能的瓶頸。其次，RAID是一種通用的存儲設(shè)備，并不理解數(shù)據(jù)的含義，只是固定長度的切割，這也會造成性能的下降。因為磁盤陣列并沒有實現(xiàn)硬盤與硬盤之間的完全獨立，因此很難實現(xiàn)太大規(guī)模的并行。10Google提出的key-value存儲模式完全拋棄了POSIX的訪問模式，把每一個數(shù)據(jù)（value）打上一個key標簽，然后作分布式的存儲。需要訪問數(shù)據(jù)的時候以key為關(guān)鍵字進行檢索，可以同時有很多的客戶端同時響應(yīng)，從而實現(xiàn)并發(fā)訪問。11Key-value面臨的最大問題因為與傳統(tǒng)的以文件系統(tǒng)為基礎(chǔ)的數(shù)據(jù)存儲方式差異太大，提出的主要應(yīng)用對象是針對數(shù)據(jù)庫的應(yīng)用。很多已經(jīng)成熟的軟件應(yīng)用無法直接使用key-value模式，即使重新移植風險也太大。這是因為key-value模式與傳統(tǒng)的數(shù)據(jù)存儲方式，底層操作差別太大，需要對原本成熟的應(yīng)用程序進行大量修改。12我們提出的iSmartDisk方案基于key-value的思想，提出了iSmartDisk的分布式存儲模式，把實驗數(shù)據(jù)分布的存儲在用internet連接起來的具有CPU控制的硬盤上，訪問時，利用Key-value的方式，向各個節(jié)點分發(fā)需要的數(shù)據(jù)的標簽。所有節(jié)點并行的查找，提供自己的數(shù)據(jù)。在提供快速IO并發(fā)訪問的同時，對現(xiàn)有的大型應(yīng)用程序保持兼容。13iSmartDisk初步測試結(jié)果系統(tǒng)測試結(jié)果，IO性能同節(jié)點數(shù)呈線性增長關(guān)系。在同傳統(tǒng)的建立在RAID的基礎(chǔ)上的文件系統(tǒng)的IO速度相比，在同樣的硬盤數(shù)目下，IO速度提高了8倍！現(xiàn)有RAID速度測試平臺：地空學院曙光服務(wù)器存儲設(shè)備：服務(wù)器26個計算節(jié)點上的硬盤測試方法：將數(shù)據(jù)文件按照相應(yīng)的算法分布存儲在計算節(jié)點的硬盤上，然后根據(jù)需要讀取數(shù)據(jù)14iSmartDisk的特點iSmartDisk提出了把key-value分布式數(shù)據(jù)庫的存儲思想用于大型實驗數(shù)據(jù)的新存儲概念。實現(xiàn)了每個硬盤的完全獨立，所有的節(jié)點都是并行處理，正因如此，可以支持大量的并行。在key-value的基礎(chǔ)上還提出了通過算法實現(xiàn)無元數(shù)據(jù)（meta-data）的存儲模式，進一步加快隨機IO速度。利用虛擬文件的技術(shù)，在利用iSmartDisk的快速IO能力的同時保持了應(yīng)用程序級的兼容。