GPU計(jì)算技術(shù)發(fā)展及在地球物理界的應(yīng)用

中國(guó)石油勘探開發(fā)研究院西北分院 2010年 12月 21日 一 二 三 技術(shù)展望 匯 報(bào) 提 綱 計(jì)算機(jī)技術(shù)的發(fā)展 一、 程 20世紀(jì) 70年代 向量機(jī) 20世紀(jì) 90年代初 對(duì)稱多處理共享存儲(chǔ)并行機(jī) （ 20世紀(jì) 90年代中期 分布式共享存儲(chǔ)多處理機(jī) （ 20世紀(jì) 90年代后期 大規(guī)模并行處理機(jī) （ 21世紀(jì)初期 計(jì)算機(jī)集群系統(tǒng) （ 并行機(jī)需要在 存、操作系統(tǒng)等進(jìn)行定制，成本非常昂貴，技術(shù)實(shí)現(xiàn)難度大，實(shí)現(xiàn)周期長(zhǎng)。 一、 程 1、 單核 核 核 核 多核 大大減少了散熱和功耗 一、 程 多核 受限的加速比 內(nèi)核數(shù)目的線性增加不 能帶來整體處理性能的線性增長(zhǎng) 延時(shí)問題 系統(tǒng)規(guī)模擴(kuò)展超過數(shù)萬個(gè)處理器、數(shù)十萬個(gè)處理器核時(shí)，該問題變得十分突出。 添加 對(duì) C 和 C+ 等高級(jí)語言的支持。此舉最終推動(dòng)誕生了面向 形處理器）的 構(gòu) 一發(fā)現(xiàn)掀起了 可編程性日益增加， 英偉達(dá) ）推出了第一款 形處理器）。 最初用作固定功能圖形管線 構(gòu) 第 形處理器 ） 圖形芯片 一、 程 20世紀(jì) 80年代 ，以 形處理功能逐漸從 1999年， 56，第一次在圖形芯片上實(shí)現(xiàn)了 3形處理器，常用于顯示（顯卡）。 2、 2003年 ，可編程的 2006年 ，可進(jìn)行高級(jí)語言編程的 一計(jì)算）架構(gòu) 中央處理器 圖形處理器 （顯卡 ) 接屏幕的端口 內(nèi)置顯卡 1070 1U 系統(tǒng) 一、 程 1、法國(guó)網(wǎng)站 國(guó)原子能委員會(huì)等機(jī)構(gòu)正準(zhǔn)備構(gòu)建一臺(tái)新的超級(jí)計(jì)算機(jī)，其中有 時(shí)會(huì)加入將近兩百顆 060/1070），有望成為世界上第一臺(tái) 2、據(jù) 2008年 11月 21日，美國(guó)德克薩斯州奧斯汀市 京工業(yè)大學(xué)（ 式宣布與 用 一、 程 一、 程 2009年 10月 30日國(guó)防科技大學(xué)宣布研制成功我國(guó)首臺(tái)千萬億次超級(jí)計(jì)算機(jī)系統(tǒng)“天河一號(hào)”。 2010年 5月 31日中國(guó)研制成功世界排名第二的 “ 星云一號(hào) ” 。 年內(nèi)中國(guó)即將宣布研制成功世界排名第一的計(jì)算機(jī)，其硬件架構(gòu)都是 一、 程 適應(yīng)復(fù)雜運(yùn)算環(huán)境； 算單元多。 3、 一、 程 目前單個(gè) 80核 , 算速度非?？臁?3、 0204060801001202003 2004 2005 2006 2007B/s)G P 0 U l t 0G 7 1N V 4 0N V 3 0H ap o w nW o o d c o t t E EN o rt h w o o B/s)一、 程 1060，可以用到普通的 能是 957億次），功耗只有 160瓦。 毫秒 ) 一、 程 毫秒 ) 內(nèi)存分配比較010203040506032*32 128*128 512*512 2048*2048 4096*4096 8192*8192圖像尺寸耗時(shí)（2 128*128 512*512 2048*2048 4096*4096 8192*8192圖像尺寸耗時(shí)（2 128*128 512*512 2048*2048 4096*4096 8192*8192圖像尺寸時(shí)間比間比間比一、 程 一、 程 一 二 三 技術(shù)展望 匯 報(bào) 提 綱 二、 1、應(yīng)用現(xiàn)狀 地球物理技術(shù)發(fā)展歷史與計(jì)算技術(shù)發(fā)展歷史是不可分割的。計(jì)算技術(shù)在石油物探中的應(yīng)用起始于二十世紀(jì)六十年代，但大規(guī)模的應(yīng)用開始于二十世紀(jì)八十年代?？偨Y(jié)了過去 40年間地球物理計(jì)算的發(fā)展歷程，經(jīng)歷了四次重大變革。 （王宏琳教授） 20世紀(jì) 70年代 20世紀(jì) 80年代 20世紀(jì) 90年代 21世紀(jì)初期 2007 01020304050602001年 2002年 2003年 2004年 2005年 2006年 2007年 2008年 2009年系統(tǒng)數(shù)（個(gè)）二、 1、應(yīng)用現(xiàn)狀 世界超級(jí)計(jì)算 500強(qiáng)地球物理應(yīng)用圖表 國(guó)外兩大主要地球物理服務(wù)公司 ）數(shù)達(dá)到 10萬，形成強(qiáng)大的地震資料處理能力，尤其是地震疊前偏移成像能力。 國(guó)內(nèi)中國(guó)石油和中國(guó)石化各油田和研究機(jī)構(gòu)、技術(shù)服務(wù)公司也建立大型地震資料處理解釋中心，計(jì)算性能規(guī)模從數(shù)十萬億次到數(shù)百萬億次不等。 2009年 6月 29日發(fā)布的全球超級(jí)計(jì)算 500強(qiáng)中，地球物理應(yīng)用占有 43套。 2009年 11月 1日發(fā)布的中國(guó)超級(jí)計(jì)算 100強(qiáng)中，地球物理應(yīng)用達(dá)到 20套。 （據(jù)趙改善） 二、 石油物探技術(shù)發(fā)展現(xiàn)狀 1、石油勘探開發(fā)技術(shù)的特點(diǎn)：地震成像技術(shù)廣泛應(yīng)用，油藏描述技術(shù)水平不斷提高，地球物理技術(shù)應(yīng)用從勘探走向開發(fā)，水平井 能井 互勘探或?qū)崟r(shí)勘探技術(shù)的提出等。 2、地震勘探特征：從疊后到疊前，從時(shí)間域到深度域，從單分量到多分量，從聲波到彈性波，從構(gòu)造成像到巖性反演、儲(chǔ)層特征描述，從單一技術(shù)應(yīng)用到多技術(shù)綜合，從勘探到開發(fā)及勘探開發(fā)的一體化，數(shù)據(jù)量和計(jì)算量成指數(shù)增加等。 3、未來一段時(shí)間內(nèi)地震勘探技術(shù)發(fā)展：萬道以上地震儀得到廣泛應(yīng)用，高密度單點(diǎn)地震技術(shù)，高精度或高分辨率地震勘探技術(shù)將成為未來一段時(shí)間的主流。 從地震數(shù)據(jù)處理方面來看，疊前時(shí)間偏移已經(jīng)成為標(biāo)準(zhǔn)化處理流程中的一個(gè)常規(guī)處理內(nèi)容，波動(dòng)方程疊前深度偏移將更加廣泛應(yīng)用，逆時(shí)偏移技術(shù)將逐漸成為主流技術(shù)。 綜合利用多分量地震勘探信息的彈性反演技術(shù)將成為由地震數(shù)據(jù)轉(zhuǎn)換為地層、油藏信息主要手段。 這些都將帶來 巨大計(jì)算量的需求 ，是我們未來一段時(shí)間面臨的重大挑戰(zhàn)。 年 份 2003 2005 2010 2015 未來 面積（ 500 500 1000 1000 1000 面元大?。?25000蓋次數(shù)（次） 60 60 100 100 100 記錄分量數(shù) 1 1 1 3 3 記錄長(zhǎng)度（ s） 6 6 6 6 6 采樣率（ 2 1 前數(shù)據(jù)總道數(shù)（道） 3000萬 4700萬 6億 36億 144億 疊前數(shù)據(jù)量 36020008000后數(shù)據(jù)總道數(shù)（道） 100萬 160萬 1250萬 1250萬 5000萬 疊后數(shù)據(jù)量 12000型地震勘探數(shù)據(jù)規(guī)模預(yù)測(cè)一覽表 二、 二、 2、疊前成像對(duì)計(jì)算性能的要求 不同方法的計(jì)算量預(yù)測(cè)0500001000001500002000002500002003年 2005年 2010年 2015年 未來浮點(diǎn)運(yùn)算數(shù)（*7）炮域波動(dòng)方程地震疊前成像始終是地球物理的焦點(diǎn)。自 20世紀(jì) 70年代初至今，波動(dòng)方程偏移經(jīng)歷了發(fā)展停滯再發(fā)展的階段。到 20世紀(jì) 90年代，隨著計(jì)算技術(shù)的發(fā)展，再次把偏移技術(shù)推向了發(fā)展高峰。 21世紀(jì)，波動(dòng)方程疊前偏移技術(shù)得到較快發(fā)展。 大規(guī)模集群計(jì)算機(jī)系統(tǒng)的應(yīng)用，疊前時(shí)間偏移技術(shù)的應(yīng)用已經(jīng)成為常規(guī)化；疊前深度偏移由基于射線的克?；舴蚍e分算法向波動(dòng)方程算法發(fā)展；深度域疊前屬性分析技術(shù)和各向異性介質(zhì)疊前偏移技術(shù)將成為下一個(gè)發(fā)展方向。 近年來，隨著計(jì)算技術(shù)的發(fā)展，在基于單程波波動(dòng)方程算法的地震成像技術(shù)得到應(yīng)用的同時(shí)，基于雙程波波動(dòng)方程算法（ 逆時(shí)偏移 ）的地震成像技術(shù)成為了當(dāng)前的研究熱點(diǎn)。 計(jì)算量提高了一個(gè)數(shù)量級(jí)至數(shù)十倍 。 二、 2、疊前成像對(duì)計(jì)算性能的要求 2008年， 70%左右機(jī)時(shí)用于疊前深度偏移 2005年， 90%左右機(jī)時(shí)用于疊前時(shí)間偏移 二、 單個(gè) 前時(shí)間偏移運(yùn)算速度可以達(dá)到百倍以上；硬件成本可降低 90%以上；機(jī)器體積不足原來的 3節(jié)電95%以上。 總時(shí)間比和核時(shí)間比0246810121416182032*32 128*128 512*512 2048*2048 4096*4096 8192*8192圖像尺寸時(shí)間比間比間比050000010000001500000200000025000002001年 2002年 2003年 2004年 2005年 2006年 2007年 2008年 2009年峰值性能（G F l o p s ）處理器數(shù)（個(gè)）010203040506070單一處理器架構(gòu)異構(gòu)處理器架構(gòu)架構(gòu)其他2、疊前成像對(duì)計(jì)算性能的要求 二、 3、 國(guó)內(nèi) 中科院地質(zhì)與地球物理研究所、同濟(jì)大學(xué)、 國(guó)石化南京石油物探研究院等分別利用 時(shí)偏移技術(shù)， 中國(guó)石油勘探開發(fā)研究院 西北分院、 大慶油田、勝利油田等單位已進(jìn)行 東方地球物理公司研究院，在做應(yīng)用 前已經(jīng)取得了一定的進(jìn)展； 2009年 等首先用 P 給出了利用 現(xiàn)高階有限差分的算法； 推動(dòng) 內(nèi)地球物理技術(shù)在 二、 基于 對(duì)稱走時(shí) 該方法突破了“常速層狀介質(zhì)或輕微變速層狀介質(zhì)”假設(shè)的限制， 在走時(shí)公式中，引入 速 度橫向?qū)?shù) ，提高走時(shí)計(jì)算精度，改善在復(fù)雜條件下的地震波的聚焦效果； 基于 ，提高時(shí)效。 橫向變速介質(zhì)波前面?zhèn)鞑?橫向變速速度模型 橫向變速造成時(shí)距曲線不對(duì)稱 V+ + 、 二、 左 ) 與 ）對(duì)比 通過對(duì)比分析，單節(jié)點(diǎn)計(jì)算能力（疊前時(shí)間域成像）： 、 處理系統(tǒng) 硬 件 環(huán) 境 12節(jié)點(diǎn) 各節(jié)點(diǎn)單 核 主頻： 數(shù)： 48 60節(jié)點(diǎn) 雙 四核； 主頻： 數(shù)： 6080 12節(jié)點(diǎn) 型號(hào) :數(shù)： 4*240=960 無 應(yīng)用軟件 彎曲射線 前時(shí)間偏移 測(cè) 試 情 況 面積（ 380 數(shù)據(jù)量 (747 采樣（ 2 20 道長(zhǎng)（ 6000 面元（ m） 25移距分組 48 200 輸出線數(shù) 401760 451800 輸出類型 移孔徑（半徑） （ s， m） T=300， 1500， 3000 X=300， 3500， 3500 Y=300， 3500， 3500 T=0,1500,6000 X=0,3500,3500 X=0,3500,3500 作業(yè)運(yùn)行時(shí)間 二、 基于 成像 三維單程波方程偏移主要計(jì)算量在于下行波場(chǎng)和上行波場(chǎng)分別在深度方向上向下延拓過程。該偏移算法其循環(huán)結(jié)構(gòu)為： 炮循環(huán)與每炮內(nèi)部的深度循環(huán) 。 根據(jù)三維單程波方程偏移成像算法的特點(diǎn)， 外層循環(huán)單炮循環(huán)利用 通過進(jìn)程級(jí)粗粒度實(shí)現(xiàn)。在每炮內(nèi)部，數(shù)據(jù)的輸入輸出、除波場(chǎng)延拓和提取成像值外的其它運(yùn)算（如輸入單炮數(shù)據(jù)從時(shí)間域轉(zhuǎn)換到頻率域、單炮成像結(jié)果疊加、偏移背景速度場(chǎng)的計(jì)算等）均在 4、 二、 模型數(shù)據(jù)不同偏移算法偏移效果對(duì)比 單程波偏移 克希霍夫偏移 速度模型 、 單程波波動(dòng)方程疊前深度偏移 不同偏移算法偏移效果對(duì)比 二、 通過對(duì)比分析，單節(jié)點(diǎn)計(jì)算能力（單程波成像）： 處理系統(tǒng) 硬 件 環(huán) 境 12節(jié)點(diǎn) 各節(jié)點(diǎn)單 核 主頻： 數(shù)： 48 60節(jié)點(diǎn) 雙 四核； 主頻： 數(shù)： 6080 12節(jié)點(diǎn) 型號(hào) :數(shù)： 4*240=960 無 應(yīng)用軟件 單程波深度偏移 測(cè) 試 情 況 面積（ 300 數(shù)據(jù)量 (487 采樣（ 2 20 道長(zhǎng)（ 6000 面元（ m） 25移炮數(shù) 29328 30678 延拓深度 6000 5000 空間孔徑 X=500*25， Y=150*25 X=280*25， Y=280*25 頻率孔徑 T=0， 4000， 6000 F=50， 40， 30 F=868 作業(yè)運(yùn)行時(shí)間 402小時(shí) =平均每炮時(shí)間 二、 基于 成像 三維雙程波方程單炮逆時(shí)深度偏移主要計(jì)算量在于震源波場(chǎng)和檢波器波場(chǎng)分別在時(shí)間方向上傳播過程。該算法震源波場(chǎng)為正時(shí)間傳播過程，檢波器波場(chǎng)為反時(shí)間傳播過程，采用零延遲互相關(guān)成像條件成像。 該偏移算法其循環(huán)結(jié)構(gòu)為： 炮循環(huán)與每炮內(nèi)部 的時(shí)間循環(huán) ，每個(gè)時(shí)間步驟由三維差分構(gòu)成。根據(jù)逆時(shí)偏移算法特點(diǎn)，外層單炮循環(huán)利用 4、 二、 理論模型試算 型 速度模型 二、 理論模型試算 型 單程波偏移 克?；舴蚱?逆時(shí)偏移 速度模型 20 二、 單程波偏移結(jié)果 逆時(shí)偏移結(jié)果 二、 逆時(shí)偏移 單程波動(dòng)方程偏移 、 通過對(duì)比分析，單節(jié)點(diǎn)計(jì)算能力（雙程波成像）： 處理系統(tǒng) 硬 件 環(huán) 境 12節(jié)點(diǎn) 各節(jié)點(diǎn)單 核 主頻： 數(shù)： 48 64節(jié)點(diǎn) 雙 四核； 主頻： 數(shù)： 6412 12節(jié)點(diǎn) 型號(hào) :數(shù)： 4*240=960 無 應(yīng)用軟件 逆時(shí)深度偏移 雙程波深度偏移 測(cè) 試 情 況 面積（ 300 數(shù)據(jù)量 (487 采樣（ 2 20 道長(zhǎng)（ 6000 面元（ m） 25移炮數(shù) 29328 30678 延拓深度 5000 5000 時(shí)間延拓 波主頻 F=20 F=18 作業(yè)運(yùn)行時(shí)間 205小時(shí) =1008小時(shí) =42天 平均每炮時(shí)間 前時(shí)間偏移 程波 384 190 時(shí)偏移（ 1008 202 值 1: : P U 與C P U 運(yùn)行時(shí)間比020040060080010001200h）0510152025303540處理系統(tǒng) 硬 件 環(huán) 境 12節(jié)點(diǎn) 各節(jié)點(diǎn)單 核 主頻： 數(shù)： 48 64節(jié)點(diǎn) 雙 四核； 主頻： 數(shù)： 6412 12節(jié)點(diǎn) 型號(hào) :數(shù)： 4*240=960 無 應(yīng)用軟件 逆時(shí)深度偏移 雙程波深度偏移 測(cè) 試 情 況 面積（ 試驗(yàn) 300平方（實(shí)際數(shù)據(jù) 1440平方） 數(shù)據(jù)量 (487（ 2300） 采樣（ 2 20 道長(zhǎng)（ 6000 面元（ m） 25移炮數(shù) 29328 30678 延拓深度 5000 5000 時(shí)間延拓 波主頻 F=20 F=18 作業(yè)運(yùn)行時(shí)間 205小時(shí) = 41） 1008小時(shí) =42天 （ 2