并行計(jì)算方法

1、LOGO 并行計(jì)算算法并行計(jì)算算法并行計(jì)算機(jī)基礎(chǔ)并行計(jì)算機(jī)基礎(chǔ)并行算法的設(shè)計(jì)并行算法的設(shè)計(jì)并行數(shù)值算法算例并行數(shù)值算法算例1.1 1.1 并行計(jì)算并行計(jì)算并行計(jì)算并行計(jì)算(Parallel Computing)是指在并行計(jì)算機(jī)或分布式計(jì)算機(jī)等一些高性能計(jì)算系統(tǒng)上所做的計(jì)算，其硬件基礎(chǔ)是高性能并行計(jì)算機(jī)。并行計(jì)算的主要目的是以最快的速度求解數(shù)字龐大且過程繁雜的計(jì)算問題。概念概念1.2 1.2 并行計(jì)算機(jī)分類并行計(jì)算機(jī)分類1、單指令多數(shù)據(jù)流（SIMD）型并行2、多指令多數(shù)據(jù)流（MIMD）型并行機(jī)： 并行向量處理機(jī)、大規(guī)模并行處理機(jī)、分存共享存儲(chǔ)多處理機(jī)、對(duì)稱多處理機(jī)、工作站機(jī)群并行計(jì)算機(jī)就是由多個(gè)

2、處理單元(處理器或計(jì)算機(jī))組成的計(jì)算機(jī)系統(tǒng)，這些處理單元相互通信和協(xié)作，能快速、高效地求解大型復(fù)雜問題。1.3 1.3 并行計(jì)算機(jī)體系結(jié)構(gòu)并行計(jì)算機(jī)體系結(jié)構(gòu)1、總線結(jié)構(gòu) 2、網(wǎng)格結(jié)構(gòu) 3、超立方體結(jié)構(gòu)并行計(jì)算機(jī)體系結(jié)構(gòu)是指在所應(yīng)用的并行處理系統(tǒng)中各個(gè)節(jié)點(diǎn)機(jī)之間的連接方式。1.4 1.4 基本性能指標(biāo)基本性能指標(biāo)1、 CPU和存儲(chǔ)器： 工作負(fù)載：執(zhí)行時(shí)間、指令數(shù)目、浮點(diǎn)運(yùn)算數(shù)。 并行執(zhí)行時(shí)間：計(jì)算時(shí)間+并行開銷時(shí)間+相互通信時(shí)間 存儲(chǔ)器的層次結(jié)構(gòu)：容量、延遲、帶寬2、 機(jī)器的成本，價(jià)格與性能/價(jià)格比3、 加速比性能：Amdahi定律、Gustafson定律、Sun和Ni定律2.1 2.1 并行算

3、法設(shè)計(jì)并行算法設(shè)計(jì)并行算法并行算法是一些可同時(shí)執(zhí)行的諸多進(jìn)程的集合，這些進(jìn)程相互作用和協(xié)調(diào)動(dòng)作從而達(dá)到給定問題的解。并行算法的復(fù)雜度：運(yùn)行時(shí)間、處理器數(shù)目、并行算法的成本、總運(yùn)算量2.2 2.2 設(shè)計(jì)策略技術(shù)設(shè)計(jì)策略技術(shù)1、并行算法設(shè)計(jì) 串行算法的直接并行化 設(shè)計(jì)新的算法 借用已有并行算法2、劃分設(shè)計(jì)技術(shù)：均勻劃分、方根劃分、對(duì)數(shù)劃分、功能劃分3、分治設(shè)計(jì)技術(shù)：平衡樹技術(shù)、倍增設(shè)計(jì)技術(shù)、流水線設(shè)計(jì)技術(shù)2.3 2.3 并行設(shè)計(jì)過程并行設(shè)計(jì)過程1、任務(wù)劃分：數(shù)據(jù)劃分、功能劃分2、通信劃分：局部/全局通信、結(jié)構(gòu)化/非結(jié)構(gòu)化、靜態(tài)/動(dòng)態(tài)、同步/異步3、任務(wù)組合4、處理器映射：負(fù)載平衡算法、任務(wù)調(diào)度算法

4、2.42.4并行計(jì)算編程環(huán)境并行計(jì)算編程環(huán)境1、分布傳遞并行編程：v 消息傳遞 MPIMPIv PVM并行虛擬機(jī)（Parallel Virtual Machine） 2.42.4并行計(jì)算編程環(huán)境并行計(jì)算編程環(huán)境2、共享存儲(chǔ)并行編程v OpenMP 是一種面向共享內(nèi)存以及分布式共享內(nèi)存的多處理器多線程并行編程語(yǔ)言2.42.4并行計(jì)算實(shí)現(xiàn)過程并行計(jì)算實(shí)現(xiàn)過程并行計(jì)算實(shí)現(xiàn)過程并行計(jì)算實(shí)現(xiàn)過程3.13.1矩陣運(yùn)算矩陣運(yùn)算Creativity1、矩陣的劃分： 帶狀劃分：塊帶狀劃分、循環(huán)帶狀劃分 棋盤劃分：塊棋盤劃分、循環(huán)棋盤劃分2、矩陣的轉(zhuǎn)置、矩陣向量乘法、矩陣乘法、矩陣分解、求逆、求特征值等3.2 3

5、.2 線性方程組的求解線性方程組的求解Creativity1、直接求解 奇偶?xì)w約求解 有回代的列主元高斯消去 無回代的高斯-約旦法2、迭代算法 高斯-賽德爾迭代法 雅可比迭代法 超松弛迭代法 多重網(wǎng)格法3.3 3.3 稀疏矩陣向量乘稀疏矩陣向量乘法算例法算例Creativity1、坐標(biāo)存儲(chǔ)法4 4 稀疏矩陣向量乘稀疏矩陣向量乘法算例法算例Creativity2、矩陣向量串行算法4 4 稀疏矩陣向量乘稀疏矩陣向量乘法算例法算例Creativity3、矩陣向量的并行化分析4 4 稀疏矩陣向量乘稀疏矩陣向量乘法算例法算例Creativity4、矩陣向量并行算法4 4 稀疏矩陣向量乘稀疏矩陣向量乘法算例法算例Creativity5、4 4