并行計算方法

并行計算算法并行計算機基礎(chǔ)并行算法的設(shè)計并行數(shù)值算法算例1.1并行計算并行計算(ParallelComputing)是指在并行計算機或分布式計算機等一些高性能計算系統(tǒng)上所做的計算，其硬件基礎(chǔ)是高性能并行計算機。并行計算的主要目的是以最快的速度求解數(shù)字龐大且過程繁雜的計算問題。概念1.2并行計算機分類1、單指令多數(shù)據(jù)流（SIMD）型并行2、多指令多數(shù)據(jù)流（MIMD）型并行機：

并行向量處理機、大規(guī)模并行處理機、分存共享存儲多處理機、對稱多處理機、、工作站機群并行計算機就是由多個處理單元(處理器或計算機)組成的計算機系統(tǒng)，這些處理單元相互通信和協(xié)作，能快速、高效地求解大型復(fù)雜問題。1.3并行計算機體系結(jié)構(gòu)1、總線結(jié)構(gòu)

2、網(wǎng)格結(jié)構(gòu)

3、超立方體結(jié)構(gòu)并行計算機體系結(jié)構(gòu)是指在所應(yīng)用的并行處理系統(tǒng)中各個節(jié)點機之間的連接方式。1.4基本性能指標1、CPU和存儲器：工作負載：執(zhí)行時間、指令數(shù)目、浮點運算數(shù)。并行執(zhí)行時間：計算時間+并行開銷時間+相互通信時間存儲器的層次結(jié)構(gòu)：容量、延遲、帶寬2、機器的成本，價格與性能/價格比3、加速比性能：Amdahi定律、Gustafson定律、Sun和Ni定律2.1并行算法設(shè)計并行算法是一些可同時執(zhí)行的諸多進程的集合，這些進程相互作用和協(xié)調(diào)動作從而達到給定問題的解。并行算法的復(fù)雜度：運行時間、處理器數(shù)目、并行算法的成本、總運算量2.2設(shè)計策略技術(shù)1、并行算法設(shè)計

串行算法的直接并行化設(shè)計新的算法借用已有并行算法2、劃分設(shè)計技術(shù)：均勻劃分、方根劃分、對數(shù)劃分、功能劃分3、分治設(shè)計技術(shù)：平衡樹技術(shù)、倍增設(shè)計技術(shù)、流水線設(shè)計技術(shù)2.3并行設(shè)計過程1、任務(wù)劃分：數(shù)據(jù)劃分、功能劃分2、通信劃分：局部/全局通信、結(jié)構(gòu)化/非結(jié)構(gòu)化、靜態(tài)/動態(tài)、同步/異步3、任務(wù)組合4、處理器映射：負載平衡算法、任務(wù)調(diào)度算法2.4并行計算編程環(huán)境1、分布傳遞并行編程：消息傳遞

MPIPVM并行虛擬機（ParallelVirtualMachine）2.4并行計算編程環(huán)境2、共享存儲并行編程OpenMP是一種面向共享內(nèi)存以及分布式共享內(nèi)存的多處理器多線程并行編程語言2.4并行計算實現(xiàn)過程并行計算實現(xiàn)過程3.1矩陣運算Creativity1、矩陣的劃分：

帶狀劃分：塊帶狀劃分、循環(huán)帶狀劃分

棋盤劃分：塊棋盤劃分、循環(huán)棋盤劃分2、矩陣的轉(zhuǎn)置、矩陣向量乘法、矩陣乘法、矩陣分解、求逆、求特征值等3.2線性方程組的求解Creativity1、直接求解

奇偶歸約求解

有回代的列主元高斯消去無回代的高斯-約旦法2、迭代算法高斯-賽德爾迭代法雅可比迭代法超松弛迭代法多重網(wǎng)格法3.3稀疏矩陣向量乘法算例Creativity1、坐標存儲法4稀疏矩陣向量乘法算例Creativity2、矩陣向量串行算法4稀疏矩陣向量乘法算例Creativity3、矩陣向量的并行化分析4稀疏矩陣向量乘法算例Creativity4、矩陣向量并行算法4稀疏矩陣向量乘法算例Creativity5、4稀疏矩陣向量乘法算例Crea