Oracle-Exadata-技術(shù)架構(gòu)和主要特點(diǎn)

EXADATA技術(shù)架構(gòu)和主要特點(diǎn)高擴(kuò)展高可靠OLTP智能存儲(chǔ)ShareDisk和ShareNothing架構(gòu)分析ShareDisk和ShareNothing是兩種主要的數(shù)據(jù)庫(kù)架構(gòu)Exadata提供一種混合式的數(shù)據(jù)庫(kù)架構(gòu),能夠有效解決兩者的沖突,吸取兩種架構(gòu)長(zhǎng)處;既可以滿足OLTP的高并發(fā)、高可用特點(diǎn)；又可以滿足OLAP的大數(shù)據(jù)量處理要求；ShareDisk把數(shù)據(jù)傳輸?shù)綉?yīng)用代碼端ShareNothing把應(yīng)用代碼移到數(shù)據(jù)端運(yùn)行當(dāng)應(yīng)用代碼量很大〔高并發(fā)〕、相關(guān)數(shù)據(jù)量比較小時(shí)，ShareDisk更加適合這種典型的OLTP應(yīng)用；主要特點(diǎn)：高并發(fā)、高可用性〔由于數(shù)據(jù)共享，當(dāng)節(jié)點(diǎn)故障可以透明切換到其他數(shù)據(jù)庫(kù)節(jié)點(diǎn)運(yùn)行作業(yè)〕當(dāng)相關(guān)數(shù)據(jù)量很大、而應(yīng)用代碼并發(fā)量很小時(shí)，ShareNothing更加適合這種典型的OLAP應(yīng)用；主要特點(diǎn)：大數(shù)據(jù)量處理、低并發(fā)、低可用性〔由于數(shù)據(jù)非共享，當(dāng)節(jié)點(diǎn)故障，其他節(jié)點(diǎn)要接管故障節(jié)點(diǎn)數(shù)據(jù)〕主要指標(biāo)架構(gòu)優(yōu)勢(shì)Exadata架構(gòu)概述ExadataCellInfiniBand交換網(wǎng)絡(luò)單節(jié)點(diǎn)數(shù)據(jù)庫(kù)RAC多節(jié)點(diǎn)數(shù)據(jù)庫(kù)ExadataCellExadataCell智能存儲(chǔ)層(ShareNothing)數(shù)據(jù)庫(kù)處理層(ShareDisk)超高速并發(fā)網(wǎng)絡(luò)層…….高擴(kuò)展高可靠OLTP智能存儲(chǔ)主要指標(biāo)架構(gòu)優(yōu)勢(shì)全新的技術(shù)架構(gòu)–ShareNothing與ShareDisk的結(jié)合Exadata智能存儲(chǔ)效勞器〔ShareNothingArchitecture〕在存儲(chǔ)部件中實(shí)現(xiàn)數(shù)據(jù)密集型處理進(jìn)行表及索引掃描，過(guò)濾查詢無(wú)關(guān)數(shù)據(jù)數(shù)據(jù)庫(kù)效勞器承擔(dān)計(jì)算密集型處理〔ShareDiskArchitecture〕求和,統(tǒng)計(jì),數(shù)據(jù)轉(zhuǎn)換,等.數(shù)據(jù)密集型處理智能存儲(chǔ)池計(jì)算密集型處理數(shù)據(jù)庫(kù)效勞池Infiniband高速互聯(lián)的數(shù)據(jù)交換全雙工系統(tǒng)架構(gòu),完全消除單點(diǎn)故障高擴(kuò)展高可靠OLTP智能存儲(chǔ)主要指標(biāo)架構(gòu)優(yōu)勢(shì)EXADATA概述-為所有的數(shù)據(jù)管理系統(tǒng)提供超級(jí)的性能適用于數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用的最好的數(shù)據(jù)庫(kù)效勞器〔BestforDataWarehousing〕基于10x壓縮表的Smartscan基于內(nèi)存數(shù)據(jù)的并行查詢整體上比11.1版本快5倍適用于OLTP系統(tǒng)的最好的數(shù)據(jù)庫(kù)效勞器〔BestforOLTP〕唯一基于網(wǎng)格技術(shù)擴(kuò)展的數(shù)據(jù)庫(kù)Smartflashcache可到達(dá)20x〔1MIOPS〕快的IOPS,或者節(jié)省20x的磁盤(pán)對(duì)于歸檔數(shù)據(jù)可到達(dá)50x的壓縮率平安,容錯(cuò)適用于混合負(fù)載的最好的數(shù)據(jù)庫(kù)效勞器〔BestforConsolidation〕唯一的支持所有負(fù)載類型的databasemachine多個(gè)數(shù)據(jù)庫(kù),多個(gè)應(yīng)用,多個(gè)用戶環(huán)境都能提供可預(yù)測(cè)的響應(yīng)時(shí)間高擴(kuò)展高可靠OLTP智能存儲(chǔ)主要指標(biāo)架構(gòu)優(yōu)勢(shì)Exadata數(shù)據(jù)庫(kù)一體機(jī)網(wǎng)格技術(shù)之大成高性能,低本錢(qián),冗余,線性擴(kuò)展超級(jí)性能&開(kāi)箱即用Exadata智能存儲(chǔ)效勞器網(wǎng)格14x高性能低本錢(qián)存儲(chǔ)效勞器100TBrawSAS盤(pán)or336TBrawSATA盤(pán)5TB+閃存(flashstorage)!RACDB數(shù)據(jù)庫(kù)效勞器網(wǎng)格8x高性能低本錢(qián)DB效勞器每個(gè)效勞器包括2x4核Xeons/72GBRAMInfiniBand網(wǎng)絡(luò)每路40Gb/sec的高可用網(wǎng)絡(luò)高擴(kuò)展高可靠OLTP智能存儲(chǔ)架構(gòu)優(yōu)勢(shì)主要指標(biāo)Exadata數(shù)據(jù)庫(kù)一體機(jī)Exadata智能存儲(chǔ)效勞器網(wǎng)格21GB/sec磁盤(pán)數(shù)據(jù)掃描50GB/sec內(nèi)存數(shù)據(jù)掃描1百萬(wàn)+隨機(jī)I/Os/sec,8KDB塊數(shù)據(jù)庫(kù)效勞器網(wǎng)格幾百萬(wàn)級(jí)事務(wù)處理能力/每分鐘幾千萬(wàn)級(jí)查詢能力/每分鐘幾十億級(jí)記錄掃描能力/每分鐘InfiniBand網(wǎng)絡(luò)880Gb/sec累計(jì)IO帶寬ExtremePerformance超級(jí)性能高擴(kuò)展高可靠OLTP智能存儲(chǔ)架構(gòu)優(yōu)勢(shì)主要指標(biāo)Exadata產(chǎn)品能力SingleServerQuarterRackHalfRackFullRackRawDisk1SAS7.2TB21TB50TB100TBSATA24TB72TB168TB336TBRawFlash1384GB1.1TB2.6TB5.3TBUserData2(assumingnocompression)SAS2TB6TB14TB28TBSATA7TB21TB50TB100TB1–Rawcapacitycalculatedusing1GB=1000x1000x1000bytesand1TB=1000x1000x1000x1000bytes.2-UserData:Actualspaceforend-userdata,computedaftersinglemirroring(ASMnormalredundancy)andafterallowingspacefordatabasestructuressuchastemp,logs,undo,andindexes.Actualuserdatacapacityvariesbyapplication.UserDatacapacitycalculatedusing1TB=1024*1024*1024*1024bytes.高擴(kuò)展高可靠OLTP智能存儲(chǔ)架構(gòu)優(yōu)勢(shì)主要指標(biāo)Exadata存儲(chǔ)效勞器硬件構(gòu)成做為MPP網(wǎng)格的單元部件，每個(gè)2U單元提供高達(dá)1.5GB/sec原始數(shù)據(jù)帶寬(withDisk)高達(dá)75,000IOPS(withFlash)高達(dá)3.6GB/sec原始數(shù)據(jù)帶寬(withFlash)智能存儲(chǔ)效勞器構(gòu)成2x4核Xeon?E5540處理器(Nehalem架構(gòu))24GBRAM雙口4xQDR(40Gb/s)InfiniBand接口卡磁盤(pán)選項(xiàng)12x600GBSAS盤(pán)(合計(jì)7.2TB)12x2TBSATA盤(pán)(合計(jì)24TB)4x96GBSunFlashPCIeCards(合計(jì)384GB)軟件預(yù)裝OracleExadata智能存儲(chǔ)效勞器軟件OracleEnterpriseLinuxDrivers,Utilities來(lái)源于Oralce的統(tǒng)一支持效勞3year,24x7,4HrOn-siteresponse高擴(kuò)展高可靠OLTP智能存儲(chǔ)架構(gòu)優(yōu)勢(shì)主要指標(biāo)ExadataSmartStorage智能存儲(chǔ)效勞器

突破數(shù)據(jù)處理帶寬瓶頸及隨機(jī)IO瓶頸Exadata以三種途徑解決數(shù)據(jù)處理帶寬瓶頸大規(guī)模智能存儲(chǔ)網(wǎng)格并發(fā)計(jì)算MPP數(shù)據(jù)處理帶寬與數(shù)據(jù)量成正比存儲(chǔ)層負(fù)責(zé)數(shù)據(jù)密集型處理SmartScan數(shù)據(jù)庫(kù)SQL負(fù)荷被分布到存儲(chǔ)層實(shí)現(xiàn)，利用大量存在的存儲(chǔ)層CPU處理本存儲(chǔ)節(jié)點(diǎn)內(nèi)的數(shù)據(jù)混合型列壓縮HCC，數(shù)據(jù)量降低10倍以上HCC在降低存儲(chǔ)本錢(qián)的同時(shí)，增加了查詢性能通過(guò)ExadataSmartFlashCache解決隨機(jī)IO瓶頸隨機(jī)I/Os速度提升20倍以上ExadataStorageCells高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Exadata的存儲(chǔ)端數(shù)據(jù)庫(kù)處理邏輯ExadataStorageServer在存儲(chǔ)端進(jìn)行數(shù)據(jù)密集型處理智能掃描SmartScanROW使用“where”謂詞篩選行COLUMN列篩選JOIN聯(lián)接篩選增量備份篩選混合型列壓縮技術(shù)自動(dòng)透明的存儲(chǔ)索引掃描加密數(shù)據(jù)通?？蓪l(fā)送到數(shù)據(jù)庫(kù)效勞器的數(shù)據(jù)減少

10倍無(wú)需更改應(yīng)用程序處理是自動(dòng)和透明的即使在查詢期間單元或磁盤(pán)發(fā)生故障高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)傳統(tǒng)數(shù)據(jù)庫(kù)掃描處理技術(shù)基于傳統(tǒng)存儲(chǔ)技術(shù)，全部的數(shù)據(jù)庫(kù)智能存在于數(shù)據(jù)庫(kù)主機(jī)。來(lái)源于存儲(chǔ)的數(shù)據(jù)大局部被數(shù)據(jù)庫(kù)主機(jī)所丟棄。大量的廢棄數(shù)據(jù)占用了珍貴的數(shù)據(jù)庫(kù)主機(jī)資源〔IO、內(nèi)存和CPU〕，嚴(yán)重影響其它任務(wù)執(zhí)行，處理緩慢。

I/Os執(zhí)行:返回1TB數(shù)據(jù)

DB主機(jī)篩選1TB數(shù)據(jù)，得到1000行客戶要求的數(shù)據(jù)，計(jì)算并返回給客戶端

返回?cái)?shù)據(jù)行

SELECTcustomer_nameFROMcallsWHEREamount>200;

DB主機(jī)確定表的存儲(chǔ)分區(qū)

發(fā)起I/Os請(qǐng)求高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Oracle數(shù)據(jù)庫(kù)網(wǎng)格SmartScan

處理技術(shù)

Exadata為什么快10-100x倍?問(wèn)題：昨天的銷售業(yè)績(jī)?nèi)绾危縀xadata智能存儲(chǔ)層SUMSelectsum(sales)whereDate=’24-Sept’…SmartScan

在TB級(jí)數(shù)據(jù)中掃描匹配請(qǐng)求的數(shù)據(jù)構(gòu)建并發(fā)SmartScan請(qǐng)求僅僅返回滿足條件的數(shù)據(jù)高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Exadata混合列壓縮數(shù)據(jù)按列存儲(chǔ)，然后壓縮針對(duì)數(shù)據(jù)倉(cāng)庫(kù)的查詢模式–為提高速度進(jìn)行了優(yōu)化–通常壓縮比可達(dá)10倍–掃描成比例增長(zhǎng)針對(duì)不常訪問(wèn)數(shù)據(jù)的歸檔模式–為減小空間進(jìn)行了優(yōu)化–通?？蛇_(dá)15倍壓縮–對(duì)某些數(shù)據(jù)可達(dá)50倍壓縮高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)壓縮的行混合列Row1SymbolTableRow2Row3DatabaseBlock很好的隨機(jī)行訪問(wèn)特性O(shè)K表訪問(wèn)2x-5x壓縮Column1Column2Column3列數(shù)據(jù)庫(kù)很差的隨機(jī)行訪問(wèn)特性非常好的

TableScan5x-40x壓縮CompressionUnit1Column1Column2Column3CompressionUnit2C1C2C3很好的隨機(jī)行訪問(wèn)特性非常好的

TableScan5x-40x壓縮行壓縮vs列數(shù)據(jù)庫(kù)vs混合列壓縮高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)實(shí)際環(huán)境壓縮比

OracleProductionE-BusinessSuiteTables壓縮比率：Query=14.6XArchive=22.6XVarybyapplicationandtable52高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Exadata存儲(chǔ)索引

無(wú)需任何開(kāi)銷即可透明地消除I/OExadata存儲(chǔ)索引在內(nèi)存中保存表數(shù)據(jù)的匯總信息存儲(chǔ)列的MIN和MAX值通常每MB磁盤(pán)空間建立一個(gè)索引項(xiàng)如果MIN和MAX值不匹配查詢的“where”子句，那么不訪問(wèn)磁盤(pán)I/O完全地自動(dòng)化和透明ABCD135583MinB=1MaxB=5TableIndexMinB=3MaxB=8Select*fromTablewhereB<2-僅第一組記錄匹配高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Exadata存儲(chǔ)索引

例如表SALES–對(duì)常用列自動(dòng)收集的摘要存儲(chǔ)在ExadataStorageServer的內(nèi)存03-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000203040,000.0003-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateDataChunk#103-SEP-200903-SEP-2009Order_date8030010000Cust_ID300002030Prod_ID40,00010,000Amount20,00010,000AmountDataChunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust_ID1007520098Prod_ID2001032932高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)Exadata存儲(chǔ)索引

例如表SALES–存儲(chǔ)索引將無(wú)關(guān)data

chunk忽略掉提供類似

分區(qū)修剪的功能NetezzareliesuponZoneMapsWHEREship_date

between’01-SEP-2009’

and’31-SEP-2009’排除datachunk#203-NOV-200901-OCT-2009Ship_date07-OCT-200905-SEP-2009Ship_dateDataChunk#103-SEP-200903-SEP-2009Order_date8030010000Cust_ID300002030Prod_ID40,00010,000Amount20,00010,000AmountDataChunk#2MINMAXOrder_date03-SEP-200903-SEP-2009Cust_ID1007520098Prod_ID200103293203-NOV-200919-OCT-200901-OCT-200907-OCT-200905-SEP-200919-SEP-2009Ship_dateOrder_dateCust_IDProd_IDAmount03-SEP-2009100753293210,000.0003-SEP-2009200982009820,000.0003-SEP-2009100892001015,000.0003-SEP-2009201001000035,000.0003-SEP-2009803003000010,000.0003-SEP-200910000203040,000.00

x高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)對(duì)大型掃描的優(yōu)化1TB〔壓縮〕10TB的用戶數(shù)據(jù)需要10TB的IO100GB〔分區(qū)修剪〕20GB〔存儲(chǔ)索引〕5GB〔智能掃描〕在DatabaseMachine上實(shí)現(xiàn)亞秒級(jí)數(shù)據(jù)減少10倍，掃描加快2000倍高擴(kuò)展高可靠OLTP架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTP應(yīng)用特點(diǎn)與傳統(tǒng)存儲(chǔ)的局限性O(shè)LTP注重?cái)?shù)據(jù)的計(jì)算、記錄的插入、刪除與修改，以及簡(jiǎn)單的查詢和統(tǒng)計(jì)。它的主要任務(wù)是進(jìn)行事務(wù)處理，所關(guān)注的是事務(wù)處理的及時(shí)性、完整性和正確性。衡量OLTP性能主要看TPS和響應(yīng)時(shí)間影響OLTP性能的主要是存儲(chǔ)系統(tǒng)的IOPS性能傳統(tǒng)高端存儲(chǔ)架構(gòu)的特點(diǎn)導(dǎo)致IOPS性能的缺乏，典型高端陣列只能到達(dá)100k+IOPS。數(shù)據(jù)庫(kù)與存儲(chǔ)之間互不了解，無(wú)法進(jìn)行智能優(yōu)化處理高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTP解決磁盤(pán)隨機(jī)I/O瓶頸磁盤(pán)可存儲(chǔ)大量數(shù)據(jù)但每秒的隨機(jī)I/O<200-300I/Os(8K塊)Flash閃存技術(shù)可存儲(chǔ)少量數(shù)據(jù)〔但遠(yuǎn)大于DRAM〕但卻能提供每秒幾萬(wàn)級(jí)的I/O理想解決方案-兩者結(jié)合保存大容量數(shù)據(jù)于磁盤(pán)保存大比例常用數(shù)據(jù)于閃存(～5%-10%)在磁盤(pán)和flash間透明傳遞數(shù)據(jù)采用flashcards，而非閃存Disk防止控制器瓶頸在智能存儲(chǔ)效勞器中部署Flashcards高帶寬,低延時(shí)數(shù)據(jù)庫(kù)邏輯感知300I/OperSecTensofThousandsofI/O’sperSecond高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTPExadataFlash閃存

提供隨機(jī)I/O的超級(jí)性能數(shù)據(jù)庫(kù)一體機(jī)提供總計(jì)5TB的閃存每智能存儲(chǔ)效勞器配置4塊高速閃存卡SmartFlashCache緩存熱數(shù)據(jù)，但不是采用簡(jiǎn)單的LRU算法,庫(kù)邏輯感知基于數(shù)據(jù)庫(kù)數(shù)據(jù)使用邏輯，知道那些數(shù)據(jù)應(yīng)該緩存,那些不應(yīng)該緩存允許基于應(yīng)用表進(jìn)行指定優(yōu)化，如提示高優(yōu)先級(jí)駐留于緩存OracleistheFirstFlashOptimizedDatabase高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTPExadataSmartFlashCache

超級(jí)性能表現(xiàn)DatabaseMachine可實(shí)現(xiàn):20+倍隨機(jī)I/Os(75Kvs.3.6Kpercell)超過(guò)1百萬(wàn)I/OsperSec2+倍大數(shù)據(jù)量順序I/O(50GB/svs.21GB/s)50GB/sec10倍更快的響應(yīng)時(shí)間<1ms極大地降低本錢(qián)10倍更少的磁盤(pán)I/O需求更低的功耗隨機(jī)I/Os速度比1000塊盤(pán)的企業(yè)級(jí)陣列(200KIOPS)快5倍高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTP內(nèi)存中并行執(zhí)行SQL語(yǔ)句確定所查詢表的大小讀到任意節(jié)點(diǎn)的緩沖區(qū)緩存中表非常小如果表非常適用于

內(nèi)存中并行執(zhí)行直接從磁盤(pán)讀取表非常大將表的各部分讀到每個(gè)節(jié)點(diǎn)的緩沖區(qū)緩存中只有同一RAC節(jié)點(diǎn)上的并行服務(wù)器可以訪問(wèn)每個(gè)部分高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTP內(nèi)存中并行執(zhí)行數(shù)據(jù)庫(kù)11.2版引入了對(duì)內(nèi)存緩存(DRAMcached)數(shù)據(jù)的并行查詢處理–利用整個(gè)數(shù)據(jù)庫(kù)集群的內(nèi)存容量進(jìn)行查詢–1TBTPC-H世界紀(jì)錄的根底一個(gè)SunOracleDatabaseMachine機(jī)架可用DRAM400GB進(jìn)行緩存Exadata混合列存儲(chǔ)可使4TBdatainDRAMQphH:1TBTPC-H比專用內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)更快DRAM比磁盤(pán)有100x帶寬高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTPExadataOLTP–與傳統(tǒng)SMP架構(gòu)比照2架冗余ExadataV21xP595(IBM最快的單機(jī)SMP)8xIBMDS8300Turbo$10.7M$2.3M相似的DB效勞器性能相似的I/O能力BothwithFlash相似的存儲(chǔ)容量高擴(kuò)展高可靠架構(gòu)優(yōu)勢(shì)主要指標(biāo)智能存儲(chǔ)OLTP防止磁盤(pán)或Cell的單點(diǎn)故障

ASMMirroringandFailureGroupsASMmirroringisusedprotectagainstdiskfailuresASMfailuregroupsareusedtoprotectagainstcellfailuresExadataCellExadataCellHotHotHotHotHotHotColdColdColdColdColdColdASMDiskGroupAS