2023學(xué)年完整公開(kāi)課版Kylin剪枝優(yōu)化

Kylin剪枝優(yōu)化目錄CONTENTS2剪枝優(yōu)化效率檢測(cè)1為什么要進(jìn)行剪枝優(yōu)化3剪枝優(yōu)化的方法為什么要進(jìn)行剪枝優(yōu)化PART0101為什么要進(jìn)行剪枝優(yōu)化

在沒(méi)有采取任何的優(yōu)化措施的時(shí)候，Kylin會(huì)對(duì)每一個(gè)維度組合進(jìn)行預(yù)計(jì)算，若有4個(gè)維度，則會(huì)有將近2^4=16個(gè)Cuboid需要進(jìn)行計(jì)算。但是我們知道很多維度是：1.不需要參與計(jì)算或者說(shuō)不常用的2.與其他的維度有一定的包含關(guān)系的3.一定會(huì)跟其他維度一起進(jìn)行查詢的如果有10個(gè)維度那會(huì)有2^10=1024個(gè)Cuboid需要進(jìn)行計(jì)算，雖然每個(gè)Cuboid的大小存在很大的差異，但是單單想到Cuboid的數(shù)量就足以讓人想象這樣大小的Cube對(duì)于構(gòu)建引擎、存儲(chǔ)引擎的壓力會(huì)有多么巨大，所以在構(gòu)建維度較多的Cube時(shí)，剪枝優(yōu)化是非常重要的。剪枝優(yōu)化效率檢測(cè)PART0202剪枝優(yōu)化效率檢測(cè)

剪枝優(yōu)化效率檢測(cè)檢查Cube的數(shù)量->檢查被物化的Cube數(shù)量(Meterialized)檢查Cube的大小->expansionRate(0-1000%是一個(gè)較為正常的數(shù)字)剪枝優(yōu)化的方法PART0303剪枝優(yōu)化的方法

方法一：使用衍生維度即使用維度表的主鍵（也就是事實(shí)表的外鍵）來(lái)代替維度表的非主鍵維度，這種方式犧牲一部分運(yùn)行時(shí)間性能來(lái)節(jié)省Cube的空間占用目的。剪枝優(yōu)化的方法

方法二：使用聚合組聚合組假設(shè)一個(gè)Cube的所有維度均可以根據(jù)業(yè)務(wù)需求劃分為若干組（或者一個(gè)組），由于同一組合內(nèi)更有可能被同一查詢到，因此會(huì)表現(xiàn)出更強(qiáng)大的內(nèi)在關(guān)聯(lián)。

剪枝優(yōu)化的方法

每一個(gè)組內(nèi)，會(huì)包含三種可選的維度：1、強(qiáng)制維度（Mandatory）若為強(qiáng)制維度，則該分組中每一個(gè)Cubiod都會(huì)包含這個(gè)維度，若該維度一定會(huì)出現(xiàn)在查詢中，則應(yīng)當(dāng)將其設(shè)置為強(qiáng)制維度。2、層級(jí)維度（Hierachy）每一個(gè)層級(jí)中應(yīng)包含2-n個(gè)維度，這n個(gè)維度會(huì)以（）、（N1）、（N1，N2）、…、（N1，N2，…，Nn）這N+1種情況進(jìn)行組合。3、聯(lián)合維度（Joint）每一個(gè)聯(lián)合維度包括兩個(gè)或者更多的維度，聯(lián)合維度內(nèi)的維度，要么不出現(xiàn)，要么必須一起出現(xiàn)。不同的聯(lián)合之間不應(yīng)當(dāng)有共同的維度。剪枝優(yōu)化的方法

方法三：粒度優(yōu)化對(duì)應(yīng)的是提高Cube的并發(fā)度，其設(shè)置是在自定義屬性中的。一共有三個(gè)屬性可以提高并發(fā)度。1、kylin.hbase.region.cut（共使用幾個(gè)分區(qū)）2、kylin.hbase.region.count.min（最少使用幾個(gè)分區(qū)）3、kylin.hbase.region.count.max（最多使用幾個(gè)分區(qū)）根據(jù)相對(duì)應(yīng)的情況調(diào)高最少使用分區(qū)，降低最大使用分區(qū)，能夠有效增加系統(tǒng)的并行度。剪枝優(yōu)化的方法

方法四：(其他)RowKey優(yōu)化和Hbase的RowKey優(yōu)化類似。1、在查詢的過(guò)程中，被用作過(guò)濾條件的維度可能放在其他維度的前面。2、經(jīng)常出現(xiàn)的維度應(yīng)該放在前面。