MLLib在淘寶的使用和改進(jìn)

MLlib在淘寶的應(yīng)用和改進(jìn)淘寶技術(shù)部數(shù)據(jù)挖掘與計(jì)算——高性能計(jì)算洪奇明風(fēng)MLlib在淘寶分類(lèi)&回歸樸素貝葉斯決策樹(shù)線(xiàn)性模型協(xié)同過(guò)濾ALS聚類(lèi)KMeans關(guān)聯(lián)規(guī)則FPGrowth降維優(yōu)化特征提取L-BFGS梯度下降基本統(tǒng)計(jì)相關(guān)性分層抽樣假設(shè)檢驗(yàn)SVDPCATF-IDFWord2VecStandardScalerNormalizer主要內(nèi)容決策樹(shù)多分類(lèi)決策樹(shù)基本算法應(yīng)用場(chǎng)景——用戶(hù)識(shí)別購(gòu)買(mǎi)頻率女男男購(gòu)買(mǎi)化妝品高低多少根節(jié)點(diǎn)葉節(jié)點(diǎn)內(nèi)部節(jié)點(diǎn)deftree_growth(instances):

#如果滿(mǎn)足終止條件，返回葉子結(jié)點(diǎn)

ifshould_stop(instances):leaf=newNode(isleaf=True)leaf.label=classify(instances)

returnleaf

#計(jì)算每一個(gè)split的信息增量

forsplitinpossible_splits:infogains[split]=calculate_infogain(split)

#得到具有最大信息增量的splitbest_split=infogains.index(max(infogains))

#按照最優(yōu)split劃分樣本，遞歸構(gòu)建樹(shù)root=newNode(isLeaf=False)

for(split_outcome,split_sublists)in

split_instances(instances,best_split):child=tree_growth(split_sublists)root.add_child(split_outcome,split_sublists)

returnroot決策樹(shù)的構(gòu)建決策樹(shù)在Spark的實(shí)現(xiàn)劃分特征每一個(gè)樣本應(yīng)該被分到哪個(gè)桶聚合每一個(gè)桶的統(tǒng)計(jì)信息計(jì)算每次分割的信息增量找到該層所有節(jié)點(diǎn)的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342劃分特征：連續(xù)特征的分割點(diǎn)SPARK-3207&PR-2780原來(lái)的實(shí)現(xiàn)：抽樣之后排序，選擇分位點(diǎn)作為分割點(diǎn)會(huì)有重復(fù)的分割點(diǎn)222222223分隔1分隔21劃分特征：連續(xù)特征的分割點(diǎn)現(xiàn)在的實(shí)現(xiàn)：統(tǒng)計(jì)每一個(gè)值的次數(shù)選擇累加次數(shù)最接近分位次數(shù)的值作為分割點(diǎn)不會(huì)有重復(fù)的分割點(diǎn)112222222233（1,2）（2,8）（3,2）48分位次數(shù)21012累計(jì)次數(shù)每一個(gè)詞的次數(shù)12分隔點(diǎn)1劃分特征：連續(xù)特征的分割點(diǎn)valstride:Double=featureSamples.length.toDouble/

(numSplits+1)valsplits=newArrayBuffer[Double]varindex=1varcurrentCount=valueCounts(0)._2vartargetCount=stridewhile(index<valueCounts.length){

valpreviousCount=currentCountcurrentCount+=valueCounts(index)._2

valpreviousGap=math.abs(previousCount-targetCount)

valcurrentGap=math.abs(currentCount-targetCount)

if(previousGap<currentGap){splits.append(valueCounts(index-1)._1)targetCount+=stride

}index+=1}1樣本分桶：一次FindBinsForLevelSPARK-3022&PR-1941FindBinsForLevel：樣本到bin的映射確定分隔之后，映射已經(jīng)確定在開(kāi)始時(shí)計(jì)算一次和社區(qū)工作重合（PR-1950）valtreeInput=TreePoint.convertToTreeRDD(

retaggedInput,bins,metadata)2決策樹(shù)在Spark的實(shí)現(xiàn)劃分特征每一個(gè)樣本應(yīng)該被分到哪個(gè)桶聚合每一個(gè)桶的統(tǒng)計(jì)信息計(jì)算每次分割的信息增量找到該層所有節(jié)點(diǎn)的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342樣本分桶：一次FindBinsForLevelSPARK-3022&PR-1941FindBinsForLevel：樣本到bin的映射確定分隔之后，映射已經(jīng)確定在開(kāi)始時(shí)計(jì)算一次和社區(qū)工作重合（PR-1950）valtreeInput=TreePoint.convertToTreeRDD(

retaggedInput,bins,metadata)2信息增益：并行計(jì)算BestSplitsSPARK-3366&PR-2595原先實(shí)現(xiàn)在Driver上計(jì)算每一個(gè)節(jié)點(diǎn)的BestSplitsDriver會(huì)成為計(jì)算和通信的瓶頸分布式計(jì)算BestSplitsReduceByKey把聚合信息Shuffle到Executor在Executor上進(jìn)行計(jì)算3決策樹(shù)在Spark的實(shí)現(xiàn)劃分特征每一個(gè)樣本應(yīng)該被分到哪個(gè)桶聚合每一個(gè)桶的統(tǒng)計(jì)信息計(jì)算每次分割的信息增量找到該層所有節(jié)點(diǎn)的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342信息增益：并行計(jì)算BestSplitsSPARK-3366&PR-2595原先實(shí)現(xiàn)在Driver上計(jì)算每一個(gè)節(jié)點(diǎn)的BestSplitsDriver會(huì)成為計(jì)算和通信的瓶頸分布式計(jì)算BestSplitsReduceByKey把聚合信息Shuffle到Executor在Executor上進(jìn)行計(jì)算3最好分割：前向剪枝SPARK-2207&PR-2332停止分隔的兩個(gè)參數(shù)minInfoGain:分隔造成的最小信息增量minInstancesPerNode：分隔出左右兒子最少的樣本數(shù)已經(jīng)合并進(jìn)master，1.2版本發(fā)布4決策樹(shù)在Spark的實(shí)現(xiàn)劃分特征每一個(gè)樣本應(yīng)該被分到哪個(gè)桶聚合每一個(gè)桶的統(tǒng)計(jì)信息計(jì)算每次分割的信息增量找到該層所有節(jié)點(diǎn)的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342最好分割：前向剪枝SPARK-2207&PR-2332停止分隔的兩個(gè)參數(shù)minInfoGain:分隔造成的最小信息增量minInstancesPerNode：分隔出左右兒子最少的樣本數(shù)已經(jīng)合并進(jìn)master，1.2版本發(fā)布4最好分割：避免葉結(jié)點(diǎn)的計(jì)算SPARK-3158&PR-2708葉節(jié)點(diǎn)不需要再去尋找最優(yōu)分隔：最后一層的節(jié)點(diǎn)Impurity為0的節(jié)點(diǎn)4決策樹(shù)在Spark的實(shí)現(xiàn)劃分特征每一個(gè)樣本應(yīng)該被分到哪個(gè)桶聚合每一個(gè)桶的統(tǒng)計(jì)信息計(jì)算每次分割的信息增量找到該層所有節(jié)點(diǎn)的最好分割逐層訓(xùn)練繼續(xù)下一層終止？停止訓(xùn)練是否1342最好分割：避免葉結(jié)點(diǎn)的計(jì)算SPARK-3158&PR-2708葉節(jié)點(diǎn)不需要再去尋找最優(yōu)分隔：最后一層的節(jié)點(diǎn)Impurity為0的節(jié)點(diǎn)4決策樹(shù)的展望梯度提升樹(shù)（GradientBoosting）AdaBoostSpark1.2版本多分類(lèi)

多分類(lèi)應(yīng)用場(chǎng)景對(duì)戰(zhàn)預(yù)測(cè)（勝(0)、負(fù)(2)、平(1)）球隊(duì)屬性1球隊(duì)屬性2球隊(duì)屬性3結(jié)果0.000.280.55610.00-0.02-0.00320.330.050.20…………多分類(lèi)訓(xùn)練器（Estimator）輸入多分類(lèi)預(yù)測(cè)器（Predictor）球隊(duì)屬性1球隊(duì)屬性2球隊(duì)屬性30.23-0.33-0.660.730.00-0.33………訓(xùn)練結(jié)果輸入結(jié)果21…多分類(lèi)的實(shí)現(xiàn)使用One-VS-All策略，組合二分類(lèi)器實(shí)現(xiàn)多分類(lèi)訓(xùn)練數(shù)據(jù)訓(xùn)練器1訓(xùn)練器2訓(xùn)練器3…訓(xùn)練標(biāo)簽二值化預(yù)測(cè)器1預(yù)測(cè)器2預(yù)測(cè)器3…預(yù)測(cè)測(cè)試數(shù)據(jù)概率1概率1概率3…選擇概率最大的為結(jié)果多分類(lèi)器的實(shí)現(xiàn)-訓(xùn)練deffit(input:RDD[LabeledPoint]):MultiClasssficationModel[M]={

valpredictors=newArray[M](numClasses)

varcls=0

while(cls<numClasses){

valcurrentLabel=cls

valbinaryInput=input.map(p=>{

vallabel=if(p.label==currentLabel)1.0else0.0

LabeledPoint(label,p.features)

})

valmodel:M=baseEstimator.fit(binaryInput)estimators(cls)=model

cls+=1

}

newMultiClassificationModel[M](predictors)

}多分類(lèi)器的實(shí)現(xiàn)-預(yù)測(cè)classMultiClassificationModel[M<:ClassificationWithProbModel]

(valbasePredictors:Array[M])extendsSerializable{defpredict(x:Vector):Int={

valprobs=predictProb(x)probs.zipWithIndex.maxBy(_._1)._2

}defpredictProb(x:Vector):Array[Double]={

basePredictor