2023學(xué)年完整公開(kāi)課版sortBy函數(shù)解析

sortBy函數(shù)解析目錄概述sortBy函數(shù)解析21222概述1概述

在很多應(yīng)用場(chǎng)景都需要對(duì)結(jié)果數(shù)據(jù)進(jìn)行排序。在Spark中存在兩種對(duì)RDD進(jìn)行排序的函數(shù)，分別是sortBy和sortByKey函數(shù)。sortBy是對(duì)標(biāo)準(zhǔn)的RDD進(jìn)行排序，它是從Spark0.9.0之后才引入的。而sortByKey函數(shù)是對(duì)PairRDD進(jìn)行排序，也就是有Key和Value的RDD。sortBy函數(shù)解析2sortBy函數(shù)解析

sortBy函數(shù)是在org.apache.spark.rdd.RDD類(lèi)中實(shí)現(xiàn)的，它的實(shí)現(xiàn)如下：/**

*ReturnthisRDDsortedbythegivenkeyfunction.

*/defsortBy[K](

f:(T)=>K,

ascending:Boolean=true,

numPartitions:Int=this.partitions.size)

(implicitord:Ordering[K],ctag:ClassTag[K]):RDD[T]=

this.keyBy[K](f)

.sortByKey(ascending,numPartitions)

.valuessortBy函數(shù)解析

該函數(shù)最多可以傳三個(gè)參數(shù)：

1、第一個(gè)參數(shù)是一個(gè)函數(shù)，該函數(shù)的也有一個(gè)帶T泛型的參數(shù)，返回類(lèi)型和RDD中元素的類(lèi)型是一致的；

2、第二個(gè)參數(shù)是ascending，這個(gè)參數(shù)決定排序后RDD中的元素是升序還是降序，默認(rèn)是true，也就是升序；

3、第三個(gè)參數(shù)是numPartitions，該參數(shù)決定排序后的RDD的分區(qū)個(gè)數(shù)，默認(rèn)排序后的分區(qū)個(gè)數(shù)和排序之前的個(gè)數(shù)相等，即為this.partitions.size。sortBy函數(shù)解析

從sortBy函數(shù)的實(shí)現(xiàn)可以看出，第一個(gè)參數(shù)是必須傳入的，而后面的兩個(gè)參數(shù)可以不傳入。而且sortBy的實(shí)現(xiàn)依賴(lài)于sortByKey。keyBy函數(shù)也是RDD類(lèi)中進(jìn)行實(shí)現(xiàn)的，它的主要作用就是將將傳進(jìn)來(lái)的每個(gè)元素作用于f(x)中，并返回tuples類(lèi)型的元素，也就變成了Key-Value類(lèi)型的RDD，它的實(shí)現(xiàn)如下：/***CreatestuplesoftheelementsinthisRDDbyapplying`f`。*/defkeyBy[K](f:T=