sparksql常用聚合函數(shù)

sparksql常用聚合函數(shù)2知識(shí)目標(biāo)常用的聚合函數(shù)聚合函數(shù)的分類(lèi)聚合函數(shù)的使用01能力目標(biāo)掌握常用的聚合函數(shù)掌握聚合函數(shù)的使用了解聚合函數(shù)的分類(lèi)02學(xué)習(xí)目標(biāo)3目錄01簡(jiǎn)單聚合函數(shù)02分組聚合函數(shù)03自定義聚合函數(shù)簡(jiǎn)單聚合4數(shù)據(jù)準(zhǔn)備//需要導(dǎo)入sparksql內(nèi)置的函數(shù)包importorg.apache.spark.sql.functions._valspark=SparkSession.builder().appName("aggregations").master("local[2]").getOrCreate()valempDF=spark.read.json("/usr/file/json/emp.json")//注冊(cè)為臨時(shí)視圖，用于后面演示SQL查詢(xún)empDF.createOrReplaceTempView("emp")empDF.show()簡(jiǎn)單聚合5Count：//計(jì)算員工人數(shù)empDF.select(count("ename")).show()

countDistinct://計(jì)算姓名不重復(fù)的員工人數(shù)empDF.select(countDistinct("deptno")).show()approx_count_distinct:通常在使用大型數(shù)據(jù)集時(shí)，你可能關(guān)注的只是近似值而不是準(zhǔn)確值，這時(shí)可以使用approx_count_distinct函數(shù)，并可以使用第二個(gè)參數(shù)指定最大允許誤差。簡(jiǎn)單聚合6獲取DataFrame中指定列的第一個(gè)值或者最后一個(gè)值：empDF.select(first("ename"),last("job")).show()

獲取DataFrame中指定列的最小值或者最大值。empDF.select(min("sal"),max("sal")).show()

求和以及求指定列所有不相同的值的和empDF.select(sum("sal")).show()分組聚合7簡(jiǎn)單聚合：empDF.groupBy("deptno","job").count().show()//等價(jià)SQLspark.sql("SELECTdeptno,job,count(*)FROMempGROUPBYdeptno,job").show()輸出：+------+---------+-----+|deptno|job|count|+------+---------+-----+|10|PRESIDENT|1||30|CLERK|1||10|MANAGER|1||30|MANAGER|1||20|CLERK|2||30|SALESMAN|4||20|ANALYST|2||10|CLERK|1||20|MANAGER|1|+------+---------+-----+分組聚合8empDF.groupBy("deptno").agg(count("ename").alias("人數(shù)"),sum("sal").alias("總工資")).show()//等價(jià)語(yǔ)法empDF.groupBy("deptno").agg("ename"->"count","sal"->"sum").show()//等價(jià)SQLspark.sql("SELECTdeptno,count(ename),sum(sal)FROMempGROUPBYdeptno").show()輸出：+------+----+------+|deptno|人數(shù)|總工資|+------+----+------+|10|3|8750.0||30|6|9400.0||20|5|9375.0|自定義聚合9Scala提供了兩種自定義聚合函數(shù)的方法，分別如下：有類(lèi)型的自定義聚合函數(shù)，主要適用于DataSet；無(wú)類(lèi)型的自定義聚合函數(shù)，主要適用于DataFrame。以