創(chuàng)建RDD 說課一等獎

創(chuàng)建RDD目錄CONTENTS2創(chuàng)建RDD的三種方式1RDD概述RDD概述PART0101RDD概述01RDD是Spark的核心抽象，全稱為ResillientDistributedDataset，即彈性分布式數(shù)據(jù)集。02RDD在抽象上來說是一種元素集合，包含了數(shù)據(jù)。它是被分區(qū)的，分為多個分區(qū)，每個分區(qū)分布在集群中的不同節(jié)點上(分區(qū)即partition)，從而讓RDD中的數(shù)據(jù)可以被并行操作。(分布式的特性)03RDD通常通過Hadoop上的文件，即HDFS文件，來進行創(chuàng)建；有時也可以通過Spark應(yīng)用程序中的集合來創(chuàng)建。04RDD最重要的特性就是，提供了容錯性，可以自動從節(jié)點失敗中恢復(fù)過來。即如果某個節(jié)點上的RDDpartition，因為節(jié)點故障，導(dǎo)致數(shù)據(jù)丟了，那么RDD會自動通過自己的數(shù)據(jù)來源重新計算partition。這一切對使用者是透明的。05RDD的數(shù)據(jù)默認(rèn)的情況下是存放在內(nèi)存中的，但是在內(nèi)存資源不足時，Spark會自動將RDD數(shù)據(jù)寫入磁盤。(彈性的特性)。創(chuàng)建RDD的三種方式PART0202創(chuàng)建RDD的三種方式SparkCore為我們提供了三種創(chuàng)建RDD的方式，包括：

1.使用程序中的集合創(chuàng)建RDD在RDD中，通常就代表和包含了Spark應(yīng)用程序的輸入源數(shù)據(jù)。

當(dāng)我們，在創(chuàng)建了初始的RDD之后，才可以通過SparkCore提供的transformation算子，對該RDD進行transformation(轉(zhuǎn)換)操作，來獲取其他的RDD。2.使用本地文件創(chuàng)建RDD3.使用HDFS文件創(chuàng)建RDD創(chuàng)建RDD的三種方式3.使用HDFS文件創(chuàng)建RDD，應(yīng)該是最常用的生產(chǎn)環(huán)境處理方式，主要可以針對HDFS上存儲的大數(shù)據(jù)，進行離線批處理操作。1.使用程序中的集合創(chuàng)建RDD，主要用于進行測試，可以在實際部署到集群運行之前，自己使用集合構(gòu)造測試數(shù)據(jù)，來測試后面的spark應(yīng)用的流程。

2.使用本地文件創(chuàng)建RDD，主要用于的場景為：在本地臨時性地處理一些存儲了大量數(shù)據(jù)的文件。應(yīng)用場景實際操作并行化創(chuàng)建RDD如果要通過并行化集合來創(chuàng)建RDD，需要針對程序中的集合，調(diào)用SparkContext中的parallelize()方法。Spark會將集合中的數(shù)據(jù)拷貝到集群上去，形成一個分布式的數(shù)據(jù)集合，也就是一個RDD。即：集合中的部分?jǐn)?shù)據(jù)會到一個節(jié)點上，而另一部分?jǐn)?shù)據(jù)會到其它節(jié)點上。然后就可以采用并行的方式來操作這個分布式數(shù)據(jù)集合。//并行化創(chuàng)建RDD部分代碼//實現(xiàn)1到5的累加求和valarr=Array(1,2,3,4,5)valrdd=sc.parallelize(arr)valsum=rdd.reduce(_+_)實際操作Spark是支持使用任何Hadoop支持的存儲系統(tǒng)上的文件創(chuàng)建RDD的，比如說HDFS、Cassandra、HBase以及本地文件。通過調(diào)用SparkContext的textFile()方法，可以針對本地文件或HDFS文件創(chuàng)建RDD。使用textFile方法通過本地文件或HDFS創(chuàng)建RDD：//實現(xiàn)文件字?jǐn)?shù)統(tǒng)計//textFile()方法中，輸入本地文件路徑或是HDFS路徑//HDFS:hdfs://spark1:9000/data.txt//local:/home/hadoop/data.txtvalrdd=sc.textFile(“/home/hadoop/data.txt”)valwordCount=rdd.map(line=>line.length).reduce(_+_)實際操作可以針對一個目錄中的大量小文件，返回由（fileName,fileContent）組成的pair，即pairRDD，而不是普通的RDD。該方法返回的是文件名字和文件中的具體內(nèi)容；而普通的textFile()方法返回的RDD中，每個元素就是文本中一行文本。SparkContext的wholeTextFiles()方法對于Hadoop的自定義輸入類型，可以創(chuàng)建RDD。該方法接收J(rèn)obConf、InputFormatClass、Key和Value的Class。SparkContext的hadoopRDD()方法可以針對之前調(diào)用的RDD的saveAsObjectFile()創(chuàng)建的對象序列化的文件，反序列化文件中的數(shù)據(jù)，并創(chuàng)建一個RDD。SparkContext的objectFile()方法Spark支持的其余方法，創(chuàng)建RDD可以針對SequenceFile創(chuàng)建RDD，K和V泛型類型就是SequenceFile的key和value的類型