2.4.1使用開發(fā)工具eclipse編寫spark應(yīng)用程序scalamaven

1、Tracy 2017 年 3 月 8 日1676 【】博客內(nèi)容由廈門大學(xué)數(shù)據(jù)庫擁有，！一.運(yùn)行環(huán)境介紹返回 Spark首頁對 Scala 代碼進(jìn)行打包編譯時，可以采用 Maven，也可以采用 sbt，相對而言，業(yè)界使用sbt。本介紹如何在 Ubuntu 中使用 Eclipse 來開發(fā) scala程序（使用 Maven 工具），在 Spark 2.1.0，scala 2.11.8 下驗(yàn)證通過。使用Eclipse，可以直接運(yùn)行代碼，省去許多繁瑣令。（相關(guān)文章：如何在Ubuntu 中使用 Eclipse 來開發(fā) scala 程序（使用sbt 工具）使用 Eclipse 編寫 Spark 應(yīng)用程序（S

2、cala+Maven）二.安裝必備Spark 和scala 安裝方法可以參考,Spark 安裝和使用 ,Scala 安裝,eclipse 可以安裝 scala ide for eclipse，這樣可以省下很多工夫去不用安裝maven 和scala 類似的相關(guān)插件,進(jìn)入scala ide for eclipse,圖如下所示,選擇Linux GTK 64 bit,Scala ide for eclipse ubuntu 16.04spark 2.1.0scala 2.11接下來解壓安裝包到/usr/local 下，并測試運(yùn)行eclipse1.sudo tar -zxvf /scala-SDK-4.

3、5.0-vfinal-2.11-linux.gtk.x86_64.tar.gz -C /usr/local2.cd /usr/local3./eclipse/eclipsehttp:/blog/1406/javascript:void(0);http:/blog/1406/javascript:void(0);出現(xiàn)如下界面說明運(yùn)行成功了。如果各位沒有安裝該版本的eclipse，很可能會花費(fèi)不必要的麻煩去安裝相關(guān)的插件，下面筆者也介紹下安裝maven 和scala 插件的方法，（ps:安裝了scala idefor eclipse 的可以直接跳過該步驟）安裝maven 插件和scala 插件先進(jìn)

4、入eclipse 后，點(diǎn)擊Help-Install New Software,在出現(xiàn)的install 界面上輸入maven 插件的（注意：末尾的neno 是eclipse 對應(yīng)的版本名稱，如果你用的不是neno 版本，請換成自己用的eclipse 版本號），然后再在下面的文本框輸入maven，點(diǎn)擊selectall，點(diǎn)擊next，接下來一直點(diǎn)擊next 或 finish 就可以了。安裝scala 插件同樣，點(diǎn)擊Help-Install New Software,在出現(xiàn)的install 界面上輸入scala 插件的， ，摁下回車鍵，接著select all，然后同樣一直next 或finish

5、就可以了。在/usr/local/spark 下建立目錄/mycode/wordcount,然后在“/usr/local/spark/mycode/wordcount”目錄下新建一個包含了一些語句的文本文件word.txt，命令如下：1.cd /usr/local/spark2.mkdir mycode3.cd mycode4.mkdir wordcount5.cd wordcount6.vim word.txt你可以在文本文件中隨意輸入一些單詞，用空格隔開，會編寫 Spark 程序?qū)υ撐募M(jìn)行單詞詞頻統(tǒng)計。然后，按鍵盤Esc 鍵退出vim 編輯狀態(tài)，輸入“:wq”保存文件并退出vim 編輯器

6、。http:/blog/1406/javascript:void(0);http:/blog/1406/javas cript:void(0);打開eclipse 后，在工程欄右鍵New-Project,在出現(xiàn)的界面上雙擊maven文件，選擇maven project，先點(diǎn)擊右下角的 Add Archetype，第一個Archetype Grou選擇net.alchim31.maven，第二個Archetype Artifactid 選擇scala-archetype-simple,第三個選擇 ver是 1.6，點(diǎn)擊OK，在Catalog 里選擇All Catalogs，在filter 里輸入

7、scala，會出現(xiàn)net.alchim31.maven，ver為 1.6 版本的選項(xiàng)，選擇它，點(diǎn)擊next，然后在Grou上填寫dblab，在Artifact 填寫 WordCount，package 填寫dblab.WordCount,點(diǎn)擊Finish。這樣就可以在maven 上創(chuàng)建 Scala 類了。三.創(chuàng)建maven 工程四.創(chuàng)建scala 類，運(yùn)行scala 程序點(diǎn)擊新建的WordCount 工程，再選擇src/main/scala,右擊dblab.WordCount那個建成的包，New-scala Class,然后在Name 那個文本框中輸入dblab.WordCount.WordC

8、ount,點(diǎn)擊Finish，然后將如下代碼完全進(jìn)去1.2. import.apache.spark.SparkContext._3.import.apache.spark.SparkConfimport.apache.spark.SparkContext4.5.object WordCount 6.def main(args: ArrayString) 7.val inputFile =file:/usr/local/spark/mycode/wordcount/word.txt8.val conf = new SparkConf().setAppName(WordCount).setMast

9、er(local2)9.val sc = new SparkContext(conf)10. val textFile = sc.textFile(inputFile)11. val wordCount = textFile.flatMap(line = line.split( ).map(word = (word, 1).reduceByKey(a, b) = a + b)12. wordCount.foreach(prln)13. 14. http:/blog/1406/javascript:void(0);http:/blog/1406/javascript:void(0);接下來編譯p

10、om.xml 文件，把代碼運(yùn)行的包導(dǎo)入環(huán)境中，如圖然后將pom.xml 里的內(nèi)容清空，黏貼如下代碼1./maven-v4_0_0.xsd2. 4.0.03. dblab4. WordCount5. 0.0.1-SNAPSHOT6. 20087. .1.0ation=.= xsi:schemaLocproject xmlns= xmlns:xsi10. 11.12. 13. 14. scala-tools.15. Scala-Tools Maven2 Reitory16.17. 18. 19.20. 21. 22. scala-tools.23. Scala-Tools Mav

11、en2 Reitory24.25. 26. 27.28. 29. 30. .apache.spark31. spark-core_$scala.ver32.$spark.ver33. 34.35. 36. junit37. junit38. 4.439. test40. 41. 42. .specs43. specs44. 1.2.545. test46. 47. 48.49. 50. src/main/scala51. src/test/scala52. 53. 54.55. maven-scala-plugin56. 57. 58. 59. compile60. pile61. 62. 6

12、3. 64. 65. $scala.ver66. 67. -:jvm-1.568. 69. 70. 71. 72. .apache.maven.plugins73. maven-eclipse-plugin74. 75.true.scala-tools76.77.mand78. 79. 80. ch.epfl.l.sdt.core.scalanature81. 82. 83. .eclipse.jdt.launching.JRE_CONTAINER84. ch.epfl.l.sdt.launching.SCALA_CONTAINER85. 86. 87. 88. 89. 90. 91. 92.

13、 93.scala-toolsch.epfl.l.sdt.core.scalabuilder94. maven-scala-plugin95. 96. $scala.ver97. 98. 99. 100. 101.在代碼處右擊，Run AS-Maven build,編譯，如果在Console 欄里出現(xiàn) Buildsucs，說明編譯成功回到scala 程序界面，你會發(fā)現(xiàn)左邊第二個src/test/scala 文件有個小紅叉，這個對編譯結(jié)果并沒影響，但會影響后面打包，可以刪除它http:/blog/1406/javascript:void(0);http:/blog/1406/javascript

14、:void(0);繼續(xù)右擊WordCount.scala.Run AS -scala Application,得出結(jié)果接著返回pom.xml 的界面，空白處右擊，Run AS-Maven install,出現(xiàn)如下界面后說明打包已成功，打開Ubuntu 自帶的文件夾系統(tǒng)，進(jìn)入/home/hadoop/workspace/WordCount/,會看到WordCount-0.0.1-SNAPSHOT.jar,就是maven 打包成功的文件然后，由于Ubuntu 系統(tǒng)的原因，包的路徑太深，運(yùn)行很可能會出現(xiàn)找不到類的異常，所以可以把這個包移動到常用的較淺的目錄下，1.nt-0.0.1-SNAPSHOT.jar /usr/local #/usr/local 是本人常用的目錄接著運(yùn)行以下指令，1. /usr/local/spark/bin/spark-submit -class WordCount/usr/local/WordCount-0.0.1-SNAPSHOT.jar出現(xiàn)