第1章 大數(shù)據(jù)項(xiàng)目概述

大數(shù)據(jù)項(xiàng)目概述1大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)基礎(chǔ)目錄企業(yè)大數(shù)據(jù)項(xiàng)目簡(jiǎn)介2官網(wǎng)：電話：189-2756-52592企業(yè)項(xiàng)目，如開(kāi)發(fā)一款軟件、一個(gè)信息管理系統(tǒng)、部署實(shí)施一套網(wǎng)絡(luò)環(huán)境等，涉及多個(gè)方面的多個(gè)環(huán)節(jié)。

在互聯(lián)網(wǎng)IT企業(yè)的偏軟件交付類項(xiàng)目中，一般涉及兩個(gè)公司：一個(gè)公司發(fā)布需求（甲方招標(biāo)，即提出軟件或系統(tǒng)或硬件的需求），而另一個(gè)公司滿足需求（乙方投標(biāo)，即完成需求的響應(yīng)）。

一般情況下，偏軟件交付類項(xiàng)目可以分為可行性分析、需求分析、軟件設(shè)計(jì)（概要設(shè)計(jì)、詳細(xì)設(shè)計(jì)）、編碼（軟件設(shè)計(jì)實(shí)現(xiàn)）、測(cè)試、運(yùn)行維護(hù)等幾個(gè)階段。有時(shí)，因?yàn)榧追綍?huì)提前進(jìn)行可行性分析，所以乙方的工作更加偏向后面幾個(gè)階段。官網(wǎng)：電話：189-2756-52593企業(yè)項(xiàng)目數(shù)據(jù)處理流程

企業(yè)偏軟件交付類項(xiàng)目包含的項(xiàng)目種類比較多，常見(jiàn)的項(xiàng)目如企業(yè)CRM（Customer

RelationshipManagement，客戶關(guān)系管理）系統(tǒng)、用戶個(gè)性化推薦系統(tǒng)等?；跀?shù)據(jù)處理類項(xiàng)目，企業(yè)項(xiàng)目數(shù)據(jù)處理流程如下圖。企業(yè)項(xiàng)目數(shù)據(jù)處理流程官網(wǎng)：電話：189-2756-52594

數(shù)據(jù)獲取：數(shù)據(jù)獲取可能是一個(gè)文本文件、一個(gè)數(shù)據(jù)庫(kù)、一個(gè)網(wǎng)絡(luò)端口、一個(gè)爬蟲(chóng)程序等，其主要功能是提供數(shù)據(jù)。

數(shù)據(jù)采集：數(shù)據(jù)采集即數(shù)據(jù)傳輸（狹義的概念），如通過(guò)文件傳送協(xié)議（File

Transfer

Protocol，F(xiàn)TP）下載文件就是一種數(shù)據(jù)傳輸?shù)倪^(guò)程。數(shù)據(jù)存儲(chǔ)：數(shù)據(jù)采集后，需要一個(gè)地方來(lái)存儲(chǔ)這些數(shù)據(jù)，以供備份或數(shù)據(jù)分析、挖掘使用。官網(wǎng)：電話：189-2756-52595企業(yè)項(xiàng)目數(shù)據(jù)處理流程數(shù)據(jù)分析、挖掘：此層主要完成一些和業(yè)務(wù)相關(guān)的計(jì)算、分析、挖掘任務(wù)。

數(shù)據(jù)調(diào)用：數(shù)據(jù)調(diào)用是針對(duì)數(shù)據(jù)分析、挖掘的結(jié)果提供某種獲取結(jié)果的接口，供第三方（或本系統(tǒng)）訪問(wèn)調(diào)用。

數(shù)據(jù)展現(xiàn)：數(shù)據(jù)展現(xiàn)負(fù)責(zé)數(shù)據(jù)的最終結(jié)果的展現(xiàn)。展現(xiàn)方式有多種，如表格、趨勢(shì)圖等，需要和具體業(yè)務(wù)掛鉤。官網(wǎng)：電話：189-2756-52596企業(yè)項(xiàng)目數(shù)據(jù)處理流程企業(yè)大數(shù)據(jù)項(xiàng)目一般架構(gòu)架構(gòu)分析官網(wǎng)：電話：189-2756-52597數(shù)據(jù)獲取層數(shù)據(jù)的來(lái)源多種多樣如文本文件、端口數(shù)據(jù)、移動(dòng)設(shè)備數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)。一般情況下，如果項(xiàng)目是科技項(xiàng)目或論文結(jié)題項(xiàng)目，那么數(shù)據(jù)源會(huì)直接給出數(shù)據(jù)，如CSV文件。

而項(xiàng)目是企業(yè)級(jí)項(xiàng)目時(shí)，如建立一個(gè)推薦系統(tǒng)，企業(yè)的數(shù)據(jù)一般是放在數(shù)據(jù)庫(kù)中的，如放在Oracle或MySQL中。還有一些項(xiàng)目需要通過(guò)爬蟲(chóng)程序去爬取互聯(lián)網(wǎng)中的數(shù)據(jù)，此時(shí)數(shù)據(jù)源就是一個(gè)爬蟲(chóng)程序。官網(wǎng)：電話：189-2756-52598架構(gòu)分析數(shù)據(jù)采集層數(shù)據(jù)采集框架

Flume是Apache軟件基金會(huì)的一個(gè)數(shù)據(jù)采集框架，它是一個(gè)分布式的、可靠的、高可用的，可以從多種不同的數(shù)據(jù)源收集、聚集、移動(dòng)大量日志數(shù)據(jù)至集中數(shù)據(jù)存儲(chǔ)層的框架。Flume可以匹配多種輸入、輸出源，使得不同輸入、輸出源的連接配置簡(jiǎn)單化。官網(wǎng)：電話：189-2756-52599架構(gòu)分析數(shù)據(jù)采集框架

Apache

Sqoop（簡(jiǎn)稱Sqoop）項(xiàng)目旨在協(xié)助關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)（Relational

Database

Management

System，RDBMS）與Hadoop系統(tǒng)（Hadoop生態(tài)環(huán)境）進(jìn)行高效的大數(shù)據(jù)傳輸。Sqoop可以建立一個(gè)連接RDBMS和Hadoop系統(tǒng)的數(shù)據(jù)傳輸通道。

Kafka是由Apache軟件基金會(huì)開(kāi)發(fā)的一個(gè)開(kāi)源流處理平臺(tái)，其目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高吞吐量、低延遲的平臺(tái)。Kafka的持久化層本質(zhì)上是一個(gè)“按照分布式事務(wù)日志架構(gòu)的大規(guī)模發(fā)布/訂閱消息隊(duì)列”，因此Kafka更適合用于需要進(jìn)行實(shí)時(shí)采集大批量數(shù)據(jù)的數(shù)據(jù)源（如端口數(shù)據(jù)源）。官網(wǎng)：電話：189-2756-525910架構(gòu)分析數(shù)據(jù)存儲(chǔ)層

Hadoop分布式文件系統(tǒng)（Hadoop

Distributed

File

System，HDFS）、HBase、Hive都是Hadoop技術(shù)流的數(shù)據(jù)存儲(chǔ)框架。HDFS是HBase、Hive的底層存儲(chǔ)技術(shù)。HBase使用鍵值對(duì)的存儲(chǔ)結(jié)構(gòu)，適用于針對(duì)特定鍵的搜索場(chǎng)景。Hive則是一個(gè)大數(shù)據(jù)倉(cāng)庫(kù)，它可以針對(duì)HDFS中的數(shù)據(jù)建立元數(shù)據(jù)，并對(duì)元數(shù)據(jù)進(jìn)行各種查詢操作。

Elasticsearch（簡(jiǎn)稱ES）是一個(gè)基于Lucene的開(kāi)源搜索引擎，它不但穩(wěn)定、可靠、快速，而且具有良好的水平擴(kuò)展能力，是專門為分布式環(huán)境設(shè)計(jì)的。因?yàn)镋S是面向文檔型數(shù)據(jù)庫(kù)的，所以它存儲(chǔ)的是整個(gè)對(duì)象或

者文檔。它還會(huì)為存儲(chǔ)的數(shù)據(jù)建立索引，因此可以在ES中高效地索引、搜索、排序和過(guò)濾文檔。官網(wǎng)：電話：189-2756-525911架構(gòu)分析MongoDB是NoSQL數(shù)據(jù)庫(kù)，它是一個(gè)高擴(kuò)展、高性能和高可用的數(shù)據(jù)庫(kù)。MongoDB是一種面向文檔的數(shù)據(jù)庫(kù)，以Javascript對(duì)象表示法（Javascript

Object

Notation，JSON）的形式進(jìn)行數(shù)據(jù)存儲(chǔ)。和ES一樣，MongoDB也支持全文搜索，MongoDB和ES的不同主要體現(xiàn)在使用場(chǎng)景上，可根據(jù)不同的使用場(chǎng)景（建議讀者根據(jù)自己的實(shí)際環(huán)境進(jìn)行預(yù)判）有針對(duì)性地選擇這些產(chǎn)品。

在大數(shù)據(jù)項(xiàng)目架構(gòu)的數(shù)據(jù)存儲(chǔ)層也可能會(huì)有傳統(tǒng)數(shù)據(jù)庫(kù)的身影，如MySQL、Oracle、DB2等，傳統(tǒng)數(shù)據(jù)庫(kù)的作用是結(jié)果存儲(chǔ)。官網(wǎng)：電話：189-2756-525912架構(gòu)分析數(shù)據(jù)分析、挖掘?qū)?/p>

在數(shù)據(jù)分析、挖掘?qū)又?，常用的?jì)算引擎有內(nèi)存計(jì)算引擎（Spark）、離線計(jì)算引擎（MapReduce）、流處理引擎（Streaming）、搜索引擎（ES）。

這些計(jì)算引擎都用于最終完成數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)分析或機(jī)器學(xué)習(xí)這樣的任務(wù)，為具體業(yè)務(wù)中的任務(wù)提供匹配的計(jì)算能力。官網(wǎng)：電話：189-2756-525913架構(gòu)分析數(shù)據(jù)調(diào)用層數(shù)據(jù)調(diào)用層要完成的任務(wù)就是提供接口，可以很方便地供第三方調(diào)用。

數(shù)據(jù)調(diào)用層為獲取數(shù)據(jù)分析、挖掘?qū)佑?jì)算結(jié)果的數(shù)據(jù)提供了一種標(biāo)準(zhǔn)化的接口，使得如果各個(gè)應(yīng)用都按照設(shè)計(jì)的標(biāo)準(zhǔn)來(lái)獲取數(shù)據(jù)，那么各個(gè)應(yīng)用都可以通過(guò)標(biāo)準(zhǔn)化的接口來(lái)獲取這些數(shù)據(jù)，而不需要額外進(jìn)行編碼。官網(wǎng)：電話：189-2756-525914架構(gòu)分析數(shù)據(jù)展現(xiàn)層數(shù)據(jù)展現(xiàn)層指的是系統(tǒng)最終對(duì)外提供了什么服務(wù)。

與大數(shù)據(jù)結(jié)合比較緊密的大屏應(yīng)用可視化在公安、電力、園區(qū)管理、網(wǎng)絡(luò)、航天等信息化程度相對(duì)較高的領(lǐng)域發(fā)揮了巨大作用，可以幫助行業(yè)從業(yè)務(wù)管理、事前預(yù)警、事中指揮調(diào)度、事后分析研判等多個(gè)方面提升智能化決策能力。因此，其實(shí)一個(gè)可視化應(yīng)用也可以作為一個(gè)業(yè)務(wù)來(lái)理解。官網(wǎng)：電話：189-2756-525915架構(gòu)分析銷售（售前）項(xiàng)目前期，乙方（完成項(xiàng)目的一方）的售前人員需要和甲方溝通具體需求、簽訂合同等。雙方需要明確地把需求書(shū)面化、文檔化，體現(xiàn)在類似需求說(shuō)明書(shū)等文件中，確保雙方對(duì)于需求的理解是一致的。數(shù)據(jù)分析師/架構(gòu)師拿到需求說(shuō)明書(shū)后，數(shù)據(jù)分析師針對(duì)這些需求提出預(yù)研方案（或模型），并進(jìn)行預(yù)研探索（包括一些基本的數(shù)據(jù)處理、模型構(gòu)建等）；架構(gòu)師需要結(jié)合需求以及數(shù)據(jù)分析師的預(yù)研結(jié)果來(lái)提出需要實(shí)現(xiàn)的工程系統(tǒng)架構(gòu)及方案，同時(shí)需要通過(guò)對(duì)提出的一個(gè)或多個(gè)架構(gòu)、方案進(jìn)行分析，根據(jù)其可行性、適合性來(lái)確定最終的工程系統(tǒng)架構(gòu)及系統(tǒng)實(shí)現(xiàn)方案。官網(wǎng)：電話：189-2756-525916人員安排程序員架構(gòu)師設(shè)計(jì)出整個(gè)系統(tǒng)的架構(gòu)后，程序員會(huì)根據(jù)系統(tǒng)架構(gòu)搭建系統(tǒng)框架，并和項(xiàng)目組成員共同制訂各種開(kāi)發(fā)計(jì)劃、細(xì)則、要求等，而項(xiàng)目組成員負(fù)責(zé)整個(gè)系統(tǒng)的技術(shù)實(shí)現(xiàn)及各自的單元測(cè)試部分。測(cè)試人員整個(gè)系統(tǒng)實(shí)現(xiàn)后，需要有專門的測(cè)試人員對(duì)系統(tǒng)實(shí)現(xiàn)的各個(gè)模塊進(jìn)行一系列的集成測(cè)試、系統(tǒng)測(cè)試，并協(xié)助完成最后的驗(yàn)收測(cè)試。官網(wǎng)：電話：189-2756-525917人員安排實(shí)施/運(yùn)維人員乙方在測(cè)試環(huán)境中部署、測(cè)試整個(gè)系統(tǒng)后，需要在甲方提供的實(shí)際環(huán)境中再次部署，因此需要由實(shí)施人員到甲方現(xiàn)場(chǎng)部署系統(tǒng)。項(xiàng)目后期，系統(tǒng)運(yùn)行過(guò)程中出現(xiàn)的各種問(wèn)題，都需要通過(guò)運(yùn)維人員來(lái)解決；如果涉及程序漏洞等，那么可以協(xié)調(diào)相關(guān)人員解決。一般來(lái)說(shuō)，項(xiàng)目進(jìn)行到運(yùn)維階段基本上就算結(jié)束了，也意味著甲乙雙方合同關(guān)系終止。合同終止一般是在運(yùn)維結(jié)束后，也有可能是在運(yùn)維結(jié)束前，如果合同終止在運(yùn)維階段前，那么運(yùn)維階段一般會(huì)再簽署補(bǔ)充的運(yùn)維協(xié)議。官網(wǎng)：電話：189-2756-525918人員安排1大數(shù)據(jù)項(xiàng)目實(shí)戰(zhàn)基礎(chǔ)目錄企業(yè)大數(shù)據(jù)項(xiàng)目簡(jiǎn)介2官網(wǎng)：電話：189-2756-525919硬件環(huán)境本書(shū)項(xiàng)目使用的硬件環(huán)境主要包括3個(gè)方面：CDH集群、客戶端開(kāi)發(fā)設(shè)備。CDH集群硬件配置如下表。官網(wǎng)：電話：189-2756-525920實(shí)戰(zhàn)環(huán)境設(shè)備名IP地址CPU核數(shù)內(nèi)存大小/GB磁盤/GBnode1524241200node2624241200node3724241200node4824241200server131616700server241616700server3401616300實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-5259212．軟件環(huán)境軟件Cloudera

Manager5.7.3版本備注與之配套的Hadoop相關(guān)軟件受Cloudra

Manager大版本的影響Hadoop2.6.02.6.0-cdh5.7.3Spark1.6.01.6.0-cdh5.7.3Hive1.1.01.1.0-cdh5.7.3HBase1.2.01.2.0-cdh5.7.3ZooKeeper/HBase自帶Sqoop1.4.61.4.6-cdh5.7.3KafkaElasticsearchJDKIntelliJ

IDEAMaven0.10.2-kafka2.2.0

—6.3.21.82016及以上3.3.12.10.6—開(kāi)發(fā)環(huán)境和集群環(huán)境JDK版本保持一致2016～2018版本均可3及以上版本均可Scala插件和IntelliJ

IDEA匹配即可ScalaCDH集群各服務(wù)部署情況實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525922CDH首頁(yè)實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525923CDH主機(jī)監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525924HDFS監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525925YARN監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525926Hive監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525927Spark監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525928HBase監(jiān)控界面實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525929開(kāi)發(fā)環(huán)境開(kāi)發(fā)環(huán)境分為兩大類。

第一類指直接操作類環(huán)境，如Linux終端（直接執(zhí)行Shell命令）或SparkShell（直接執(zhí)行一段Spark代碼）；

第二類是代碼工程化的開(kāi)發(fā)環(huán)境，如前面已經(jīng)執(zhí)行過(guò)一段Spark代碼，現(xiàn)在需要把這段代碼工程化，使之可以在調(diào)度中運(yùn)行得到結(jié)果，而不是通過(guò)人工復(fù)制、粘貼運(yùn)行得到結(jié)果。官網(wǎng)：電話：189-2756-525930實(shí)戰(zhàn)環(huán)境安裝IntelliJ

IDEA開(kāi)發(fā)環(huán)境在IntelliJ

IDEA官網(wǎng)下載IntelliJ

IDEA并安裝。實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525931（2）配置Maven插件打開(kāi)IntelliJ

IDEA后，依次選擇“File”→“Settings”→“Build,Execution,Deployment”→“Build

Too→“Maven”選項(xiàng)，并在“Maven

home

directory”下拉列表框中配置安裝好的Maven插件。實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525932（3）配置Scala插件

依次選擇“File”→“Settings”→“Plugins”→“Install

JetBrains

Plugins”選項(xiàng)，在彈出的搜索框中輸“scala”，即可看到Scala插件（雙擊即可進(jìn)行安裝）。實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525933（4）配置隨書(shū)附帶的代碼資源

下載并解壓縮隨書(shū)附帶的代碼資源big_data_case_study.zip，解壓縮后得到所有代碼工程文件。使用IntelliJIDEA導(dǎo)入代碼工程，導(dǎo)入后的代碼工程如下圖。實(shí)戰(zhàn)環(huán)境官網(wǎng)：電話：189-2756-525934包括但不限于以下兩類?；A(chǔ)開(kāi)發(fā)類包括基本的Linux操作技能，如熟練使用Linux命令、編輯Linux配置文件等；基本的Java開(kāi)發(fā)能力，能使用Spring

Boot完成一個(gè)簡(jiǎn)單應(yīng)用的開(kāi)發(fā)實(shí)現(xiàn)；基本的Scala程序編寫(xiě)能力，如能熟練使用Scala的函數(shù)式編程；

基本的SQL（Structure

Query

Language，結(jié)構(gòu)查詢語(yǔ)言）增加、刪除、修改、查詢（簡(jiǎn)稱增刪改查）能力，如能使用SQL完成復(fù)雜的統(tǒng)計(jì)分析腳本的編寫(xiě)。大數(shù)據(jù)技術(shù)類具備操作HDFS的能力，具備編寫(xiě)Hive

SQL的能力，具備編寫(xiě)Spark代碼的能力等。官網(wǎng)：電話：189-2756-525935涉及的技術(shù)及需掌握的能力在第2、3章的項(xiàng)目實(shí)戰(zhàn)中，工程化模塊的代碼，針對(duì)Spark任務(wù)的調(diào)用采用了拿來(lái)即用的方式。實(shí)現(xiàn)拿來(lái)即用的基礎(chǔ)模塊是Spark

Hadoop

Common模塊。Spark

Hadoop

Common模塊是指通過(guò)Spark框架實(shí)現(xiàn)Hadoop常用程序和庫(kù)的模塊。官網(wǎng)：電話：189-2756-525936涉及的技術(shù)及需掌握的能力任務(wù)提交和監(jiān)控在Spark集群中兩種提交Spark任務(wù)方式：Spark

On

YARN和Spark

Standalone。任務(wù)提交做如下設(shè)計(jì)。把提交方式作為配置文件的參數(shù)，可以由外部配置，也可以由開(kāi)發(fā)人員在提交時(shí)指定，以增加靈活性。在提交時(shí)，只需要指定必要的參數(shù)即可，其他參數(shù)不用進(jìn)行指定，使用配置文件中的默認(rèn)設(shè)置即可?；谝陨蟽蓚€(gè)規(guī)則，實(shí)現(xiàn)Spark

On

YARN的任務(wù)提交方法設(shè)計(jì)了一個(gè)工具類SparkYarnJob，其有3個(gè)靜態(tài)（關(guān)鍵字為static）方法。涉及的技術(shù)及需掌握的能力官網(wǎng)：電話：189-2756-525937

在run方法中，接收一個(gè)Args參數(shù)類，并返回一個(gè)SubmitResult返回值類。在run方法中，主要根據(jù)Args中的引擎（如果有動(dòng)態(tài)指定，那么使用指定的引擎，否則使用默認(rèn)的引擎）選擇不同的Spark任務(wù)提交方案。提交Spark任務(wù)到Y(jié)ARN集群的代碼需要先設(shè)置系統(tǒng)屬性SPARK_YARN_MODE為“true”，初始化SparkConf，使用Args的argsForYarn函數(shù)初始化ClientArguments，并使用SparkConf、ClientArguments和Hadoop

Configuration（getConf函數(shù)，該函數(shù)會(huì)在后面說(shuō)明）來(lái)初始化Client，通過(guò)Client即可向YARN集群提交Spark任務(wù)。官網(wǎng)：電話：189-2756-525938涉及的技術(shù)及需掌握的能力

在任務(wù)調(diào)用階段返回SubmitResult，根據(jù)SubmitResult即可進(jìn)行監(jiān)控。監(jiān)控同樣分為兩種：提交到Y(jié)ARN集群的任務(wù)監(jiān)控和提交到Spark集群的任務(wù)監(jiān)控。提交到Y(jié)ARN集群的任務(wù)監(jiān)控的核心代碼監(jiān)控的核心流程就是根據(jù)任務(wù)ID（jobId）獲取當(dāng)前任務(wù)的狀態(tài)，并進(jìn)行判斷，如果任務(wù)運(yùn)行完成（運(yùn)行成功、運(yùn)行異?；虮粴⑺溃?，那么退出循環(huán)；否則，休眠一定時(shí)間后，再次獲取任務(wù)狀態(tài)。任務(wù)狀態(tài)的獲取主要通過(guò)YarnClient的getApplicationReport方法實(shí)現(xiàn)，而YarnClient的獲取則需要根據(jù)Hadoop

Configuration（getConf函數(shù)）來(lái)指定使用的集群參數(shù)。官網(wǎng)：電話：189-2756-525939涉及的技術(shù)及需掌握的能力提交到Spark集群的任務(wù)監(jiān)控的核心代碼Spark集群的任務(wù)監(jiān)控通過(guò)RestSubmissionClient的requestSubmissionStatus方法來(lái)實(shí)現(xiàn)，其中

RestSubmissionClient的初始化需要指定Spark集群的URL。此外，Spark集群任務(wù)監(jiān)控的其他流程和YARN集群的任務(wù)監(jiān)控流程一樣。官網(wǎng)：電話：189-2756-525940涉及的技術(shù)及需掌握的能力參數(shù)和返回值設(shè)計(jì)參數(shù)類Args的方法如右圖。

參數(shù)類Args中除了對(duì)外提供獲取appName、mainClass、args、Engine

Type等參數(shù)，還提供argsForYarn函數(shù)，以實(shí)現(xiàn)提交任務(wù)到Y(jié)ARN集群做額外的參數(shù)配置。

返回值類SubmitResult同樣采用了私有化構(gòu)造方法的設(shè)計(jì)方法，對(duì)外提供getSubmitResult的靜態(tài)函數(shù)來(lái)進(jìn)行實(shí)例化。SubmitResult類中主要提供兩個(gè)參數(shù)：引擎、任務(wù)ID。涉及的技術(shù)及需掌握的能力官網(wǎng)：電話：189-2756-525941獲取SparkConf提交任務(wù)到不同