彈性分布式數(shù)據(jù)集spark大廈的地基上

13|彈性分布式數(shù)據(jù)集：Spark的地基（上 一個可行的想就是在布式內(nèi)存，間計算的結(jié)，因?yàn)閷Υ娴淖x寫作速度快硬盤。而RD就是一個基于分布式內(nèi)存的數(shù)據(jù)抽象，它不僅支持基于工作集的應(yīng)用，同時具有數(shù)據(jù)流模型的特點(diǎn)。不可變性代表每一個RDD都是只讀的，它所包含的分區(qū)信息不可以被改變。既然已有的RDD不lines=sc.textFile("data.txt")lineLengthslines=sc.textFile("data.txt")lineLengths=lines.map(lambdas:len(s))totalLength=lineLengths.reduce(lambdaa,b:a+在上述的簡單例子中，我們首先讀入文本文件data.txt，創(chuàng)建了第一個RDDlines，它的每一個元素是一行文本。然后調(diào)用map函數(shù)去映射產(chǎn)生第二個RDDlineLengths，每個元素代表每一行簡單文本的字?jǐn)?shù)。最后調(diào)用reduce函數(shù)去得到第三個RDDtotalLength，它只有一個元素，信息。感的同學(xué)可以去閱讀的技術(shù)文檔，一些相對不重要的概念我就不再贅述了Partitioner決定了RDD的分區(qū)方式，目前有兩種主流的分區(qū)方式：Hashpartitioner和Range呢？Spark支持兩種依賴關(guān)系：窄依賴（NarrowDependency）和寬依賴（Wide這很容易理解，因?yàn)閙apgroupyKy目標(biāo)分區(qū)，而每一個父分區(qū)都可能包含各種Ky窄依賴可以支持在同一個節(jié)點(diǎn)上鏈?zhǔn)綀?zhí)行多條命令，例如在執(zhí)行了map后，緊接著執(zhí)行可，而寬依賴牽涉到RDD各級的多個父分區(qū)。區(qū)可以被多個子RDD的分區(qū)使用。然后Driver就會調(diào)度運(yùn)行下一個stage。下一個stage的task的輸入數(shù)據(jù)就是上一個stage—看了spark narrowpartition對應(yīng)的轉(zhuǎn)換例如：mapfilterjoin（子分區(qū)joinkey都在一個分區(qū)）,union.其中join和union就對應(yīng)了老師說的子分區(qū)來自于多個父分區(qū)。操作后會對應(yīng)到兩個不同的子分區(qū)，所以這些操作例如：groupByKey,通常的join?！狶ittle實(shí)現(xiàn)多個RDD同一塊內(nèi)存的模型和詞典，達(dá)到節(jié)省內(nèi)存的效果？還望老師答復(fù)錦思考題中窄依賴應(yīng)該是不關(guān)心一個子rdd的partition對應(yīng)多少個父rdd的partition，只要partition可以獨(dú)立計算就行，比如map操作，子rdd只有3個partition，父