spark大賽第三次賽前輔導(dǎo)智能化大數(shù)據(jù)用機(jī)器學(xué)習(xí)和圖計(jì)算對(duì)大進(jìn)行深度數(shù)據(jù)挖掘

--

講座時(shí)間：9:30-11:00環(huán)節(jié)1：內(nèi)容環(huán)節(jié)2： 問答，Spark亞太院長(zhǎng)和首席

；目前中國唯一的移動(dòng)互聯(lián)網(wǎng)和云計(jì)算大數(shù)據(jù)集大成者，在完成了對(duì)Spark源碼的徹底研究的同時(shí)不斷在實(shí)際環(huán)境中使用Spark的各種特性的基礎(chǔ)之上，編寫了世界上第一本系統(tǒng)性的Spark書籍并開設(shè)了世界上第一個(gè)系統(tǒng)性的

Spark課程。Spark亞太：

m：spark-china1：SparkMLLib機(jī)器學(xué)習(xí)2：MLLib經(jīng)典算法解析和案例實(shí)戰(zhàn)3：

Spark

GraphX經(jīng)典算法解析和實(shí)戰(zhàn)Spark亞太 詳情：/meeting/2014yt/default.asp如果你是對(duì)Spark有濃厚 的初學(xué)者，在這里你會(huì)有絕佳的入門和實(shí)踐機(jī)會(huì)！如果你是Spark的應(yīng)用高手，在這里以“武”會(huì)友，和技術(shù)大牛們盡情切磋！如果你是對(duì)Spark有深入獨(dú)特見解的無論你是誰，只要對(duì)Spark有，在這里可以盡情展現(xiàn)你的才華！，還在等什么，快來參加！Spark開發(fā)者大賽，在這里會(huì)讓你受益匪淺！Spark開發(fā)者大賽詳情：

/meeting/2014yt/dhhd.asp第一階段：熟練的掌握Scala語言學(xué)習(xí)地址：ht

/pack/view/id-124.html第二階段：精通Spark平臺(tái)本身提供給開發(fā)者API學(xué)習(xí)地址：ht

/pack/view/id-146.html第三階段：精通Spark內(nèi)核學(xué)習(xí)地址：ht/pack/view/id-148.html第四階段：掌握基于Spark上的學(xué)習(xí)地址：ht框架的使用/pack/view/id-149.html第五階段：商業(yè)級(jí)別大數(shù)據(jù)中心黃金組合：Hadoop+

Spark學(xué)習(xí)地址：ht

/pack/view/id-150.html第六階段：Spark源碼完整解析和系統(tǒng)定制學(xué)習(xí)地址：ht

/pack/view/id-151.html感謝Spark 文檔中文翻譯團(tuán)成員?。?不分先后）、、傅智勇、吳洪澤、

、

、、東、、、

、、耿harli、JackNiu、、、Spark文檔中文翻譯正式發(fā)布！PS：翻譯

確的地方，請(qǐng)

并發(fā)送至marketin

，翻譯團(tuán)成員將會(huì)在一定周期內(nèi)補(bǔ)充修訂！由網(wǎng)絡(luò)社區(qū) 共同編寫的第一本Spark?？?！Spark

文檔翻譯陸續(xù)發(fā)布-第6章Spark

SQL編程動(dòng)本周更新更新到Spark實(shí)戰(zhàn)高手手實(shí)戰(zhàn)(1)好書來襲！

推出！Spark

GraphX大規(guī)模圖計(jì)算和圖挖掘(V3.0)近30個(gè)動(dòng)手實(shí)踐案例，循序漸進(jìn)展示SparkGraphX框架方方面面的功能和使用方法，同時(shí)伴隨SparkGraphX源碼解析，是圖計(jì)算愛好者和Spark學(xué)習(xí)者不可錯(cuò)過的饕餮盛宴！閱讀地址：htt

/art/201408/450049.htm地址：htt

/data/1881041What

isSpark?機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)分類THE

BDAS

STACK機(jī)器學(xué)習(xí)Spark

MLLibMllib架構(gòu)Binary

ClassificationLinearRegressionClusteringCollaborative

Filtering數(shù)據(jù)集movielens預(yù)處理數(shù)據(jù)導(dǎo)入new成對(duì)象調(diào)用ALS.train()方法結(jié)果Join計(jì)算均誤差調(diào)用model的API

predict圖的切分方式GraphX架構(gòu)GraphGraphImplGraphOpsEdgeTripletEdge構(gòu)建graph用下圖中表示的數(shù)據(jù)Spark

GraphX文檔使用的GraphImpl來構(gòu)造出了圖的實(shí)例Vertices、edges、tripletsGraphLoaderGraphLoaderGraphLoader加載進(jìn)來的web-Googel.txt中有多少頂點(diǎn)每個(gè)頂點(diǎn)的元素的值都變成2每個(gè)頂點(diǎn)的屬性變成了3對(duì)邊進(jìn)行操作所有的邊的屬性變成2attr是來自Edge的屬性reversesubgraphmaskgroupEdgesDegreeEdgeDirectioncollectNeighborIdscollectNeighborsjoinVerticesoutJoinVerticesPregelPageRankPageRankPageRankPageRankPageRankTriangleCountTriagleCountTriangleCount的run的源代碼第一階段：熟練的掌握Scala語言學(xué)習(xí)地址：ht /pack/view/id-124.html第二階段：精通Spark平臺(tái)本身提供給開發(fā)者API學(xué)習(xí)地址：ht /pack/view/id-146.html第三階段：精通Spark內(nèi)核學(xué)習(xí)地址：ht/pack/view/id-148.html第四階段：掌握基于Spark上的學(xué)習(xí)地址：ht框架的使用/pack/view/id-149.html第五階段