大數(shù)據(jù)建模與分析挖掘應(yīng)用

1、（互聯(lián)網(wǎng)廣告服務(wù)提供商等、銀行金融證券企業(yè)、電信運營等行業(yè)，給這些行業(yè)帶來了一定的數(shù)據(jù)價值增值作用。HadoopSparkBI本課程基本的實踐環(huán)境是 Linux 集群，JDK1.8， Hadoop 2.7.*，Spark 2.1.*。i5CPU4GB50G（可用移動硬盤基本的大數(shù)據(jù)分析平臺所依賴的軟件包和依賴庫等，講師已經(jīng)提前部署在虛擬機鏡像（VMware，學(xué)員根據(jù)講師的操作任務(wù)進行實踐。作，本課程講師也精心準(zhǔn)備的實際的應(yīng)用案例供學(xué)員動手訓(xùn)練。大 綱 Outline業(yè)界主流的數(shù)據(jù)倉庫工具和大數(shù)據(jù)分析挖掘工具HadoopSpark3.HadoopHive4.SparkSparkSQL 5.Had

2、oopMahoutSparkMLlib大數(shù)據(jù)分析挖掘項目的實施步驟大數(shù)據(jù)分析挖掘項目的數(shù)據(jù)集成操作訓(xùn)練日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉庫的操作訓(xùn)練從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉庫庫同一個數(shù)據(jù)倉庫中的事實表數(shù)據(jù)，可以給多個不同類型的分析挖掘任務(wù)調(diào)用去除噪聲基于 Hadoop 的大型數(shù)據(jù)倉庫管理平臺HIVE 數(shù)據(jù)倉庫集群的多維分析建模應(yīng)用實踐6.基于 Hadoop 的大分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例7.Hive8.Hive ServerHiveHiveHive SQLHiveHiveHadoop + HiveSpark16.SparkMLlibSparkHive聚

3、類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用Spark MLliba)Canopy（canopy clustering）K（K-means clustering）K（Fuzzy K-means clustering）EM（Expectation Maximization）Spark MLib19.Spark分類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用20.Spark MLlib用， 包括：Spark邏輯回歸算法（logisticsregression） h)貝葉斯算法（BayesianCbeyes）支持向量機（Support vector machine）Spark MLlib21.SparkSpa

4、rkSpark關(guān)聯(lián)分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用Spark MLlib現(xiàn)與應(yīng)用，包括：Spark（parallel FP Growth Algorithm）應(yīng)用Spark（Apriori）算法及其應(yīng)用Spark MLib25.Spark推薦分析挖掘模型與算法技術(shù)應(yīng)用Spark MLliba)Sparkb)Item-basedc)User-basedd)交叉銷售推薦模型及其實現(xiàn)回歸分析模型與預(yù)測算法利用線性回歸（多元回歸）實現(xiàn)訪問量預(yù)測利用非線性回歸預(yù)測成交量和訪問量的關(guān)系R+SparkSpark31.Spark GraphX要性排名實現(xiàn)信息傳播的社交關(guān)系傳遞分析，互聯(lián)網(wǎng)用戶的行為關(guān)系分析任務(wù)的操作訓(xùn)練神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)算法模型及其應(yīng)用實踐Neural Network34.基于人工神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)的訓(xùn)練過程a)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法b)Deep Learning 的訓(xùn)練方法35.深度學(xué)習(xí)的常用模型和方法a)CNN（Convolutional Neural Network）b)RNN（Recurrent Neural Network）c)Restricted Boltzmann Machine(RBM36.Spark日志分析系統(tǒng)與日志挖掘項目實踐a)Hadoop，Spark，ELKb)互聯(lián)網(wǎng)微博日志分