大數(shù)據(jù)課程體系

1、Java基礎(chǔ)JAVA開發(fā)基礎(chǔ)知識(shí)Ecli pse開發(fā)環(huán)境 多線程技術(shù)Socket網(wǎng)絡(luò)技術(shù) Regular Exp ressi onJava反射技術(shù) 各種實(shí)戰(zhàn)設(shè)計(jì)模式 面向?qū)ο笤O(shè)計(jì)原則詳解Java collecti onReflect ionJVM原理與配置、調(diào)優(yōu)Java設(shè)計(jì)模式Linux 大 綱Linux的介紹與安裝VMware Workstation虛擬軟件安裝ubuntu安裝Linux的常用命令Linux系統(tǒng)進(jìn)程管理常用命令ps、pkill 、top、htop等的使用；Linux啟動(dòng)流程，運(yùn)行級(jí)別詳解，chkconfig詳解 nano編輯器Linux權(quán)限管理：用戶、組Linux權(quán)限管理：文

2、件權(quán)限r(nóng)wxLinux 網(wǎng)絡(luò)管理：hosts,hostname,ifconfig 安裝JDKHadoopHadoo p介紹，發(fā)展史，國內(nèi)外現(xiàn)狀，未來Hadoop核心組成介紹及 hdfs、map reduce體系結(jié)構(gòu)Hadoop的集群結(jié)構(gòu)Hadoop獨(dú)立模式安裝與測試Hadoop啟動(dòng)與停止SSH安裝與配置Hadoop偽分布式和完全分布式安裝配置HDFS底層工作原理HDFS data node,n ame no de 詳解Hdfs shellHdfs java apiInp utS plit和 Out puts plitBlockSize 配置最少副本數(shù)配置MRf乍業(yè)流程分析編寫Mapper程序

3、編寫Reducer程序 執(zhí)行Map reduce過程Hadoop 核心類講解，RM,NM,NN,DNYARN調(diào)度框架事件分發(fā)機(jī)制Hadoop底層IPC原理和RPCHadoop的底層google ProtoBuf 的協(xié)議分析分布式數(shù) 據(jù)庫HbaseHBase簡介與RDBM的對(duì)比系統(tǒng)架構(gòu)HBase上 的 Map ReduceHbase核心術(shù)語介紹Hbase基本操作HBase Shell以及演示Hbase樹形表設(shè)計(jì)Hbase 一對(duì)多和多對(duì)多表設(shè)計(jì)Hbase調(diào)優(yōu)（讀、寫、設(shè)計(jì)）數(shù)據(jù)倉庫HiveHive簡介Hive集群客戶端簡介HiveQL介紹與SQL的比較數(shù)據(jù)類型外部表和分區(qū)表ddl與CLI客戶端演示

4、 dmi與CLI客戶端演示 select與CLI客戶端演示Operators 和functions 與CLI客戶端演示 Hive server2 與 jdbc用戶自定義函數(shù)（UDF和UDAF的開發(fā)與演示Hive優(yōu)化數(shù)據(jù)遷移 工具Sqoo PSqoop簡介和配置 Sqoop shell常見命令Sqo op導(dǎo)入與導(dǎo)出Flume 分 布式日志框架flume簡介-基礎(chǔ)知識(shí)flume安裝與測試flume部者方式flume source相關(guān)配置及測試flume sink相關(guān)配置及測試flume selector相關(guān)配置與案例分析flume Sink P rocessors相關(guān)配置和案例分析flume In

5、 terce ptors相關(guān)配置和案例分析flume AVRO Clie nt 開發(fā)flume和kafka的整合Zookeeper 開發(fā)Zookee per java api開發(fā)Zookeeper rmi咼可用分布式集群開發(fā)Zookee per redis 咼可用監(jiān)控實(shí)現(xiàn)Netty異步io通信框架Zookeeper實(shí)現(xiàn)netty 分布式架構(gòu)的咼可用kafkakafka是什么 kafka體系結(jié)構(gòu) kafka配置詳解kafka kafka kafka kafkaStormScalascala scala scala scala scala scala scala scala scala scala

6、 scala scala的安裝 的存儲(chǔ)策略 分區(qū)特點(diǎn) 的發(fā)布與訂閱zookeeper協(xié)調(diào)管理 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合 Storm的基本概念 Storm的應(yīng)用場景 Storm和Hadoop的對(duì)比 Storm集群的安裝的linux環(huán)境準(zhǔn)備 zookeeper集群搭建 Storm集群搭建Storm配置文件配置項(xiàng)講解 集群搭建常見問題解決Storm 常用組件和編程 API： Topology、Spout、BoltStorm 分組策略（stream groupings） 使用Strom開發(fā)一個(gè)WordCount

7、例子 Storm程序本地模式debug、Storm程序遠(yuǎn)程debug Storm事物處理Storm消息可靠性及容錯(cuò)原理Storm結(jié)合消息隊(duì)列 Kafka :消息隊(duì)列基本概念（P roducer、Co nsume、To pic、 Broker等）、消息隊(duì)列Kafka使用場景、Storm結(jié)合Kafka編程API Storm Tride nt 概念 Tride nt state原理Tride nt開發(fā)實(shí)例Storm DRPC分布式遠(yuǎn)程調(diào)用）介紹Storm DRPC實(shí)戰(zhàn)講解Storm 和 Hadoop 2.x 的整合：Storm on YarnStorm開發(fā)實(shí)戰(zhàn)：Kafka+Storm+Hbase+r

8、edis項(xiàng)目實(shí)戰(zhàn)，以及多個(gè)案例解釋器、變量、常用數(shù)據(jù)類型等 的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu) 的函數(shù)、默認(rèn)參數(shù)、變長參數(shù)等 的數(shù)組、變長數(shù)組、多維數(shù)組等 的映射、元組等操作 的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器等 的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法等的包、弓I入、繼承等概念的特質(zhì) 的操作符 的高階函數(shù) 的集合scala數(shù)據(jù)庫連接Sp ark大數(shù)據(jù)處 理Sp ark Stream ing 實(shí)時(shí)計(jì)算Sp arkMLlib _機(jī)器學(xué)習(xí)DockerSpark簡介與應(yīng)用場景RDDTran sformati on Actio n Spark 計(jì)算 PageRank Lin e

9、age Spark模型簡介Spark緩存策略和容錯(cuò)處理 寬依賴與窄依賴 Spark配置講解 Spark集群搭建 集群搭建常見問題解決Spark原理核心組件和常用RDD 數(shù)據(jù)本地性 任務(wù)調(diào)度DAGScheduler TaskScheduler Spark源碼解讀 性能調(diào)優(yōu)Spark 和 Hadoop2.x 整合：Spark on Yarn 原理 Spark Streaming :數(shù)據(jù)源和 DStream 無狀態(tài) transformation 與有狀態(tài) transformation Streaming Window 的操作 sp arksql編程實(shí)戰(zhàn) spark的多語言操作介紹 回歸算法 分類算法

10、 第四章推薦系統(tǒng) 第五章聚類Kmea ns 基本介紹 vm docker 對(duì)比 docker基本架構(gòu)介紹 unfs cgro up n ames pace 進(jìn)程虛擬化輕量級(jí)虛擬化 docker docker docker docker安裝 鏡像制作 常用命令 鏡像遷移docker pip ework 1docker weave虛擬化KVM虛擬化介紹，虛擬化適用場景等等Qemu Libvirt & KVM安裝 KVM, Qemu, LibvirtQEMU-KVM安裝第一個(gè)能上網(wǎng)的虛擬機(jī) Kvm虛擬機(jī)nat,網(wǎng)橋基本原理 kvm虛擬機(jī)克隆kvm虛擬機(jī)vnc配置kvm虛擬機(jī)擴(kuò)展磁盤空間Kvm快照Kvm遷移Java,python,c 語言編程控制kvm云平臺(tái)Open Stackopen stack介紹和模塊基本原理分析open stack多節(jié)點(diǎn)安裝部署【a.采用cen tos6.x系統(tǒng)】 Keystone基本原理glanceCin derSwiftNeutro nOpen stack api 二次開發(fā)綜合項(xiàng)目演練1結(jié)合基于SSH技術(shù)的jee項(xiàng)目一互聯(lián)網(wǎng)大數(shù)據(jù)調(diào)查系統(tǒng)，可針對(duì)當(dāng)下流行的 事件進(jìn)行網(wǎng)絡(luò)調(diào)查，然后從海量的調(diào)查調(diào)查問卷中通過大數(shù)據(jù)手段對(duì)其進(jìn)行 分析和匯總，最終對(duì)大眾的消費(fèi)習(xí)慣、文化傾向、