《大數(shù)據(jù)導論》-實訓課程-教學大綱

《大數(shù)據(jù)導論》教學大綱課程名稱：大數(shù)據(jù)導論課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學時：16學時（其中實驗16學時）總學分：1.0學分課程的性質(zhì)發(fā)展數(shù)字經(jīng)濟已經(jīng)在全球形成廣泛共識，因為當前社會經(jīng)濟生活的生產(chǎn)要素發(fā)生了巨大改變，數(shù)據(jù)已經(jīng)成為一種新的且十分重要的生產(chǎn)要素。建立在數(shù)據(jù)基礎(chǔ)上的數(shù)字經(jīng)濟則成為一種新的經(jīng)濟社會發(fā)展形態(tài)，并形成新動能，重塑經(jīng)濟發(fā)展結(jié)構(gòu)和深刻改變生產(chǎn)生活方式。在數(shù)字時代，數(shù)據(jù)量呈現(xiàn)爆炸式增長，數(shù)據(jù)的采集和處理方式也發(fā)生了巨大改變，如何保證數(shù)據(jù)的安全性、如何合理地展示數(shù)據(jù)內(nèi)容、如何管理和存儲數(shù)據(jù)等成了亟待解決的問題。隨著數(shù)據(jù)量的增長，在數(shù)據(jù)中發(fā)現(xiàn)隱藏的價值信息成為可能，大數(shù)據(jù)技術(shù)成為研究的熱點。大數(shù)據(jù)算法可以對數(shù)據(jù)進行處理和分析，給出智能決策，幫助行業(yè)人員解決傳統(tǒng)方法無法解決的問題。本課程系統(tǒng)介紹了大數(shù)據(jù)技術(shù)的發(fā)展歷史，大數(shù)據(jù)技術(shù)的主要算法及相關(guān)技術(shù)。課程的任務(wù)通過本課程的學習，使學生能夠搭建和配置常見的大數(shù)據(jù)平臺，包括數(shù)據(jù)采集、存儲、處理和分析的相關(guān)組件，培養(yǎng)動手實踐能力和解決問題的能力，為將來從事大數(shù)據(jù)分析研究、開發(fā)和應(yīng)用工作奠定堅實的基礎(chǔ)。課程學時分配序號教學內(nèi)容實驗學時其它1Hadoop偽分布式環(huán)境搭建22Flume的安裝和配置13MySQL的安裝配置1.54Hive的安裝配置25Sqoop的安裝和配置1.56HBase的安裝配置27Spark偽分布式安裝和配置28Flink的安裝配置1.59ECharts的安裝配置1.510FineBI的安裝配置1總計16教學內(nèi)容及學時安排實驗教學序號實驗項目名稱實驗要求學時1Hadoop偽分布式環(huán)境搭建在清華大學開源軟件鏡像站下載CentOS7.8鏡像文件。下載、安裝15.0版本的VMwareWorkstationPro。在VMware創(chuàng)建虛擬機，并添加鏡像文件。安裝JDK，并配置環(huán)境變量。配置SSH密鑰。從官網(wǎng)下載Hadoop安裝包并上傳至Linux系統(tǒng)的/usr/local目錄。解壓該安裝包，進入/usr/local/hadoop-3.1.4目錄。配置Hadoop偽分布式環(huán)境，修改4個配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。配置Hadoop環(huán)境變量，修改hadoop-env.sh文件。格式化并啟動Hadoop。測試是否安裝成功，可使用瀏覽器進入HDFS的Web監(jiān)控端口（主機ip:9870）。22Flume的安裝和配置從NetSarangComputer公司官網(wǎng)免費下載Xftp工具，并進行安裝。從Flume官網(wǎng)下載1.9.0版本的Flume的壓縮包，下載完成后使用Xftp工具將其上傳至Linux系統(tǒng)。將壓縮包上傳到目錄/usr/local，解壓到目錄/opt/ronnie，使用mv命令重命名文件為“flume”。進入Flume配置文件目錄，復制并修改環(huán)境配置文件。配置環(huán)境變量。通過“flume-ngversion”命令查看Flume版本。配置Flume運行文件perties。通過flume-ngagent運行Flume。13MySQL的安裝配置切換到目錄/usr/local/。創(chuàng)建mysql文件夾。切換到mysql文件夾下。下載MySQL8.0安裝包。解壓MySQL8.0安裝包。重命名解壓出來的文件夾為mysql-8.0。在/usr/local/mysql/mysql-8.0文件夾下創(chuàng)建data文件夾以存儲文件。分別創(chuàng)建用戶組以及用戶和密碼。授權(quán)剛剛新建的用戶。配置環(huán)境，編輯/etc/profile文件，執(zhí)行“source/etc/profile”命令，使配置文件生效。編輯f文件。切換到/usr/local/mysql/mysql-8.0/bin目錄下。初始化基礎(chǔ)信息，得到數(shù)據(jù)庫的初始密碼。復制mysql.server文件。賦予權(quán)限。檢查一下/var/lib/mysql是否存在，若不存在則進行創(chuàng)建。啟動數(shù)據(jù)庫，出現(xiàn)SUCCESS說明MySQL安裝完成。修改密碼，并設(shè)置遠程連接。1.54Hive的安裝配置解壓安裝包到/usr/local/目錄下，進入/usr/local/hive/conf目錄。復制hive-env.sh.template為hive-env.sh文件，配置hive-env.sh文件。解壓mysql-connector-java-8.0.30.tar.gz，將MySQL驅(qū)動mysql-connector-java-8.0.30.jar上傳到/usr/local/apache-hive-3.1.2-bin/lib目錄，并同步j(luò)ar包。配置環(huán)境變量，并使其生效。在MySQL中創(chuàng)建Hive數(shù)據(jù)庫，并修改Hive數(shù)據(jù)庫編碼為latin1。確保Hadoop已啟動服務(wù)，在Linux命令行初始化元數(shù)據(jù)庫。啟動Hive服務(wù)，開啟Hive。在Hive界面輸入“showdatabases;”，驗證Hive安裝成功與否。25Sqoop的安裝和配置從NetSarangComputer公司官網(wǎng)免費下載Xftp工具，并進行安裝。從Sqoop官網(wǎng)下載1.4.7版本的Sqoop，下載完成后使用Xftp工具將其上傳至Linux系統(tǒng)。解壓Sqoop到目錄/usr/local，并修改文件名。配置環(huán)境變量并使環(huán)境變量生效。復制sqoop-env.sh文件并修改內(nèi)部配置。創(chuàng)建Hive配置文件的軟連接，并復制MySQL驅(qū)動包到Sqoop的lib文件夾下。測試Sqoop是否安裝成功。執(zhí)行MySQL到Hive的數(shù)據(jù)同步測試。1.56HBase的安裝配置提前安裝ZooKeeper、Hadoop，并確保都已啟動。通過Xftp將HBase文件上傳到Linux系統(tǒng)中。解壓HBase到目錄/usr/local，并重命名。配置環(huán)境變量并使之生效。修改配置文件hbase-env.sh。修改配置文件hbase_site.xml。修改配置文件regionservers。啟動HBase。查看進程。27Spark偽分布式安裝和配置下載解壓Spark安裝包到/usr/local目錄。配置Spark環(huán)境變量，修改profile文件，并使其生效。進入Spark配置目錄$SPARK_HOME/conf/，配置Spark參數(shù)，修改spark-env.sh、slaves文件。啟動Hadoop進程。啟動Spark進程。測試是否安裝成功，可使用瀏覽器進入Spark的任務(wù)提交端口（主機ip:7077）。28Flink的安裝配置下載Flink安裝包，上傳至Linux系統(tǒng)，解壓到/usr/local目錄。配置Flink環(huán)境變量，修改profile文件。修改配置文件$FLINK_HOME/conf/flink-conf.yaml。進入Flink安裝目錄下的bin目錄，執(zhí)行命令“start-cluster.sh”啟動Flink。測試是否安裝成功，可使用瀏覽器進入Flink的Web可視化端口（主機ip:8081）。1.59ECharts的安裝配置從代碼托管平臺官網(wǎng)的Apache社區(qū)進入ECharts項目中的release頁面。找到ApacheECharts4.7.0，單擊下載頁面下方Assets中的Sourcecode。解壓后，dist目錄下的echarts.js即為包含完整ECharts功能的文件。在echarts.js的同級目錄下新建一個demo.txt文件。將ECharts官網(wǎng)提供的示例代碼復制到demo.txt中。將demo.txt文件后綴名修改為.html。使用默認瀏覽器打開示例代碼，驗證結(jié)果。1.510FineBI的安裝配置打開FineBI官網(wǎng)，在頁面上方選擇“產(chǎn)品”→“產(chǎn)品下載”，進入FineBI安裝包下載頁。安裝包下載頁面提供了3種版本的安裝包，選擇下載Windows64位系統(tǒng)對應(yīng)版本的安裝包到本地。文件下載好后，雙擊FineBI安裝文件，加載安裝向?qū)А螕簟跋乱徊健?，彈出許可協(xié)議對話框，選擇“我接受協(xié)議”。單擊“下一步”，彈出選擇安裝目錄對話框，單擊“瀏覽”，選擇FineBI安裝目錄。單擊“下一步”，彈出設(shè)置最大內(nèi)存對話框，設(shè)置JVM內(nèi)存為2048MB。需要注意的是，最大JVM內(nèi)存不能超過本機最大內(nèi)存。單擊“下一步”，彈出選擇開始菜單文件夾對話框，根據(jù)需求勾選。單擊“下一步”，彈出選擇附加工作對話框，根據(jù)需求勾選。單擊“下一步”，彈出完成FineBI安裝程序?qū)υ捒颉螕?FineBI%/bin/finebi.exe文件，驗證FineBI是否安裝成功。1學時合計16考核方式突出學生解決實際問題的能力，加強過程性考核。課程考核的成績構(gòu)成=課堂參與（30%）+實訓指導書（70%）。教