《大數(shù)據(jù)分析與應(yīng)用》課件-單元2 大數(shù)據(jù)分析平臺

單元2大數(shù)據(jù)分析平臺主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI大數(shù)據(jù)分析平臺什么是大數(shù)據(jù)分析平臺Hadoop大數(shù)據(jù)分析平臺系統(tǒng)架構(gòu)什么是大數(shù)據(jù)分析平臺大數(shù)據(jù)分析平臺就是依據(jù)企業(yè)的數(shù)據(jù)需求，整合當(dāng)前主流的、成熟的各種具有不同側(cè)重點(diǎn)的大數(shù)據(jù)處理分析框架和工具，實(shí)現(xiàn)對海量數(shù)據(jù)的挖掘和分析，滿足企業(yè)的數(shù)據(jù)需求。通常意義上講，大數(shù)據(jù)分析平臺包括如下功能模塊：數(shù)據(jù)源：數(shù)據(jù)源決定著數(shù)據(jù)采集，結(jié)構(gòu)化、非結(jié)構(gòu)化、日志類數(shù)據(jù)、流式數(shù)據(jù)等；數(shù)據(jù)采集：即將數(shù)據(jù)導(dǎo)入到大數(shù)據(jù)分析平臺數(shù)據(jù)存儲：采集后的數(shù)據(jù)，經(jīng)過系統(tǒng)的清洗，轉(zhuǎn)換、分類等操作，將數(shù)據(jù)儲存在系統(tǒng)中，為了便

于數(shù)據(jù)分析時(shí)的提取數(shù)據(jù)處理和分析：對存儲在系統(tǒng)中的數(shù)據(jù)分析、處理，數(shù)據(jù)處理與分析的快慢，是檢驗(yàn)數(shù)據(jù)分析系統(tǒng)功能的重要指標(biāo)，數(shù)據(jù)分析系統(tǒng)得出數(shù)據(jù)分析的最終結(jié)果，用于業(yè)務(wù)應(yīng)用。數(shù)據(jù)展示：數(shù)據(jù)可視化，分析的結(jié)果以視覺的角度展現(xiàn)在用戶面前，達(dá)到最終的作用。大數(shù)據(jù)分析平臺什么是大數(shù)據(jù)分析平臺Hadoop大數(shù)據(jù)分析平臺系統(tǒng)架構(gòu)

基于Hadoop的大數(shù)據(jù)分析平臺大數(shù)據(jù)平臺是對海量結(jié)構(gòu)化、非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行采集、存儲、計(jì)算、統(tǒng)計(jì)、分析處理的一系列技術(shù)平臺。大數(shù)據(jù)平臺處理的數(shù)據(jù)量通常是TB級，甚至是PB或EB級的數(shù)據(jù)，其涉及的技術(shù)主要有分布式計(jì)算、高并發(fā)處理、高可用處理、集群、實(shí)時(shí)性計(jì)算等。Hadoop作為一個(gè)開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺，實(shí)現(xiàn)了在大量的廉價(jià)計(jì)算機(jī)組成的集群中對海量數(shù)據(jù)進(jìn)行分布式計(jì)算；Hadoop框架中最核心的設(shè)計(jì)是HDFS和MapReduce；HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，MapReduce是一套可以從海量的數(shù)據(jù)中提取數(shù)據(jù)最后返回結(jié)果集

的編程模型；Hadoop家族還包含各種開源組件，比如Yarn，Zookeeper，Hbase，Hive，Sqoop，Impala，

Spark等；5Hadoop大數(shù)據(jù)分析平臺系統(tǒng)架構(gòu)數(shù)據(jù)應(yīng)用：Tableau、Qlikview、

PowrerBI等數(shù)據(jù)采集與預(yù)處理：日志數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)常見工具有Flume，Logstash，實(shí)時(shí)數(shù)

據(jù)、流式數(shù)據(jù)常采用Strom，Spark

streaming、Flink等數(shù)據(jù)存儲：列存儲HBASE、NoSQL存儲

Redis、大數(shù)據(jù)存儲引擎KuDu數(shù)據(jù)挖掘分析：Hive(HQL)、Pig、

Impala、Spark等主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI阿里云大數(shù)據(jù)平臺一站式數(shù)據(jù)平臺提供多層服務(wù)行業(yè)解決方案阿里云大數(shù)據(jù)平臺定位阿里云大數(shù)據(jù)平臺產(chǎn)品架構(gòu)9典型阿里云大數(shù)據(jù)平臺架構(gòu)1平臺優(yōu)勢AI加持的雙

生系統(tǒng)應(yīng)用廣泛的最佳實(shí)踐易用齊全的產(chǎn)品體系極致的性能與成本阿里云大數(shù)據(jù)平臺優(yōu)勢主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxComputeMaxCompute概述MaxCompute基本操作大數(shù)據(jù)計(jì)算服務(wù)MaxCompute，由阿里云自主研發(fā)，提供針對TB/PB級數(shù)據(jù)、實(shí)時(shí)性要求不高的分布式處理能力，應(yīng)用于數(shù)

據(jù)分析、挖掘、商業(yè)智能等領(lǐng)域。阿里巴巴的數(shù)據(jù)業(yè)務(wù)都運(yùn)行在MaxCompute。MaxCompute是一種快速、完全托管的EB級數(shù)據(jù)倉庫解決方案。大數(shù)據(jù)計(jì)算服務(wù)-MaxComputeMaxComputeMaxCompute致力于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計(jì)算，提供海量數(shù)據(jù)倉庫的解決方案及分析建模服務(wù)。通常和

DataWorks

一起構(gòu)建大數(shù)據(jù)分析平臺。數(shù)據(jù)通道開發(fā)SDK計(jì)算分析安全服務(wù)MaxCompute的主要功能及作用阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxComputeMaxCompute概述MaxCompute基本操作MaxCompute的使用流程MaxComputeMaxCompute所有的操作都是基于表，因此MaxCompute的使用從安裝配置環(huán)境后建表開始MaxCompute常見使用方式MaxCompute客戶端是一個(gè)java程序，需要JRE環(huán)境才能運(yùn)行，請下載并安裝JRE1.6+版本(JRE

1.7或以上版本，建議優(yōu)先使用JRE

1.7/1.8，其中JRE

1.9已經(jīng)支持，

JRE

1.10暫時(shí)還不支持)。1.官網(wǎng)下載客戶端壓縮文件2.解壓文件，可以看到如下4個(gè)文件夾：bin/conf/lib/plugins/修改<ODPS_CLIENT>/conf/odps_conf.iniproject_name=[project_name]access_id=****************access_key=******************************end_point=http://service./apitunnel_endpoint=log_view_host=http://logview.odps.aliyun.comhttps_check=<true|false>MaxCompute的客戶端客戶端工具CLT運(yùn)行bin目錄下的MaxCompute：?Linux系統(tǒng)下運(yùn)行./bin/odpscmd?Windows下運(yùn)行./bin/odpscmd.batMaxCompute的客戶端應(yīng)用客戶端工具CLTodps@my_project>select*from

my_table;--執(zhí)行SQL語句odps@my_project>descmy_table;--查看表結(jié)構(gòu)odps@my_project>listtables;--查看表名列表odps@my_project>createtablemy_talbe(id

bigint);

--創(chuàng)建表Java+eclipse的應(yīng)用JavaeclipseStep01官網(wǎng)導(dǎo)航中找到并下載MaxComputeforeclipse插件;Step02將插件解壓并復(fù)制到問eclipse安裝目錄下的plug-in子目錄下;Step03啟動eclipse;Step04檢查Wizard選項(xiàng)，確認(rèn)配置成功。

MaxCompute

Studio，是面向MaxCompute計(jì)算引擎開發(fā)的數(shù)據(jù)處理開發(fā)工具，是一套基于流行的集成開發(fā)平臺IntelliJ

IDEA的開發(fā)插件。

安裝步驟：1.安裝JDK1.82.安裝IntelliJ

IDEA,需要IntelliJ

IDEA14.1.4以上3.在IntelliJIDEA中打開File|Settings|Plugins，點(diǎn)擊Browse

repositories

...按鈕4.搜索“MaxComputeStudio",安裝MaxComputeStudio插件

5.完成安裝，重新啟動IntelliJIDEA6.創(chuàng)建MaxCompute項(xiàng)目鏈接使用MaxComputStudioIntelliJ

IDEA

Tunnel批量數(shù)據(jù)通道?DataWorks?DTS?Sqoop?Kettle插件?MaxCompute客戶端DataHub實(shí)時(shí)數(shù)據(jù)通道?OGG插件?Flume插件?LogStash插件?Fluentd插件數(shù)據(jù)上傳/下載綜述MaxCompute系統(tǒng)上傳/下載數(shù)據(jù)包括兩種方式:Tunnel上傳/下載數(shù)據(jù)

MaxCompute客戶端提供Tunnel命令實(shí)現(xiàn)數(shù)據(jù)的上傳/下載。基本語法：

tunnel<subcommand>[options]

args

示例：下載數(shù)據(jù)：tunneldownload-cGBKtmp_tabled:\tmp_table.csv上傳數(shù)據(jù)：tunnelupload-cGBKd:\dim_map.csvdim_mapMaxComputeSQL是個(gè)數(shù)據(jù)倉庫工具，Query解析后，計(jì)算和存儲交由底層的飛天實(shí)現(xiàn)。MaxCompute

SQL支持常用的SQL語法，包括窗口函數(shù)MaxComputeSQL可以看做對標(biāo)準(zhǔn)SQL的支持，但是不能簡單等同于數(shù)據(jù)庫

MaxCompute

SQL不支持事務(wù)、主外鍵約束、索引等MaxCompute

SQL適用于海量數(shù)據(jù)(TB/PB級別)的數(shù)據(jù)運(yùn)算MaxComputeSQL的每個(gè)作業(yè)的準(zhǔn)備，提交等階段要花費(fèi)較長時(shí)間，實(shí)時(shí)性不高M(jìn)axCompute

SQL長度有限制，目前是不能超過2MMaxComputeSQL是什么？MaxCompute將SQL語句的關(guān)鍵字作為保留字。在對表、列或是分區(qū)命名時(shí)如若使用關(guān)鍵字，需給關(guān)鍵字加``符號進(jìn)行轉(zhuǎn)義，否則會報(bào)錯(cuò)。保留字不區(qū)分大小寫。常見如圖：MaxComputeSQL的關(guān)鍵字隱式轉(zhuǎn)換是指依據(jù)上下文使用環(huán)境及類型轉(zhuǎn)換規(guī)則自動進(jìn)行的類型轉(zhuǎn)換顯式轉(zhuǎn)換是指用cast將一種數(shù)據(jù)類型的值轉(zhuǎn)換為另一種類型的值的行為。MaxComputeSQL的類型轉(zhuǎn)換MaxComputeSQL的運(yùn)算符DDL語句修改生命周期創(chuàng)建表/視圖修改表添加分區(qū)刪除分區(qū)查看表/分區(qū)信息MaxComputeSQL的DDL語句函數(shù)SELECT操作DML語句TRUNCATE操作INSERT操作MaxComputeSQL的DML語句內(nèi)置函數(shù)自定義函數(shù)MaxComputeSQL的函數(shù)UDF：用戶自定義函數(shù)User

Defined

Scalar

FunctionUser

Defined

Aggregation

FunctionUser

Defined

Table

Valued

Function用戶自定義標(biāo)量函數(shù)用戶自定義表值函數(shù)

用戶自定義聚組函數(shù)UDAFUDFUDTF自定義函數(shù)?實(shí)現(xiàn)UDF需要繼承com.aliyun.odps.udf.UDF類，并實(shí)現(xiàn)evaluate方法?evaluate方法必須是非

static的public方法?evaluate方法的參數(shù)和返回值類型將作為SQL中UDF的函數(shù)簽名?用戶可以在UDF中實(shí)現(xiàn)多個(gè)evaluate方法?調(diào)用UDF時(shí)框架會依據(jù)UDF調(diào)用的參數(shù)類型匹配正確的evaluate方法加載UDF依賴包UDF實(shí)現(xiàn)邏輯繼承UDF類定義evaluate方法(函數(shù)簽名)實(shí)現(xiàn)evaluate方法UDF的開發(fā)流程分布式離線計(jì)算框架-MapReduce34MR的開發(fā)應(yīng)用流程主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI一站式大數(shù)據(jù)平臺DataWorksDataWorks概述DataWorks基本操作DataWorks(數(shù)據(jù)工場，原大數(shù)據(jù)開發(fā)套件)是阿里云數(shù)加重要的PaaS平臺產(chǎn)品，它提供全面托管的工作流服務(wù)，一站式開發(fā)管理的界面，幫助企業(yè)專注于數(shù)據(jù)價(jià)值的挖掘和探索。DataWorks支持多種計(jì)算和存儲引擎服務(wù)，包括離線計(jì)算MaxCompute、開源大數(shù)據(jù)引擎E-MapReduce、實(shí)

時(shí)計(jì)算(基于Flink)、機(jī)器學(xué)習(xí)PAI、圖計(jì)算服務(wù)GraphCompute和交互

式分析服務(wù)等，并且支持用戶自定義接入計(jì)算和存儲服務(wù)。大數(shù)據(jù)開發(fā)平臺-DataWorksDataWorks使用DataWorks，可以對數(shù)據(jù)進(jìn)行傳輸、轉(zhuǎn)換和集成等操作，從不同的數(shù)據(jù)存儲引入數(shù)據(jù)，并進(jìn)行轉(zhuǎn)化和開發(fā)，

最后將處理好的數(shù)據(jù)同步至其它數(shù)據(jù)系統(tǒng)。DataWorks提供全鏈路智能大

數(shù)據(jù)及AI開發(fā)和治理服務(wù)。通常情況下DataWorks和其他產(chǎn)品結(jié)合在一起

尤其是MaxCompute搭建數(shù)據(jù)分析系統(tǒng)。DataWorks的主要功能及作用一站式大數(shù)據(jù)平臺DataWorksDataWorks概述DataWorks基本操作DataWorks的使用流程

DataWorks的使用從主賬號(組織管理員)創(chuàng)建項(xiàng)目和子賬號開始并賦權(quán)開始。不同角色的賬號操作模塊不同。DataWorks數(shù)據(jù)平臺開發(fā)流程?數(shù)據(jù)產(chǎn)生：業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化的數(shù)據(jù)，通常存儲的數(shù)據(jù)庫中，如MySQL、Oracle、RDS等類型。?數(shù)據(jù)收集與存儲：利用MaxCompute的海量數(shù)據(jù)存儲與

處理能力來分析這些已有的數(shù)據(jù)，首先需要將不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步至MaxCompute中。DataWorks提供數(shù)據(jù)

集成服務(wù)，可將多種數(shù)據(jù)源類型數(shù)據(jù)按照預(yù)設(shè)的調(diào)度周期同步到MaxCompute中。?數(shù)據(jù)分析與處理：對MaxCompute上的數(shù)據(jù)進(jìn)行加工

(MaxCompute

SQL、MaxCompute

MR)、分析與挖掘(數(shù)據(jù)分析、數(shù)據(jù)挖掘)等處理，從而發(fā)現(xiàn)其價(jià)值。?數(shù)據(jù)提取：分析與處理后的結(jié)果數(shù)據(jù)，需同步導(dǎo)出至其他(業(yè)務(wù))系統(tǒng)，供業(yè)務(wù)人員使用其分析的價(jià)值。?數(shù)據(jù)展現(xiàn)和分享：最后可通過報(bào)表、地理信息系統(tǒng)等多種展現(xiàn)方式來展示與分享大數(shù)據(jù)分析、處理后的成果。數(shù)據(jù)處理

本地?cái)?shù)據(jù)導(dǎo)入DataWorks支持以下兩種操作：?將保存在本地的文本文件中的數(shù)據(jù)上傳到工作空間的表中。?通過數(shù)據(jù)集成模塊將業(yè)務(wù)數(shù)據(jù)從多個(gè)不同的數(shù)據(jù)源導(dǎo)入到工作空間。本地文本文件上傳的限制如下：?文件類型：僅支持

.txt

和

.csv

格式。?文件大?。翰怀^

10

M。?操作對象：導(dǎo)入分區(qū)表時(shí)，分區(qū)不允許為中文。DataWorks中，ODPSSQL節(jié)點(diǎn)、Shell節(jié)點(diǎn)、PyODPS節(jié)點(diǎn)等各類節(jié)點(diǎn)的開發(fā)過程大同小異，根本區(qū)別

在于個(gè)不同類型節(jié)點(diǎn)的數(shù)據(jù)處理實(shí)現(xiàn)。數(shù)據(jù)節(jié)點(diǎn)開發(fā)ODPS

SQL節(jié)點(diǎn)開發(fā)過程示例如下：

任務(wù)調(diào)度配置任務(wù)的時(shí)間屬性目前支持月、周、天、小時(shí)和分鐘說明：?周期運(yùn)行的任務(wù)依賴關(guān)系的優(yōu)先級大于時(shí)間屬性，即在時(shí)間屬性決定的某個(gè)時(shí)間點(diǎn)到達(dá)時(shí)，任務(wù)實(shí)例運(yùn)行的前提是上游依賴是否全部運(yùn)行成功。?上游依賴的實(shí)例沒有全部運(yùn)行成功并且定時(shí)運(yùn)行時(shí)間已到，則實(shí)例仍為未運(yùn)行狀態(tài)。?上游依賴的實(shí)例全部運(yùn)行成功并且

定時(shí)運(yùn)行時(shí)間還未到，則實(shí)例進(jìn)入等待

時(shí)間狀態(tài)。?上游依賴的實(shí)例全部運(yùn)行成功并且

定時(shí)運(yùn)行時(shí)間已到，則實(shí)例進(jìn)入

等待資源狀態(tài)準(zhǔn)備運(yùn)行。5種配置方式，目前能支持的最短時(shí)間為5

分鐘。DataWorks中的參數(shù)設(shè)置1.數(shù)據(jù)搜索2.數(shù)據(jù)權(quán)限申請3.新建表4.收藏表5.修改生命周期6.修改表結(jié)構(gòu)7.隱藏表8.修改表負(fù)責(zé)人9.刪除表10.查看表詳情11.類目導(dǎo)航配置數(shù)據(jù)管理為用戶提供組織內(nèi)全局?jǐn)?shù)據(jù)視圖、用戶可以對組織內(nèi)數(shù)據(jù)進(jìn)行分權(quán)管理、元數(shù)據(jù)信息詳情、數(shù)據(jù)生命周期管理、數(shù)據(jù)表/資源/函數(shù)權(quán)限管理審批等操作。具體功能以及管理模塊權(quán)限如圖：數(shù)據(jù)管理

運(yùn)維操作運(yùn)維中心僅對開發(fā)、運(yùn)維、項(xiàng)目管理員角色的人員開放：開發(fā)：進(jìn)行單個(gè)工作流/節(jié)點(diǎn)測試、補(bǔ)數(shù)據(jù)、暫停、重跑任務(wù)，查看任務(wù)運(yùn)行日志等操作，

還可配置監(jiān)控報(bào)警；運(yùn)維：經(jīng)常處理任務(wù)異常，運(yùn)維任務(wù)包括：單個(gè)工作流/節(jié)點(diǎn)測試、補(bǔ)數(shù)據(jù)、暫停、重跑任務(wù)等操作。同時(shí)，還可進(jìn)行批量修改工作流/節(jié)點(diǎn)屬性、批量殺任務(wù)及批量重跑、配置監(jiān)控報(bào)警等干預(yù)性

操作。項(xiàng)目管理員:在運(yùn)維中心模塊中擁有與運(yùn)維人員同等的操作權(quán)限。

智能監(jiān)控智能監(jiān)控模塊是DataWorks(數(shù)據(jù)工場)任務(wù)運(yùn)行的監(jiān)控及分析系統(tǒng)。根據(jù)監(jiān)控規(guī)則和任務(wù)運(yùn)行情況，智能監(jiān)控決策是否報(bào)警、何時(shí)報(bào)警、如何報(bào)警以及給誰報(bào)警。智能監(jiān)控會自動選擇最合理的報(bào)警時(shí)間，報(bào)警方式以及報(bào)警對象。主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAIBI平臺QuickBIQuickBI介紹Quick

BI基本操作Quick

BI是一個(gè)基于云計(jì)算的靈活的輕量級的自助BI工具服務(wù)平臺。它提供海量數(shù)據(jù)實(shí)時(shí)在線分析，拖拽式操作、豐富的可視化效果，幫助您輕松自如地完成數(shù)據(jù)分析、業(yè)務(wù)數(shù)據(jù)探查。它不止是業(yè)務(wù)人員看數(shù)據(jù)的工具，更是數(shù)據(jù)化運(yùn)營的助推器，解決大數(shù)據(jù)應(yīng)用“最后一公里”的問題，實(shí)現(xiàn)人人都是數(shù)據(jù)分析師。QuickBI介紹Quick

BIQuick

BI是在大數(shù)據(jù)構(gòu)建與管理之上，直接解

決業(yè)務(wù)場景問題，支持全局?jǐn)?shù)據(jù)監(jiān)控和數(shù)據(jù)化運(yùn)營,QuickBI通常在大數(shù)據(jù)分析平臺實(shí)現(xiàn)數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)。常見應(yīng)用場景如：數(shù)據(jù)及時(shí)

分析與決策、報(bào)表與自有系統(tǒng)集成、交易數(shù)據(jù)

權(quán)限管控等。QuickBI的功能及作用BI平臺QuickBIQuickBI介紹QuickBI基本操作Quick

BI是一個(gè)基于云計(jì)算的靈活的輕量級的自助BI工具服務(wù)平臺。QuickBI的使用流程支持的數(shù)據(jù)源?CSV文件、Excel文件?DataIDE?MaxCompute、MySQL、Hive?SQLServer、Analytic

DB、PPAS?HybridDBforMySQL&

PostgreSQL、PostgreSQL云數(shù)據(jù)源

自建數(shù)據(jù)庫下的數(shù)據(jù)源探索空間?MySQL、SQLServer?Oracle、Hive數(shù)據(jù)源添加步驟：Quick

BI核心流程—添加數(shù)據(jù)源1顯示名稱：數(shù)據(jù)源列表顯示名稱數(shù)據(jù)庫地址：寫主機(jī)名或IP地址即可端口號：填寫正確的端口號即可數(shù)據(jù)庫：連接數(shù)據(jù)庫名稱用戶名：數(shù)據(jù)庫對應(yīng)的用戶名密碼：數(shù)據(jù)庫對應(yīng)密碼1.選擇數(shù)據(jù)源類型/種類(數(shù)據(jù)源標(biāo)簽)2.配置所需要的數(shù)據(jù)源連接信息3.連接測試4.點(diǎn)擊添加(配置RDS示例信息)數(shù)據(jù)集添加步驟：1.選擇數(shù)據(jù)源(數(shù)據(jù)源已有)

2.選擇數(shù)據(jù)表3.創(chuàng)建數(shù)據(jù)集Quick

BI核心流程—創(chuàng)建數(shù)據(jù)集2實(shí)際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含

的字段自動劃分為維度和度量，根據(jù)實(shí)際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。

編輯界面?編輯維度?編輯度量?關(guān)聯(lián)數(shù)據(jù)表Quick

BI核心流程—編輯數(shù)據(jù)集2實(shí)際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含

的字段自動劃分為維度和度量，根據(jù)實(shí)際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。

編輯維度?編輯：修改維度顯示名以及備注信息。?克隆維度：快速復(fù)制一個(gè)維度，生成的維度將會自動帶

上副本以做提示。?刪除：刪除該字段。?新建計(jì)算字段(維度)：可新創(chuàng)建一個(gè)維度字段，并且可自定義其計(jì)算方式。?移動到：快速將維度納入到已有層次結(jié)構(gòu)中，可用來實(shí)

現(xiàn)鉆取。?新建層次結(jié)構(gòu)：快速將維度納入到新建的層次結(jié)構(gòu)中。?上移/下移：移動字段位置，支持鼠標(biāo)拖拽和右鍵單擊。?轉(zhuǎn)換為度量：可將當(dāng)前維度字段轉(zhuǎn)換為度量字段。?維度類型切換：默認(rèn)、日期以及地理維度的切換。2QuickBI核心流程—編輯數(shù)據(jù)集

編輯度量?編輯：修改維度顯示名以及備注信息。?刪除:刪除該字段.?新建計(jì)算字段(度量)：可新建一個(gè)度量字段，并且可自定義其計(jì)算方式。?移動到：快速將度量納入到已有文件夾中?下移：移動字段位置，支持鼠標(biāo)拖拽和右鍵?轉(zhuǎn)換為維度：可將當(dāng)前度量字段轉(zhuǎn)換為維度字段。?數(shù)字格式化：可決定數(shù)字的顯示格式。?默認(rèn)聚合方式：可在菜單中選擇聚合方式，如求和，最

大值，最小值等。實(shí)際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；數(shù)據(jù)集中所包含

的字段自動劃分為維度和度量，根據(jù)實(shí)際需要，編輯數(shù)據(jù)的維度字段和度量字段，編輯完成，根據(jù)系統(tǒng)提供的工具欄，將編輯好的數(shù)據(jù)保存和刷新。QuickBI核心流程—編輯數(shù)據(jù)集2選擇關(guān)聯(lián)表實(shí)際應(yīng)用中，根據(jù)圖表的展示需要，往往需要編輯對應(yīng)的數(shù)據(jù)集；除了編輯維度、2

度量外，還經(jīng)常進(jìn)行表關(guān)聯(lián)操作，如下圖：QuickBI核心流程—編輯數(shù)據(jù)集選擇數(shù)據(jù)集字段完成關(guān)聯(lián)表添加選擇關(guān)聯(lián)字段選擇關(guān)聯(lián)方式選擇數(shù)據(jù)集預(yù)覽保存編輯好的數(shù)據(jù)集保存后，可以進(jìn)入制作電子表格。數(shù)據(jù)集選擇區(qū)內(nèi)切換已有的數(shù)據(jù)集；電子表格配置區(qū)選擇要制作的數(shù)據(jù)圖表，并且根據(jù)展示需要，設(shè)置單元格的顏色、字體、數(shù)據(jù)格

式等多種操作；電子表格展示區(qū)，按照單元格展示和引用數(shù)據(jù)，完成數(shù)據(jù)的再加工。QuickBI核心流程—制作電子表格3配置儀表盤：添加控件、配置控件樣式、數(shù)據(jù)；添加數(shù)據(jù)圖表，配置圖表樣式、數(shù)據(jù)信息；

若有需要

還需配置控件與圖表控件之間的關(guān)系。新建儀表板選擇數(shù)據(jù)集配置儀表板QuickBI核心流程—編輯儀表板選擇編輯好的數(shù)據(jù)集，點(diǎn)擊新建儀表板，創(chuàng)建\編輯儀表板3門戶也叫數(shù)據(jù)產(chǎn)品，是通過菜單形式組織的儀表板的集合。通過數(shù)據(jù)門戶可以制作復(fù)雜的帶導(dǎo)航菜單的專題類分析。QuickBI核心流程—搭建門戶41、新建門戶2、設(shè)置頁面信息門戶也叫數(shù)據(jù)產(chǎn)品，是通過菜單形式組織的儀表板的集合。通過數(shù)據(jù)門戶可以制作復(fù)雜的帶導(dǎo)航菜單的專題類分析。QuickBI核心流程—搭建門戶43、設(shè)置菜單4、分享授權(quán)主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI數(shù)據(jù)大屏DataVDataV概述DataV基本操作DataV數(shù)據(jù)可視化:是阿里云研發(fā)的，使用可視化大屏的方式來分析并展示龐雜數(shù)據(jù)的產(chǎn)品。DataV旨讓更多的人看到數(shù)據(jù)可視化的魅力，幫助非專業(yè)的工程師通過圖形化的界面輕松搭建專業(yè)水準(zhǔn)的可視化應(yīng)用，滿足會議展覽、業(yè)務(wù)監(jiān)控、風(fēng)險(xiǎn)預(yù)警、地理信息分析等多種業(yè)務(wù)的展示需求。什么是DataVDataVDataV通過拖、拉、拽形式實(shí)現(xiàn)數(shù)據(jù)可視化，完成工業(yè)級的數(shù)據(jù)可視化項(xiàng)目的開發(fā)。

基于高性能的三維渲染引擎，實(shí)現(xiàn)對海量數(shù)據(jù)分析；豐富的炫酷圖表組件可以幫助客戶搭建專業(yè)級地理信息可視化應(yīng)用。DataV的功能及作用數(shù)據(jù)大屏DataVDataV概述DataV基本操作DataV的應(yīng)用可以直接采用系統(tǒng)提供模板也可以新建模板。DataV的使用流程

DataV場景模板DataV提供了指揮中心、地理分析、實(shí)時(shí)監(jiān)控、匯報(bào)展示等多種場景模板，簡單修改即可快速投入使用。即使沒有專業(yè)的設(shè)計(jì)師，可視化作品也可以具備高設(shè)計(jì)水準(zhǔn)。APP移動端模板示例WEB大屏模板示例

DataV豐富開放的圖表庫DataV提供了多種圖表組件，支撐多種數(shù)據(jù)類型的分析展示；還接入ECharts、AntV-G2等第三方開源圖表庫。可視化圖表組件示例

DataV多樣的地理信息組件DataV能夠繪制包括海量數(shù)據(jù)的地理軌跡、地理飛線、熱力分布、地域區(qū)塊、3D地圖、3D地球，實(shí)現(xiàn)地理數(shù)據(jù)的多層疊加。網(wǎng)站流量模板示例地理組件示例

DataV支持的數(shù)據(jù)源DataV能夠接入阿里云的分析型數(shù)據(jù)庫和關(guān)系型數(shù)據(jù)庫，支持本地CSV上傳、靜態(tài)JSON文件，在線API接入及動態(tài)請求。企業(yè)版還支持Oracle和SQLServer。滿足各類大數(shù)據(jù)實(shí)時(shí)計(jì)算、監(jiān)

控的需求，充分發(fā)揮大數(shù)據(jù)計(jì)算的能力。

DataV圖形化編輯界面DataV提供多種業(yè)務(wù)模塊級別而非圖表組件的工具，所見即所得的配置方式，無需編程能力，只需要通過拖拽，

即可創(chuàng)造出專業(yè)的可視化應(yīng)用。添加、移動組件示例

樣式配置示例

數(shù)據(jù)配置示例

DataV數(shù)據(jù)交互分析DataV支持圖形化的配置圖表之間的交互聯(lián)動，通過圖表之間的參數(shù)傳遞實(shí)現(xiàn)數(shù)據(jù)的交互分析。組件A:設(shè)置回調(diào)ID

(x,y)組件B:使用回調(diào)ID

(x,y)

DataV多種適配與發(fā)布DataV

特別針對拼接大屏端的展示做了分辨率優(yōu)化，能夠適配非常規(guī)拼接分辨率做適配優(yōu)化。提供三種發(fā)布方式：公開分享、密碼訪問、Token驗(yàn)證。企業(yè)版密碼訪問和Token驗(yàn)證公開分享主要內(nèi)容常用大數(shù)據(jù)分析平臺阿里云大數(shù)據(jù)平臺阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute一站式大數(shù)據(jù)平臺DataWorksBI平臺QuickBI數(shù)據(jù)大屏DataV機(jī)器學(xué)習(xí)平臺PAI機(jī)器學(xué)習(xí)平臺PAI機(jī)器學(xué)習(xí)平臺PAI介紹機(jī)器學(xué)習(xí)平臺PAI基本操作阿里云機(jī)器學(xué)習(xí)平臺PAI

(

PlatformofArtificialIntelligence)：是構(gòu)建在阿里云MaxCompute計(jì)算平臺之上，集數(shù)據(jù)處理、建模、

離線預(yù)測、在線預(yù)測為一體的機(jī)器學(xué)習(xí)平臺。為算法開發(fā)者提供了豐富的MPI、PS、BSP等編程框架和數(shù)據(jù)存儲接口，同時(shí)提供了基

于WEB的可視化控制臺，降低了使用門檻。PAI上手簡單、算法豐

富、一站式體驗(yàn)并支持深度學(xué)習(xí)。什么是機(jī)器學(xué)習(xí)PAI機(jī)器學(xué)習(xí)PAIPAI跟DataWorks是無縫打通的，實(shí)現(xiàn)SQL、UDF、UDAF、MR等多種數(shù)據(jù)處理，

基于PAI平臺上訓(xùn)練模型，生成的模型可以通過EAS部署到線上環(huán)境，并支持周期性調(diào)度，也可以發(fā)布到DataWorks與其它上下游任務(wù)節(jié)點(diǎn)打通依賴關(guān)系。另外調(diào)度任務(wù)區(qū)分生產(chǎn)環(huán)境以及開發(fā)環(huán)境，可以做到數(shù)據(jù)安全隔離。即數(shù)據(jù)在MaxCompute或OSS上，PAI完成數(shù)據(jù)建模。

PAI的功能與及應(yīng)用課程目錄1.常用大數(shù)據(jù)分析平臺2.阿里云大數(shù)據(jù)平臺介紹3.大數(shù)據(jù)計(jì)算服務(wù)MaxCompute4.一站式大數(shù)據(jù)平臺DataWorks5.BI平臺Quick

BI介紹與基本操作6.數(shù)據(jù)大屏DataV7.機(jī)器學(xué)習(xí)平臺PAI7.1機(jī)器學(xué)習(xí)平臺PAI介紹7.2

機(jī)器學(xué)習(xí)平臺PAI基本操作79

機(jī)器學(xué)習(xí)平臺PAI機(jī)器學(xué)習(xí)平臺PAI介紹機(jī)器學(xué)習(xí)平臺PAI基本操作

PAI的使用流程PAI的可視化建?？梢曰谀０逡部梢孕陆āＴ诿鞔_任務(wù)、目標(biāo)、并且掌握數(shù)據(jù)實(shí)際情況前提下，即完成商業(yè)理解任務(wù)、數(shù)據(jù)理解任務(wù)前提下，開始機(jī)器學(xué)習(xí)的數(shù)據(jù)建模過程：1)數(shù)據(jù)預(yù)處理2)選擇特征

3)選擇模型進(jìn)行