商務(wù)智能與數(shù)據(jù)可視化分析基礎(chǔ) 課件 第4章

第4章數(shù)據(jù)預(yù)處理之PowerBI篇商務(wù)智能與數(shù)據(jù)可視化分析基礎(chǔ)1本章內(nèi)容PowerBIDesktop的主頁(yè)與抓取網(wǎng)頁(yè)數(shù)據(jù)PowerBIDesktop的主頁(yè)

分析網(wǎng)址結(jié)構(gòu)采集第一頁(yè)的數(shù)據(jù)設(shè)置頁(yè)碼參數(shù)批量調(diào)用頁(yè)碼函數(shù)PowerBI數(shù)據(jù)預(yù)處理數(shù)據(jù)導(dǎo)入數(shù)據(jù)填充與篩選添加列數(shù)據(jù)的追加與合并查詢(xún)201PowerBIDesktop的主頁(yè)與抓取網(wǎng)頁(yè)數(shù)據(jù)數(shù)據(jù)預(yù)處理之PowerBI篇PowerBIDesktop的主頁(yè)P(yáng)owerBI抓取網(wǎng)頁(yè)數(shù)據(jù)分析網(wǎng)址結(jié)構(gòu)采集第一頁(yè)的數(shù)據(jù)設(shè)置頁(yè)碼參數(shù)批量調(diào)用頁(yè)碼函數(shù)PowerBIDesktop主頁(yè)的布局與Excel類(lèi)似，上方是各種功能的選項(xiàng)卡，右側(cè)是一些PowerBI自帶的可視化對(duì)象，單擊即可方便地調(diào)用。1.1PowerBIDesktop主頁(yè)31.2PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)4分析網(wǎng)址結(jié)構(gòu)使用鼠標(biāo)將頁(yè)面滾動(dòng)到最下方，找到顯示的頁(yè)碼，分別單擊“第2頁(yè)”、“第3頁(yè)”和“第4頁(yè)”按鈕，觀察網(wǎng)址變化。觀察網(wǎng)址，可知“pg”后面的一個(gè)數(shù)字就是頁(yè)碼ID，是控制分頁(yè)數(shù)據(jù)的變量。為了進(jìn)一步確認(rèn)，將網(wǎng)址中的“pg”后面的數(shù)字改為“1”，按回車(chē)鍵后確實(shí)能返到第一頁(yè)。1.3PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)5采集第一頁(yè)的數(shù)據(jù)打開(kāi)PowerBIDesktop，依次選擇“主頁(yè)”→“獲取數(shù)據(jù)”→“Web”選項(xiàng)。1.4PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)6從彈出的對(duì)話框中選中“高級(jí)”單選按鈕，將之前分析的網(wǎng)址中的除頁(yè)碼ID外的網(wǎng)址輸入“URL部分”的第一行輸入框中，將“1”輸入第二行輸入框中，將“rs上海/”輸入第三行輸入框中。1.5PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)7在“URL預(yù)覽”輸入框中可以看到，上面設(shè)置的三行的網(wǎng)址已經(jīng)自動(dòng)合并到一起，在“URL部分”中分開(kāi)輸入只是為了更清晰地區(qū)分頁(yè)碼變量。單擊“確定”按鈕后，使用“匿名”方式訪問(wèn)。1.6PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)8單擊“連接”按鈕，等待運(yùn)行一段時(shí)間后，自動(dòng)進(jìn)入“導(dǎo)航器”對(duì)話框，該對(duì)話框的左側(cè)出現(xiàn)很多表。在對(duì)話框左側(cè)的表中勾選某個(gè)表的復(fù)選框，在對(duì)話框右側(cè)“表視圖”區(qū)域中會(huì)顯示其對(duì)應(yīng)的數(shù)據(jù)。例如，勾選“表4”復(fù)選框，在右側(cè)“表視圖”區(qū)域中會(huì)顯示“表4”的數(shù)據(jù)。1.7PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)9單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕，等待運(yùn)行一段時(shí)間后，進(jìn)入“PowerQuery編輯器”界面的數(shù)據(jù)展示。1.8PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)10設(shè)置頁(yè)碼參數(shù)在“PowerQuery編輯器”界面中，選擇“高級(jí)編輯器”選項(xiàng)。1.9PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)11在彈出的“高級(jí)編輯器”窗口中，在“l(fā)et”的上一行輸入“(pasnumber)astable=>”，并在“l(fā)et”的下一行的網(wǎng)址中，將“&”后面的“1”改為“Number.ToText(p)”。更改后為“源=Web.BrowserContents(”/ershoufang/pg“&Number.ToText(p)&”rs上海/“)”。1.10PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)12完成上述操作以后，剛才第一頁(yè)數(shù)據(jù)的查詢(xún)窗口變成了自定義函數(shù)的輸入?yún)?shù)窗口，表格也變成了函數(shù)的樣式。點(diǎn)擊【完成】按鈕后，可得到一個(gè)可以調(diào)用的函數(shù)窗口，在“輸入?yún)?shù)”p下面的輸入框，輸入“5”，點(diǎn)擊【調(diào)用】按鈕。1.11PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)13至此完成了自定義函數(shù)設(shè)定，p是該函數(shù)的變量，用來(lái)控制頁(yè)碼，隨便輸入一個(gè)數(shù)字，如：5，將抓取第5頁(yè)的數(shù)據(jù)。1.12PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)14

批量調(diào)用頁(yè)碼函數(shù)輸入一次參數(shù)只能抓取一個(gè)網(wǎng)頁(yè)中的數(shù)據(jù)，如果想批量抓取網(wǎng)頁(yè)中的數(shù)據(jù)，則還需要批量調(diào)用該函數(shù)，因此需要執(zhí)行以下步驟。選擇“主頁(yè)”→“新建源”→“空查詢(xún)”選項(xiàng)，建立一個(gè)數(shù)字序列。例如，如果想抓取前10頁(yè)的數(shù)據(jù)，需要建立從1到10的序列，在空查詢(xún)中輸入“={1..10}”，按回車(chē)鍵后，建立從1到10的數(shù)字序列。1.13PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)15

批量調(diào)用頁(yè)碼函數(shù)單擊“轉(zhuǎn)換”→“到表”按鈕。在彈出的“到表”對(duì)話框中，設(shè)置“如何處理附加列”為“顯示為錯(cuò)誤”，并單擊“確定”按鈕。1.14PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)16

批量調(diào)用頁(yè)碼函數(shù)在“PowerQuery編輯器”界面中，單擊“添加列”→“調(diào)用自定義函數(shù)”按鈕在彈出的“調(diào)用自定義函數(shù)”對(duì)話框中，在“新列名”輸入框中輸入“表4”，設(shè)置“功能查詢(xún)”為“表4”，設(shè)置“p”為“Column1”。1.15PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)17

批量調(diào)用頁(yè)碼函數(shù)在單擊“確定”按鈕后，就開(kāi)始批量抓取網(wǎng)頁(yè)了，抓取10頁(yè)的數(shù)據(jù)耗時(shí)大約幾十秒，返回?cái)?shù)據(jù)抓取結(jié)果。單擊對(duì)話框右上角的，選中“展開(kāi)”單選按鈕，展開(kāi)該表格。1.16PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)18

批量調(diào)用頁(yè)碼函數(shù)單擊“確定”按鈕后，則顯示這10頁(yè)的數(shù)據(jù)。1.17PowerBI抓取網(wǎng)頁(yè)數(shù)據(jù)192002PowerBI數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)處理之PowerBI篇數(shù)據(jù)導(dǎo)入數(shù)據(jù)填充與篩選數(shù)據(jù)中添加列數(shù)據(jù)追加當(dāng)從Excel向PowerBI導(dǎo)入數(shù)據(jù)時(shí)，第一步要做的是提升標(biāo)題。在Excel中，第一行是標(biāo)題行，從第二行開(kāi)始才是數(shù)據(jù)，但在PowerQuery編輯器中，從第一行開(kāi)始就要記錄數(shù)據(jù)，標(biāo)題行在數(shù)據(jù)之上，因此從Excel中導(dǎo)入數(shù)據(jù)的第一步就是提升標(biāo)題行。單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕進(jìn)入，單擊“轉(zhuǎn)換”→“將第一行用作標(biāo)題”按鈕，就完成了標(biāo)題行提升。2.1數(shù)據(jù)導(dǎo)入21設(shè)置數(shù)據(jù)類(lèi)型有以下兩種方式。方法一：?jiǎn)螕簟稗D(zhuǎn)換”→“數(shù)據(jù)類(lèi)型:文本”按鈕，在彈出的下拉列表中進(jìn)行設(shè)置。方法二：通過(guò)標(biāo)題行中的按鈕進(jìn)行設(shè)置。單擊標(biāo)題行中的待設(shè)置列的左側(cè)的圖標(biāo)按鈕。2.2數(shù)據(jù)類(lèi)型設(shè)置22錯(cuò)誤值的處理大部分的數(shù)據(jù)報(bào)錯(cuò)是由數(shù)據(jù)格式引起的，對(duì)數(shù)據(jù)格式轉(zhuǎn)換后依然報(bào)錯(cuò)的列，可以選擇“刪除錯(cuò)誤”命令，或者將錯(cuò)誤值替換為“空”或特定值“0”。具體的處理方式是，右擊所在列，在彈出的快捷菜單中進(jìn)行命令選擇。2.3數(shù)據(jù)填充與篩選23空值的處理單擊所在列的標(biāo)題行的右側(cè)的“”按鈕，在彈出的下拉列表中選擇“刪除空”選項(xiàng)即可。2.4數(shù)據(jù)填充與篩選24在“PowerQuery編輯器”界面中添加列有四種方式，分別為重復(fù)列、索引列、條件列、自定義列2.5數(shù)據(jù)中添加列25重復(fù)列添加重復(fù)列就是復(fù)制選中的列并添加為新列，以便對(duì)該列的數(shù)據(jù)進(jìn)行處理而不損壞原有列的數(shù)據(jù)。添加重復(fù)列的操作步驟如下：選中需要重復(fù)的列，選擇“添加列”→“重復(fù)列”選項(xiàng)；或者右擊需要重復(fù)的列的標(biāo)題行，在彈出的快捷菜單中選擇“重復(fù)列”命令2.6數(shù)據(jù)中添加列26索引列添加索引列就是添加每行都帶有序號(hào)的列，方便記錄每一行所在的位置，可以從0或1開(kāi)始。添加索引列的操作步驟如下：選中需要索引的列，選擇“添加列”→“索引列”→“從0”或“從1”選項(xiàng)。2.7數(shù)據(jù)中添加列27條件列添加條件列就是添加一列根據(jù)指定條件從其他列計(jì)算得出的數(shù)據(jù)列。添加條件列的操作步驟如下：?jiǎn)螕簟疤砑恿小薄皸l件列”按鈕，在彈出的“添加條件列”對(duì)話框中進(jìn)行設(shè)置。例如，設(shè)置“列名”為“A0”，設(shè)置“運(yùn)算符”為“等于”，設(shè)置“值”為“A1”，在“輸出”輸入框中輸入“高級(jí)工程師”。2.8數(shù)據(jù)中添加列28條件列單擊“確定”按鈕后，將根據(jù)設(shè)置的條件得到新的一列。2.9數(shù)據(jù)中添加列29自定義列添加自定義列就是使用M函數(shù)生成新的一列。添加自定義列的操作步驟如下：?jiǎn)螕簟疤砑恿小薄白远x列”按鈕，彈出“自定義列”對(duì)話框。這里將“工號(hào)”列中的數(shù)值翻倍，在“自定義列公式”輸入框中輸入“=[10001]*2”。2.10數(shù)據(jù)中添加列30自定義列單擊“確定”按鈕后，顯示添加的自定義列。2.11數(shù)據(jù)中添加列31在數(shù)據(jù)分析時(shí)，有時(shí)需要進(jìn)行數(shù)據(jù)的追加。例如，當(dāng)合并多個(gè)格式相同的表格時(shí)，需要使用追加查詢(xún)。追加查詢(xún)是在現(xiàn)有數(shù)據(jù)的基礎(chǔ)上，在行的下邊添加新的行，是一種縱向合并。要將兩個(gè)格式相同的表，合并為一個(gè)表，則需要追加查詢(xún)。數(shù)據(jù)加載導(dǎo)入PowerBI中后，單擊“轉(zhuǎn)換數(shù)據(jù)”按鈕，進(jìn)入“PowerQuery編輯器”界面，選中左側(cè)“查詢(xún)”窗格中的Sheet1，單擊“主頁(yè)”→“追加查詢(xún)”按鈕。2.12數(shù)據(jù)追加32在彈出的“追加”對(duì)話框中，選中“兩個(gè)表”單選按鈕，在“要追加的表”下拉列表選中“Sheet2”選項(xiàng)。2.13數(shù)據(jù)追加33最后單擊“確定”按鈕，完成追加查詢(xún)。2.14數(shù)據(jù)追加34例如，要在Sheet1中找到每個(gè)員工工號(hào)對(duì)應(yīng)的入職時(shí)間，首先將文件里的Sheet1中的數(shù)據(jù)導(dǎo)入Sheet3，然后在“查詢(xún)”窗格中選中Sheet1并單擊“主頁(yè)”→“合并查詢(xún)”按鈕。在彈出的“合并”對(duì)話框中，選擇需要匹配的字段，這兩個(gè)表都選擇“工號(hào)”列，在“聯(lián)結(jié)種類(lèi)”下拉列表中選擇“左外部（第一個(gè)中的所有行，第二個(gè)中的匹配行）”選項(xiàng)。單擊“確定”按鈕，創(chuàng)建合并查詢(xún)表。2.15合并查詢(xún)35創(chuàng)建合并查詢(xún)表。2.16合并查詢(xún)36展開(kāi)Sheet3，勾選需要字段的復(fù)選框，合并查詢(xún)就完成了。增加了每個(gè)員工對(duì)應(yīng)