數(shù)據(jù)新聞與信息可視化 課件 第3、4章 網(wǎng)絡(luò)數(shù)據(jù)獲取、數(shù)據(jù)清理

數(shù)據(jù)新聞與信息可視化網(wǎng)絡(luò)數(shù)據(jù)獲取第三章目錄CONTENT01.

認(rèn)識網(wǎng)頁結(jié)構(gòu)02.

網(wǎng)絡(luò)高級搜索03.

使用工具軟件抓取網(wǎng)絡(luò)數(shù)據(jù)04.

使用Python編程語言抓取網(wǎng)絡(luò)數(shù)據(jù)認(rèn)識網(wǎng)頁結(jié)構(gòu)1.1調(diào)閱源代碼1.2探索源代碼1.3認(rèn)識源代碼第一節(jié)網(wǎng)頁是構(gòu)成網(wǎng)站的基本要素，前端網(wǎng)頁呈現(xiàn)與后端數(shù)據(jù)存儲共同構(gòu)成了網(wǎng)站。網(wǎng)頁通常由超文本標(biāo)記語言創(chuàng)建。HTML語言搭建起網(wǎng)頁基本結(jié)構(gòu)，確立了網(wǎng)頁的“骨架”。CSS級聯(lián)樣式表定義了網(wǎng)頁的樣式，也即裝飾了網(wǎng)頁的“皮膚”。JavaScript腳本規(guī)定了網(wǎng)頁的行為方式，也即構(gòu)建了網(wǎng)頁的“肌肉”。1.1

調(diào)閱源代碼1.1

調(diào)閱源代碼1.2

探索源代碼1.3認(rèn)識源代碼表HTML常用標(biāo)簽及含義網(wǎng)絡(luò)高級搜索2.1理解網(wǎng)址結(jié)構(gòu)2.2高級搜索命令第二節(jié)

[協(xié)議]://[服務(wù)器地址]:[端口]/[文件路徑]?[查詢]（端口或不顯示）

2.1

理解網(wǎng)址結(jié)構(gòu)圖網(wǎng)址結(jié)構(gòu)加號（+）邏輯“與”或“并”，連接兩個及以上搜索條件。減號（-）邏輯“非”，排除特定搜索條件。標(biāo)題（intitle）對網(wǎng)頁標(biāo)題欄進行搜索。網(wǎng)站（site）將搜索范圍限定于特定網(wǎng)站。網(wǎng)址（inurl）專題內(nèi)容搜索。文件類型（filetype）搜索特定類型的文件。精確匹配（“”）精確匹配搜索內(nèi)容。2.2

高級搜索命令使用工具軟件抓取網(wǎng)絡(luò)數(shù)據(jù)第三節(jié)數(shù)據(jù)抓取工具可在Windows系統(tǒng)和Mac系統(tǒng)中使用。表網(wǎng)絡(luò)數(shù)據(jù)抓取工具介紹通過讀取網(wǎng)頁源代碼，可以獲知數(shù)據(jù)的存儲路徑，進而通過不同方式獲取網(wǎng)絡(luò)數(shù)據(jù)。HTML語言搭建起網(wǎng)頁基本結(jié)構(gòu)，確立了網(wǎng)頁的“骨架”CSS級聯(lián)樣式表定義了網(wǎng)頁的樣式，也即裝飾了網(wǎng)頁的“皮膚”

JavaScript腳本規(guī)定了網(wǎng)頁的行為方式，也即構(gòu)建了網(wǎng)頁的“肌肉”。詳情頁采集使用Python編程語言抓取網(wǎng)絡(luò)數(shù)據(jù)4.1Python語言基礎(chǔ)簡介4.2使用Selenium庫抓取數(shù)據(jù)4.3使用BeautifulSoup庫進行抓取4.4向瀏覽器發(fā)送信息獲取特定數(shù)據(jù)第四節(jié)Python運行環(huán)境4.1

Python語言基礎(chǔ)簡介Python書寫規(guī)范4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則基本概念

輸出：內(nèi)置函數(shù)print（）。

變量：為數(shù)據(jù)命名。

表達式：由運算符連接起不同類型的數(shù)據(jù)。語句：完整地執(zhí)行了一項任務(wù)的代碼。4.1

Python語言基礎(chǔ)簡介通過縮進來控制代碼模塊4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則數(shù)據(jù)類型

數(shù)值與布爾型：前者表示數(shù)值，后者有True和False兩個值。

字符串：由任意字符構(gòu)成，用引號標(biāo)識。

元組：有序的、不可更改的數(shù)據(jù)序列，使用小括號“（）”創(chuàng)建。列表：有序的，可更改的數(shù)據(jù)序列，使用“[

]”創(chuàng)建。字典：映射類型的數(shù)據(jù)，使用“{

}”創(chuàng)建。4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則函數(shù)、模塊和庫

函數(shù)：可以重復(fù)使用，用來實現(xiàn)一定功能的代碼段。模塊：依據(jù)一定邏輯將代碼組織在一起。庫（也稱包）：具有相同功能的模塊的集合。4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則執(zhí)行條件命令4.1

Python語言基礎(chǔ)簡介執(zhí)行循環(huán)命令4.2

使用Selenium庫抓取數(shù)據(jù)4.3

使用BeautifulSoup庫抓取數(shù)據(jù)driver.find_element(By.CLASS_NAME,‘J-search-input’).send_keys(‘小龍蝦’)drive.find_element(By.CLASS_NAME,'J-all-btn').click()4.4

向瀏覽器發(fā)送信息獲取特定數(shù)據(jù)THANKS謝謝觀看數(shù)據(jù)新聞與信息可視化數(shù)據(jù)清理第四章目錄CONTENT01.

數(shù)據(jù)清理的必要性與分類02.

釋放PDF文件中的數(shù)據(jù)03.

使用EXCEL清理數(shù)據(jù)04.使用OpenRefine清理數(shù)據(jù)05.使用Python編程清理數(shù)據(jù)數(shù)據(jù)清理的必要性與分類1.1數(shù)據(jù)清理的必要性1.2文件格式與數(shù)據(jù)類型1.3數(shù)據(jù)清理的分類1.4數(shù)據(jù)清理日志第一節(jié)1.1數(shù)據(jù)清理的必要性干凈的數(shù)據(jù)輸入是高質(zhì)量數(shù)據(jù)分析的前提1.2

文件格式與數(shù)據(jù)類型文件格式文本文件分隔格式JSON格式HTML格式二進制文件1.2

文件格式與數(shù)據(jù)類型數(shù)據(jù)類型數(shù)字類型日期與時間數(shù)據(jù)字符串?dāng)?shù)據(jù)1.3數(shù)據(jù)清理的分類缺失數(shù)據(jù)不完整的數(shù)據(jù)?？蛇M行數(shù)據(jù)補全或標(biāo)記為NULL。重復(fù)數(shù)據(jù)

序號不同的數(shù)據(jù)，但其屬性和值都一致，很可能是重復(fù)數(shù)據(jù)。可采用合并或清除的方法處理。錯誤數(shù)據(jù)無效數(shù)據(jù)，格式不正確、包含非正規(guī)字符或邏輯錯誤等。應(yīng)依據(jù)錯誤類型進行人工清理。1.4數(shù)據(jù)清理日志樣例

2022年4月12日

(1)執(zhí)行命令VALUE.REPLACE(“/”，“”)附上截圖原始數(shù)據(jù)中有多余字符“/”，使用REPLACE函數(shù)將“/”去掉。

(2)執(zhí)行命令，全部轉(zhuǎn)換為數(shù)字附上截圖原始數(shù)據(jù)中年齡一列應(yīng)為數(shù)字格式釋放PDF文件中的數(shù)據(jù)2.1使用OCR軟件進行格式轉(zhuǎn)換2.2使用Tabula獲取PDF文件中的表格第二節(jié)2.1使用OCR軟件進行格式轉(zhuǎn)換2.2使用Tabula獲取PDF文件中的表格使用Excel清理數(shù)據(jù)3.1導(dǎo)入數(shù)據(jù)3.2數(shù)據(jù)格式轉(zhuǎn)換3.3字符串清理第三節(jié)3.1導(dǎo)入數(shù)據(jù)3.2數(shù)據(jù)格式轉(zhuǎn)換3.3

字符串清理使用OpenRefine清理數(shù)據(jù)4.1創(chuàng)建新項目4.2清理數(shù)據(jù)第四節(jié)4.1創(chuàng)建新項目4.2清理數(shù)據(jù)處理缺失數(shù)據(jù)4.2清理數(shù)據(jù)處理重復(fù)、相似數(shù)據(jù)4.2清理數(shù)據(jù)清除無效數(shù)據(jù)4.2清理數(shù)據(jù)進行數(shù)據(jù)轉(zhuǎn)換使用Python編程清理數(shù)據(jù)5.1查閱數(shù)據(jù)5.2處理數(shù)據(jù)缺失5.3轉(zhuǎn)換