基于python今日頭條新聞?lì)惥W(wǎng)站數(shù)據(jù)分析展示

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

目錄

1引言............................................................................................................................1

1.1項(xiàng)目背景......................................................................................................1

1.2開(kāi)發(fā)環(huán)境與工具..........................................................................................2

1.2.1Python簡(jiǎn)介..........................................................................................2

1.2.2Selenium簡(jiǎn)介......................................................................................2

1.2.3Jupyternotebook簡(jiǎn)介......................................................................2

1.2.4Matplotlib簡(jiǎn)介..................................................................................3

2需求分析....................................................................................................................3

2.1可行性需求分析..........................................................................................3

2.2采集目標(biāo)功能分析......................................................................................4

2.3關(guān)鍵技術(shù)分析..............................................................................................4

2.3.1網(wǎng)絡(luò)爬蟲(chóng)技術(shù).......................................................................................4

2.3.2文件存取技術(shù).......................................................................................5

2.3.3可視化技術(shù)...........................................................................................6

3數(shù)據(jù)采集....................................................................................................................6

3.1采集頁(yè)面分析..............................................................................................6

3.2字段分析......................................................................................................7

3.3編程實(shí)現(xiàn)......................................................................................................8

4數(shù)據(jù)清洗與處理......................................................................................................13

4.1數(shù)據(jù)清洗....................................................................................................13

4.2數(shù)據(jù)儲(chǔ)存....................................................................................................14

4.3編程實(shí)現(xiàn)....................................................................................................15

5數(shù)據(jù)統(tǒng)計(jì)與分析......................................................................................................16

5.1數(shù)據(jù)準(zhǔn)備....................................................................................................16

5.2數(shù)據(jù)展示....................................................................................................17

5.2.1依據(jù)點(diǎn)贊數(shù)量、評(píng)論數(shù)量進(jìn)行統(tǒng)計(jì).................................................17

5.2.2依據(jù)新聞點(diǎn)贊與新聞賬號(hào)做統(tǒng)計(jì).....................................................18

I

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2.3依據(jù)評(píng)論數(shù)量和點(diǎn)贊數(shù)量統(tǒng)計(jì)新聞賬號(hào)受歡迎程度.....................19

5.2.4依據(jù)新聞賬號(hào)、評(píng)論數(shù)量、點(diǎn)贊數(shù)量進(jìn)行綜合統(tǒng)計(jì).....................20

5.3綜述............................................................................................................20

6小結(jié)..........................................................................................................................21

參考資料.........................................................................................................................22

II

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

基于Python今日頭條新聞?lì)惥W(wǎng)站數(shù)據(jù)分析展示

1引言

大數(shù)據(jù)的發(fā)展,使我們的國(guó)家已經(jīng)進(jìn)入了一個(gè)數(shù)據(jù)經(jīng)濟(jì)的階段。人們現(xiàn)在經(jīng)

常會(huì)看到這個(gè)詞匯，逐漸就不陌生了，但知道具體含義的人卻是寥寥無(wú)幾，那

么大數(shù)據(jù)究竟是什么意思，我們來(lái)進(jìn)行探討。

隨著經(jīng)濟(jì)和科技的發(fā)展，互聯(lián)網(wǎng)離我們?cè)絹?lái)越近，現(xiàn)代智能手機(jī)的發(fā)展也

已經(jīng)有了非常高超的技術(shù)，使得我們可以通過(guò)手機(jī)流量的消耗和無(wú)線(xiàn)網(wǎng)進(jìn)行網(wǎng)

絡(luò)上的信息交流。在這種情況下，每個(gè)人的手機(jī)內(nèi)部都有著數(shù)不清的信息，人

們除了通過(guò)手機(jī)玩游戲、看視頻、看電影以外，還會(huì)進(jìn)行社交和購(gòu)物，這種情

況下就潛移默化的將我們的心情、想法帶入到了其中，因此網(wǎng)絡(luò)上的各個(gè)平臺(tái)

以此為基礎(chǔ)來(lái)掌握我們的各種信息，進(jìn)而為我們推薦更加符合我們個(gè)人需求的

視頻、商品、等等。所以大數(shù)據(jù)可以理解為統(tǒng)計(jì)數(shù)據(jù)信息的平臺(tái)，也可以被理

解為現(xiàn)階段網(wǎng)絡(luò)產(chǎn)物。

1.1項(xiàng)目背景

一個(gè)新聞?lì)惥W(wǎng)站數(shù)據(jù)包含著許許多多個(gè)板塊，而每個(gè)板塊里面又有著數(shù)不

清的數(shù)據(jù)信息，闡述著各個(gè)方面的類(lèi)型題材。

對(duì)于今日頭條新聞?lì)惥W(wǎng)站而言，我們要想爬取到具有價(jià)值的數(shù)據(jù)信息就必

須將每個(gè)板塊都得爬取一些數(shù)據(jù)，最終將數(shù)據(jù)進(jìn)行整合處理，才可以形成較為

可靠的結(jié)論，幫助我們可以更加了解人們對(duì)哪方面新聞?lì)}材的熱衷。

涉及到新聞信息有很多,我們需要對(duì)網(wǎng)頁(yè)進(jìn)行解析，然后通過(guò)Python爬蟲(chóng)

的手段批量獲取我們想要的數(shù)據(jù)。

本次的項(xiàng)目就是爬取到新聞文章字段信息，看那些題材的新聞人們更加感

興趣。爬取今日頭條網(wǎng)站新聞數(shù)據(jù),對(duì)其進(jìn)行預(yù)處理，分析,最后可視化。繁雜

的數(shù)據(jù)經(jīng)過(guò)清洗加分析后,就可以將結(jié)果呈現(xiàn)在領(lǐng)導(dǎo)面前,公司的領(lǐng)導(dǎo)就可以討

論哪些新聞?lì)}材人們更加熱衷,現(xiàn)階段最需要的是發(fā)表那些類(lèi)型的新聞，最后做

出相對(duì)正確的決策。因此我的畢業(yè)設(shè)計(jì)包含了數(shù)據(jù)采集、清洗與處理、儲(chǔ)存數(shù)

據(jù)、可視化操作。

1

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

1.2開(kāi)發(fā)環(huán)境與工具

1.2.1Python簡(jiǎn)介

Python由荷蘭數(shù)學(xué)和計(jì)算機(jī)科學(xué)研究學(xué)會(huì)的吉多·范羅蘇姆于20世紀(jì)90

年代設(shè)計(jì)，作為一門(mén)叫做ABC語(yǔ)言的替代品，自Python語(yǔ)言誕生至今，它已被

逐漸廣泛應(yīng)用于系統(tǒng)管理任務(wù)的處理和Web編程。

Python誕生的初期并沒(méi)有引起大多數(shù)人們的關(guān)注,自2004年之后Python

的使用人數(shù)就猛增起來(lái)，在大量的項(xiàng)目業(yè)務(wù)上大規(guī)模的開(kāi)始應(yīng)用Python,也因此

Python就這樣走進(jìn)了大眾的視野,從而促使Python的發(fā)展更加迅猛。

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展,移動(dòng)互聯(lián)網(wǎng)的大肆普及。軟件、大數(shù)據(jù)等信息

技術(shù)興起,這其中的大數(shù)據(jù)技術(shù)涉及到的數(shù)據(jù)采集、清洗處理、數(shù)據(jù)可視化操作

都有Python的身影存在。最后,在編程語(yǔ)言排行榜中，Python的排名已經(jīng)與高

級(jí)程序C語(yǔ)言和JAVA語(yǔ)言旗鼓相當(dāng)了已經(jīng),走進(jìn)了大多數(shù)企業(yè)家們的視野，在

企業(yè)領(lǐng)域被廣泛的應(yīng)用。人們用它開(kāi)發(fā)一些簡(jiǎn)單的腳本做文件的自動(dòng)化處理或

者開(kāi)發(fā)一些網(wǎng)站來(lái)賺點(diǎn)費(fèi)用。這也恰好說(shuō)明了Python就是言語(yǔ)簡(jiǎn)單、庫(kù)足夠豐

富、并且免費(fèi)開(kāi)源、支持跨多平臺(tái)且可移植性比較強(qiáng)。

1.2.2Selenium簡(jiǎn)介

Selenium是最廣泛使用的開(kāi)源Web自動(dòng)化測(cè)試腳本，它最初是由杰森·哈

金斯于2004年開(kāi)發(fā)，作為T(mén)houghtWorks的內(nèi)部工具，可以支持跨不同瀏覽器、

平臺(tái)和編程語(yǔ)言的自動(dòng)化，并且可以直接在大多數(shù)Web瀏覽器中運(yùn)行。通過(guò)使

用特定于每種語(yǔ)言的驅(qū)動(dòng)程序支持各種編程語(yǔ)言，支持的語(yǔ)言包括C#，Java，

Python等等。目前，Selenium驅(qū)動(dòng)程序最受Python和C＃的歡迎，它完全開(kāi)源，

對(duì)商業(yè)用戶(hù)也沒(méi)有任何限制，擁有成熟的社區(qū)與學(xué)習(xí)文檔，可以模擬人去操控

瀏覽器非常的適用于數(shù)據(jù)的采集。

1.2.3Jupyternotebook簡(jiǎn)介

Jupyternotebook是以網(wǎng)頁(yè)的形式打開(kāi)，能夠在網(wǎng)頁(yè)中直接編寫(xiě)代碼和運(yùn)

行代碼，運(yùn)行結(jié)果會(huì)顯示在代碼塊的下面，它可以支持實(shí)時(shí)代碼、數(shù)學(xué)方程、

可視化和Markdown，并且它支持的Markdown標(biāo)記語(yǔ)言,在瀏覽器界面編輯代碼

的同時(shí)可以很方便的為代碼提供注釋。在Jupyternotebook執(zhí)行代碼的同時(shí)對(duì)

于注釋性文本并不會(huì)執(zhí)行,極大的方便了教學(xué)人員。

Jupyternotebook應(yīng)用比較廣泛,特別適合用來(lái)做數(shù)據(jù)的清洗和轉(zhuǎn)換,在統(tǒng)

2

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

計(jì)建模、數(shù)值模擬、機(jī)器學(xué)習(xí)等應(yīng)用也是十分方便的，對(duì)于比較高層次的開(kāi)發(fā)

人員來(lái)說(shuō),這個(gè)工具也可以用來(lái)做深度的機(jī)器學(xué)習(xí)。

對(duì)于初學(xué)者來(lái)說(shuō)學(xué)習(xí)Jupyternotebook再好不過(guò)了，因?yàn)樗陌惭b比較簡(jiǎn)

單，只需要安裝Anaconda即可以使用，因?yàn)锳naconda自帶了Jupyternotebook。

Python第三方庫(kù)簡(jiǎn)介

requests:他是一個(gè)原生的http庫(kù)，比urllib3庫(kù)更為容易使用、更為簡(jiǎn)

單，還擁有完全自動(dòng)化keep-alive和http連接池的功能。

etree：它主要提供的是解析網(wǎng)頁(yè)，里面最主要的就是xpath路徑表達(dá)式，

它可以在xml文檔中進(jìn)行導(dǎo)航查找信息。

numpy：是Python數(shù)據(jù)分析科學(xué)計(jì)算庫(kù),是處理數(shù)組的庫(kù),NumPy庫(kù)的數(shù)據(jù)

結(jié)構(gòu)比Python自帶的更加高效。

pandas：里面提供了兩種數(shù)據(jù)結(jié)構(gòu)，一直是Series，另一種是Dataframe，

大多數(shù)用的就是Dataframe，可以用來(lái)將爬取的數(shù)據(jù)進(jìn)行保存下存到csv文件中

去。

matplotlib：是一個(gè)Python主要的繪圖庫(kù),偏向于二維繪圖包括折線(xiàn)圖、

條形圖、餅圖、散點(diǎn)圖、直方圖、箱線(xiàn)圖等等。

1.2.4Matplotlib簡(jiǎn)介

Matplotlib是一個(gè)比較重要的Python數(shù)據(jù)可視化繪圖庫(kù)，它基于Numpy的

數(shù)組運(yùn)算功能，繪圖功能非常強(qiáng)大，已經(jīng)成為Python中公認(rèn)的數(shù)據(jù)可視化工具，

即可以畫(huà)靜態(tài)圖片，也可以畫(huà)動(dòng)態(tài)的圖片非常靈活，通過(guò)Matplotlib你可以很

輕松地畫(huà)一些或簡(jiǎn)單或復(fù)雜的圖形，幾行代碼即可生成線(xiàn)圖、直方圖、功率譜、

條形圖、錯(cuò)誤圖、散點(diǎn)圖等。

2需求分析

2.1可行性需求分析

1、技術(shù)可行性

Python是面向?qū)ο笳Z(yǔ)言中的一門(mén)簡(jiǎn)單易學(xué)的計(jì)算機(jī)編程語(yǔ)言,在這次項(xiàng)目

中使用一些第三方庫(kù)來(lái)實(shí)現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)清洗與處理,數(shù)據(jù)可視化操作。在數(shù)

據(jù)采集的過(guò)程中遇到一些問(wèn)題，隨后通過(guò)分析元素定位發(fā)現(xiàn)今日頭條網(wǎng)站新聞

信息頁(yè)面的數(shù)據(jù)是動(dòng)態(tài)傳輸?shù)?所以我就通過(guò)動(dòng)態(tài)爬取數(shù)據(jù)的方式進(jìn)行請(qǐng)求，然

后獲取響應(yīng)，就可以得到網(wǎng)頁(yè)數(shù)據(jù)的返回值。隨后將爬取出來(lái)的原始數(shù)據(jù)暫時(shí)

3

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

以csv格式儲(chǔ)存起來(lái),再讀取數(shù)據(jù)，將其進(jìn)行數(shù)據(jù)清洗和預(yù)處理，最后在進(jìn)行可

視化中再進(jìn)行調(diào)用。

上面的就為此次項(xiàng)目的可行性,我會(huì)將所有的步驟實(shí)現(xiàn)到位,保證數(shù)據(jù)的準(zhǔn)

確性。

2、項(xiàng)目可行性

人們的對(duì)于新聞文章的興趣愛(ài)好隨著時(shí)代的前進(jìn)慢慢的變得不同，討論新

聞從未斷絕過(guò),每一次發(fā)表軍事、科研、財(cái)政等領(lǐng)域的話(huà)題時(shí),其話(huà)題熱度往往

能沖上熱搜榜首。

本次項(xiàng)目通過(guò)數(shù)據(jù)采集比較今日頭條的新聞網(wǎng)站內(nèi)的數(shù)據(jù),來(lái)分析我國(guó)人

民的新聞愛(ài)好是那種類(lèi)型的新聞?lì)}材。我們也將從軍事、歷史、國(guó)際等各個(gè)方

面對(duì)其進(jìn)行深度剖析,分析出有價(jià)值的信息,將其可視化操作最后根據(jù)結(jié)果得出

結(jié)論。

2.2采集目標(biāo)功能分析

本次項(xiàng)目的數(shù)據(jù)集的來(lái)源是今日頭條網(wǎng)站新聞?lì)悢?shù)據(jù),是通過(guò)python爬取

今日頭條每個(gè)板塊的部分新聞信息。數(shù)據(jù)清洗和處理過(guò)后共651條記錄,爬取完

成后盡可能保證自己爬取的數(shù)據(jù)準(zhǔn)確性,確定爬取出來(lái)的數(shù)據(jù)無(wú)誤并且是屬于

今日頭條首頁(yè)每個(gè)板塊實(shí)時(shí)存在的新聞?lì)愋畔ⅰ?/p>

分析今日頭條網(wǎng)站的網(wǎng)頁(yè)信息,我們需要爬取的新聞板塊有財(cái)政、科技、軍

事、國(guó)際、歷史、娛樂(lè)等等板塊數(shù)據(jù),在對(duì)原始數(shù)據(jù)進(jìn)行清洗和預(yù)處理后我們會(huì)

對(duì)其數(shù)據(jù)進(jìn)行多個(gè)維度的分析。例如,從新聞文章的點(diǎn)贊數(shù)量對(duì)數(shù)據(jù)進(jìn)行一個(gè)排

序，然后取出其前20個(gè)新聞賬號(hào)，畫(huà)成條形圖進(jìn)行比較分析，看看是什么樣子

的新聞?lì)}材更加的受到人們的歡迎并且為其點(diǎn)贊。

2.3關(guān)鍵技術(shù)分析

2.3.1網(wǎng)絡(luò)爬蟲(chóng)技術(shù)

網(wǎng)絡(luò)爬蟲(chóng)又稱(chēng)之為網(wǎng)絡(luò)機(jī)器人、網(wǎng)頁(yè)蜘蛛，它是按照一定的規(guī)律去爬取網(wǎng)

頁(yè)上數(shù)據(jù)的程序或者腳本,只需要編寫(xiě)一些爬蟲(chóng)代碼或者一些小腳本用來(lái)自動(dòng)

的瀏覽龐大的網(wǎng)站數(shù)據(jù),并且可以對(duì)我們想要的目標(biāo)網(wǎng)頁(yè)去進(jìn)行準(zhǔn)確的數(shù)據(jù)采

集?，F(xiàn)在我們常見(jiàn)的網(wǎng)絡(luò)爬蟲(chóng)按照原理一般可以分為：通用網(wǎng)絡(luò)爬蟲(chóng)、聚焦網(wǎng)

絡(luò)爬蟲(chóng)、增量式網(wǎng)絡(luò)爬蟲(chóng)、深層網(wǎng)絡(luò)爬蟲(chóng)等等。

因此,網(wǎng)絡(luò)爬蟲(chóng)技術(shù)在實(shí)際應(yīng)用場(chǎng)景的不同，它所發(fā)揮的作用也是不同的，

4

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

有利于人的、也有不利于人的。在有利于人的方面可以幫助我們完成購(gòu)物、搶

票、分析數(shù)據(jù)等操作。但是在不利于人的方面它同樣也能打騷擾傳銷(xiāo)電話(huà),給別

人帶來(lái)煩惱。網(wǎng)絡(luò)爬蟲(chóng)技術(shù)是互聯(lián)網(wǎng)科技發(fā)展的產(chǎn)品，有好有壞,一個(gè)不注意可

能就會(huì)傷害到自己和他人,所以我們爬蟲(chóng)人員要懂得爬蟲(chóng)的合法性，在法律允許

的情況下去編寫(xiě)自己的腳本程序,不要什么時(shí)候犯罪了自己還不知道。

既然有網(wǎng)絡(luò)爬蟲(chóng),那肯定也存在反爬蟲(chóng)的技術(shù)了，那些大網(wǎng)站去爬蟲(chóng)基本上

都會(huì)涉及到反爬蟲(chóng)的概念,因?yàn)榕老x(chóng)訪(fǎng)問(wèn)速度太快會(huì)給服務(wù)器增加壓力，往往做

網(wǎng)站的都會(huì)使用反爬措施。比較常見(jiàn)的反爬機(jī)制有通過(guò)User-Agent效驗(yàn)反爬、

訪(fǎng)問(wèn)頻度反爬、變換網(wǎng)頁(yè)結(jié)構(gòu)反爬、賬號(hào)權(quán)限、驗(yàn)證碼效驗(yàn)等等手段，這些手

段會(huì)防止我們爬蟲(chóng)的訪(fǎng)問(wèn)，但是這樣也會(huì)加大做網(wǎng)站的成本。所以，一般那種

小網(wǎng)站設(shè)置一個(gè)小反爬或者不設(shè)置,對(duì)于我們數(shù)據(jù)采集也會(huì)加快效率，畢竟我們

就只是拿到自己所需要的數(shù)據(jù)，也不管網(wǎng)站的訪(fǎng)問(wèn)壓力和成本，我們爬蟲(chóng)的主

要目的還是拿到自己需要的數(shù)據(jù)。

2.3.2文件存取技術(shù)

Python內(nèi)置csv模塊如圖2-1、2-2所示。

圖2-1python清洗完的數(shù)據(jù)寫(xiě)入csv模塊

圖2-2讀取數(shù)據(jù)的方法

5

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

2.3.3可視化技術(shù)

我們爬蟲(chóng)爬取下來(lái)的數(shù)據(jù)難道就放在哪里不管嗎？肯定不是，經(jīng)過(guò)清洗處

理后的數(shù)據(jù)我們是要進(jìn)行畫(huà)圖的，公司的領(lǐng)導(dǎo)他往往不在意你是怎么將數(shù)據(jù)爬

取的，他看的僅僅只是一個(gè)結(jié)果罷了，要看的就是你的圖形所形成的一些結(jié)論，

對(duì)于他們而言如果圖形顯示的結(jié)論對(duì)他們公司的發(fā)展才是最主要的，因此我們

清洗處理的數(shù)據(jù)要畫(huà)出圖形的形式來(lái)形成可靠的結(jié)論。

本次項(xiàng)目中，我是將得到的數(shù)據(jù)用matplotlib來(lái)進(jìn)行數(shù)據(jù)可視化操作，

matplotlab中包含了許多庫(kù)，最重要的pyplot來(lái)進(jìn)行畫(huà)圖操作，里面有各種各

樣的圖形，比如餅圖、條形圖、折線(xiàn)圖、散點(diǎn)圖等圖形，可以很好的將數(shù)據(jù)進(jìn)

行對(duì)比的方式表現(xiàn)出來(lái)，圖形呈現(xiàn)出來(lái)的結(jié)果一清二楚，很容易就可以形成穩(wěn)

當(dāng)?shù)慕Y(jié)論。

3數(shù)據(jù)采集

3.1采集頁(yè)面分析

我們首先通過(guò)谷歌瀏覽器搜索今日頭條的官方網(wǎng)頁(yè),然后找到新聞板塊頁(yè)

面觀(guān)察圖3-1,其中的URL為：/。然后點(diǎn)擊頁(yè)面下方

的板塊按鈕,同時(shí)觀(guān)察URL,發(fā)現(xiàn)URL會(huì)變化成其他頁(yè)面的數(shù)據(jù)。

圖3-1數(shù)據(jù)網(wǎng)址頁(yè)面

按F12調(diào)出開(kāi)發(fā)者工具,調(diào)到元素面板的位置,如圖3-2。

6

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-2開(kāi)發(fā)者工具

利用全局搜索工具定位所需板塊的位置,可以看到許多板塊的元素位置所

在的板塊名稱(chēng),所有板塊的數(shù)據(jù)再利用搜索工具定位,最后找到了數(shù)據(jù),如圖3-3。

圖3-3FormData

3.2字段分析

我們首先來(lái)到網(wǎng)頁(yè)面打開(kāi)網(wǎng)頁(yè)的板塊欄，可以看到一個(gè)板塊里面有許多新

聞數(shù)據(jù)，而一個(gè)新聞數(shù)據(jù)里面包括了標(biāo)題、作者、評(píng)論等，并且每個(gè)新聞數(shù)據(jù)

還有二級(jí)頁(yè)面，里面又會(huì)有精確的發(fā)布日期和點(diǎn)贊數(shù)量等數(shù)據(jù)，來(lái)到板塊頁(yè)面，

這時(shí)候隨便定位一個(gè)新聞數(shù)據(jù)字段到元素面板里面去，也就是定位到我們所需

要的數(shù)據(jù)所在的位置,然后在里面我們會(huì)看到標(biāo)題、評(píng)論數(shù)量、作者等字段，找

到新聞數(shù)據(jù)標(biāo)題右鍵復(fù)制他元素所在位置，如圖3-4,可以看到我們需要的所有

7

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

的數(shù)據(jù)信息都是在這些個(gè)元素div里面，并且二級(jí)頁(yè)面在標(biāo)題所在元素的屬性

里面，我們知道他是一個(gè)動(dòng)態(tài)網(wǎng)站，所以我們爬取的時(shí)候可以用selenium爬取

來(lái)獲得這些數(shù)據(jù)，還需要再訪(fǎng)問(wèn)里面的二級(jí)頁(yè)面，因?yàn)槎?jí)頁(yè)面是靜態(tài)的，所

以我們用requests就可以獲取，然后使用一些措施cookies，User-Agent來(lái)防

止網(wǎng)站所做的反爬，這樣我們就可以把自己所需要的字段全部獲取到。

圖3-4分析數(shù)據(jù)類(lèi)型頁(yè)面

3.3編程實(shí)現(xiàn)

導(dǎo)入所需庫(kù)如圖3-5所示。

圖3-5導(dǎo)入所需庫(kù)頁(yè)面

在二級(jí)頁(yè)面設(shè)置cookies，User-Agent防止網(wǎng)站反爬措施，如圖3-6所示。

8

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖3-6防止網(wǎng)站反爬頁(yè)面

代碼實(shí)現(xiàn)如下：

fromseleniumimportwebdriver

frommon.byimportBy

fromselenium.webdriver.support.uiimportWebDriverWait

fromselenium.webdriver.supportimportexpected_conditionsasEC

fromtimeimportsleep

importrequests

fromlxmlimportetree

importpandasaspd

driver=webdriver.Chrome()

driver.get('/')

driver.maximize_window()

wait=WebDriverWait(driver,10)

###############爬取六個(gè)字段的數(shù)據(jù)#################

title_list=[]

author_list=[]

url_list=[]

comment_list=[]

date_list=[]

like_list=[]

###############需要進(jìn)行數(shù)據(jù)處理的兩個(gè)字段#################

like_to_list=[]

date_to_list=[]

foriinrange(1,4):

#############爬取一級(jí)頁(yè)面的數(shù)據(jù)##############

ifi==1:

caizheng_click=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#root

>div>div.main-content>div.left-container>div>div>div>div.main-nav-wrapper>div>ul

>li:nth-child(5)>div>div')))

caizheng_click.click()

elifi==2:

keji_click=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#root>div

9

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

>div.main-content>div.left-container>div>div>div>div.main-nav-wrapper>div>ul>

li:nth-child(6)>div>div')))

keji_click.click()

elifi==3:

junshi_click=wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#root>

div>div.main-content>div.left-container>div>div>div>div.main-nav-wrapper>div>ul>

li:nth-child(8)>div>div')))

junshi_click.click()

else:

print('------結(jié)束-----')

#####頁(yè)面下滑######

js='window.scrollTo(0,1000000)'

forainrange(1,10):

driver.execute_script(js)

sleep(3)

title=

wait.until(EC.presence_of_all_elements_located((By.XPATH,'//*[@class="feed-card-wrapper

feed-card-article-wrapper"]/div/div[@class="feed-card-article-l"]/a')))

foryintitle:

title_list.append(y.text)

author=

wait.until(EC.presence_of_all_elements_located((By.XPATH,'//*[@class="feed-card-wrapper

feed-card-article-wrapper"]/div/div[@class="feed-card-article-l"]/div/div[1]/div[1]/a')))

forjinauthor:

author_list.append(j.text)

comment=

wait.until(EC.presence_of_all_elements_located((By.XPATH,'//*[@class="feed-card-wrapper

feed-card-article-wrapper"]/div/div[@class="feed-card-article-l"]/div/div[1]/div[2]')))

forgincomment:

comment_list.append(g.text)

url=

wait.until(EC.presence_of_all_elements_located((By.XPATH,'//*[@class="feed-card-wrapper

feed-card-article-wrapper"]/div/div[@class="feed-card-article-l"]/a')))

url_second=[]

forhinurl:

url_list.append(h.get_attribute('href'))

url_second.append(h.get_attribute('href'))

#############爬取二級(jí)頁(yè)面的數(shù)據(jù)###############

forurl_twoinurl_second:

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36

10

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

(KHTML,likeGecko)Chrome/Safari/537.36',

}

cookies={}

cookie_str=

'__ac_signature=_02B4Z6wo00f01i4EHzwAAIDCrgblfEayEwouJBuAAOhz8f;

tt_webid=7197990955332175416;ttcid=931cd989614442e7aaf60d3b2f0c70e553;

local_city_cache=%E6%80%80%E5%8C%96;csrftoken=1e7056849266aac39ec24425869007e3;

_ga=GA1.1.977725661.1675912885;

s_v_web_id=verify_ldwj9er3_6sXNlQah_qzej_4jAw_8Ezu_kC5VW3BhgDDp;

passport_csrf_token=6a5361d82a809629deed33cae496ee2d;

passport_csrf_token_default=6a5361d82a809629deed33cae496ee2d;

d_ticket=0db7f1463edb612e95798a66092921d67f8f1;

n_mh=Th42YvXXHV6dXljeqBEg_2wudPZwjQhLvMzwKrB2Vc8;

sso_auth_status=c44615f01c32a9468b1bc3453c8434c9;

sso_auth_status_ss=c44615f01c32a9468b1bc3453c8434c9;

sso_uid_tt=d9da04dddc6a9c197307f5953259e22a;

sso_uid_tt_ss=d9da04dddc6a9c197307f5953259e22a;

toutiao_sso_user=8b306d8e8c210af867597426da1266d8;

toutiao_sso_user_ss=8b306d8e8c210af867597426da1266d8;

sid_ucp_sso_v1=1.0.0-KGQ2ZjNlZDZjMTliZGY2MTIyNjFiNTM4ZmIxZWFiOWZhODkxZjU

2ZDgKHQiA4pCUh41PEIXPkZ8GGBggDDD80pycBjgCQPEHGgJobCIgOGIzMDZkOGU4Yz

IxMGFmODY3NTk3NDI2ZGExMjY2ZDg;

ssid_ucp_sso_v1=1.0.0-KGQ2ZjNlZDZjMTliZGY2MTIyNjFiNTM4ZmIxZWFiOWZhODkxZjU

2ZDgKHQiA4pCUh41PEIXPkZ8GGBggDDD80pycBjgCQPEHGgJobCIgOGIzMDZkOGU4Yz

IxMGFmODY3NTk3NDI2ZGExMjY2ZDg;

passport_auth_status=71f97315913adb87b1ec8e46257dd581,e2a4562494fb349737555c7ff1c422

95;

passport_auth_status_ss=71f97315913adb87b1ec8e46257dd581,e2a4562494fb349737555c7ff1c4

2295;

sid_guard=47959d61f9717944e84a942c49461713|1675913093|5184000|Mon,+10-Apr-2023+03:

24:53+GMT;uid_tt=8853e4ac8bf1162270c201775fba157d;

uid_tt_ss=8853e4ac8bf1162270c201775fba157d;sid_tt=47959d61f9717944e84a942c49461713;

sessionid=47959d61f9717944e84a942c49461713;

sessionid_ss=47959d61f9717944e84a942c49461713;

sid_ucp_v1=1.0.0-KGNiNjlkN2RlMDJjOTJiZTBlZWU3MDMwZjc2YmRiMGVjMDY5YTMx

NDkKFwiA4pCUh41PEIXPkZ8GGBggDDgCQPEHGgJobCIgNDc5NTlkNjFmOTcxNzk0NGU

4NGE5NDJjNDk0NjE3MTM;

ssid_ucp_v1=1.0.0-KGNiNjlkN2RlMDJjOTJiZTBlZWU3MDMwZjc2YmRiMGVjMDY5YTMx

NDkKFwiA4pCUh41PEIXPkZ8GGBggDDgCQPEHGgJobCIgNDc5NTlkNjFmOTcxNzk0NGU

4NGE5NDJjNDk0NjE3MTM;store-region=cn-hn;store-region-src=uid;

odin_tt=8434f6eebec62c22c8baceeac91e8a90edcb9bcf16ffda0add896154c6f7df65e68b322a545f

241ced1900252aba4434;_S_WIN_WH=1600_749;_S_DPR=1;_S_IPAD=0;

11

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

__feed_out_channel_key=digital;

tt_anti_token=xK3mogMCnZJPlsR-fc2e8ead4c8f27c105d3764d05d12fbb527c5ae9c68d669f2cab

8dd281659a53;

ttwid=1|4MK0pKYeyqpTf16tO6x2WEoOpP-HRkG7TnUpvn3IXdw|1676785746|fef06d7362510

8f78119be706ec152382bd592d8530396cba075fd89224bbdd6;

tt_scid=k3c0JS6Kl4YYWu.D6piUv.pJJJCwcacjWHlHcR57hhAQnxe-TTw2D956.4ROi4oWd7c6

;

msToken=jCf55VTd-ehO-Zj6K5nAwi0DLPA0clV9CNffBaPzN_x4BC6PcqVkK_4lGR43jFAzT

TIP_VW1DW12WByOvmTQ-3rQB9SAMsdnsAIDqV3_Ryg=;

_ga_QEHZPBE5HH=GS1.1.16767856767858'

forcookieincookie_str.split(';'):

k,v=cookie.split('=',1)

cookies[k]=v

rq=requests.get(url_two,headers=headers,cookies=cookies)

html=etree.HTML(rq.text,parser=etree.HTMLParser(encoding='utf-8'))

like=html.xpath('//*[@class="detail-like"]/span/text()')

date=html.xpath('//*[@class="article-meta"]/span[last()-2]/text()')

like_list.append(like)

date_list.append(date)

url_second.clear()

#############爬取的數(shù)據(jù)進(jìn)行處理###############

forminlike_list:

ifm==[]:

like_to_list.append('')

else:

like_to_list.append(m[0])

fornindate_list:

ifn==[]:

date_to_list.append('')

else:

date_to_list.append(n[0])

data=pd.DataFrame({'標(biāo)題':title_list,

'作者':author_list,

'點(diǎn)贊數(shù)量':like_to_list,

'評(píng)論數(shù)量':comment_list,

'發(fā)布日期':date_to_list,

'網(wǎng)址':url_list

})

data.to_csv(r'D:\20大數(shù)據(jù)2班17劉阿康畢業(yè)設(shè)計(jì)\data.csv')

print('verynice')

12

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

4數(shù)據(jù)清洗與處理

獲得許多的數(shù)據(jù)集后我們需要對(duì)數(shù)據(jù)進(jìn)行清洗和處理，也就是所謂的檢查，

確定爬取過(guò)來(lái)的數(shù)據(jù)是否存在無(wú)效值和確實(shí)值，要保證數(shù)據(jù)的一致性，這個(gè)對(duì)

于數(shù)據(jù)質(zhì)量的評(píng)估是一項(xiàng)很非常重要的任務(wù)。不僅如此,我們需要將數(shù)據(jù)進(jìn)行有

理化和有序化，這樣子才能夠在數(shù)據(jù)調(diào)用共享過(guò)程中方便很多開(kāi)發(fā)人員對(duì)數(shù)據(jù)

信息的使用。

本次新聞爬取項(xiàng)目中，我們需要將爬下來(lái)的數(shù)據(jù)進(jìn)行對(duì)比操作，并且檢查

是否出現(xiàn)空值、錯(cuò)值,還有數(shù)據(jù)的位置是否正確。根據(jù)不同的需求我們要對(duì)數(shù)據(jù)

進(jìn)行不同的處理。

4.1數(shù)據(jù)清洗

圖4-1數(shù)據(jù)清洗準(zhǔn)備頁(yè)面

經(jīng)過(guò)比對(duì)操作，發(fā)現(xiàn)數(shù)據(jù)存在缺失值，主要是點(diǎn)贊數(shù)量和評(píng)論數(shù)量這兩個(gè)

字段，但是評(píng)論數(shù)量這一列有時(shí)間的數(shù)據(jù)，因?yàn)榭赡苡械男侣勥€沒(méi)有人去評(píng)論

所導(dǎo)致的,那么我們就要將缺失數(shù)據(jù)統(tǒng)一規(guī)劃去掉不要的行列數(shù)據(jù),防止數(shù)據(jù)出

錯(cuò)。因此我們只需保留需要的數(shù)據(jù),然后分析、清洗，最后存入data.csv文件

中，以便后面的可視化操作，如圖4-1所示。

13

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

圖4-2數(shù)據(jù)清洗完成界面

4.2數(shù)據(jù)儲(chǔ)存

數(shù)據(jù)儲(chǔ)存的方法比較多，直接用其他文件的形式儲(chǔ)存如csv、excel等，但

是以上方法保存的數(shù)據(jù)體量普遍都比較小。如果需要儲(chǔ)存較大的數(shù)據(jù)信息就需

要用到我們的數(shù)據(jù)庫(kù),數(shù)據(jù)庫(kù)分為關(guān)系型和非關(guān)系型數(shù)據(jù)庫(kù)。關(guān)系型數(shù)據(jù)庫(kù)比較

典型的有MySQL和Oracle等,非關(guān)系型數(shù)據(jù)庫(kù)等以鍵值對(duì)形式儲(chǔ)存數(shù)據(jù)的代表

有Mongodb、Redis等。本次項(xiàng)目因?yàn)閿?shù)據(jù)并不是特別多，所以我們用到的是csv

文件形式來(lái)儲(chǔ)存今日頭條新聞?lì)惖臄?shù)據(jù)，如圖4-3所示。

圖4-3數(shù)據(jù)存儲(chǔ)為csv頁(yè)面

14

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

4.3編程實(shí)現(xiàn)

先訪(fǎng)問(wèn)我們爬取下來(lái)的數(shù)據(jù)如圖4-4所示。

圖4-4數(shù)據(jù)顯示頁(yè)面

然后對(duì)數(shù)據(jù)框檢查缺失值操作如圖4-5所示。

圖4-5數(shù)據(jù)處理缺失值頁(yè)面

再對(duì)評(píng)論數(shù)量進(jìn)行篩選操作去掉后面的評(píng)論如圖4-6所示。

圖4-6數(shù)據(jù)篩選頁(yè)面

最后把發(fā)布日期轉(zhuǎn)化為時(shí)間戳索引結(jié)果如圖4-7所示。

圖4-7數(shù)據(jù)選定索引頁(yè)面

15

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5數(shù)據(jù)統(tǒng)計(jì)與分析

5.1數(shù)據(jù)準(zhǔn)備

導(dǎo)入相關(guān)庫(kù)，使用pandas加載源數(shù)據(jù)，如圖5-1、5-2。

圖5-1數(shù)據(jù)準(zhǔn)備頁(yè)面

圖5-2數(shù)據(jù)加載頁(yè)面

16

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2數(shù)據(jù)展示

5.2.1依據(jù)點(diǎn)贊數(shù)量、評(píng)論數(shù)量進(jìn)行統(tǒng)計(jì)

圖5-3數(shù)據(jù)展示頁(yè)面

從圖5-3中我們可以看到王亞男航空說(shuō)基本上占據(jù)了一半的比例，而其他

的大約都在10%的比例當(dāng)中，在這五個(gè)當(dāng)中軍事新聞方面的加起來(lái)就已經(jīng)差不多

達(dá)到了80%了，說(shuō)明了什么呢？

問(wèn)題很簡(jiǎn)單,現(xiàn)在的人普遍關(guān)注的都與我國(guó)軍事相關(guān)聯(lián)，受歡迎程度非常高，

反映出人們現(xiàn)在的心中對(duì)祖國(guó)的期待越來(lái)越高，越來(lái)越想自己的祖國(guó)能夠再次

輝煌起來(lái)、再次強(qiáng)大起來(lái)，立于世界之林。從這些數(shù)據(jù)上反映的不光光是人們

的普遍對(duì)祖國(guó)的關(guān)注，而且更加能襯托出人們對(duì)于自己國(guó)家的熱愛(ài)程度已經(jīng)成

為歷史新高，并且熱衷于關(guān)注和普遍的發(fā)出自己的見(jiàn)解來(lái)為國(guó)家做出一份微小

的貢獻(xiàn)。隨便舉一個(gè)例子，就如排名第一的王亞男航空說(shuō)，他的最受歡迎的標(biāo)

題是“神舟十四落地時(shí)，傘繩沒(méi)被切斷：兩人手拿鋸子，沖向了飛船”，就這

個(gè)標(biāo)題吸引了最多的點(diǎn)贊數(shù)量與非常多的評(píng)論，說(shuō)明人們關(guān)注的不僅僅是軍事

方面還有科研領(lǐng)域，因?yàn)榭萍伎梢詮?qiáng)國(guó)，這個(gè)概念讓人們也逐漸認(rèn)識(shí)到它的重

要性。

17

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2.2依據(jù)新聞點(diǎn)贊與新聞賬號(hào)做統(tǒng)計(jì)

圖5-4數(shù)據(jù)展示頁(yè)面

從圖5-4中我們可以看到前20條數(shù)據(jù)里面王亞男航空說(shuō)占了四席之地，南

陽(yáng)政法、南大李斌占了兩席之地，位居首位的是王亞男航空說(shuō)，并且前兩名都

是一個(gè)新聞賬號(hào)的。

我們可以看出這個(gè)名為王亞男航空說(shuō)的今日頭條新聞賬號(hào)是比較受歡迎的，

從名字可以看出他做的文章是關(guān)于軍事類(lèi)的報(bào)道，證明當(dāng)下人們普遍關(guān)注的是

我們國(guó)家軍事方面的新聞，人們的愛(ài)國(guó)情懷高漲，并且不是普通的高漲，第一

名和第二名都是這個(gè)新聞賬號(hào)占據(jù)著，還與其他排名的遠(yuǎn)遠(yuǎn)的拉開(kāi)差距，最高

的達(dá)到了76000的點(diǎn)贊數(shù)量，說(shuō)明人們現(xiàn)在越來(lái)越熱衷于關(guān)于自己國(guó)家軍事方

面的信息。

不但如此，前20名與軍事相關(guān)的也占了不少，后面的排名相差不是很大，

大多在15000到30000的點(diǎn)贊數(shù)量，再看南陽(yáng)政法，他是關(guān)于政治軍事的新聞

報(bào)道，并且也占了兩席之地，還有一個(gè)第三的排名，而且南大李斌也是這方面

的新聞報(bào)道，說(shuō)明政治軍事在我國(guó)是人們現(xiàn)在普遍關(guān)注的熱度新聞。

18

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2.3依據(jù)評(píng)論數(shù)量和點(diǎn)贊數(shù)量統(tǒng)計(jì)新聞賬號(hào)受歡迎程度

圖5-5數(shù)據(jù)展示頁(yè)面

從圖5-5我們可以看出來(lái)于見(jiàn)專(zhuān)欄這個(gè)新聞賬號(hào)他的點(diǎn)贊數(shù)量和評(píng)論數(shù)量

幾乎成正比，并且遠(yuǎn)遠(yuǎn)的超過(guò)后面的新聞賬號(hào)，這個(gè)作者做的文章是關(guān)于華為

智能產(chǎn)品方面的東西，與科技相關(guān)，不難說(shuō)明現(xiàn)在的華為5G產(chǎn)品深受大家的歡

迎，排名第二的全球防務(wù)觀(guān)察和后面的將令如山、球哥觀(guān)察又是與軍事相關(guān)的

東西，再一次說(shuō)明現(xiàn)在人們對(duì)祖國(guó)軍事方面的關(guān)注程度非常高。

還有栗滴科技、社保之心這些新聞賬號(hào)與科技相關(guān)聯(lián)，尤其是排名第一位

的于見(jiàn)專(zhuān)欄評(píng)論數(shù)量是所有數(shù)據(jù)中最高的評(píng)論，并且點(diǎn)贊數(shù)量也不低，而且科

技方面的占了一半，軍事方面的占了一半，說(shuō)明人們熱衷于在科技、軍事方面

發(fā)表自己的言論見(jiàn)解，再點(diǎn)出自己的一贊，表達(dá)他們對(duì)這方面新聞程度的關(guān)注

遠(yuǎn)遠(yuǎn)大于其他的新聞?lì)悢?shù)據(jù)，恰恰說(shuō)明現(xiàn)在的人民都普遍有著愛(ài)國(guó)情懷，期待

著祖國(guó)方方面面的變化，尤其是科技、軍事兩大類(lèi)型題材的新聞信息超出了所

有新聞的點(diǎn)贊和評(píng)論的總和。

19

湖南商務(wù)職業(yè)技術(shù)學(xué)院畢業(yè)設(shè)計(jì)

5.2.4依據(jù)新聞賬號(hào)、評(píng)論數(shù)量、點(diǎn)贊數(shù)量進(jìn)行綜合統(tǒng)計(jì)

圖5-6數(shù)據(jù)展示頁(yè)面

在上圖5-6我們可以明顯的看到點(diǎn)贊數(shù)量高的他的評(píng)論數(shù)量不一定高，并

且相差的還非常的大，像點(diǎn)贊數(shù)量前十里面就占據(jù)著三個(gè)的新聞賬號(hào)王亞男航

空說(shuō)在評(píng)論方面甚至連前5都排不上名，尤其是它在點(diǎn)贊數(shù)量排名中占據(jù)著榜

一榜二，所以剛看點(diǎn)贊數(shù)量并不能說(shuō)明他的評(píng)論就一定會(huì)高。

不僅如此,我還發(fā)現(xiàn)上榜的新聞賬號(hào)大多