快期刊文學網數(shù)據采集與分析

湖南商務職業(yè)技術學院畢業(yè)設計

目錄

1引言............................................................................................................................1

1.1項目背景......................................................................................................1

1.2開發(fā)環(huán)境與工具..........................................................................................2

1.2.1Python簡介..........................................................................................2

1.2.2JupyterNotebook簡介......................................................................2

1.2.3Python第三方庫簡介..........................................................................2

2需求分析....................................................................................................................4

2.1可行性需求分析..........................................................................................4

2.2采集目標功能分析......................................................................................4

2.3關鍵技術分析..............................................................................................5

2.3.1網絡爬蟲技術.......................................................................................5

2.3.2文件存取技術.......................................................................................6

2.3.3可視化技術...........................................................................................6

3數(shù)據采集....................................................................................................................7

3.1采集頁面分析..............................................................................................7

3.2字段分析......................................................................................................8

3.3編程實現(xiàn)......................................................................................................8

4數(shù)據清洗與處理......................................................................................................10

4.1數(shù)據清洗....................................................................................................10

4.2數(shù)據儲存....................................................................................................10

5數(shù)據統(tǒng)計與分析......................................................................................................12

5.1數(shù)據準備....................................................................................................12

5.2數(shù)據展示....................................................................................................13

5.2.1期刊級別統(tǒng)計和占比分析.................................................................13

5.2.2發(fā)行周期和審稿周期統(tǒng)計與分析.....................................................14

5.2.3期刊收錄數(shù)統(tǒng)計和分析.....................................................................15

5.2.4主辦單位統(tǒng)計與分析.........................................................................16

I

湖南商務職業(yè)技術學院畢業(yè)設計

5.3統(tǒng)計分析小結............................................................................................16

6總結..........................................................................................................................17

參考資料.........................................................................................................................18

II

湖南商務職業(yè)技術學院畢業(yè)設計

快期刊文學網數(shù)據采集與分析

1引言

隨著現(xiàn)代社會科技的飛速發(fā)展，數(shù)字經濟大數(shù)據時代的到來，數(shù)據的價值

在日常生活中的各個領域都在不斷地得到提升，充斥著我們的生活，同時也受

大數(shù)據的影響，從小方面的手機APP頁面的推薦，購物的軟件首頁推薦，到大

方面城市的交通，全國的經濟形勢分析以及前段時間全國處于疫情嚴重期間時

等等，大數(shù)據就是這樣以長期、大量、多樣化的模式對數(shù)據進行采集、處理、

判斷分析，所分析出來的信息就涉及到了我們生活的方方面面，給我們的生活

變得更高效也帶來了許多的便利。

對于目前社會現(xiàn)狀而言，在學習、工作、出行以及消費等所產生的效果是

非常明顯的，大數(shù)據技術已經很普遍，而且可以看出在這些方面發(fā)揮展現(xiàn)出來

的影響之大，互聯(lián)網和大數(shù)據結合起來將會對未來有著很大的發(fā)展，大數(shù)據時

代也可能在以后衍生出一些新的概念、新的內涵或是新的技術從而變成新時代

的標志。

1.1項目背景

文學期刊是文章需要在某一領域或者某一學科通過數(shù)據去研究，具有實驗

性且是定期或者不定期的連續(xù)出版的刊物。從愛看書的人來說，閱讀是非常熱

衷的，常常能在文章中了解到更多自身所認知范圍之外的知識和見解，刊期的

時間發(fā)行那更是尤為看重。

對于刊物而言，在網站上更多的就是要做到發(fā)行和推廣，使其得到影響力

和知名度。所以這就得獲取快期刊網站各個期刊的每項數(shù)據等資料，所采集的

信息繁多，這就需要我們對網頁進行解析，接著通過Python爬蟲的方法批次

對需要的資料進行獲取。

我的畢業(yè)設計就是在網站的反觀面從用戶所需要的角度出發(fā)，來爬取快期

刊網站刊物數(shù)據，對其每個字段進行分析處理，然后用圖表的方式來展示呈現(xiàn)

出來。最后大量的數(shù)據經過爬取、解析、判斷所分析清洗出來的就能簡單明了

的展現(xiàn)出來，給該網站負責的團隊清楚明了的知道有多少條刊物數(shù)據、收錄詳

情等來供給訪問者直面的數(shù)據。所以我做的畢業(yè)設計這塊就是爬取數(shù)據、判斷

分析，清晰整理、存儲數(shù)據和可視化這些操作。

1

湖南商務職業(yè)技術學院畢業(yè)設計

1.2開發(fā)環(huán)境與工具

1.2.1Python簡介

Python是20世紀90年代初由荷蘭計算機科學研究學會的Guidovan

Rossum（龜叔）獨立開發(fā)所創(chuàng)造的，那個時期Python還不是很看好，當時的

各種因素所受限制，但直至現(xiàn)如今順著時代的改變，且Python能夠滿足靈活

敏捷的開發(fā)，從而開始得到了快速的發(fā)展。

正是隨著計算機信息技術的到來，互聯(lián)網的發(fā)展，各類技術的突破，

Python最主流的前沿領域也應用在了科學計算、軟件開發(fā)、云計算、Web開

發(fā)、自動化運維、數(shù)據分析、網絡爬蟲、大數(shù)據和人工智能里，在爬取數(shù)據、

分析清理和數(shù)據可視化的大數(shù)據技術中也可運用Python來完成，這也是其在

數(shù)據分析的的最主流的語言之一。在Web開發(fā)框架中也是有非常之多都是基于

Python的，例如Flask，Django。搭建Web服務開發(fā)快、應用廣、易學且高效

的還最屬Python+Django架構。同時Python語言可移植、可拓展、可嵌入性

強又屬于免費開源的，相比于其他語言都簡單易學，還具備了強大的第三方

庫，于是深受許多人青睞。

1.2.2JupyterNotebook簡介

JupyterNotebook是基于網頁的非常強大的交互式和展示數(shù)據信息的應用

程序，它能夠將代碼、注釋、結果、公式等，一起包括在內，作為一個交互和

展示的文檔并且還能共享。它的特點還包括編寫代碼時Tab能補全、高亮顯示

語法；可以用HTML、PNG、SCG等來展示計算結果；在瀏覽器運行時結果直接

顯示在代碼塊下面；編寫說明語句時還支持Markdown語言。

JupyterNotebook現(xiàn)在也已經成為了多數(shù)編程人士來做數(shù)據分析學習的選

擇，它不僅能展現(xiàn)整個分析過程，還可以寫出自己的筆記，十分方便，且支持

多種語言。

要是用第一步肯定是先安裝，對于剛入門學士來說JupyterNotebook最

簡單的安裝方法就是直接安裝Anaconda，因為在安裝Anaconda時它本身就默

認自帶一起打包安裝了JupyterNotebook。

1.2.3Python第三方庫簡介

request庫：基于urllib編寫的Python語言，非常的簡便，不過相對于

urllib來看，request爬取網頁數(shù)據沒有那么的繁瑣，易理解又節(jié)約時間，但

2

湖南商務職業(yè)技術學院畢業(yè)設計

使用這個庫時也需先安裝好。

lxml庫：它的主要用途是可以對HTML或者XML的數(shù)據進行快速高效的解

析，其他的功能也非常多，這里我們所需要使用的是lxml庫中的etree模塊

來解析網頁，利用XPath語法尋找定位所需要的字段節(jié)點。

pandas庫：Python中十分核心的數(shù)據分析庫，有著快速、靈活且明確的

數(shù)據結構，在這里是用來將解析完分析之后，將最終所要的數(shù)據存儲為CSV文

件。

NumPy庫：在Python中是個科學計算的拓展程序庫，用來對執(zhí)行計算多維

數(shù)組的，其特點是運算速度快且高效。

Matplotlib庫：2D繪圖庫，Python中十分常見用作可視化的工具，簡單

的編寫代碼就可創(chuàng)建大量基本的2D平面圖，可以繪制的圖形有條形圖、餅

圖、折線圖、散點圖、甘特圖、箱型圖、雷達圖、樹地圖等等。

pyecharts庫：可以生成Echarts圖表，在Python中能很方便的用數(shù)據生

成圖表，種類非常豐富，并且呈現(xiàn)的效果絲滑流暢很美觀。

3

湖南商務職業(yè)技術學院畢業(yè)設計

2需求分析

2.1可行性需求分析

1．技術可行性

相對于C語言和Java語言來說，Python更易學易懂而且還更加簡潔，這

次項目就是運用Python來編寫代碼，完成對目標網站數(shù)據的爬取，再對其字

段的分析和清洗處理，最后進行數(shù)據可視化操作。其中在對快期刊網站爬取數(shù)

據時，出現(xiàn)了報錯的情況，網頁數(shù)據中某些字段是空值導致，之后經過抽頁觀

察分析網頁布局時，發(fā)現(xiàn)不僅僅是單個字段出現(xiàn)的空值，隨后通過對字段添加

異常捕獲的方式對數(shù)據為空的字段進行設置，然后將分析出來的有用的數(shù)據再

設置好編碼格式，最后編寫代碼存入CSV文件中做存儲。

以上是這次項目的技術可行性,我也將在接下來的步驟中完善到位,確保數(shù)

據的有效性和安全性。

2．項目可行性

社會的不斷發(fā)展，科技的不斷進步，文學的發(fā)展作為一種社會意識形態(tài)也

在隨著時代發(fā)展，不斷變化，現(xiàn)代的各種書籍刊物之繁多，不僅僅是在現(xiàn)實生

活中，在網絡上更是層出不窮。從小到大的不斷學習中，我們所接觸到的事務

不單單僅限于所要學的書本中，但對于更多愛學習，愛閱讀，喜歡拓寬自己知

識面的讀者學士來說，自己所看重的一類書籍或者一類刊物的發(fā)行信息是十分

的看中的。

此次項目是通過對網站的初步觀察，采集期刊種類比較全面的快期刊網站

內的刊物信息，將期刊級別、發(fā)行周期、期刊收錄、審稿周期四個方面對其進

行全面分析，解析出更有用的數(shù)據，進行可視化操作作出圖表來，更直觀的呈

現(xiàn)出來從而得到結果。

2.2采集目標功能分析

這次項目所需要用到的數(shù)據信息是快期刊網站的，使用Python網絡爬蟲

技術，編程爬取快期刊網站每頁的刊物數(shù)據信息，經過解析之后清洗出來共計

700條數(shù)據記錄，再對這個數(shù)據與網站的內容進行隨機的抽樣對比，確認數(shù)據

的準確性和完整性。

分析快期刊網站上的網頁信息，確定好需要獲取的字段信息參數(shù)有期刊級

別、發(fā)行周期、期刊收錄、審稿周期、主辦單位、國際刊號、國內刊號、創(chuàng)刊

4

湖南商務職業(yè)技術學院畢業(yè)設計

時間等數(shù)據，有了這些預處理信息之后，再從不同角度來分析，包括各期刊級

別的分析，統(tǒng)計各級別所占比哪些類多和少；期刊發(fā)行周期的分析，看期刊的

周期所占比是多少；期刊收錄的分析，看不同收錄方有多少條目；以及審稿周

期分析，統(tǒng)計審稿在哪個時間段條目的多少。

2.3關鍵技術分析

2.3.1網絡爬蟲技術

科技的發(fā)展，互聯(lián)網所產生信息數(shù)據越來越多，可以用海量來形容，要想

著快速的搜索檢索到可用并且有效的信息數(shù)據，單純的在網上運用搜索引擎慢

慢查找，對于少數(shù)信息量較小的倒不是問題，但如果說這個量十分的龐大的

話，效率和可行性都是令人堪憂的，這個時候我們就可以采用網絡爬蟲技術來

編寫代碼程序自動化有效且快速的獲取到數(shù)據。

網絡爬蟲有常被人稱為網絡蜘蛛、網絡機器人、網頁追逐者，字面意思就

是按照一定的規(guī)則，編寫好相應的代碼，運行時自動且精準的在網站采集所需

要的頁面內容信息。爬蟲一般又分為三部分包括采集、處理、和存儲。類型又

分為通用網絡爬蟲、聚焦網絡爬蟲、增量式網絡爬蟲、深層網絡爬蟲等類型。

這些給我們帶來方便的同時，這門技術在互聯(lián)網上也就起到重要的作用，

變得多元化，爬蟲就如同一個偵查勘探的角色，模仿著普通人的行為在網站上

進行探測，查詢數(shù)據，把結果收集起來，就像是螞蟻搬運一樣。

享受著爬蟲帶來的方便的同時，陰孕而生就出現(xiàn)了反爬蟲，通過一些限制

來干擾阻止正常進行的爬蟲，說白點就是防御防守。可一山更比一山高，反爬

蟲機制的User-Agent、IP、Cookie、JS等手段，同樣可以被高水平的人士運

用到位來獲取數(shù)據，但這往往也加大了爬蟲者的任務量。

日常生活中，許多人都用過爬蟲，最鮮明的例子就是網上買票和電商帶貨

時的搶購物品，對得到的數(shù)據往往每個人的想法都不同，目的通俗來講就是自

身利益，可但凡事務都具有兩面性，運用得好自然是方便了本身，反之則會給

自己帶來巨大的風險隱患。

5

湖南商務職業(yè)技術學院畢業(yè)設計

2.3.2文件存取技術

Python內置pandas庫進行存儲，如圖2-1所示。

圖2-1Python內置pandas模塊

2.3.3可視化技術

在網站上看到的數(shù)據經獲取后，雖然都看得懂，但密密麻麻的數(shù)據直接去

分析的話非常的燒腦，所以在此項目中運用第三方庫將所獲取的數(shù)據做完存儲

之后，即可對其進行做可視化處理，用圖來說話，一目了然更直觀的展示了數(shù)

據信息。具體采用的是Python的第三方Matplotlib庫和pyecharts庫來進行

可視化操作，分別對需要分析的字段作出圖形，來得出結論。

導入Matplotlib作圖庫用于后期繪制餅圖和條形圖，如圖2-2所示。

圖2-2導入Matpoltlib庫

導入的pyecharts可視化作圖庫用于后期繪制詞云圖，如圖2-3所示。

圖2-3導入pyecharts庫

6

湖南商務職業(yè)技術學院畢業(yè)設計

3數(shù)據采集

3.1采集頁面分析

首先通過瀏覽器搜索快期刊網站，然后找到哲學文人目錄集頁面進行觀

察，如圖3-1所示，其中URL為：

/category/zhexuerenwen/然后點擊網站頁面下方

的分頁按鈕,同時觀察URL,發(fā)現(xiàn)URL有發(fā)生變化。

圖3-1網站數(shù)據網址頁面

按F12調出瀏覽器開發(fā)者工具,按F5刷新頁面,如圖3-2所示。

圖3-2瀏覽器開發(fā)者工具

7

湖南商務職業(yè)技術學院畢業(yè)設計

在開發(fā)者工具上面導航欄選擇Network，找到中間的Headers并點擊,看出

這個是一個GET請求。

3.2字段分析

接下來我們就可以單擊Elements打開網頁數(shù)據的源代碼，如圖3-3所

示，可以看到所需要獲取的數(shù)據就是在這里面，上面已知該網站是用GET方法

來響應，所以在編寫代碼時用Requests中的GET方法來采集數(shù)據，接著用循

環(huán)依次有規(guī)律的重復獲取響應數(shù)據，存放致創(chuàng)建的字典中，最后存儲寫入到

CSV文件中。

圖3-3網頁源代碼

3.3編程實現(xiàn)

導入所需要運用到的庫，如圖3-4所示。

圖3-4導入所需庫

8

湖南商務職業(yè)技術學院畢業(yè)設計

創(chuàng)建一個字典，用于存放所爬取到的數(shù)據，用于后續(xù)將其寫入文件做準

備，如圖3-5所示。

圖3-5創(chuàng)建存放數(shù)據的字典

第一層循環(huán)用于對網站所有頁面來進行遍歷，依據網址變化的規(guī)律設置好

網址，設置好請求頭部信息，將User-Agent寫入進去。用request庫的GET

方法爬取網頁數(shù)據，并將爬取的數(shù)據再用lxml庫中的Etree模塊來解析網

頁，如圖3-6所示。

圖3-6第一層循環(huán)爬取代碼塊

第二層循環(huán)用來對單個頁面的數(shù)據條目進行遍歷，依據解析出來的數(shù)據，

用Xpath語法尋找定位所需要的字段節(jié)點并刪除和分割不必要的部分，對個別

字段設置異常捕獲以防存在缺失值的情況，保證完整性，如圖3-7所示。

圖3-7第二層循環(huán)解析代碼塊

9

湖南商務職業(yè)技術學院畢業(yè)設計

4數(shù)據清洗與處理

得到了繁多的數(shù)據之后，接下來就是清洗數(shù)據了，要確保數(shù)據的有效性和

網頁數(shù)據的完整性，看是否有存在空值以及對應字段是否內容正確，根據字段

內容做不同處理，將數(shù)據歸類整齊按獲取的順序排列好，方便在進行分析時高

效的使用。

4.1數(shù)據清洗

經過比對和檢查,發(fā)現(xiàn)數(shù)據是有存在缺失值空值的項,那么我們就得考慮完

整性,防止數(shù)據內容的冗余和信息不對應。要做的就是將空值項在編寫代碼時

添加異常捕獲，將其空值賦予“未標明”來設置。接著整理為原網頁格式存入

字典中，最后存儲到CSV文件,留到后面做可視化作圖操作使用。如圖4-1所

示。

圖4-1經整理后的數(shù)據

4.2數(shù)據儲存

可存儲的方式有很多，通常可用存為EXCEL、TXT、JSON和CSV等，以此

次項目來考慮，這里選擇以CSV文件存儲，文件命名為data.csv做文件名。

如圖4-2所示。

10

湖南商務職業(yè)技術學院畢業(yè)設計

圖4-2數(shù)據存儲為CSV文件代碼

打開所存儲的CSV文件確認數(shù)據是否完整，如圖4-3所示。

圖4-3存儲為CSV文件的數(shù)據

11

湖南商務職業(yè)技術學院畢業(yè)設計

5數(shù)據統(tǒng)計與分析

5.1數(shù)據準備

導入所需庫,使用pandas加載CSV文件源數(shù)據，如圖5-1所示。

圖5-1數(shù)據準備

篩選出作圖所需要的字段數(shù)據，如圖5-2所示。

圖5-2經篩選后的數(shù)據

12

湖南商務職業(yè)技術學院畢業(yè)設計

5.2數(shù)據展示

5.2.1期刊級別統(tǒng)計和占比分析

將處理好的期刊級別字段數(shù)據進行作圖，如圖5-3所示。

圖5-3期刊級別占比圖

圖中可以看出獲取快期刊網站信息各類刊物的期刊級別最多的還屬于省級

期刊，其次就是北大核心期刊和國家級期刊。北大核心和統(tǒng)計源期刊這類跟未

標明刊期級別的占比很少。為何要將這些期刊分級別分類？

其實這期刊里面又劃分了很多種等級，如按主管部門、按期刊質量、按注

冊地等等這些級別，以內容類別又分一般期刊、學術期刊、行業(yè)期刊、檢索期

刊等，每種類別都有自己領域的研究內容。

在廣大學士搜尋喜好的期刊閱讀時總會先了解自己要的期刊屬于哪種級

別，出自哪等信息。從另一方面看對有了目標就會產生想法，從而去類比閱讀

個人喜好方面的期刊。就目前形式來看其一是期刊缺乏市場的，辦得好的期刊

并不多，片面的看，許多企業(yè)單位缺乏專員，再加上財政的支持力度不大的問

題。其二是缺乏對讀者的研究，期刊是給讀者看的，就如同買東西，一個非常

吸引人銷量好的物品，總會有它本身的吸引之處，對于刊期也是一樣，仔細的

看懂讀者的心里，使自己有固定的閱讀群體，才能慢慢發(fā)展。

13

湖南商務職業(yè)技術學院畢業(yè)設計

5.2.2發(fā)行周期和審稿周期統(tǒng)計與分析

將處理好的發(fā)行周期字段數(shù)據進行作圖，如圖5-4所示。

圖5-4發(fā)行周期占比圖

將處理好的審稿周期字段數(shù)據進行作圖，如圖5-5所示。

圖5-5審稿周期條形圖

從兩張圖中可以看出發(fā)行周期是月刊和雙月刊的比例占據大，季刊在其

后，剩下的半月刊、半年刊和另外三個就都占的少數(shù)了。以發(fā)行周期來看審稿

周期也就看出來了審稿在1個月內的最多，1-3個月的其次，其余的數(shù)值就更

14

湖南商務職業(yè)技術學院畢業(yè)設計

少了。兩個字段性質上沒什么差別得出的數(shù)據上也比較相似，這里綜合了來

看，期刊的周期不同，看的是出版物期刊的水平決定，一般情況下，普通期刊

時間周期比較短，比較重要的核心期刊周期就長些，但也有一種情況，是一些

期刊在所屬的專業(yè)里不是那么具有影響力，稿源也不多，但為了行業(yè)目前的地

位來說，就還是會仔細審稿，以致時間就長了。就讀者而言，在選擇期刊時，

要考慮好前面分析的期刊級別，還要考慮到審稿和發(fā)行的周期時間，都是比較

重要的。

5.2.3期刊收錄數(shù)統(tǒng)計和分析

將處理好的期刊收錄字段數(shù)據進行作圖，如圖5-6所示。

圖5-6期刊收錄條形圖

圖中期刊收錄條目統(tǒng)計來看，知網、維普、萬方三方都有收錄的最多，知

網和維普都收錄的第二，知網獨自收錄的第三，其次第四就是知網和萬方收錄

的。

相對于期刊收錄是創(chuàng)作者要發(fā)表的東西被期刊收錄了，還有一種意思是期

刊收錄的方向和類型等。只有發(fā)表被期刊所收錄了才能在網上檢索的到。不難

看出我國期刊收錄的三巨頭就是知網，維普和萬方，這也是多數(shù)創(chuàng)作者要發(fā)表

作品時想要被收錄進去的，就知網而言，很多人都知曉它資料是非常多的，而

且也是目前最權威的查重系統(tǒng)，速度快、靈活且支持類型多，三者也都各自有

自己的特色。

15

湖南商務職業(yè)技術學院畢業(yè)設計

5.2.4主辦單位統(tǒng)計與分析

將處理好的主辦單位字段數(shù)據進行作圖，如圖5-7所示。

圖5-7主辦單位數(shù)據展示

據詞云圖來看主辦單位里次數(shù)由多到少的前四位依次是中國藝術研究院、

北京外國語大學、中國美術出版總社、中國音樂家協(xié)會。主辦單位是對期刊如

何創(chuàng)辦，如何出版內容進行把關，相當于是一個監(jiān)督管理的角色，從我們獲取

的哲學文人類期刊記錄來看中國藝術研究院是里面出的最出眾的，出版的多則

是對這塊領域鉆研見解的多。

5.3統(tǒng)計分析小結

綜上，期刊級別多數(shù)屬于省級期刊，發(fā)行和審稿周期綜合來看是在1個月

時間段內，知網、維普、萬方一同收錄的占首位，中國藝術研究院是對這塊研

究頗多的主辦單位。通過對快期刊網哲學文人類板塊數(shù)據的爬取，獲得了刊物

的各項資料，經過分析所得出，創(chuàng)作者的期刊大多數(shù)都是出自省級，對于審稿

和發(fā)行時間長的期刊不多，整體的期刊收錄都在知網、維普、萬方一同收錄的

三巨頭中，對這類板塊見解多，期刊發(fā)出的多少來看，可以多閱覽中國藝術研

究院所發(fā)表的期刊。

16