第17數(shù)據(jù)應(yīng)用入門

Python從入門到實(shí)戰(zhàn)

第十七章大數(shù)據(jù)應(yīng)用入門第十七章講解主要內(nèi)容17.1什么是大數(shù)據(jù)17.2一個(gè)完整的網(wǎng)絡(luò)爬蟲17.3Python+Spark17.1什么是大數(shù)據(jù)定義26大數(shù)據(jù)（BigData）美國(guó)的Gartner公司把大數(shù)據(jù)定義為高速、巨量且（或）多變的數(shù)據(jù)。所謂高速指數(shù)據(jù)的生成或者變化速度很快。所謂巨量是指數(shù)據(jù)的規(guī)模很大。所謂多變是指數(shù)據(jù)類型的范圍或數(shù)據(jù)中所含信息的范圍非常廣泛。

1、巨量，意味著一臺(tái)普通的服務(wù)器無(wú)法滿足數(shù)據(jù)存儲(chǔ)及處理的需求，必須采用多服務(wù)器的分布式處理，分布式處理技術(shù)也是大數(shù)據(jù)技術(shù)的標(biāo)配內(nèi)容之一。如基于大數(shù)據(jù)處理的分布式數(shù)據(jù)庫(kù)系統(tǒng)。目前，巨量數(shù)據(jù)入門量級(jí)在PB級(jí)別，因?yàn)殡S著硬件技術(shù)的發(fā)展，當(dāng)前一般服務(wù)器都具備了存儲(chǔ)幾十個(gè)TB、幾百個(gè)TB數(shù)據(jù)的能力。2、高速，要求能支持同時(shí)能支持每秒上千上萬(wàn)次的并發(fā)訪問數(shù)據(jù)的能力；或在PB級(jí)別的數(shù)據(jù)量的情況下，（時(shí)間上）能在秒級(jí)快速響應(yīng)和處理。3、多變，指需要處理各種各樣格式的數(shù)據(jù)，如網(wǎng)頁(yè)數(shù)據(jù)、圖片數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、財(cái)務(wù)表格數(shù)據(jù)等。17.1什么是大數(shù)據(jù)“海量數(shù)據(jù)的獲取+大數(shù)據(jù)管理+大數(shù)據(jù)分析應(yīng)用”其實(shí)對(duì)應(yīng)著大數(shù)據(jù)的三個(gè)方面的技術(shù)要求1、海量數(shù)據(jù)的獲取，需要相應(yīng)的數(shù)據(jù)獲取技術(shù)。2、大數(shù)據(jù)管理對(duì)應(yīng)分布式處理技術(shù)的數(shù)據(jù)庫(kù)系統(tǒng)的選擇。3、大數(shù)據(jù)分析應(yīng)用對(duì)應(yīng)大數(shù)據(jù)分析技術(shù)。17.2一個(gè)完整的網(wǎng)絡(luò)爬蟲把計(jì)算機(jī)連接到互聯(lián)網(wǎng)上，使之可以訪問需要爬取數(shù)據(jù)的網(wǎng)站。1、安裝Python

這里假定已經(jīng)安裝了Python3.X。2、requests庫(kù)3、安裝MongoDB

用于存放爬取網(wǎng)頁(yè)數(shù)據(jù)，詳見下一節(jié)內(nèi)容。4、安裝pymongo用于實(shí)現(xiàn)python訪問MongoDB的數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序。17.2一個(gè)完整的網(wǎng)絡(luò)爬蟲>>>importrequests#導(dǎo)入requests模塊（獲取網(wǎng)頁(yè)）>>>r=requests.get('')#獲取指定URL的網(wǎng)頁(yè)信息>>>print(r.text)#以文本形式顯示獲取網(wǎng)頁(yè)信息17.3Python+Spark利用MongoDB等分布式數(shù)據(jù)庫(kù)系統(tǒng)，可以實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)及讀寫操作。另外，對(duì)于繁重的數(shù)據(jù)計(jì)算任務(wù)，也可以實(shí)現(xiàn)分布式計(jì)算。這里簡(jiǎn)單介紹一下Spark集群計(jì)算框架(Cluster