大數(shù)據(jù)采集與預(yù)處理課件：requests技術(shù)應(yīng)用案例-業(yè)務(wù)網(wǎng)站C動(dòng)態(tài)數(shù)據(jù)采集2

綜合案例——爬取業(yè)務(wù)網(wǎng)站C本章學(xué)習(xí)目標(biāo)分析業(yè)務(wù)網(wǎng)站C的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容使用requests庫(kù)編寫爬蟲代碼獲取指定的動(dòng)態(tài)數(shù)據(jù)使用urlencode方法編碼使用pymysql庫(kù)實(shí)現(xiàn)數(shù)據(jù)的持久化為了保證數(shù)據(jù)的可靠性，保障數(shù)據(jù)不會(huì)丟失，并提高應(yīng)用程序的性能讓程序可以直接從存儲(chǔ)介質(zhì)中加載數(shù)據(jù)這是便需要對(duì)數(shù)據(jù)進(jìn)行持久化存儲(chǔ)。在前面的基礎(chǔ)上用AJAX采集單個(gè)汽車品牌系列的名稱，單個(gè)汽車品牌系列的ID。并將其采集到的數(shù)據(jù)保存到MySQL數(shù)據(jù)庫(kù)中。4.5.3

數(shù)據(jù)持久化存儲(chǔ)1） 導(dǎo)入pymysql，用于連接MySQL。importpymysql2） 通過(guò)PyMQL建立MySQL連接，創(chuàng)建AJAX數(shù)據(jù)庫(kù)和ajax數(shù)據(jù)表。設(shè)置數(shù)據(jù)表字段為car_name和id，id為主鍵。通過(guò)for循環(huán)實(shí)現(xiàn)想表插入數(shù)據(jù)。db=pymysql.connect(host='localhost',user='root',password='123456',port=3306)cursor=db.cursor()cursor.execute("CREATEDATABASEAJAXDEFAULTCHARACTERSETutf8mb4")db.close()db2=pymysql.connect(host="localhost",user="root",password="123456",database="AJAX",port=3306)cursor2=db2.cursor()cursor2.execute("DROPTABLEIFEXISTSajax")sql1="""CREATETABLE`ajax`(`car_name`char(20)NOTNULL,`id`int(10)NOTNULLAUTO_INCREMENT,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)print("CreatedtableSuccessfull.")3） 自定義一個(gè)函數(shù)parse_three(json)，參數(shù)也是json。獲得該城市所有車型的汽車品牌系列名稱和ID。最后通過(guò)for循環(huán)實(shí)現(xiàn)向表中插入數(shù)據(jù)。defparse_three(json):ifjson:foriinjson:forbini.get('SeriesList'):item_list=b.get('Name')item_list2=b.get('Id')print('各城市數(shù)據(jù)采集數(shù)據(jù)展示：'+'=========='+item_list+':'+'==========='+str(item_list2)+'=============')sql2='INSERTINTOajax(car_name,id)VALUES(%s,%s)'try:cursor2.execute(sql2,(item_list,item_list2))db2mit()except:db2.rollback()4） 編寫運(yùn)行入口程序if__name__=='__main__':city_list=[{'北京':'110100'},{'重慶':'500100'}]forcityincity_