Python數(shù)據(jù)分析與可視化項(xiàng)目實(shí)戰(zhàn) 課件 項(xiàng)目5-7 全流程數(shù)據(jù)分析之浙江省歷史名人數(shù)據(jù)分析、基于大數(shù)據(jù)的求職信息挖掘與分析、Python程序設(shè)計(jì)基礎(chǔ)（選學(xué)）

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展浙江歷史悠久，文化燦爛，是中國(guó)古代文明的發(fā)祥地之一，吳越文化的重要發(fā)祥地，被稱為“絲綢之府”、“魚(yú)米之鄉(xiāng)”和“文物之邦”，更是孕育了眾多的文化名人，涌現(xiàn)出許多杰出的文學(xué)家、藝術(shù)家、學(xué)者和政治家。他們的作品和思想對(duì)中國(guó)歷史和文化產(chǎn)生了深遠(yuǎn)的影響。浙江的省會(huì)杭州是一座歷史悠久，享有盛譽(yù)的歷史名城和文化之都。杭州作為“第19屆亞洲運(yùn)動(dòng)會(huì)”舉辦城市，以優(yōu)美的城市環(huán)境、便利的交通優(yōu)勢(shì)和強(qiáng)大的經(jīng)濟(jì)實(shí)力向世界展示著現(xiàn)代都市的魅力，同時(shí)也展示了獨(dú)特的文化魅力。本項(xiàng)目通過(guò)對(duì)浙江省歷史名人的數(shù)據(jù)分析，可以更全面地了解這個(gè)地區(qū)的歷史和文化特點(diǎn)。這將有助于推動(dòng)浙江省歷史文化的傳承與發(fā)展，進(jìn)一步提升浙江省在國(guó)內(nèi)外的知名度和影響力。同時(shí)也有利于提升文化自信、傳承文化遺產(chǎn)。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1、確定分析目標(biāo)只有弄清分析的目的是什么？才能準(zhǔn)確定位分析因子，提出有價(jià)值的問(wèn)題，提供清晰的思路。2、數(shù)據(jù)獲取目標(biāo)定下來(lái)了，接下來(lái)要去找相應(yīng)的數(shù)據(jù)。如果制定目標(biāo)時(shí)完全遵循了第一步的三個(gè)注意點(diǎn)，那么現(xiàn)在會(huì)很明確要找哪些數(shù)據(jù)。獲取目標(biāo)數(shù)據(jù)的三類方法：一是從一些有公開(kāi)數(shù)據(jù)的網(wǎng)站上復(fù)制/下載，比如統(tǒng)計(jì)局網(wǎng)站、各類行業(yè)網(wǎng)站等，通過(guò)搜索引擎可以很容易找到這些網(wǎng)站；二是通過(guò)一些專門做數(shù)據(jù)整理打包的網(wǎng)站/api來(lái)下載；三是自行收集所需數(shù)據(jù)。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景3、數(shù)據(jù)清洗在工作中90%以上的情況，你拿到的數(shù)據(jù)都需要先做清洗工作，排除異常值、空白值、無(wú)效值、重復(fù)值等等。這項(xiàng)工作經(jīng)常會(huì)占到整個(gè)數(shù)據(jù)分析過(guò)程將近一半的時(shí)間。數(shù)據(jù)清洗是確保數(shù)據(jù)質(zhì)量的重要工作。4、數(shù)據(jù)整理清洗過(guò)后，需要進(jìn)行數(shù)據(jù)整理，即將數(shù)據(jù)整理為能夠進(jìn)行下一步分析的格式，對(duì)于初學(xué)者，可以用Excel來(lái)完成這一工作。5、描述分析數(shù)據(jù)描述：對(duì)數(shù)據(jù)的基本情況進(jìn)行描述，如數(shù)據(jù)的總數(shù)、時(shí)間跨度、數(shù)據(jù)來(lái)源等。指標(biāo)統(tǒng)計(jì)：分析實(shí)際情況的數(shù)據(jù)指標(biāo)，主要包括四個(gè)部分：（1）變化：數(shù)據(jù)隨著時(shí)間的變動(dòng)而增減，如近期銷售額表現(xiàn)。（2）分布：數(shù)據(jù)在不同層次上的表現(xiàn)，如地域分布、人群分布。（3）對(duì)比：數(shù)據(jù)項(xiàng)之間的對(duì)比，如產(chǎn)品線對(duì)比、用戶數(shù)對(duì)比。（4）預(yù)測(cè)：根據(jù)數(shù)據(jù)現(xiàn)有的增減幅度，預(yù)測(cè)未來(lái)的狀況。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景6、數(shù)據(jù)可視化將數(shù)據(jù)可視化也是一個(gè)學(xué)問(wèn)。通過(guò)數(shù)據(jù)分析得出結(jié)論后，還需要用圖表展示出來(lái)，俗話說(shuō)得好，“文不如表，表不如圖"，用圖表可以更清晰展結(jié)論。7、洞察結(jié)論這一步是數(shù)據(jù)報(bào)告的核心，也是最能看出數(shù)據(jù)分析師水平的部分。一個(gè)年輕的分析師和一個(gè)年長(zhǎng)的分析師拿到同樣的圖表，完全有可能解讀出不同的內(nèi)容。8、報(bào)告撰寫報(bào)告撰寫是整個(gè)數(shù)據(jù)分析的最后一步，是對(duì)整個(gè)數(shù)據(jù)分析過(guò)程的總結(jié)。一份優(yōu)秀的報(bào)告需要一個(gè)明確的主題、清晰的目錄、圖文并茂描述數(shù)據(jù)、結(jié)論與建議。應(yīng)至少包含以下六塊內(nèi)容：報(bào)告背景、報(bào)告目的、數(shù)據(jù)來(lái)源、數(shù)量等基本情況、分頁(yè)圖表內(nèi)容及本頁(yè)結(jié)論、各部分小結(jié)及最終總結(jié)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備1.分析目標(biāo)分析唐宋元明清時(shí)期籍貫為浙江省的歷史名人中的性別占比、各時(shí)期不同地區(qū)的名人數(shù)對(duì)比，并根據(jù)數(shù)據(jù)統(tǒng)計(jì)出唐宋元明清時(shí)期歷史名人最多的地區(qū)。2.數(shù)據(jù)獲取2023年2月，中共中央、國(guó)務(wù)院印發(fā)《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》，提出要推動(dòng)公共數(shù)據(jù)匯聚利用，暢通數(shù)據(jù)資源大循環(huán)，夯實(shí)數(shù)字中國(guó)建設(shè)基礎(chǔ)。《中共中央國(guó)務(wù)院關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見(jiàn)》（以下簡(jiǎn)稱“數(shù)據(jù)二十條”）提出，對(duì)各級(jí)黨政機(jī)關(guān)、企事業(yè)單位依法履職或提供公共服務(wù)過(guò)程中產(chǎn)生的公共數(shù)據(jù)，加強(qiáng)匯聚共享和開(kāi)放開(kāi)發(fā)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備數(shù)據(jù)作為生產(chǎn)要素已經(jīng)成為數(shù)字時(shí)代創(chuàng)新發(fā)展的最新聚焦點(diǎn)。培育數(shù)據(jù)要素市場(chǎng)、發(fā)揮數(shù)據(jù)要素價(jià)值、促進(jìn)經(jīng)濟(jì)社會(huì)高質(zhì)量發(fā)展成為構(gòu)筑國(guó)家競(jìng)爭(zhēng)新優(yōu)勢(shì)的重要舉措。公共數(shù)據(jù)作為數(shù)據(jù)要素中權(quán)威性、通用性、基礎(chǔ)性、可控性、公益性較強(qiáng)的數(shù)據(jù)類型，是數(shù)據(jù)要素的重要組成部分，是推進(jìn)數(shù)據(jù)要素作用充分發(fā)揮的有機(jī)組成部分和有力落地抓手之一。公共數(shù)據(jù)關(guān)乎國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展中生產(chǎn)生活的各個(gè)方面，蘊(yùn)藏著巨大的經(jīng)濟(jì)和社會(huì)價(jià)值，是數(shù)字中國(guó)建設(shè)的重要數(shù)據(jù)基礎(chǔ)。推進(jìn)公共數(shù)據(jù)開(kāi)放利用，已成為推進(jìn)國(guó)家治理體系和治理能力現(xiàn)代化的重要手段，也是推動(dòng)數(shù)據(jù)這一生產(chǎn)要素更好發(fā)揮其價(jià)值的必由之路，對(duì)于賦能現(xiàn)代治理、賦能經(jīng)濟(jì)發(fā)展、賦能共同富裕具有十分重要的意義。從開(kāi)放數(shù)據(jù)平臺(tái)獲取數(shù)據(jù)。/dxsy/202306/t20230630_158461.shtml項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3數(shù)據(jù)清洗3.1空值的處理合并后的32207條數(shù)據(jù)中會(huì)有空值，這些值對(duì)于數(shù)據(jù)統(tǒng)計(jì)沒(méi)有意義，因此可以進(jìn)行判斷并作刪除。（1）刪除含有空值的行或列：用dropna()時(shí)可以同時(shí)剔除Nan和NaT，參數(shù)如下：axis：維度，axis=0表示index行，axis=1表示columns列，默認(rèn)為0；how："all"表示這一行或列中的元素全部缺失（為nan）才刪除這一行或列，"any"表示這一行或列中只要有元素缺失，就刪除這一行或列；thresh：一行或一列中至少出現(xiàn)了thresh個(gè)才刪除；subset：在某些列的子集中選擇出現(xiàn)了缺失值的列刪除，不在子集中的含有缺失值的列或行不會(huì)刪除（有axis決定是行還是列）；inplace：篩選過(guò)缺失值的新數(shù)據(jù)是存為副本還是直接在原數(shù)據(jù)上進(jìn)行修改。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備（2）若發(fā)現(xiàn)dropna()后仍然存在空值，則有可能其中并不是空值，而是空字符串，這里就可以將空字符串替換成空值再進(jìn)行dropna()操作：df.replace(to_replace=r'^\s*$',value=np.nan,regex=True,inplace=True)df['訂單付款時(shí)間'].dropna()（3）填充含有空值的行或列（ffill/bfill），參數(shù)如下：value：需要用什么值去填充缺失值axis：確定填充維度，從行開(kāi)始或是從列開(kāi)始method：ffill，用缺失值前面的一個(gè)值代替缺失值，如果axis=1，那么就是橫向的前面的值替換后面的缺失值，如果axis=0，那么則是上面的值替換下面的缺失值。backfill/bfill，缺失值后面的一個(gè)值代替前面的缺失值。注意這個(gè)參數(shù)不能與value同時(shí)出現(xiàn)limit：確定填充的個(gè)數(shù)，如果limit=2，則只填充兩個(gè)缺失值。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.2從傳記列獲取姓名在所提供的數(shù)據(jù)中可以看到，第一列為人物傳記，但缺少人物的姓名，因此可以通過(guò)分割字符的方式從傳記列中獲取姓名。由于合并后的數(shù)據(jù)有三萬(wàn)多條，考慮到處理處理效率，同學(xué)們可以選擇部分?jǐn)?shù)據(jù)進(jìn)行操作練習(xí)。

通過(guò)觀察可以看到傳記列中的姓名與后面的介紹中間有一個(gè)空格，因此可以將空格作為分隔符，使用split()方法實(shí)現(xiàn)。操作過(guò)程為：1、打開(kāi)工作表，通過(guò)for循環(huán)依次遍歷每行數(shù)據(jù)，對(duì)傳記所在的A列數(shù)據(jù)進(jìn)行分割，取出第一個(gè)值，也就是索引號(hào)為0的值賦給變量model，并追加到data[]中。2、然后再次循環(huán)，將取出的姓名值通過(guò)sheet.cell(row=i,column=2).value=word依次放入第二列中，如果要放入其他列，則修改column對(duì)應(yīng)的值。最后通過(guò)book.save將數(shù)據(jù)存入新表中。3、最后，增加一列“姓名”，用于保存從傳記中獲取的值，項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.3補(bǔ)全性別和民族從數(shù)據(jù)中可以看到，性別一欄特別標(biāo)注了女性，空值默認(rèn)為男性，民族列中，非漢族進(jìn)行了標(biāo)注，空值則默認(rèn)為“漢族”。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.4常用的格式轉(zhuǎn)換在數(shù)據(jù)處理中常用的格式轉(zhuǎn)換有：（1）清除空格字符strip：調(diào)用map函數(shù)對(duì)str對(duì)象進(jìn)行空格去除，若去除逗號(hào)可以用map(str.strip(‘,’))df['收貨地址']=df['收貨地址'].map(str.strip())（2）大小寫轉(zhuǎn)換lower/upperdf['編碼']=df['編碼'].strip().lower()#大寫同理，upper()（3）更改數(shù)據(jù)格式astypedf['訂單金額'].astype('int')#int整數(shù)類型，同理float浮點(diǎn)型（4）更改列名即字段名文章來(lái)源地址:/blog/411922.htmldf.rename(columns={'實(shí)付金額':'實(shí)付'})#把實(shí)付金額，改成實(shí)付（5）保留一個(gè)重復(fù)值df['收貨地址'].drop_duplicates()#刪除列中后出現(xiàn)的值df['收貨地址'].drop_duplicates(keep='last')#刪除列中先出現(xiàn)的值，即保留最后一個(gè)值（6）數(shù)據(jù)替換把收貨地址中的四川改為四川省df['收貨地址'].replace('四川','四川省')項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3.5將年份轉(zhuǎn)換為對(duì)應(yīng)的朝代1、取出出生年份從數(shù)據(jù)表中可以看到，部分“生卒年”中給的是對(duì)應(yīng)的年份信息，通常是根據(jù)出生年份算所歸屬的朝代，因此需要將類似于1145-1196的年份信息中的出生年份取出來(lái)，可以使用“——”作為分隔符來(lái)取出出生年。2、確定唐宋元明清時(shí)期對(duì)應(yīng)的年份取出年份后通過(guò)出生年份對(duì)應(yīng)到所屬年份，由于歷史年代的劃分會(huì)有重疊，這里按照以下范圍進(jìn)行劃分：唐：618-907年宋：960-1270年元：1271-1368年明：1368-1636年，部分記載為1369-1644年，單重疊部分不利于劃分，因此在此次統(tǒng)計(jì)中將1368-1636劃分為明代。清：1636-1912年項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備3、確定數(shù)據(jù)的對(duì)應(yīng)邏輯打開(kāi)整理后的數(shù)據(jù)可以看到，“出生年份”列中包括了年代信息如“明”“清”，還有“？”，以及分割出的出生年份，因此在程序中需要分別判斷屬于哪些類型，比如所屬年代已經(jīng)為漢字的，則保留?？梢杂胾'\u4e00'<=sheet["C"+str(row)].value<=u'\u9fff':判斷是否是漢字，如果是出生年份的，再根據(jù)年代值判斷屬于哪個(gè)朝代，由于原記錄為文本信息，進(jìn)行分割后依然是文本，所以在做范圍判斷時(shí)，需要進(jìn)行類型轉(zhuǎn)換，比如唐朝的判斷語(yǔ)句中，用int將sheet["C"+str(row)].value的值由字符型轉(zhuǎn)換為數(shù)值型：int(sheet["C"+str(row)].value)>=618andint(sheet["C"+str(row)].value)<=907)項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4數(shù)據(jù)篩選根據(jù)數(shù)據(jù)分析的目標(biāo)，需要統(tǒng)計(jì)的是唐宋元明清五個(gè)朝代的歷史名人，因此，需要將數(shù)據(jù)進(jìn)行篩選。5分析描述經(jīng)過(guò)篩選后唐宋元明清期間的歷史名人數(shù)據(jù)共有2萬(wàn)條左右，包括了需要統(tǒng)計(jì)信息中的姓名、生卒年、性別、籍貫等字段。主要做以下分析：1、唐宋元明清期間的性別比例、女性在各個(gè)朝代的分布情況；2、唐宋元明清的名人數(shù)量占比圖；3、某些地區(qū)在唐宋元明清期間的名人數(shù)量對(duì)比；4、找出名人數(shù)量最多的地區(qū)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備6數(shù)據(jù)分析及可視化6.1性別比例通過(guò)性別列中的值，使用data.groupby("性別")["性別"].count()分組統(tǒng)計(jì)統(tǒng)計(jì)唐宋元明清時(shí)期名人的男女名人數(shù)量，并用餅圖進(jìn)行展示。6.2女性分布柱形圖根據(jù)上述統(tǒng)計(jì)可以看出，浙江省在唐宋元明清期間的女性名人僅占2.9%，下面就來(lái)看他們都分布在哪些朝代？可以通過(guò)性別進(jìn)行篩選，并通過(guò)生卒年進(jìn)行分組統(tǒng)計(jì)，使用data.query("性別=='女'").groupby("生卒年")["姓名"].count()語(yǔ)句。6.3每個(gè)朝代的名人數(shù)餅圖統(tǒng)計(jì)唐宋元明清每個(gè)朝代的名人數(shù)，可以按“生卒年”進(jìn)行分組統(tǒng)計(jì)，使用data.groupby("生卒年")["姓名"].count()實(shí)現(xiàn)，統(tǒng)計(jì)結(jié)果用餅圖展示占比情況。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備6.4統(tǒng)計(jì)某個(gè)地區(qū)每個(gè)朝代的名人數(shù)量想要得到自己家鄉(xiāng)的名人分布情況，可以通過(guò)“籍貫”進(jìn)行篩選，如查看湖州在唐宋元明清期間的浙江歷史名人數(shù)量，可以使用程序5-13代碼。如果想要對(duì)比幾個(gè)地區(qū)的數(shù)據(jù)，可以使用折線圖，注意：做對(duì)比圖時(shí)，必須是相同朝代的數(shù)量對(duì)比，比如山陰人中只有清代有2個(gè)名人，其他時(shí)期沒(méi)有，就不能與湖州人的數(shù)據(jù)做對(duì)比圖，而義烏人和湖州人的朝代一致6.5.名人數(shù)量較多的地區(qū)統(tǒng)計(jì)由于籍貫數(shù)據(jù)較多，使用分組統(tǒng)計(jì)計(jì)算量太大，因此可以使用詞云展示籍貫信息。通過(guò)詞云分析可見(jiàn)浙江歷史名人中嘉興人最多，但是觀察數(shù)據(jù)后會(huì)發(fā)現(xiàn)，由于不同時(shí)期劃分的范圍有所不同，包括地名也有變化，因此，要統(tǒng)計(jì)杭州的名人，應(yīng)包括“今屬杭州”的范圍，因此應(yīng)通過(guò)對(duì)籍貫中帶’杭州‘的字段進(jìn)行模糊篩選，從而計(jì)算籍貫為杭州的歷史名人數(shù)量。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備7.分析結(jié)論7.1.性別比例分析通過(guò)對(duì)浙江省唐宋元明清期間的歷史名人數(shù)據(jù)的量化分析，可以看出古代女性地位較低，因此很少有女性能夠成為歷史名人，從唐朝到清朝近1300年間，僅有523名女性，占總數(shù)的2.9%。男性占比97.1%。7.2.各朝代名人比例分析通過(guò)對(duì)浙江省唐宋元明清期間的歷史名人統(tǒng)計(jì)，看到清朝占比最高為64.1%，唐朝最少為1.3%。根據(jù)提供的數(shù)據(jù)可以看出載入史冊(cè)的名人主要為文人墨客、官員及革命工作者，清朝名人較多主要有兩個(gè)原因：項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備第一，江浙地區(qū)是清朝時(shí)期我國(guó)經(jīng)濟(jì)最發(fā)達(dá)的地區(qū)，素有“蘇湖熟、天下足”、“衣被天下”的說(shuō)法。江浙地區(qū)地少人多，讀書(shū)是人們謀生的一種重要手段。在傳統(tǒng)的農(nóng)耕社會(huì)，一人中舉會(huì)為整個(gè)家族帶來(lái)豐厚的利益，所以整個(gè)家族都會(huì)不遺余力的保障子女的教育，這種情況在江浙地區(qū)尤為突出。這種家族式的投入自然產(chǎn)生了豐厚的回報(bào)，使得江浙地區(qū)文風(fēng)盛行、人才輩出，出現(xiàn)了很多“耕讀傳家”的書(shū)香門第和有名望的家族。第二，清朝是封建社會(huì)的最后一個(gè)朝代，浙江受江南文脈所傳承，受儒家家國(guó)情懷熏陶，使得他們更有挽救民眾、振興民族的天然的覺(jué)悟與擔(dān)當(dāng)，因此投身革命的共產(chǎn)黨人也納入了歷史名人范圍內(nèi)。因此清朝的歷史名人占比最高。而在唐朝時(shí)期，浙江地區(qū)相對(duì)其他地區(qū)出產(chǎn)名人的數(shù)量較少，主要是在宋朝以前，浙江地區(qū)的經(jīng)濟(jì)發(fā)展相對(duì)較為落后；從地理位置上看，唐朝的政治中心在長(zhǎng)安（現(xiàn)在的西安），浙江地處東南沿海，與福建、廣東等地接壤，相對(duì)較遠(yuǎn)離。這種地理位置的相對(duì)偏遠(yuǎn)可能導(dǎo)致了浙江地區(qū)在唐朝時(shí)期政治、文化等方面的發(fā)展相對(duì)滯后，也限制了浙江地區(qū)名人的涌現(xiàn)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備7.3.歷史名人籍貫分析通過(guò)籍貫詞云分析和模糊查詢統(tǒng)計(jì)，可以看出杭州和嘉興的歷史名人數(shù)量最多，且人數(shù)基本相當(dāng)。根據(jù)各朝代數(shù)據(jù)對(duì)比圖看出，在元、唐、宋時(shí)期，杭州名人數(shù)量均高于嘉興，自明朝后，嘉興略高于杭州。浙江省的嘉興和杭州都是歷史悠久、文化底蘊(yùn)深厚的城市，從地理角度來(lái)看，嘉興地處長(zhǎng)江三角洲的北部，與杭州、上海等地相鄰，具有良好的地理位置優(yōu)勢(shì)。培養(yǎng)了眾多的歷史名人。另一方面，每個(gè)朝代對(duì)嘉興的劃分范圍可能有所不同，也可能影響到名人數(shù)量的統(tǒng)計(jì)結(jié)果。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備8.報(bào)告撰寫報(bào)告主要包括背景、報(bào)告目的、數(shù)據(jù)來(lái)源、數(shù)量等基本情況、分頁(yè)圖表內(nèi)容及本頁(yè)結(jié)論、各部分小結(jié)及最終總結(jié)。由于大部分內(nèi)容在之前的過(guò)程中都已經(jīng)描述過(guò)，這里不再單獨(dú)撰寫報(bào)告，有關(guān)報(bào)告的具體內(nèi)容可以參考我國(guó)進(jìn)行了第七次全國(guó)人口普查報(bào)告，網(wǎng)址為：/guoqing/2021-05/13/content_5606149.htm?？偨Y(jié)本項(xiàng)目按照數(shù)據(jù)分析的流程的八個(gè)步驟，對(duì)浙江省歷史名人數(shù)據(jù)進(jìn)行了分析和可視化展示，通過(guò)全流程的綜合案例，掌握了數(shù)據(jù)獲取、數(shù)據(jù)清洗、數(shù)據(jù)處理的關(guān)鍵方法，并進(jìn)一步鞏固了數(shù)據(jù)可視化部分的內(nèi)容。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展大數(shù)據(jù)是指規(guī)模龐大、多樣化、高速生成的數(shù)據(jù)集，這些數(shù)據(jù)通常超出了傳統(tǒng)數(shù)據(jù)處理工具的能力范圍。大數(shù)據(jù)技術(shù)在各個(gè)領(lǐng)域都具有廣泛的影響：在商業(yè)智能和分析方面，大數(shù)據(jù)幫助企業(yè)分析客戶行為、市場(chǎng)趨勢(shì)和銷售數(shù)據(jù)，支持決策制定和市場(chǎng)營(yíng)銷策略；在醫(yī)療方面，大數(shù)據(jù)分析可以用于疾病預(yù)測(cè)、藥物研發(fā)、患者管理和醫(yī)療成本控制；在交通和城市規(guī)劃方面，大數(shù)據(jù)支持智能交通系統(tǒng)、城市規(guī)劃和交通流量?jī)?yōu)化；在社交媒體和娛樂(lè)方面，大數(shù)據(jù)分析用于個(gè)性化推薦、廣告定位和社交趨勢(shì)分析等。大數(shù)據(jù)技術(shù)已經(jīng)成為各行各業(yè)的重要工具，對(duì)于就業(yè)市場(chǎng)也不例外。畢業(yè)生在步入職場(chǎng)之前，由于信息不對(duì)稱、缺乏經(jīng)驗(yàn)，往往對(duì)就業(yè)前景和實(shí)際情況存在一定的疑慮和不確定性。這種不確定性可能會(huì)導(dǎo)致畢業(yè)生對(duì)自己的職業(yè)選擇和薪資期望與實(shí)際就業(yè)情況存在一定差距。而通過(guò)大數(shù)據(jù)分析和挖掘，可以幫助求職者更客觀地看待就業(yè)問(wèn)題，減少就業(yè)預(yù)期與實(shí)際差距，從而更好地融入職場(chǎng)并實(shí)現(xiàn)職業(yè)目標(biāo)。今天，我們就來(lái)學(xué)習(xí)如何使用大數(shù)據(jù)來(lái)進(jìn)行信息的采集挖掘和分析項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.1大數(shù)據(jù)的特征大數(shù)據(jù)是一個(gè)仁者見(jiàn)仁、智者見(jiàn)智的寬泛概念。關(guān)于“什么是大數(shù)據(jù)”這個(gè)問(wèn)題，大家比較認(rèn)可關(guān)于大數(shù)據(jù)的“4V”說(shuō)法。所謂“4V”，指的是大數(shù)據(jù)的四個(gè)特點(diǎn)，包含四個(gè)層面：Volume(數(shù)據(jù)量大)，Variety(數(shù)據(jù)類型繁多)，Velocity(處理速度快)，Value(價(jià)值密度低)。

大數(shù)據(jù)的價(jià)值本質(zhì)上體現(xiàn)為：提供了一種人類認(rèn)識(shí)復(fù)雜系統(tǒng)的新思維和新手段。就理論上而言，在足夠小的時(shí)間和空間尺度上，對(duì)現(xiàn)實(shí)世界數(shù)字化，可以構(gòu)造一個(gè)現(xiàn)實(shí)世界的數(shù)字虛擬映像，這個(gè)映像承載了現(xiàn)實(shí)世界的運(yùn)行規(guī)律，在擁有充足的計(jì)算能力和高效的數(shù)據(jù)分析方法的前提下，對(duì)這個(gè)數(shù)字虛擬映像的深度分析，將有可能理解和發(fā)現(xiàn)現(xiàn)實(shí)復(fù)雜系統(tǒng)的運(yùn)行行為、狀態(tài)和規(guī)律。應(yīng)該說(shuō)大數(shù)據(jù)為人類提供了全新的思維方式、探知客觀規(guī)律、改造自然和社會(huì)的新手段，這也是大數(shù)據(jù)引發(fā)經(jīng)濟(jì)社會(huì)變革最根本性的原因。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.2大數(shù)據(jù)處理的基本流程大數(shù)據(jù)處理的基本流程主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理與分析、數(shù)據(jù)展示/數(shù)據(jù)可視化、數(shù)據(jù)應(yīng)用等環(huán)節(jié)

其中數(shù)據(jù)質(zhì)量貫穿于整個(gè)大數(shù)據(jù)流程，每一個(gè)數(shù)據(jù)處理環(huán)節(jié)都會(huì)對(duì)大數(shù)據(jù)質(zhì)量產(chǎn)生影響和作用。通常，一個(gè)好的大數(shù)據(jù)產(chǎn)品要有大量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)處理、精確的數(shù)據(jù)分析與預(yù)測(cè)、優(yōu)秀的可視化圖表以及簡(jiǎn)練易懂的結(jié)果解釋。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.1、數(shù)據(jù)挖掘的定義數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中人們事先不知道的，但又是潛在有用的信息和知識(shí)的過(guò)程。隨著信息技術(shù)的高速發(fā)展，人們積累的數(shù)據(jù)量急劇增長(zhǎng)，動(dòng)額以TB計(jì)，如何從海量的數(shù)據(jù)中提取有用的知識(shí)成為當(dāng)務(wù)之急，數(shù)據(jù)挖掘就是為順應(yīng)這種需要應(yīng)運(yùn)而生發(fā)展起來(lái)的數(shù)據(jù)處理技術(shù)，是知識(shí)發(fā)現(xiàn)(KnowledgeDiscoveryinDatabase)的關(guān)鍵步驟。數(shù)據(jù)挖掘是目前人工智能和數(shù)據(jù)庫(kù)領(lǐng)域研究的熱點(diǎn)問(wèn)題，主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的整理，從中挖掘出潛在的模式，從而幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)。數(shù)據(jù)挖掘是通過(guò)分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示三個(gè)步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用數(shù)據(jù)挖掘的數(shù)據(jù)集；規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來(lái)；規(guī)律表示是盡可能以用戶可理解的方式(如可視化)將找出的規(guī)律表示出來(lái)。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景3、Python數(shù)據(jù)挖掘Python語(yǔ)言具有易學(xué)易用、強(qiáng)大的第三方庫(kù)支持等特點(diǎn)，被廣泛應(yīng)用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)領(lǐng)域。數(shù)據(jù)挖掘是指從大量數(shù)據(jù)中提取有效信息的過(guò)程，包括數(shù)據(jù)預(yù)處理、特征選擇、模型選擇和評(píng)估等環(huán)節(jié)。Python中的數(shù)據(jù)挖掘庫(kù)主要有以下幾個(gè)：1.NumPy：用于科學(xué)計(jì)算和數(shù)學(xué)操作，提供多維數(shù)組對(duì)象和一些便捷的函數(shù)操作。2.Pandas：用于數(shù)據(jù)分析和處理，提供豐富的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)操作方法。3.Matplotlib：用于數(shù)據(jù)可視化，提供各種繪圖函數(shù)和樣式設(shè)置。4.Scikit-learn：用于機(jī)器學(xué)習(xí)，提供各種監(jiān)督/非監(jiān)督/半監(jiān)督的學(xué)習(xí)算法，包括分類、回歸、聚類等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景機(jī)器學(xué)習(xí)是基于數(shù)據(jù)構(gòu)建模型并進(jìn)行預(yù)測(cè)或分類的過(guò)程。Python中的機(jī)器學(xué)習(xí)庫(kù)相較于數(shù)據(jù)挖掘庫(kù)更加強(qiáng)調(diào)算法的實(shí)現(xiàn)和模型的優(yōu)化，主要有以下幾個(gè)：1.TensorFlow：由Google開(kāi)發(fā)的機(jī)器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實(shí)現(xiàn)和優(yōu)化，包括神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。2.Keras：基于TensorFlow或Theano開(kāi)發(fā)的高層次神經(jīng)網(wǎng)絡(luò)庫(kù)，封裝了各種神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)和訓(xùn)練操作。3.PyTorch：由Facebook開(kāi)發(fā)的機(jī)器學(xué)習(xí)框架，提供各種深度學(xué)習(xí)算法的實(shí)現(xiàn)和優(yōu)化，具有動(dòng)態(tài)計(jì)算圖和易變性等特點(diǎn)。4.Scikit-learn：雖然是數(shù)據(jù)挖掘庫(kù)，但也提供了許多常見(jiàn)的機(jī)器學(xué)習(xí)算法，如決策樹(shù)、支持向量機(jī)、樸素貝葉斯等。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景綜上所述，Python的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)生態(tài)系統(tǒng)非常完善，提供了豐富的工具和庫(kù)支持，為數(shù)據(jù)科學(xué)家和機(jī)器學(xué)習(xí)工程師提供了便利。Python可以用于不同類型的數(shù)據(jù)挖掘任務(wù)，例如：數(shù)據(jù)預(yù)處理：Python可以用于數(shù)據(jù)處理、轉(zhuǎn)換和清洗，例如數(shù)據(jù)過(guò)濾、去重、缺失值填充等。探索性數(shù)據(jù)分析：Python可以用于生成可視化圖形和摘要統(tǒng)計(jì)信息，以幫助分析數(shù)據(jù)集的特征并發(fā)現(xiàn)潛在的關(guān)系和趨勢(shì)。監(jiān)督式學(xué)習(xí)：Python可以用于建立和優(yōu)化監(jiān)督式模型來(lái)進(jìn)行分類、回歸和預(yù)測(cè)任務(wù)。無(wú)監(jiān)督式學(xué)習(xí)：Python可以用于進(jìn)行聚類和降維操作，以便于發(fā)現(xiàn)和理解數(shù)據(jù)集中隱藏的信息和模式。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4、求職信息分析任務(wù)就業(yè)問(wèn)題一直是國(guó)家和人民最關(guān)注的問(wèn)題之一，良好的就業(yè)前景可以促進(jìn)國(guó)家GDP發(fā)展，推動(dòng)國(guó)民經(jīng)濟(jì)，伴隨著我國(guó)高校精英教育向大眾化教育的轉(zhuǎn)變，以及高校畢業(yè)生就業(yè)制度由國(guó)家統(tǒng)包分配向畢業(yè)生自主擇業(yè)轉(zhuǎn)變，大學(xué)生就業(yè)難已經(jīng)成為不爭(zhēng)的事實(shí)。自2003年我國(guó)第一批擴(kuò)招大學(xué)生走向社會(huì)以來(lái)，我國(guó)社會(huì)的人才需求量逐步由賣方市場(chǎng)轉(zhuǎn)為買方市場(chǎng)，龐大的畢業(yè)生隊(duì)伍走向就業(yè)市場(chǎng)，而高校畢業(yè)生對(duì)就業(yè)的期望值卻居高不下進(jìn)而影響了畢業(yè)生的就業(yè)工作，為避免社會(huì)現(xiàn)實(shí)與畢業(yè)生的想法之間存在較大差距，可以通過(guò)對(duì)招聘網(wǎng)站信息進(jìn)行分析和挖掘，從而客觀地對(duì)待就業(yè)問(wèn)題。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.1研究?jī)?nèi)容及方法本項(xiàng)目以分析電子商務(wù)類人才為例，通過(guò)對(duì)招聘網(wǎng)站電子商務(wù)人才職位信息進(jìn)行數(shù)據(jù)入庫(kù)、數(shù)據(jù)清理、數(shù)據(jù)預(yù)處理、相關(guān)數(shù)據(jù)分析、結(jié)巴分詞、數(shù)據(jù)可視化、崗位薪資預(yù)測(cè)及LDA主題文本相似度模型建立等操作，完成整體項(xiàng)目的開(kāi)發(fā)工作。具體包含：（1）通過(guò)調(diào)用python中的pandas庫(kù)對(duì)數(shù)據(jù)進(jìn)行入庫(kù)處理，調(diào)用其中的各種函數(shù)對(duì)數(shù)據(jù)進(jìn)行去重、去空等操作，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理操作，方便后期建立模型。（2）通過(guò)調(diào)用pyecharts對(duì)各個(gè)特征和薪資的關(guān)系進(jìn)行數(shù)據(jù)可視化分析、對(duì)招聘職位信息進(jìn)行探索分析、使用jieba對(duì)崗位描述進(jìn)行中文分詞并查找其中的差別。（3）對(duì)和薪資有關(guān)的數(shù)據(jù)進(jìn)行特征降維、數(shù)據(jù)標(biāo)準(zhǔn)化等操作，將70%的數(shù)據(jù)集劃分為訓(xùn)練集，剩下的30%劃分為測(cè)試集，調(diào)用隨機(jī)森林、xgboost、lightGBM等算法對(duì)其進(jìn)行訓(xùn)練，然后觀察其RMSE分?jǐn)?shù)、R2評(píng)分，確定最優(yōu)模型并抽取其中一些數(shù)據(jù)作為測(cè)試集對(duì)崗位薪資進(jìn)行預(yù)測(cè)。（4）在TF-IDF的基礎(chǔ)上建立職位LDA模型對(duì)求職者的能力進(jìn)行相似度的計(jì)算，并輸出LDA主題模型的可視化分析結(jié)果。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.2算法及模型4.2.1lightGBM回歸算法LightGBM（LightGradientBoostingMachine）是一個(gè)梯度boosting框架，是基于決策樹(shù)算法的分布式梯度提升框架。LightGBM相較于xgboost，它擁有更快的訓(xùn)練效率，更高的準(zhǔn)確率，支持并行化學(xué)習(xí)，占用更少的內(nèi)存，還能夠處理大規(guī)模數(shù)據(jù)。項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.2.2LDA主題模型LDA模型是一種可以將文檔數(shù)據(jù)集中的每篇文章的主題以概率分布形式給出的主題模型，再通過(guò)這個(gè)主題分布進(jìn)行主題聚類或者文本分類，這樣就相當(dāng)于抽出了每篇文章的主旨。這也是一種典型的“詞包”模式，即一篇文章是由一系列單詞組成的，它們之間沒(méi)有一定的順序，因此，在抽取文本的隱性主題時(shí)，往往會(huì)忽視其語(yǔ)法結(jié)構(gòu)和詞匯的先后次序。LDA有三層生成式貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)，包含了單詞，文檔和文檔整體三者之間的概率分布關(guān)系，其結(jié)構(gòu)依次是文檔層、主題層和特征詞層，其網(wǎng)絡(luò)結(jié)構(gòu)如圖6-2所示。

圖6-2

LDA模型隱含主題的拓?fù)浣Y(jié)構(gòu)示意圖項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.3數(shù)據(jù)加工與訓(xùn)練模型數(shù)據(jù)加工是指融合多源海量的數(shù)據(jù)，并將其轉(zhuǎn)化為可被操作的智能數(shù)據(jù)的過(guò)程。具體地說(shuō)，是處理來(lái)自單個(gè)和多個(gè)數(shù)據(jù)源的數(shù)據(jù)或數(shù)據(jù)組合，以及數(shù)據(jù)間關(guān)系，實(shí)現(xiàn)精確定位和特性預(yù)估，并完成對(duì)危險(xiǎn)態(tài)勢(shì)和重要性的及時(shí)評(píng)估的過(guò)程。數(shù)據(jù)加工集成了多個(gè)數(shù)據(jù)源以產(chǎn)生比任何單個(gè)數(shù)據(jù)源提供的信息更一致、更準(zhǔn)確和更有用的信息，其特點(diǎn)是根據(jù)任務(wù)需求增加搜集的數(shù)據(jù)源，并且通過(guò)不斷地預(yù)估和評(píng)價(jià)算法，修正數(shù)據(jù)加工過(guò)程，以達(dá)到更好的結(jié)果。

項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備4.4數(shù)據(jù)分析與預(yù)測(cè)項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目拓展項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目實(shí)現(xiàn)根據(jù)對(duì)招聘網(wǎng)站信息的分析，可以得到如下啟示：1、求職者在瀏覽招聘信息時(shí)第一關(guān)注的崗位的薪資狀況，當(dāng)看到心儀的薪資后再去查看該崗位招聘人員的具體需求，當(dāng)遇到無(wú)法給定薪資的崗位時(shí)，求職者無(wú)法清晰地判斷出該崗位的真實(shí)薪資區(qū)間。通過(guò)對(duì)招聘信息中的崗位能力需求進(jìn)行文本相似度分析，推薦相似崗位的名稱及薪資狀況，幫助求職者明確崗位薪資狀況是否符合自身期望。2、由于招聘網(wǎng)站的審查制度存在漏洞，導(dǎo)致了大規(guī)模虛假的招聘信息流入，其中有許多詐騙團(tuán)伙捏造的高薪低要求。通過(guò)數(shù)據(jù)處理，回歸模型訓(xùn)練預(yù)測(cè)出擁有相關(guān)特征的薪資，來(lái)幫助求職者分辨真假招聘信息，避免求職者自身利益受到損害。3、關(guān)于中小型企業(yè)無(wú)法合理給定相關(guān)崗位的薪資從而導(dǎo)致人才流失。通過(guò)崗位薪資的預(yù)測(cè)，可以幫助企業(yè)了解市場(chǎng)相關(guān)崗位的薪資狀況，從而幫助企業(yè)設(shè)定合理的薪資，吸引相關(guān)人才，提高企業(yè)招聘效率。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展Python是一種高級(jí)編程語(yǔ)言，具有簡(jiǎn)單、易讀、易學(xué)的特點(diǎn)。Python支持多種編程范式，如面向?qū)ο缶幊?、函?shù)式編程和命令式編程等，使得開(kāi)發(fā)者有更大的自由度和靈活性。它被廣泛應(yīng)用于數(shù)據(jù)分析、科學(xué)計(jì)算、機(jī)器學(xué)習(xí)、Web開(kāi)發(fā)等領(lǐng)域，因?yàn)樗鼡碛袕?qiáng)大的庫(kù)和工具，使得編寫代碼變得更加高效和便捷。項(xiàng)目七系統(tǒng)地介紹了Python編程基礎(chǔ)，包括Python的基本語(yǔ)法、變量、數(shù)據(jù)類型、運(yùn)算符、流程控制、函數(shù)、基本結(jié)構(gòu)等知識(shí)點(diǎn)。通過(guò)學(xué)習(xí)這些內(nèi)容，掌握基本的Python編程技能，更好地學(xué)習(xí)Python數(shù)據(jù)分析與可視化，并能夠應(yīng)用Python解決實(shí)際問(wèn)題，為進(jìn)一步深入學(xué)習(xí)和應(yīng)用Python打下堅(jiān)實(shí)的基礎(chǔ)。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.1計(jì)算機(jī)程序和基本結(jié)構(gòu)計(jì)算機(jī)程序是一組計(jì)算機(jī)能識(shí)別和執(zhí)行的指令，是對(duì)計(jì)算任務(wù)的處理對(duì)象和處理規(guī)則的描述。它以某些程序設(shè)計(jì)語(yǔ)言編寫，運(yùn)行于某種目標(biāo)結(jié)構(gòu)體系上。簡(jiǎn)單的說(shuō)程序是一個(gè)指令序列，根據(jù)用戶使用的編程語(yǔ)言的不同，而采用不同的方式進(jìn)行編寫。程序設(shè)計(jì)是設(shè)計(jì)和構(gòu)建可執(zhí)行的程序以完成特定計(jì)算結(jié)果的過(guò)程，是軟件構(gòu)造活動(dòng)的重要組成部分，一般包含分析、設(shè)計(jì)、編碼、調(diào)試、測(cè)試等階段。熟悉和掌握程序設(shè)計(jì)的基礎(chǔ)知識(shí)，是在現(xiàn)代信息社會(huì)中生存和發(fā)展的基本技能之一。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.2常量和變量在程序執(zhí)行的過(guò)程中，其值不發(fā)生改變的量稱為常量。常量分為直接常量和符號(hào)常量。直接常量（字面常量）包括以下幾種：（1）整數(shù)常量：6、0、-6（2）實(shí)型常量：6.8、-5.18（3）字符常量：‘x’、‘y’符號(hào)常量是指用標(biāo)識(shí)符代表一個(gè)常量。需要注意的是，Python沒(méi)有真正意義上的符號(hào)常量，但有的時(shí)候需要用到符號(hào)常量。一般是在import語(yǔ)句下面用大寫字母作為常量名，如NUMBER=100。但這并不意味著這個(gè)值不可以被改變。習(xí)慣上符號(hào)常量的標(biāo)識(shí)符用大寫字母，變量標(biāo)識(shí)符用小寫字母，以示區(qū)別。使用符號(hào)常量的好處是能做到“一改全改”。即如果該常量被使用了很多次，也只需在最開(kāi)始的地方改變其初值即可。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景變量的概念基本上和初中代數(shù)方程中的變量是一致的，只是在計(jì)算機(jī)程序中，變量不僅可以是數(shù)字，還可以是任意數(shù)據(jù)類型。值可以改變的量稱為變量。一個(gè)變量應(yīng)該有一個(gè)名字，在內(nèi)存中占據(jù)一定的存儲(chǔ)單元。在

Python中，對(duì)一個(gè)變量賦值之前并不需要對(duì)其定義或聲明，它會(huì)在第一次賦值時(shí)自動(dòng)生成。在使用一個(gè)變量之前需要先對(duì)其進(jìn)行賦值。變量命名規(guī)則如下:（1）變量名必須以字母或下劃線開(kāi)頭，后面可以跟任意數(shù)量的字母、下劃線和數(shù)字。變量名中只能有字母、下劃線和數(shù)字。（2）區(qū)分大小寫，如Python和python是不同的。（3）變量名不能使用保留字。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.3標(biāo)識(shí)符與關(guān)鍵字

1.3.1Python標(biāo)識(shí)符標(biāo)識(shí)符用來(lái)表示常量、變量、函數(shù)、對(duì)象等程序要素的名字。Python標(biāo)識(shí)符的命名規(guī)則如下：（1）標(biāo)識(shí)符由字母、數(shù)字和下劃線組成，不能以數(shù)字開(kāi)頭。（2）標(biāo)識(shí)符區(qū)分大小寫字母。（3）不能使用Python關(guān)鍵字作為標(biāo)識(shí)符。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.3.2Python關(guān)鍵字關(guān)鍵字也稱保留字，不能把它們用作任何標(biāo)識(shí)符名稱。Python的標(biāo)準(zhǔn)庫(kù)提供了一個(gè)keyword模塊，可以輸出當(dāng)前版本的所有關(guān)鍵字。示例如下：importkeywordprint(keyword.kwlist)#輸出關(guān)鍵字列表對(duì)應(yīng)的關(guān)鍵字以列表方式輸出，為方便學(xué)習(xí)，進(jìn)行了梳理，見(jiàn)表7-1表7-1python的關(guān)鍵字AndcontinueExceptgloballambdapasswhileAsdefFalseifNoneraisewithAssertdelfinallyimportnonlocalreturnyieldBreakelifForinnotTrue

ClasselseFromisortry

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.4.1print介紹

在Python中內(nèi)置有字符串的格式化操作，所以print（）函數(shù)支持格式化輸出。在格式化字符串時(shí)，Python會(huì)插入格式操作符(如%s)到字符串中，為真實(shí)的數(shù)值預(yù)留位置，并說(shuō)明真實(shí)數(shù)值需要呈現(xiàn)的格式。

1.4.2認(rèn)識(shí)input系統(tǒng)需要交互，就需要讓用戶向計(jì)算機(jī)輸入一些字符，Python提供了一個(gè)input()函數(shù)，該函數(shù)可以讓用戶輸入字符串，并存放到一個(gè)變量里。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.5注釋語(yǔ)句python中的注釋有多種，有單行注釋，多行注釋，批量注釋，中文注釋也是常用的。python注釋也有自己的規(guī)范，在文章中會(huì)介紹到。注釋可以起到一個(gè)備注的作用。團(tuán)隊(duì)合作的時(shí)候，個(gè)人編寫的代碼經(jīng)常會(huì)被多人調(diào)用。為了讓別人能更容易理解代碼的用途，使用注釋是非常有效的。1.5.1python單行注釋符號(hào)(#)井號(hào)(#)常被用作單行注釋符號(hào)，在代碼中使用#時(shí)，它右邊的任何數(shù)據(jù)都會(huì)被忽略，當(dāng)做是注釋。1.5.2批量、多行注釋符號(hào)在python中也會(huì)有注釋有很多行的時(shí)候，這種情況下就需要批量多行注釋符了。多行注釋是用三引號(hào)''''''包含的，例如：輸入''''''或者""""""，將要注釋的代碼插在中間。Windows中IDLE的注釋快捷鍵是Alt+3，取消注釋是Alt+4。JupyterNotebook和Pycharm中，快速注釋代碼(ctrl+/)，快速取消注釋代碼(ctrl+/)。項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.6認(rèn)識(shí)Python的基本數(shù)據(jù)類型1.6.1整型數(shù)據(jù)打開(kāi)計(jì)算器（右鍵單擊Windows圖標(biāo)，搜索中找到計(jì)算器，調(diào)整為程序員模式），認(rèn)識(shí)整型中的不同進(jìn)制。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景整數(shù)類型，英文為integer，簡(jiǎn)寫為int，可以表示正數(shù)、負(fù)零。整數(shù)的不同進(jìn)制表示方式·十進(jìn)制→默認(rèn)的進(jìn)制·二進(jìn)制→以0b開(kāi)頭·八進(jìn)制→以0o開(kāi)頭·十六進(jìn)制→以0x開(kāi)頭項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.6.2浮點(diǎn)型數(shù)據(jù)浮點(diǎn)數(shù)即帶有小數(shù)部分的數(shù)字。在Python里，浮點(diǎn)數(shù)分為兩類，一種是普通的由數(shù)字和小數(shù)點(diǎn)組成的，如1.0、2.3等。這是由科學(xué)計(jì)數(shù)法表示的浮點(diǎn)數(shù)。另外一種是由數(shù)字、小數(shù)點(diǎn)以及科學(xué)計(jì)數(shù)標(biāo)志e或E組成，如：2.1e10則表示2.1ⅹ1010。浮點(diǎn)類型●浮點(diǎn)數(shù)由整數(shù)部分和小數(shù)部分組成●浮點(diǎn)數(shù)儲(chǔ)存不精確性項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.6.3字符串類型字符串又被稱為不可變的字符序列，可以使用單引號(hào)‘’雙引號(hào)“”三引號(hào)“‘’”或“““”””來(lái)定義，單引號(hào)和雙引號(hào)定義的字符串必須在一行，三引號(hào)定義的字符串可以分布在連續(xù)的多行。1.6.4布爾型類型在Python中，有一種特殊的數(shù)據(jù)類型叫布爾型（bool），該類型只有兩種取值：True和False分別代表真和假。實(shí)際上，可以把True和False看成Python內(nèi)置的變量名，值分別為1和0。因?yàn)閷?shí)際上True的值就是1，而False則為0，項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.6.5實(shí)現(xiàn)不同類型數(shù)據(jù)的轉(zhuǎn)換類型轉(zhuǎn)換是一種采用一種類型的數(shù)據(jù)對(duì)象并創(chuàng)建多種類型的等效數(shù)據(jù)對(duì)象的操作。見(jiàn)表7-3所示：項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7認(rèn)識(shí)常用運(yùn)算1.7.1算數(shù)運(yùn)算Python中常見(jiàn)的算數(shù)運(yùn)算有加、減、乘、除、求余、取整、冪運(yùn)算等。見(jiàn)表1-4所示：項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7.2數(shù)值運(yùn)算函數(shù)除了基本的算數(shù)運(yùn)算，Python以函數(shù)形式提供了一些數(shù)值運(yùn)算，例如四舍五入函數(shù)、最大值，最小值等。見(jiàn)表7-5項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景其他運(yùn)算可以使用Math函數(shù)，常用的函數(shù)見(jiàn)表7-6、7-7項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7.3賦值運(yùn)算符賦值運(yùn)算的功能是：將一個(gè)表達(dá)式或?qū)ο筚x給一個(gè)左值，其中左值必須是一個(gè)可修改的值，不能為一個(gè)常量?！?”是基本的賦值運(yùn)算符，此外“=”可與算術(shù)運(yùn)算符組合成復(fù)合賦值運(yùn)算符。Python中的復(fù)合賦值運(yùn)算符有：+=、-=、*=、/=、//=、**=，他們的功能相似，例如“a+=b”等價(jià)于“a=a+b”,“a-=b”等價(jià)于“a=a-b”，諸如此類。Python中各個(gè)賦值運(yùn)算符的功能及示例表7-8項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7.4關(guān)系運(yùn)算符

比較運(yùn)算符用于判斷同類型的對(duì)象是否相等，比較運(yùn)算的結(jié)果是布爾值Ture或False。表7-9：項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7.5邏輯運(yùn)算符邏輯運(yùn)算符為and（與，全真才真）、or（或，全假才假）、not（非）用于邏輯運(yùn)算、判斷表達(dá)式的True或者False，通常與流程控制一起使用。表7-10項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景1.7.6運(yùn)算優(yōu)先級(jí)上面學(xué)習(xí)了算數(shù)運(yùn)算、賦值運(yùn)算、位運(yùn)算、比較運(yùn)算、邏輯運(yùn)算等，當(dāng)遇到復(fù)雜的表達(dá)式時(shí)，就需要根據(jù)運(yùn)算優(yōu)先級(jí)決定先做什么運(yùn)算，在Python中各類運(yùn)算的優(yōu)先級(jí)規(guī)則從高到低依次。表7-11項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2程序的基本結(jié)構(gòu)在程序設(shè)計(jì)中，語(yǔ)句可以按照結(jié)構(gòu)化程序設(shè)計(jì)的思想構(gòu)成三種基本結(jié)構(gòu)，它們分別是順序結(jié)構(gòu)、分支結(jié)構(gòu)和循環(huán)結(jié)構(gòu)，如圖7-7所示。圖7-7程序的基本結(jié)構(gòu)項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景為方便描述程序的結(jié)構(gòu)關(guān)系會(huì)使用程序流程圖。一個(gè)流程從開(kāi)始符開(kāi)始，以結(jié)束符結(jié)束。處理流程需以單一入口和單一出口繪制，要畫(huà)出規(guī)范的流程圖，最基本的就是流程圖的形狀一致，字號(hào)統(tǒng)一，規(guī)范的流程圖符號(hào)及其含義見(jiàn)表7-12。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.1順序結(jié)構(gòu)順序結(jié)構(gòu)指的是按照指令順序依次執(zhí)行每一條語(yǔ)句。例如，你和計(jì)算機(jī)進(jìn)行對(duì)話：1、計(jì)算機(jī)問(wèn)道:你的愛(ài)好是什么？請(qǐng)用戶輸入2、計(jì)算機(jī)顯示:你的愛(ài)好是（用戶輸入的內(nèi)容）3、計(jì)算機(jī)問(wèn)道:你有欣賞的明星嗎？請(qǐng)用戶輸入4、計(jì)算機(jī)顯示:我也喜歡（顯示用戶輸入的內(nèi)容）項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.2選擇結(jié)構(gòu)選擇結(jié)構(gòu)指的是根據(jù)判斷條件，只執(zhí)行滿足條件的部分語(yǔ)句，并且只執(zhí)行一次。2.2.1雙分支選擇結(jié)構(gòu)用if語(yǔ)句可以構(gòu)成選擇結(jié)構(gòu)，它根據(jù)給定的條件進(jìn)行判斷，以決定執(zhí)行某個(gè)分支程序段。如圖7-8所示為一個(gè)雙分支選擇結(jié)構(gòu)。圖7-8

雙分支結(jié)構(gòu)示意圖項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.2.2認(rèn)識(shí)多分支結(jié)構(gòu)

在前面的學(xué)習(xí)中我們學(xué)會(huì)了隨機(jī)數(shù)的加法運(yùn)算，那如果想進(jìn)行減法乘法等隨機(jī)運(yùn)算，用多分支結(jié)構(gòu)就能實(shí)現(xiàn)。此種情況下，就涉及多種選擇，在Python中我們用if….elif….else…語(yǔ)句進(jìn)行多分支選擇結(jié)構(gòu)的描述。如圖7-12所示。圖7-12

多分支結(jié)構(gòu)項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.2.3選擇結(jié)構(gòu)的嵌套

在學(xué)習(xí)構(gòu)成三角形的形狀時(shí)，我們知道常見(jiàn)的三角形按邊可以劃分為等邊三角形、等腰三角形、直角三角形和一般三角形，如果從鍵盤上輸入三個(gè)數(shù)代表三角形的三條邊，首先判讀是否能夠構(gòu)成三角形，如果能構(gòu)成三角形，則判斷三角形的形狀；不能構(gòu)成則提示不能構(gòu)成三角形。因此首先要進(jìn)行能夠構(gòu)成三角形的判斷，如果能夠構(gòu)成三角形再進(jìn)一步判斷是什么類型的三角形，因此是否構(gòu)成三角形和判斷三角形的形狀之間構(gòu)成嵌套關(guān)系。嵌套的if語(yǔ)句是指在if語(yǔ)句內(nèi)有其他的if語(yǔ)句。如圖7-14所示：

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.3.循環(huán)結(jié)構(gòu)

循環(huán)結(jié)構(gòu)指的是只要滿足判斷條件就反復(fù)執(zhí)行循環(huán)體，直到不滿足條件時(shí)退出循環(huán)，程序結(jié)束。常見(jiàn)的循環(huán)結(jié)構(gòu)有while循環(huán)結(jié)構(gòu)和for循環(huán)結(jié)構(gòu)。2.3.1While循環(huán)結(jié)構(gòu)介紹

While循環(huán)中通常包含了循環(huán)變量初值、循環(huán)條件、循環(huán)體、循環(huán)變量的變化這四個(gè)關(guān)鍵點(diǎn)。While循環(huán)結(jié)構(gòu)流程如圖7-16所示：項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.3.2for循環(huán)結(jié)構(gòu)for循環(huán)是編程語(yǔ)言中一種循環(huán)語(yǔ)句，而循環(huán)語(yǔ)句由循環(huán)體及循環(huán)的判定條件兩部分組成，一般形式為：foriinRange(變量的初值，變量的終值，步長(zhǎng))：

語(yǔ)句塊循環(huán)結(jié)構(gòu)的主流程如圖7-20所示：

項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展項(xiàng)目背景2.3.3循環(huán)嵌套

循環(huán)里面再嵌套一重循環(huán)叫做雙重循環(huán)，嵌套兩層以上的叫多重循環(huán)。Python程序單層循環(huán)結(jié)構(gòu)常常難以解決更加復(fù)雜的問(wèn)題，這就要求我們進(jìn)一步學(xué)會(huì)使用循環(huán)語(yǔ)句的嵌套結(jié)構(gòu)來(lái)處理相對(duì)復(fù)雜的問(wèn)題。通過(guò)前面的學(xué)習(xí)，我們知道Python循環(huán)結(jié)構(gòu)主要有for循環(huán)和while循環(huán)。可以將while循環(huán)結(jié)構(gòu)嵌套進(jìn)for循環(huán)結(jié)構(gòu)中，也可以將for循環(huán)結(jié)構(gòu)嵌套進(jìn)while循環(huán)結(jié)構(gòu)里。嵌套循環(huán)通常包括內(nèi)循環(huán)和外循環(huán)，執(zhí)行規(guī)律為：外循環(huán)執(zhí)行一次，內(nèi)循環(huán)執(zhí)行一輪。項(xiàng)目背景項(xiàng)目準(zhǔn)備項(xiàng)目分析項(xiàng)目實(shí)現(xiàn)項(xiàng)目拓展3.1.列表(list)

列表是由一系列元素組成的序列。列表是Python中最通用的復(fù)合數(shù)據(jù)類型。可以由多個(gè)數(shù)字、字母甚至可以包含列表(即嵌套)的元素組成。列表用[]標(biāo)識(shí),并用逗號(hào)來(lái)分隔其中的元素,是Python最通用的復(fù)合數(shù)據(jù)類型。

3.1.1.訪問(wèn)列表列表中的每個(gè)元素相當(dāng)于一個(gè)變量.程序既可使用它的值，也可對(duì)元素賦予新值。列表可當(dāng)做以零為基點(diǎn)的數(shù)組使