《Python數(shù)據(jù)分析與應(yīng)用》全套教學課件

第1章數(shù)據(jù)分析基礎(chǔ)全套可編輯PPT課件1.1數(shù)據(jù)分析的基本概念1.2數(shù)據(jù)分析的任務(wù)與方法1.3典型數(shù)據(jù)領(lǐng)域與常見數(shù)據(jù)類型1.4數(shù)據(jù)分析的生態(tài)系統(tǒng)CONTENTS目錄1.5本書的內(nèi)容和組織（1）知道數(shù)據(jù)分析的定義，并了解數(shù)據(jù)分析范式。（2）了解數(shù)據(jù)分析所面臨的問題并能夠思考相應(yīng)的解決方案。（3）理解數(shù)據(jù)分析的相關(guān)概念。（4）了解數(shù)據(jù)分析的任務(wù)和方法。（5）熟悉不同領(lǐng)域的數(shù)據(jù)類型與常見數(shù)據(jù)類型。（6）熟悉數(shù)據(jù)分析的生態(tài)系統(tǒng)。學習目標（1）數(shù)據(jù)分析的定義。（2）數(shù)據(jù)分析范式。（3）數(shù)據(jù)分析的任務(wù)與方法。（4）數(shù)據(jù)分析的生態(tài)系統(tǒng)。學習重點CONTENTS1.1數(shù)據(jù)分析的基本概念01020304數(shù)據(jù)分析的定義相關(guān)概念辨析數(shù)據(jù)分析面臨的問題1.1數(shù)據(jù)分析的基本概念數(shù)據(jù)分析范式1.1數(shù)據(jù)分析的基本概念理解數(shù)據(jù)分析的基礎(chǔ)是了解數(shù)據(jù)。從概念而言，大數(shù)據(jù)（bigdata）是1998年由SGI（美國硅圖公司）首席科學家JohnMashey在USENIX說明大會上提出的。他當時發(fā)表了一篇名為BigDataandtheNextWaveofInfraStress的論文，使用了大數(shù)據(jù)來描述數(shù)據(jù)爆炸的現(xiàn)象。根據(jù)百度百科的定義，大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在2015年《促進大數(shù)據(jù)發(fā)展行動綱要》中，大數(shù)據(jù)是指以容量大、類型多、存取速度快、應(yīng)用價值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進行采集、存儲和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。想一想：你能舉出大數(shù)據(jù)應(yīng)用的示例嗎？0103050204volume（大量）variety（多樣）veracity（真實性）value（低價值密度）velocity（高速）1.1數(shù)據(jù)分析的基本概念I(lǐng)BM提出大數(shù)據(jù)具有5V特點。1.1.1數(shù)據(jù)分析的定義數(shù)據(jù)分析（dataanalysis）是指將各種算法應(yīng)用于大量的、有噪聲的、不完全的實際數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的有用信息和知識的實踐過程。各種算法包括來自統(tǒng)計學中的抽樣、估計及假設(shè)檢驗，也包括機器學習、模式識別等領(lǐng)域的建模技術(shù)和學習理論。通過數(shù)據(jù)分析，可以發(fā)現(xiàn)個體對象的特征性質(zhì)、類別分布，也可以預(yù)測個體對象未來的觀測結(jié)果。數(shù)據(jù)分析為科學研究、社會管理、工業(yè)生產(chǎn)等提供了一種新的方法，其目的在于揭示自然現(xiàn)象與人類社會背后隱藏的特性和規(guī)律。對實際數(shù)據(jù)進行探索、提取知識的過程一般包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、后處理等步驟，如圖1-1所示。1.1.1數(shù)據(jù)分析的定義數(shù)據(jù)分析主要涉及三個方面的內(nèi)容：數(shù)據(jù)分析理論、數(shù)據(jù)分析技術(shù)和數(shù)據(jù)分析實踐，如圖1-2所示。其中，數(shù)據(jù)分析理論是指人們對數(shù)據(jù)及數(shù)據(jù)資源利用相關(guān)的對象、價值及影響進行思考而產(chǎn)生的認知。通過分析累積的海量數(shù)據(jù)，能夠?qū)崿F(xiàn)客戶群體細分、工作效率提高及業(yè)務(wù)模式創(chuàng)新等，從而極大地促進經(jīng)濟社會發(fā)展。1.1.1數(shù)據(jù)分析的定義在此過程中，隨著數(shù)據(jù)分析應(yīng)用的逐漸深入及數(shù)據(jù)類型的多樣化和復雜化，數(shù)據(jù)分析的實踐形態(tài)和主要目標也會逐步演化。以上活動需要根據(jù)其特點進行抽象提取，從而構(gòu)建數(shù)據(jù)分析過程的知識體系。例如，數(shù)據(jù)分析將來可能不再局限于從數(shù)據(jù)中提取有價值的信息這一任務(wù)，由數(shù)據(jù)分析引起的數(shù)據(jù)隱私、數(shù)據(jù)產(chǎn)權(quán)、數(shù)據(jù)資源共享與管理等將成為新的理論焦點；數(shù)據(jù)分析技術(shù)是指數(shù)據(jù)分析實施過程依賴的技術(shù)方法，包括數(shù)據(jù)存儲、算法模型、分布式平臺及云計算等。1.1.1數(shù)據(jù)分析的定義數(shù)據(jù)分析技術(shù)是落實數(shù)據(jù)分析理論的保障。根據(jù)現(xiàn)實應(yīng)用的業(yè)務(wù)場景，需要具備在不同數(shù)據(jù)分布、分析效率及任務(wù)要求條件下進行數(shù)據(jù)分析的技術(shù)方法。例如，除了數(shù)據(jù)資源、算法模型之外，大規(guī)模數(shù)據(jù)分析實踐往往還需要存儲環(huán)境、計算平臺等；數(shù)據(jù)分析實踐是將數(shù)據(jù)分析技術(shù)與累積的海量數(shù)據(jù)相結(jié)合，產(chǎn)生有價值的信息、知識的具體過程。此過程往往與實際數(shù)據(jù)質(zhì)量、業(yè)務(wù)場景等緊密相關(guān)，當前的數(shù)據(jù)分析實踐主要可以分為個人數(shù)據(jù)分析實踐、企業(yè)數(shù)據(jù)分析實踐、政府數(shù)據(jù)分析實踐和互聯(lián)網(wǎng)數(shù)據(jù)分析實踐四類。實際上，數(shù)據(jù)分析理論是數(shù)據(jù)分析技術(shù)和數(shù)據(jù)分析實踐的基礎(chǔ)和指導，數(shù)據(jù)分析技術(shù)是數(shù)據(jù)分析理論在實際業(yè)務(wù)場景下的實現(xiàn)途徑，數(shù)據(jù)分析實踐是基于數(shù)據(jù)分析理論和數(shù)據(jù)分析技術(shù)體現(xiàn)數(shù)據(jù)價值的最終過程。1.1.2數(shù)據(jù)分析范式數(shù)據(jù)分析的總體目標是在已有數(shù)據(jù)集的基礎(chǔ)上，通過特定的算法提取信息，并將信息轉(zhuǎn)化為可理解的知識，從而輔助決策。任何實際的數(shù)據(jù)分析過程都是重復這一數(shù)據(jù)分析的工作范式，如圖1-3所示。1.1.2數(shù)據(jù)分析范式具體來說，數(shù)據(jù)（data）是使用約定俗成的關(guān)鍵詞，對客觀事物的數(shù)量、屬性、位置及其相互關(guān)系進行抽象表示，以適合在當前的領(lǐng)域中用人工或自然的方式進行保存、傳遞和處理。例如，通過高度20m、寬度80m、共3層這些數(shù)據(jù)便描述了客觀世界建筑物在人們大腦中的印象；信息（information）來源于數(shù)據(jù)，但高于數(shù)據(jù)。信息是指具有時效性的、有一定含義的、有邏輯的、經(jīng)過加工處理的、對決策有價值的數(shù)據(jù)流；信息雖給出了數(shù)據(jù)中一些有一定意義的東西，但它的價值往往會在時間效用失效后開始衰減，只有通過人們的參與，對信息進行歸納、演繹、比較等處理，使其有價值的部分沉淀下來，并與已存在的人類知識體系相結(jié)合，這部分有價值的信息就轉(zhuǎn)變成知識（knowledge），即知識就是沉淀并與已有人類知識庫進行結(jié)構(gòu)化的有價值信息；決策（decision）是指在獲取知識的基礎(chǔ)上，根據(jù)實際業(yè)務(wù)場景采取有效行動從而提高收益的具體過程。1.1.2數(shù)據(jù)分析范式以商品房銷售為例，數(shù)據(jù)是指銷售過程中交易行為的直接記錄，包括房屋位置、房屋面積、房屋類型、交易時間、成交價格等；基于以上原始記錄，通過對數(shù)據(jù)進行處理，得出類似“201×年×月北京市朝陽區(qū)商品房銷售價格同比上漲×%”的結(jié)論，即為獲得信息；人們通過對以上類似的信息進行歸納、演繹、比較等處理，使其有價值的部分沉淀下來，并與已存在的人類知識體系相結(jié)合，這些有價值的信息就轉(zhuǎn)變成知識，即類似“由于土地供應(yīng)有限，人口迅速增加，北京市商品房交易價格總體上處于并將繼續(xù)處于上漲態(tài)勢”；在以上數(shù)據(jù)分析的基礎(chǔ)上，人們基于獲得的知識進行最終的投資決策，即“通過購置房產(chǎn)以獲得較高的投資回報”。以上即為通過房屋交易記錄處理，最終輔助決策的數(shù)據(jù)分析過程。想一想：你還能說出其他的例子嗎？1.1.3數(shù)據(jù)分析面臨的問題0103050204可伸縮性異構(gòu)及復雜數(shù)據(jù)隱私保護數(shù)據(jù)分布高維性1.1.3數(shù)據(jù)分析面臨的問題1.可伸縮性由于數(shù)據(jù)分析任務(wù)中實際數(shù)據(jù)量的巨大差異，要求數(shù)據(jù)分析的模型算法能夠處理大數(shù)據(jù)集，且時間復雜度不能太高，消耗的內(nèi)存空間也有限，即必須是可伸縮（scalable）的。為了實現(xiàn)可伸縮的數(shù)據(jù)分析，研究人員已經(jīng)進行了許多有益的嘗試，包括增量式方法、數(shù)據(jù)采樣方法、數(shù)據(jù)壓縮方法、分布式算法、并行框架等。1.1.3數(shù)據(jù)分析面臨的問題2.高維性傳統(tǒng)的數(shù)據(jù)集一般只有少量的屬性，然而，大數(shù)據(jù)時代數(shù)據(jù)集的屬性往往是成百上千的。由于數(shù)據(jù)采集技術(shù)的進步，同樣的對象可以通過更多傳感器從更加豐富的角度進行感知刻劃，從而導致數(shù)據(jù)維度增加。隨著數(shù)據(jù)維度的增加，可能的組合數(shù)量也隨之上升，樣本在屬性空間中變得稀疏，從而很可能產(chǎn)生無意義的分析結(jié)果。如果持續(xù)增加維度，訓練數(shù)據(jù)需要指數(shù)級的增加才能避免過擬合。另外，維度增加會導致計算機內(nèi)存消耗巨大、計算時間延長。而且，在高維空間中，樣本距離的度量失去意義，會影響K-means、KNN(K-nearestneighbor，K近鄰算法)等基于距離計算的方法的精度和性能。1.1.3數(shù)據(jù)分析面臨的問題3.異構(gòu)及復雜數(shù)據(jù)傳統(tǒng)數(shù)據(jù)分析任務(wù)中的數(shù)據(jù)類型主要包括文本、圖像、數(shù)字、語音信號等，通過聚類、分類等發(fā)現(xiàn)其蘊含的模式和語義。隨著數(shù)量采集技術(shù)的發(fā)展和數(shù)據(jù)分析在各個領(lǐng)域的廣泛應(yīng)用，數(shù)據(jù)類型越來越復雜。例如，由于在線社交網(wǎng)絡(luò)的興起，同時包含文本、圖片、關(guān)系鏈的多媒體信息對于知識挖掘變得愈發(fā)重要。另外，刻劃個體及其之間相互關(guān)聯(lián)關(guān)系的圖數(shù)據(jù)也成為大數(shù)據(jù)中的一種重要數(shù)據(jù)類型。隨著定位技術(shù)和移動互聯(lián)網(wǎng)的發(fā)展，車輛及行人軌跡數(shù)據(jù)的量級也在迅猛增長。為了挖掘這些復雜數(shù)據(jù)對象，需要開發(fā)與數(shù)據(jù)特征相適應(yīng)的新型數(shù)據(jù)分析方法。1.1.3數(shù)據(jù)分析面臨的問題4.數(shù)據(jù)分布隨著數(shù)據(jù)采集技術(shù)的進步，生成的數(shù)據(jù)量往往十分巨大。所以，構(gòu)建集中的數(shù)據(jù)存儲空間是極具挑戰(zhàn)性的。而且，由于網(wǎng)絡(luò)數(shù)據(jù)傳輸帶寬的限制，海量數(shù)據(jù)傳輸?shù)暮臅r也難以接受。例如，當前無處不在的監(jiān)控攝像頭雖然記錄了大量視頻監(jiān)控數(shù)據(jù)，但是實際上是無法進行集中統(tǒng)一分析的，這些數(shù)據(jù)是在各個區(qū)域分散保存的。另外，由于數(shù)據(jù)所有權(quán)的問題，數(shù)據(jù)分析任務(wù)可以擁有數(shù)據(jù)的使用權(quán)，但沒有數(shù)據(jù)的所有權(quán)。因此，只能通過遠程訪問進行數(shù)據(jù)分析。所以，實際數(shù)據(jù)常常處于不同地理位置及不同機構(gòu)中，大數(shù)據(jù)的資源利用要求開發(fā)分布式的數(shù)據(jù)分析技術(shù)。1.1.3數(shù)據(jù)分析面臨的問題5.隱私保護由于實際數(shù)據(jù)中經(jīng)常包含用戶隱私信息，直接基于這個數(shù)據(jù)進行分析挖掘會泄露用戶隱私。因此，需要在操作、分析這些數(shù)據(jù)的同時保護用戶隱私。當前，研究人員已開始關(guān)注密文可搜索機制、支持隱私保護的數(shù)據(jù)聚類等研究。舉個例子醫(yī)療機構(gòu)積累了大量醫(yī)療數(shù)據(jù)，通過對這些數(shù)據(jù)進行分析，可能優(yōu)化疾病的治療效果、提高疾病的治愈率。然而，通過專業(yè)機構(gòu)進行醫(yī)療數(shù)據(jù)分析需要考慮患者的隱私問題，需要使用保障數(shù)據(jù)安全的數(shù)據(jù)分析方法。1.1.4相關(guān)概念辨析為了分析處理來自各個領(lǐng)域、面向不同需求的數(shù)據(jù)處理任務(wù)，研究人員和工程師提出了很多相互聯(lián)系但又有所差異的概念和定義。首先，數(shù)據(jù)必須保存在存儲空間中才能夠進行數(shù)據(jù)分析，數(shù)據(jù)庫是保存數(shù)據(jù)的主要形式。由于數(shù)據(jù)規(guī)模大、存儲位置比較分散，為了提高計算效率，數(shù)據(jù)分析常常依賴于并行計算和分布式計算框架。為了能夠讓計算機擁有人的能力從而實現(xiàn)人工智能，研究人員提出了許多利用經(jīng)驗數(shù)據(jù)的學習算法，即機器學習。1.1.4相關(guān)概念辨析機器學習的理論基礎(chǔ)主要是統(tǒng)計學，為了能夠從數(shù)據(jù)中提取有用的知識，數(shù)據(jù)分析經(jīng)常需要采用機器學習方法。從而，數(shù)據(jù)分析可以被視為機器學習與數(shù)據(jù)庫的交叉，利用機器學習領(lǐng)域提供的技術(shù)分析海量數(shù)據(jù)，利用數(shù)據(jù)庫領(lǐng)域的技術(shù)進行海量數(shù)據(jù)的管理。同時，機器學習一般指實現(xiàn)數(shù)據(jù)建模學習的相關(guān)算法，數(shù)據(jù)分析主要指從數(shù)據(jù)中提取有用知識的過程。數(shù)據(jù)分析除包括相關(guān)建模學習算法之外，還包括數(shù)據(jù)清洗、描述性分析等步驟?；蛘?，機器學習注重相關(guān)機器學習算法的理論研究和算法提升，數(shù)據(jù)挖掘注重運用算法或其他某種模式來解決實際問題。1.1.4相關(guān)概念辨析機器學習為數(shù)據(jù)挖掘提供解決實際問題的方法，數(shù)據(jù)挖掘中算法的成功應(yīng)用，說明了機器學習對算法的研究具有實際運用價值。在數(shù)據(jù)分析和機器學習算法的形成過程中，還吸收了來自其他領(lǐng)域的思想，包括最優(yōu)化、進化計算、信息論和信號處理。信息檢索指從數(shù)據(jù)集合或數(shù)據(jù)接口中查找個別記錄的過程，主要依賴于數(shù)據(jù)的明顯特征來創(chuàng)建索引結(jié)構(gòu)，從而有效地組織和檢索信息。1.1.4相關(guān)概念辨析數(shù)據(jù)分析與機器學習的發(fā)展不是孤立的，是被廣泛應(yīng)用于各個領(lǐng)域、與各個領(lǐng)域的發(fā)展共同成長的。例如，機器學習在視覺領(lǐng)域的應(yīng)用形成了計算機視覺（computationalvision）方向。計算機視覺通過采集圖片或視頻，對圖片或視頻進行處理分析，從中獲取相對應(yīng)的信息。換而言之，就是運用照相機和計算機來獲取我們所需的信息。另外，機器學習在漢語、英語、法語等自然語言領(lǐng)域的應(yīng)用形成了自然語言處理（naturallanguageprocessing）方向。自然語言處理，簡單來說就是計算機接收用戶自然語言形式的輸入，并在內(nèi)部通過人類所定義的算法進行加工、計算等一系列操作，以模擬人類對自然語言的理解，并返回用戶所期望的結(jié)果。隨著互聯(lián)網(wǎng)、在線社交網(wǎng)絡(luò)、生物信息網(wǎng)絡(luò)等的興起，世界萬物變得愈發(fā)相互關(guān)聯(lián)，從而形成了以頂點及頂點間的邊為結(jié)構(gòu)的大規(guī)模圖數(shù)據(jù)。1.1.4相關(guān)概念辨析機器學習在圖數(shù)據(jù)分析領(lǐng)域的應(yīng)用形成了圖計算（graphcomputing）方向。圖計算就是主要針對結(jié)點關(guān)系型數(shù)據(jù)，研究在這樣的數(shù)據(jù)上進行高效的檢索、分類、聚類、預(yù)測等任務(wù)。圖1-4展示了數(shù)據(jù)分析與其他領(lǐng)域之間的關(guān)系。CONTENTS1.2數(shù)據(jù)分析的任務(wù)與方法1.2數(shù)據(jù)分析的任務(wù)與方法在數(shù)據(jù)分析挖掘之前，首先需要確定任務(wù)目標、理解如何從數(shù)據(jù)分析結(jié)果中受益。然后收集需要的數(shù)據(jù)，并進行數(shù)據(jù)清洗、集成和轉(zhuǎn)換等數(shù)據(jù)準備工作。在進行數(shù)據(jù)分析建模之前，需要深入地探索理解數(shù)據(jù)，了解各屬性元素之間的相互作用，熟悉數(shù)據(jù)的分布及特征。最后進行數(shù)據(jù)分析建模，對數(shù)據(jù)的分析結(jié)果進行展示和應(yīng)用。所以，數(shù)據(jù)分析挖掘總體上包括如下六個階段。（1）確定目標。（2）數(shù)據(jù)收集。（3）數(shù)據(jù)準備。（4）數(shù)據(jù)探索。（5）數(shù)據(jù)建模。（6）展示應(yīng)用。1.2數(shù)據(jù)分析的任務(wù)與方法另外，數(shù)據(jù)分析挖掘過程中數(shù)據(jù)的建模學習也需要多個步驟，具體包括以下幾個方面。（1）選擇數(shù)據(jù)：將數(shù)據(jù)分成訓練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)。（2）模型學習：使用訓練數(shù)據(jù)來構(gòu)建基于相關(guān)特征的模型。（3）驗證模型：使用驗證數(shù)據(jù)直接進行模型評價。（4）測試模型：使用測試數(shù)據(jù)檢查被驗證的模型的性能表現(xiàn)。（5）調(diào)優(yōu)模型：使用更多數(shù)據(jù)、不同的特征或不同的參數(shù)取值來提升

算法的性能表現(xiàn)。01020304分類任務(wù)降維任務(wù)聚類任務(wù)1.2數(shù)據(jù)分析的任務(wù)與方法回歸任務(wù)根據(jù)數(shù)據(jù)集中其他屬性的取值預(yù)測特定屬性的取值，或者根據(jù)歷史樣本數(shù)據(jù)預(yù)測當前及未來樣本的取值的過程即為預(yù)測（prediction）建模。預(yù)測建模的目標是訓練一個模型，使目標變量預(yù)測值與實際值之間的誤差達到最小。實際上，用于預(yù)測離散目標變量的分類（classification）任務(wù)，以及用于預(yù)測連續(xù)目標變量的回歸（regression）任務(wù)都屬于預(yù)測建模。面對各種各樣的數(shù)據(jù)分析需求，當前主要的數(shù)據(jù)分析建模算法按學習結(jié)果可分為分類、回歸、聚類和降維四個任務(wù)。1.2.1分類任務(wù)樸素貝葉斯K近鄰算法決策樹人工神經(jīng)網(wǎng)絡(luò)支持向量機1.2.1分類任務(wù)1.樸素貝葉斯樸素貝葉斯是基于貝葉斯定理與特征條件獨立假設(shè)的分類方法，發(fā)源于古典數(shù)據(jù)理論，擁有穩(wěn)定的數(shù)學基礎(chǔ)和分類效率。它是一種十分簡單的分類算法，通過對給出的待分類項求解各項類別的出現(xiàn)概率大小，來判斷此待分類項屬于哪個類別。貝葉斯適用于特征之間的相互獨立的場景，如利用花瓣的長度和寬度來預(yù)測花的類型?！皹闼亍钡膬?nèi)涵可以理解為特征和特征之間獨立性強。樸素貝葉斯在文本分類問題中會有很好的效果，常被用于垃圾郵件過濾、醫(yī)療診斷中。1.2.1分類任務(wù)2.支持向量機支持向量機是一種監(jiān)督式學習方法，可廣泛應(yīng)用于統(tǒng)計分類及回歸分析。支持向量機屬于一般化線性分類器，它能夠同時最小化經(jīng)驗誤差和最大化幾何邊緣，因此，支持向量機也被稱為最大邊緣分類器。3.K近鄰算法KNN是一個比較簡單的分類、預(yù)測算法。首先選取與待分類數(shù)據(jù)最相似的K個訓練數(shù)據(jù)，然后通過對這K個數(shù)據(jù)的結(jié)果或分類標號進行取均值、取眾數(shù)等方法得到待分類、待預(yù)測數(shù)據(jù)的結(jié)果或分類標號。1.2.1分類任務(wù)4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能的數(shù)學模型或計算模型，用于對函數(shù)進行估計或近似。人工神經(jīng)網(wǎng)絡(luò)通過大量的人工神經(jīng)元聯(lián)結(jié)進行計算，通過在外界信息的基礎(chǔ)上修正內(nèi)部結(jié)構(gòu)和連接權(quán)值實現(xiàn)學習過程，是一種自適應(yīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)在語音、圖片、視頻、游戲等各類應(yīng)用場景展現(xiàn)出優(yōu)異的性能，但是存在需要大量的數(shù)據(jù)進行訓練來提高準確性的問題。5.決策樹決策樹是一個樹結(jié)構(gòu)，其中每個非葉結(jié)點表示一個特征屬性上的判斷，每個分支代表這個特征屬性在某個值域上的輸出，而每個葉結(jié)點存放一個類別。使用決策樹進行決策的過程就是從根結(jié)點開始，判斷待分類項中相應(yīng)的特征屬性，并按照其值選擇輸出分支，直到到達葉子結(jié)點，將葉子結(jié)點對應(yīng)的類別作為決策結(jié)果。1.2.2回歸任務(wù)給定一個樣本特征，我們希望預(yù)測其對應(yīng)的屬性值。如果此屬性值是連續(xù)的，那么這就是一個回歸問題?；貧w任務(wù)預(yù)測目標值最直接的辦法是依據(jù)輸入寫出一個目標值的計算公式，該公式就是所謂的回歸方程（regressionequation），求回歸方程中的回歸系數(shù)的過程就是回歸，如圖1-5所示。1.2.2回歸任務(wù)線性回歸邏輯回歸嶺回歸0102031.2.2回歸任務(wù)1.線性回歸線性回歸是利用數(shù)理統(tǒng)計中的回歸分析來確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計分析方法。其中，只包括一個自變量和一個因變量，且二者的關(guān)系可用一條直線近似表示的回歸分析稱為一元線性回歸分析。如果包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。1.2.2回歸任務(wù)2.邏輯回歸邏輯回歸在線性回歸的基礎(chǔ)上通過使用其固有的邏輯函數(shù)估計概率，來衡量因變量（想要預(yù)測的標簽）與一個或多個自變量（特征）之間的關(guān)系。通常，邏輯回歸會將概率值壓縮到某一特定范圍。邏輯回歸一般用于需要明確輸出的場景，如預(yù)測是否會發(fā)生降雨。3.嶺回歸為了應(yīng)對線性回歸模型中基于最小二乘法的系數(shù)求解方法對輸入變量噪聲敏感及解不穩(wěn)定問題，對原目標函數(shù)添加懲罰項以限制模型參數(shù)的數(shù)值大小。1.2.3聚類任務(wù)聚類（clustering）任務(wù)是在沒有給定劃分類別的情況下，根據(jù)樣本相似度進行樣本分組的一種方法。聚類的輸入是針對一組未被標記的樣本，聚類算法根據(jù)數(shù)據(jù)自身的距離或相似度將其劃分為若干組，劃分的原則是組內(nèi)距離最小化而組間距離最大化，如圖1-6所示。1.2.3聚類任務(wù)K-means聚類DBSCAN聚類譜聚類010203聚類和分類都是分析樣本的屬性，不同的是，分類在預(yù)測之前知道屬性的范圍，或者說知道到底有幾個類別，而聚類是不知道屬性的范圍的。所以，分類也常常被稱為監(jiān)督學習（supervisedlearning），而聚類就被稱為無監(jiān)督學習（unsupervisedlearning）。對于聚類任務(wù)，當前已有K-means聚類、DBSCAN聚類、譜聚類（spectralclustering）等方法被提出。1.2.3聚類任務(wù)1.K-means聚類K-means聚類是一種無監(jiān)督學習算法，此算法把N個點（可以是樣本的一次觀察或一個實例）劃分到K個集群（cluster），使得每個點都屬于離它最近的均值（聚類中心，centroid）對應(yīng)的集群。2.DBSCAN聚類具有噪聲的基于密度的聚類方法（densitybasedspatialclusteringofapplicationswithnoise，DBSCAN）是一種基于密度的空間聚類算法。該算法將具有足夠密度的區(qū)域劃分為簇，并在具有噪聲的空間數(shù)據(jù)庫中發(fā)現(xiàn)任意形狀的簇。1.2.3聚類任務(wù)3.譜聚類譜聚類是從圖論中演化出來的算法，后來在聚類中得到了廣泛的應(yīng)用。它的主要思想是把所有的數(shù)據(jù)看作空間中的點，這些點之間可以用邊連接起來。距離較遠的兩個點之間的邊權(quán)重值較低，而距離較近的兩個點之間的邊權(quán)重值較高，通過對所有數(shù)據(jù)點組成的圖進行切圖，讓切圖后不同的子圖間邊權(quán)重和盡可能低，而子圖內(nèi)的邊權(quán)重和盡可能高，從而達到聚類的目的。1.2.4降維任務(wù)降維（dimensionalreduction）任務(wù)的目標就是采用某種映射方法，將原高維空間中的數(shù)據(jù)點映射到低維空間中。之所以進行數(shù)據(jù)降維，是因為在原始的高維空間中包含冗余信息及噪聲信息，在實際應(yīng)用中會造成誤差，降低準確率；希望通過降維減少冗余信息所造成的誤差，提高識別精度，后者通過降維算法來尋找數(shù)據(jù)內(nèi)部的本質(zhì)結(jié)構(gòu)特征。主成分分析01線性判別分析02多維尺度變換031.2.4降維任務(wù)1.主成分分析PCA降維是最常用的線性降維方法，它的目標是通過某種線性投影，將高維的數(shù)據(jù)映射到低維的空間中表示，并期望在所投影的維度上數(shù)據(jù)的方差最大，以此使用較少的數(shù)據(jù)維度，同時保留住較多的原數(shù)據(jù)點的特性。也就是說，PCA追求的是在降維之后能夠最大化保持數(shù)據(jù)的內(nèi)在信息，并通過衡量在投影方向上的數(shù)據(jù)方差的大小來衡量該方向的重要性。1.2.4降維任務(wù)2.線性判別分析LDA方法也稱fisherlineardiscriminant，是一種有監(jiān)督的線性降維算法。它通過將高維空間數(shù)據(jù)投影到低維空間來確定每個樣本所屬的類，這里考慮K個類的情況。它的目標是將樣本能盡可能正確地分成K類，體現(xiàn)為同類樣本投影點盡可能近，不同類樣本點盡可能遠。3.多維尺度變換MDS算法是一種經(jīng)典的降維方法，可以緩解在高維情形下出現(xiàn)的數(shù)據(jù)樣本稀疏和距離計算困難（維數(shù)災(zāi)難）等問題。MDS算法尋找高維數(shù)據(jù)到低維空間的投影，要求原始空間中樣本之間的距離在低維投影空間中得以保持。CONTENTS1.3典型數(shù)據(jù)領(lǐng)域與常見數(shù)據(jù)類型1.3典型數(shù)據(jù)領(lǐng)域與常見數(shù)據(jù)類型主成分分析線性判別分析01021.3.1典型數(shù)據(jù)領(lǐng)域醫(yī)療大數(shù)據(jù)在線網(wǎng)絡(luò)大數(shù)據(jù)金融大數(shù)據(jù)旅游大數(shù)據(jù)交通大數(shù)據(jù)1.3.1典型數(shù)據(jù)領(lǐng)域1.醫(yī)療大數(shù)據(jù)患者就醫(yī)過程產(chǎn)生的數(shù)據(jù)。制藥企業(yè)和生命科學產(chǎn)生的數(shù)據(jù)。例如患者的電子病歷、體征數(shù)據(jù)、化驗數(shù)據(jù)、住院數(shù)據(jù)，醫(yī)學影像數(shù)據(jù)，醫(yī)生對患者的問診數(shù)據(jù)，醫(yī)生對患者的臨床診治、用藥、手術(shù)等數(shù)據(jù)例如與用藥相關(guān)的用藥量、用藥時間、用藥成分、實驗對象反應(yīng)時間、癥狀改善表象等數(shù)據(jù)1.3.1典型數(shù)據(jù)領(lǐng)域1.醫(yī)療大數(shù)據(jù)可穿戴設(shè)備帶來的健康數(shù)據(jù)。醫(yī)療研究和實驗室數(shù)據(jù)。例如通過各種穿戴設(shè)備（手環(huán)、起搏器、眼鏡等）收集的人體的各種體征數(shù)據(jù)例如在藥物研制過程中進行各種實驗及不同適應(yīng)癥狀、副作用等數(shù)據(jù)1.3.1典型數(shù)據(jù)領(lǐng)域金融機構(gòu)在日常經(jīng)營中各種應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)。金融機構(gòu)在網(wǎng)上采集的企業(yè)輿情數(shù)據(jù)和個人行為數(shù)據(jù)。例如銀行卡數(shù)據(jù)、存貸款數(shù)據(jù)、客戶資產(chǎn)數(shù)據(jù)、個人信用數(shù)據(jù)等例如企業(yè)相關(guān)的司法、行政處罰及訴訟數(shù)據(jù)，資產(chǎn)重組、投融資及產(chǎn)品數(shù)據(jù)，個人學歷、職業(yè)數(shù)據(jù)等2.金融大數(shù)據(jù)1.3.1典型數(shù)據(jù)領(lǐng)域從第三方購買的數(shù)據(jù)。例如從政府購買的公積金、社保和稅務(wù)等公共數(shù)據(jù)2.金融大數(shù)據(jù)通過對以上數(shù)據(jù)的分析應(yīng)用，可以進行貸款風險評估和交易欺詐檢測，可以進行理財推薦和精準營銷，可以進行股價預(yù)測，可以基于客戶細分開發(fā)符合客戶個性化需求的金融產(chǎn)品。1.3.1典型數(shù)據(jù)領(lǐng)域3.交通大數(shù)據(jù)交通大數(shù)據(jù)包括：基于公共交通部門發(fā)行交通卡收集的乘客出行數(shù)據(jù)，如各時段、各路段的乘車人數(shù)；交通管理部門在道路上預(yù)埋或預(yù)設(shè)物聯(lián)網(wǎng)傳感器收集的數(shù)據(jù)，如車流量、客流量信息；通過衛(wèi)星地圖對城市道路的交通情況進行分析得到道路交通的實時數(shù)據(jù)；通過出租車車載終端或數(shù)據(jù)采集系統(tǒng)提供的實時數(shù)據(jù)；基于智能手機中的地圖應(yīng)用產(chǎn)生的交通信息。通過對以上數(shù)據(jù)的分析應(yīng)用，可以感知城市道路擁堵情況，可以制定疏散和管制措施預(yù)案，從而提高道路管理能力，可以為用戶提供線路推薦服務(wù)。1.3.1典型數(shù)據(jù)領(lǐng)域4.旅游大數(shù)據(jù)旅游大數(shù)據(jù)包括城市的旅游景點數(shù)據(jù)、經(jīng)濟數(shù)據(jù)、氣象數(shù)據(jù)、人文數(shù)據(jù)等，景區(qū)的票務(wù)數(shù)據(jù)、旅游人數(shù)數(shù)據(jù)、監(jiān)控數(shù)據(jù)等，酒店的在線預(yù)訂和入住數(shù)據(jù)、客戶信息及行為偏好數(shù)據(jù)等，旅游網(wǎng)站的旅游線路數(shù)據(jù)、旅游攻略數(shù)據(jù)、點評數(shù)據(jù)等，游客畫像、消費數(shù)據(jù)、緊急調(diào)度數(shù)據(jù)等。通過對以上數(shù)據(jù)的分析應(yīng)用，可以進行旅游推薦、安全提醒、旅游產(chǎn)品規(guī)劃、旅游廣告投放等服務(wù)。1.3.1典型數(shù)據(jù)領(lǐng)域5.在線網(wǎng)絡(luò)大數(shù)據(jù)在線網(wǎng)絡(luò)大數(shù)據(jù)包括社交平臺產(chǎn)生的社會關(guān)系數(shù)據(jù)、用戶生成數(shù)據(jù)、位置數(shù)據(jù)、個人偏好數(shù)據(jù)等，電商平臺產(chǎn)生的商品銷售數(shù)據(jù)、客戶消費數(shù)據(jù)、促銷活動數(shù)據(jù)等，視頻網(wǎng)站產(chǎn)生的視頻內(nèi)容數(shù)據(jù)、用戶觀看數(shù)據(jù)等，媒體平臺產(chǎn)生的新聞數(shù)據(jù)、用戶評論數(shù)據(jù)等，求職招聘平臺產(chǎn)生的企業(yè)招聘數(shù)據(jù)、個人簡介數(shù)據(jù)、崗位薪酬數(shù)據(jù)等。通過對以上數(shù)據(jù)的分析應(yīng)用，可以進行社會關(guān)系推薦、工作職位推薦、商業(yè)廣告投放、新聞消息推薦等服務(wù)。1.3.2常見數(shù)據(jù)類型結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)0102031.3.2常見數(shù)據(jù)類型1.結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)是能夠用二維表結(jié)構(gòu)來表達實現(xiàn)的數(shù)據(jù)，如數(shù)字、符號等。在項目中，這些數(shù)據(jù)一般保存在數(shù)據(jù)庫中，其具有的明確關(guān)系使得這些數(shù)據(jù)運用起來十分方便，不過，它們在商業(yè)上的可挖掘價值比較差。2.半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)不符合關(guān)系型數(shù)據(jù)庫或其他數(shù)據(jù)模型結(jié)構(gòu)，但包含用來分隔語義元素及對記錄和字段進行分層的相關(guān)標記。因此，它也被稱為自描述的結(jié)構(gòu)。在半結(jié)構(gòu)化數(shù)據(jù)中，屬性的個數(shù)、順序等都是不重要的，它們可以通過相關(guān)標記進行解釋，從而具有良好的擴展性。常見的半結(jié)構(gòu)化數(shù)據(jù)有網(wǎng)頁、XML和JSON。1.3.2常見數(shù)據(jù)類型3.非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包括所有格式的辦公文檔、文本、圖片、各類報表、圖像和音頻、視頻信息等。非結(jié)構(gòu)化數(shù)據(jù)的格式非常多樣，標準也是多樣性的，而且在技術(shù)上非結(jié)構(gòu)化信息比結(jié)構(gòu)化信息更難標準化。所以，存儲、檢索、發(fā)布及利用非結(jié)構(gòu)化數(shù)據(jù)需要更加智能化的IT技術(shù)，如海量存儲、智能檢索、知識挖掘、內(nèi)容保護等。CONTENTS1.4數(shù)據(jù)分析的生態(tài)系統(tǒng)1.4數(shù)據(jù)分析的生態(tài)系統(tǒng)01020304分布式文件系統(tǒng)數(shù)據(jù)可視化工具機器學習與數(shù)據(jù)分析平臺分布式編程框架1.4.1分布式文件系統(tǒng)谷歌文件系統(tǒng)（Googlefilesystem，GFS）Hadoop分布式文件系統(tǒng)（Hadoopdistributedfilesystem，HDFS）Ceph分布式文件系統(tǒng)Lustre分布式文件系統(tǒng)1.4.1分布式文件系統(tǒng)1.谷歌文件系統(tǒng)（Googlefilesystem，GFS）GFS是Google為了滿足本公司需求而開發(fā)的基于Linux的專有分布式文件系統(tǒng)。盡管Google公布了該系統(tǒng)的一些技術(shù)細節(jié)，但Google并沒有將該系統(tǒng)的軟件部分作為開源軟件發(fā)布。2.Hadoop分布式文件系統(tǒng)（Hadoopdistributedfilesystem，HDFS）HDFS是Hadoop的核心子項目，是一個可以運行在普通硬件設(shè)備上的分布式文件系統(tǒng)，是分布式計算中數(shù)據(jù)存儲和管理的基礎(chǔ)，是基于流數(shù)據(jù)模式訪問和處理超大文件的需求而開發(fā)的。它所具有的高容錯、高可靠性、高可擴展性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲，給超大數(shù)據(jù)集的應(yīng)用處理帶來了很多便利。1.4.1分布式文件系統(tǒng)3.Ceph分布式文件系統(tǒng)Ceph是一個統(tǒng)一的分布式存儲系統(tǒng)，設(shè)計初衷是提供較好的性能、可靠性和可擴展性。Ceph項目最早起源于SageWeil就讀博士期間的工作（最早的成果于2004年發(fā)表），并隨后貢獻給開源社區(qū)。在經(jīng)過數(shù)年的發(fā)展之后，目前已得到眾多云計算廠商的支持并被廣泛應(yīng)用。RedHat及OpenStack都可與Ceph整合以支持虛擬機鏡像的后端存儲。4.Lustre分布式文件系統(tǒng)Lustre是一款開源的、基于對象存儲的集群并行分布式文件系統(tǒng)，具有很高的擴展性、可用性、易用性等，在高性能計算中應(yīng)用很廣泛，世界十大超級計算中心中的7個及超過50%的全球排名前50的超級計算機都在使用Lustre。Lustre可以支持上萬個結(jié)點，數(shù)以PB數(shù)量的存儲系統(tǒng)。1.4.2分布式編程框架MapReduce編程框架Spark編程框架Storm編程框架Petuum編程框架1.4.2分布式編程框架1.MapReduce編程框架MapReduce是一種編程模型，被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)的處理中。2004年，Google發(fā)表了一篇論文，介紹了MapReduce編程框架。利用這款軟件框架，開發(fā)人員可以快速地編寫分布式應(yīng)用程序?，F(xiàn)今，該框架已被廣泛地應(yīng)用到日志分析、海量數(shù)據(jù)排序等任務(wù)中。MapReduce編程模式實際上是基于一種傳統(tǒng)的分治法而實現(xiàn)的。分治法將復雜問題分成多個類似的子問題，直到子問題的規(guī)模小到能直接得出結(jié)果，再聚合中間數(shù)據(jù)所得到的最終結(jié)果就是原問題的解。1.4.2分布式編程框架2.Spark編程框架Spark是UCBerkeleyAMP實驗室開源的類HadoopMapReduce的通用的并行計算框架，Spark基于MapReduce算法實現(xiàn)分布式計算，擁有HadoopMapReduce所具有的優(yōu)點；但不同于MapReduce的是，Spark中任務(wù)的輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此，Spark能更好地適用于數(shù)據(jù)挖掘與機器學習等需要迭代的MapReduce的算法。1.4.2分布式編程框架3.Storm編程框架Storm是一款最早由BackType公司(現(xiàn)已被Twitter公司收購)開發(fā)的分布式實時計算系統(tǒng)。Storm為分布式實時計算提供了一組通用原語，其用法與Hadoop極其類似，也被稱為實時計算版的Hadoop。它也可被用于流處理中，實現(xiàn)實時處理消息并更新數(shù)據(jù)庫。同時Storm可以采用任意編程語言編寫。1.4.2分布式編程框架4.Petuum編程框架Petuum是一個專門針對機器學習的分布式平臺，它致力于提供一個超大型機器學習的通用算法和系統(tǒng)接口。它的出現(xiàn)主要解決兩類機器學習在規(guī)模上面臨的問題：大數(shù)據(jù)（大量的數(shù)據(jù)樣本）和大模型（大量的模型參數(shù)）。Petuum能夠在集群和云計算（如AmazonEC2和GoogleGCE）上高效運行。1.4.3機器學習與數(shù)據(jù)分析平臺1.scikit-learnScikit-learn是開源的Python機器學習庫，最早由數(shù)據(jù)科學家DavidCournapeau于2007年發(fā)起，它基于NumPy和Scipy，提供了大量用于數(shù)據(jù)挖掘和分析的工具。Scikit-learn可以實現(xiàn)數(shù)據(jù)預(yù)處理、分類、回歸、降維、模型選擇等常用的機器學習算法。2.NetworkXNetworkX是Python的一個開源包，用于對復雜網(wǎng)絡(luò)進行創(chuàng)建、操作和學習。利用NetworkX可以以標準化和非標準化的數(shù)據(jù)格式存儲網(wǎng)絡(luò)、生成多種隨機網(wǎng)絡(luò)和經(jīng)典網(wǎng)絡(luò)、分析網(wǎng)絡(luò)結(jié)構(gòu)、建立網(wǎng)絡(luò)模型、設(shè)計新的網(wǎng)絡(luò)算法、進行網(wǎng)絡(luò)繪制等。1.4.4數(shù)據(jù)可視化工具1.MatplotlibMatplotlib是Python常用的數(shù)據(jù)繪制包，繪圖功能強大，可以輕易地畫出各種統(tǒng)計圖形，如散點圖、條形圖、餅狀圖等。Matplotlib包含兩個重要模塊Pylab和Pyplot。Pylab已經(jīng)幾乎實現(xiàn)了MATLAB所支持的所有繪圖功能，Pyplot在Pylab的基礎(chǔ)上支持數(shù)學運算套件NumPy，使用者可以直接調(diào)用NumPy函數(shù)做計算后進行數(shù)據(jù)可視化。2.OrangeOrange的全部內(nèi)容都是關(guān)于數(shù)據(jù)可視化，幫助發(fā)現(xiàn)隱藏的數(shù)據(jù)模式，提供數(shù)據(jù)分析過程背后的直覺或支持數(shù)據(jù)科學家與領(lǐng)域?qū)＜抑g的交流?？梢暬翱谛〔考ㄉⅫc圖、箱形圖和直方圖，以及特定于模型的可視化，如樹狀圖、輪廓圖和樹可視化。許多其他可視化功能可用于附加組件，包括網(wǎng)絡(luò)、詞云、地理地圖等的可視化。CONTENTS1.5本書的內(nèi)容和組織1.5本書的內(nèi)容和組織本書將主要從算法的角度介紹數(shù)據(jù)分析所使用的主要技術(shù)和原理，對于經(jīng)典的數(shù)據(jù)分析算法，本書會配備大量的應(yīng)用實例。本書主要內(nèi)容為數(shù)據(jù)分析的基礎(chǔ)概念和基本技術(shù)，對于有志于從事數(shù)據(jù)分析領(lǐng)域的讀者，本書可以作為一個很好的起點。我們將從Python編程語言（第2章）開始本書的技術(shù)討論。該章將為讀者介紹進行數(shù)據(jù)分析應(yīng)用最廣泛的編程語言Python。通過此章的介紹，讀者能夠掌握Python語言的語法規(guī)則、編程規(guī)范、程序調(diào)試及異常處理方法，為進行數(shù)據(jù)分析奠定編程基礎(chǔ)。第3章將詳細介紹數(shù)據(jù)分析的具體過程，教授讀者如何開展一個完整的數(shù)據(jù)分析項目。如何進行數(shù)據(jù)準備、如何快速地理解數(shù)據(jù)并選擇合適的模型算法，如何應(yīng)用統(tǒng)計學的相關(guān)方法進行數(shù)據(jù)的描述性分析。1.5本書的內(nèi)容和組織數(shù)據(jù)分析的主要任務(wù)，即回歸、聚類、分類和降維，將依次在第4章、第5章、第6章和第7章進行介紹。各章的內(nèi)容主要包括基本概念、經(jīng)典算法的原理和實際步驟、算法的應(yīng)用實例，最后探討各個問題最新的前沿技術(shù)。本書的第8章將介紹社交網(wǎng)絡(luò)分析，包括對網(wǎng)絡(luò)中的結(jié)點進行重要性排序、網(wǎng)絡(luò)鏈路預(yù)測方法、網(wǎng)絡(luò)結(jié)構(gòu)的社團檢測及各自的評價指標和實際應(yīng)用。第9章將詳細介紹數(shù)據(jù)可視化技術(shù)，介紹如何基于Matplotlib可視化工具繪制各種數(shù)據(jù)圖表，讓讀者能夠更好地展示數(shù)據(jù)分析的結(jié)果。想一想：學習完本章內(nèi)容后，思考一下：（1）什么是數(shù)據(jù)分析？（2）典型的數(shù)據(jù)領(lǐng)域包括哪些？（3）常見的數(shù)據(jù)類型有哪些？感謝觀看第2章Python編程語言2.1初識Python2.2字符串與流程控制2.3列表、元組與字典2.4函數(shù)、模塊與包CONTENTS目錄2.5Python異常處理（1）知道什么是Python編程語言，并了解Python編程的基本規(guī)范。（2）了解Python編程環(huán)境的構(gòu)建方法。（3）學習Python典型的數(shù)據(jù)結(jié)構(gòu)。（4）了解函數(shù)、模塊和包。（5）理解Python的原理及其異常處理機制。學習目標（1）Python編程的語法。（2）Python語言的變量與數(shù)據(jù)結(jié)構(gòu)。（3）Python語言中函數(shù)、模塊和包的構(gòu)建與使用方法。（4）Python編程的調(diào)試方法。學習重點CONTENTS2.1初識Python2.1初識Python常見的計算機編程語言分為兩類，即動態(tài)編程語言和靜態(tài)編程語言。其中，動態(tài)編程語言是使用變量前不需要聲明變量，在運行期間才去做數(shù)據(jù)類型檢查的語言。編程時，不用給變量指定數(shù)據(jù)類型，該語言會在第一次給變量賦值時在內(nèi)部將數(shù)據(jù)類型記錄下來。而靜態(tài)編程語言在使用變量前需要聲明變量，數(shù)據(jù)類型檢查發(fā)生在編譯階段，也就是說，在寫程序時，要聲明變量的數(shù)據(jù)類型。例如，Java、C++、C、Go等語言就是靜態(tài)編程語言。本書使用的Python語言是一門具有靜態(tài)編程語言工程項目開發(fā)能力的動態(tài)編程語言。想一想：Python、JavaScript、PHP、Ruby、Java、C++、C、Go等語言，哪些屬于動態(tài)語言？哪些屬于靜態(tài)語言？2.1初識PythonPython是一種跨平臺的、開源的、免費的、解釋型的高級編程語言，近幾年發(fā)展迅猛，在編程語言排行榜名列第一。Python的應(yīng)用領(lǐng)域非常廣泛，其中包括Web開發(fā)、大數(shù)據(jù)處理、云計算、機器學習、自動化運維、網(wǎng)絡(luò)爬蟲、游戲開發(fā)等，如圖2-1所示。Python語言與當前其他編程語言相比有如下優(yōu)點：學習簡單、兼容性良好、面向?qū)ο?、自動?nèi)存管理、第三方庫豐富。2.1初識Python01020304Python概述Python的基本數(shù)據(jù)類型Python語法特點Python環(huán)境搭建2.1.1Python概述Python是由荷蘭人GuidovanRossum于1991年發(fā)明的一種面向?qū)ο蟮慕忉屝透呒壘幊陶Z言，其標志如圖2-2所示。Python語言的設(shè)計哲學為優(yōu)雅、明確、簡單，實際上，這門語言始終貫穿這一理念。Python語言的目標是讓編程人員的主要精力用于思考程序的邏輯，而不是程序本身的實現(xiàn)細節(jié)。Python語言的提出受到了C語言、Shell語言、ABC語言等多種編程語言的影響，綜合了多種編程語言的特點和優(yōu)勢。Python語言的簡單性、開放性、擴展性，使它受到廣大程序員的歡迎，成為一個優(yōu)秀并廣泛使用的計算機編程語言。由于開源社區(qū)的貢獻，Python語言通過標準庫及第三方包形成了功能強大的Python生態(tài)系統(tǒng)。2.1.2Python環(huán)境搭建為了在Windows上配置Python開發(fā)環(huán)境，首先須從Python的官方網(wǎng)站下載安裝包，下載地址為/downloads/windows/，如圖2-3所示。2.1.2Python環(huán)境搭建運行下載的Python3.7.2.exe文件，在選擇安裝組件時，選擇所有的組件，特別要注意選中“AddPython3.7toPATH”復選框，如圖2-4所示。然后連續(xù)單擊Next按鈕即可完成安裝，如圖2-5所示。2.1.2Python環(huán)境搭建選擇將Python安裝到C:＼Python37目錄下，安裝完成后，打開命令提示符窗口，輸入Python并回車后，會出現(xiàn)兩種情況。情況一：看到圖2-6所示的界面，說明Python安裝成功，提示符“>>>”說明已經(jīng)在Python交互式環(huán)境中。輸入exit()并回車，退出Python交互式環(huán)境。情況二：得到一個錯誤提示：“Python不是內(nèi)部或外部命令，也不是可運行的程序或批處理文件?！边@說明Windows沒有找到對應(yīng)的可執(zhí)行程序，需要將Python添加到Path環(huán)境變量中。2.1.2Python環(huán)境搭建接下來進行Python環(huán)境變量修改。右擊桌面上的計算機圖標，在彈出的快捷菜單中選擇“屬性”命令，打開“系統(tǒng)”窗口，在左側(cè)窗格中單擊“高級系統(tǒng)設(shè)置”鏈接，彈出“系統(tǒng)屬性”對話框，切換到“高級”選項卡，單擊“環(huán)境變量”按鈕，如圖2-7所示。2.1.2Python環(huán)境搭建隨即彈出“環(huán)境變量”對話框，在“系統(tǒng)變量”列表框中添加Python的安裝路徑，如圖2-8和圖2-9所示。2.1.2Python環(huán)境搭建在安裝Python編譯器之后，為了方便Python程序開發(fā)，可以選擇安裝編輯器。常見的編輯器有SublimeText、Vim、PyCharm、文本編輯器等，我們選擇PyCharm作為Python編輯器，官網(wǎng)地址為/pycharm/。下載完成后，雙擊安裝程序，彈出圖2-10所示的界面。2.1.2Python環(huán)境搭建單擊Next按鈕，彈出ChooseInstallLocation界面，設(shè)置程序的安裝路徑，如圖2-11所示。單擊Next按鈕，開始安裝PyCharm，如圖2-12所示。2.1.2Python環(huán)境搭建完成PyCharm安裝的結(jié)果如圖2-13所示。想一想：

你還記得Java語言和C語言的環(huán)境搭建嗎？它們的環(huán)境搭建與Python的環(huán)境搭建有什么異同？2.1.2Python環(huán)境搭建打開PyCharm編輯器，在PyCharm中編寫Python代碼。首先，新建一個Python工程，執(zhí)行File→NewProject命令，確定工程的存儲位置和對應(yīng)的編譯器，如圖2-14和圖2-15所示。2.1.2Python環(huán)境搭建在工程上面右擊，然后在彈出的快捷菜單中執(zhí)行New→PythonFile命令，如圖2-16所示，創(chuàng)建一個新的Python文件。2.1.2Python環(huán)境搭建然后，在新建的Python文件中進行編碼，完成需要的相關(guān)功能。對于完成編碼的Python文件，在文件名上右擊并選擇Run命令即可執(zhí)行文件，如圖2-17所示。在代碼執(zhí)行完畢之后，程序的執(zhí)行結(jié)果或者可能出現(xiàn)的相關(guān)錯誤信息會出現(xiàn)在PyCharm界面下方的結(jié)果區(qū)域。在本實例中，按照程序要求輸入用戶名稱，然后程序執(zhí)行完畢輸出最終結(jié)果，如圖2-18和圖2-19所示。2.1.2Python環(huán)境搭建2.1.2Python環(huán)境搭建2.1.3Python語法特點Python注釋代碼縮進編碼規(guī)范0102032.1.3Python語法特點1.Python注釋Python注釋是指在Python程序代碼中添加的標注性文字，類似于產(chǎn)品的使用說明。當程序被處理時，這些注釋會被自動忽略不會被當作代碼處理。通過添加程序注釋，可以幫助我們理清代碼邏輯。在與別人合作進行程序開發(fā)時，添加注釋可以減少溝通成本。在Python模塊開發(fā)時添加注釋可以減少他人的使用成本。另外，在編碼過程中，可以臨時注釋一段代碼，方便調(diào)試。具體地，Python程序的注釋主要可分為以下三類。（1）單行注釋，即#，如以下代碼所示：1.#輸出人員名稱2.print("NanShan")2.1.3Python語法特點1.Python注釋（2）多行注釋，通常用'''、"""表示，將多行注釋文字放在這兩個標識之間，或者在每行需要注釋的內(nèi)容之前加#，具體用法如以下代碼所示：1.注釋信息2."""注釋信息"""3.#在行首添加4.5.6.輸出人員名稱7.此處姓名是NanShan8.9.print("NanShan")2.1.3Python語法特點1.Python注釋（3）特殊注釋，包括解釋器說明和中文支持。在通過“./”執(zhí)行Python程序時，在程序中應(yīng)指明解釋器的路徑，如以下代碼所示：1.#!/usr/bin/python2.print"你好，世界"Python程序中如果包含中文且未指定編碼，在執(zhí)行過程會出現(xiàn)語法報錯“SyntaxError:NonASCIIcharacter”。2.1.3Python語法特點1.Python注釋實際上，Python中默認的編碼格式是ASCII格式，在未修改編碼格式時無法正確打印漢字，所以在讀取中文時會報錯。解決方法為只要在文件開頭加入#--coding:utf-8--或者#coding=utf-8就可以了。1.#!/usr/bin/python2.#--coding:utf-8--

3.print"你好，世界"想一想：

Python語言的注釋與其他語言的注釋有什么異同？2.1.3Python語法特點2.代碼縮進在Python編程語言中，代碼縮進是指在每一行代碼左端空出一定長度的空白，從而可以更加清晰地從外觀上看出程序的邏輯結(jié)構(gòu)。具體地，在Python里不能用括號來表示語句塊；行首的空白（空格或制表符）用來決定邏輯行的縮進層次，從而用來決定語句的分組；同一層次的語句必須有相同的縮進，每一組這樣的語句稱為一個塊。例如：1.__author__=taowu2.#--coding:utf-8--

3.#Filename:test.py2.1.3Python語法特點2.代碼縮進4.#function:inputchecking5.6.num=float(input("輸入一個數(shù)字："))7.ifnum>0:8.print("正數(shù)")9.elifnum==0:10.print("零")11.else:12.print("負數(shù)")2.1.3Python語法特點3.編碼規(guī)范除了注釋和代碼縮進之外，Python程序還應(yīng)該遵守基本的編碼規(guī)范：（1）每個import語句只導入一個模塊，盡量避免一次導入多個模塊；（2）不要在行尾添加分號“;”，也不要用分號將兩條命令放在同一行；（3）運算符兩側(cè)、函數(shù)參數(shù)之間、逗號“,”兩側(cè)建議使用空格進行分隔；（4）建議每行不超過80個字符；（5）使用必要的空行可以增加代碼的可讀性；（6）適當使用異常處理結(jié)構(gòu)提高程序容錯性。做一做：

請嘗試用print函數(shù)在命令行窗口中輸出“我愛學Python！”2.1.4Python的基本數(shù)據(jù)類型0103050204數(shù)值類型布爾值運算符數(shù)據(jù)類型轉(zhuǎn)換字符串2.1.4Python的基本數(shù)據(jù)類型1.數(shù)值類型（1）整型（int）：正整數(shù)或負整數(shù)，不帶小數(shù)點。（2）浮點型（float）：由整數(shù)部分與小數(shù)部分組成。（3）復數(shù)（complex）：由實數(shù)部分和虛數(shù)部分構(gòu)成，可以用a+bj或者complex(a,b)表示。數(shù)值類型支持加、減、乘、除等相關(guān)操作，同時Python整數(shù)運算結(jié)果仍然是整數(shù)，浮點數(shù)運算結(jié)果仍然是浮點數(shù)。Python整數(shù)和浮點數(shù)混合運算的結(jié)果就變成浮點數(shù)。整數(shù)除法，即使除不盡，結(jié)果仍然是整數(shù)，余數(shù)直接被舍掉。相關(guān)運算實例代碼如下：1.#!/usr/bin/python2.#--coding:utf-8--

3.4.1+2+3#==>65.4*5-6

#==>142.1.4Python的基本數(shù)據(jù)類型1.數(shù)值類型6.7.5/8+2.1#==>3.03757.8.#Python整數(shù)運算結(jié)果仍然是整數(shù)，浮點數(shù)運算結(jié)果仍然是浮點數(shù)9.1+2

#==>整數(shù)310.1.0+2.0

#==>浮點數(shù)3.011.12.#整數(shù)和浮點數(shù)混合運算的結(jié)果變成浮點數(shù)13.1+2.0

#==>浮點數(shù)3.014.15.#整數(shù)除法，即使除不盡，結(jié)果仍然是整數(shù)，余數(shù)直接被舍掉16.11/4

#==>217.11%4

#==>32.1.4Python的基本數(shù)據(jù)類型2.字符串字符串是以或""括起來的任意文本，如abc，"xyz"等。注意，或""本身只是一種表示方式，不是字符串的一部分。字符串舉例說明如下：1.s=???2.print(s)

#==>???3.s="ImOK"4.print(s)

#==>ImOK2.1.4Python的基本數(shù)據(jù)類型3.布爾值布爾值和布爾代數(shù)的表示完全一致，一個布爾值只有True、False兩種值。注意，Python把0、空字符串和None看成False，其他數(shù)值和非空字符串都看成True。布爾值舉例說明如下：1.Flag1=True2.Flag2=False3.print(Flag1andFlag2)

#==>False2.1.4Python的基本數(shù)據(jù)類型4.數(shù)據(jù)類型轉(zhuǎn)換（1）int(x)：將x轉(zhuǎn)換為一個整數(shù)。（2）float(x)：將x轉(zhuǎn)換為一個浮點數(shù)。（3）str(x)：將x轉(zhuǎn)換為一個字符串類型。（4）complex(x)：將x轉(zhuǎn)換為一個復數(shù)，實部為x，虛部為0。（5）complex(x,y)：將x和y轉(zhuǎn)換為一個復數(shù)，實部為x，虛部為y。（6）hex(x)：將整數(shù)轉(zhuǎn)換為十六進制字符串。（7）oct(x)：將整數(shù)轉(zhuǎn)換為八進制字符串。2.1.4Python的基本數(shù)據(jù)類型5.運算符Python的基本運算符包括算術(shù)運算符、賦值運算符、比較運算符、邏輯運算符和位運算符。假設(shè)變量a的值是10，變量b的值是21，則應(yīng)用算術(shù)運算符的示例如表2-1所示。2.1.4Python的基本數(shù)據(jù)類型5.運算符假設(shè)變量a的值為10，變量b的值為20，則應(yīng)用賦值運算符的示例如表2-2所示。2.1.4Python的基本數(shù)據(jù)類型5.運算符假設(shè)變量a的值為10，變量b的值為20，則應(yīng)用比較運算符的示例如表2-3所示。2.1.4Python的基本數(shù)據(jù)類型5.運算符假設(shè)變量a的值為True，變量b的值為False，則應(yīng)用邏輯運算符的示例如表2-4所示。2.1.4Python的基本數(shù)據(jù)類型5.運算符假設(shè)變量a=60，b=13（a=00111100，b=00001101），則應(yīng)用位運算符的示例如表2-5所示。CONTENTS2.2字符串與流程控制2.2字符串與流程控制字符串流程控制01022.2.1字符串0103050204拼接字符串截取字符串合并字符串分割字符串計算字符串長度2.2.1字符串1.拼接字符串在Python中，使用“+”運算符可完成多個字符串的拼接。例如：1.拼接字符串2.str1=我今天一共走了3.num=198884.str2=步5.print(str1+str(num)+str2)輸出“我今天一共走了19888步”。字符串不允許與其他類型的數(shù)據(jù)拼接，否則會報錯。2.2.1字符串2.計算字符串長度在Python中，使用len()函數(shù)可計算字符串的長度。例如：1.字符串長度2.str=我今天一共走了19888步3.length=len(str)4.print(length)輸出“13”。默認情況下，不區(qū)分英文、數(shù)字和漢字，所有字符都按一個字符計算。但是，對于不同的編碼（UTF8，GBK），一個漢字會占不同的字節(jié)。2.2.1字符串3.截取字符串可以使用切片方法實現(xiàn)字符串的截取。語法格式如下：string［start:end:step］例如：1.str=我愛學Python!2.print(str)#我愛學Python!3.print(str［1］)

#愛4.print(str［:5］)

#我愛學Py5.print(str［5:］)

#thon!2.2.1字符串4.分割字符串使用split()函數(shù)可實現(xiàn)字符串的分割。語法格式如下：str.split(sep,maxsplit)例如：1.str=我愛學>>>https://www.P/2.print(str.split())#［我,愛,學,>>>,https://www.P/］3.print(str.split(>>>))#［我愛學,https://www.P/］4.print(str.split(.))#［我愛學>>>https://www,Python,org/］2.2.1字符串5.合并字符串使用joint()函數(shù)可實現(xiàn)字符串的合并。語法格式如下：strnew=string.join(iterable)例如：1.goods=［番茄,土豆,南瓜］2.str_goods=|.join(goods)#用|進行連接3.print(str_goods)#番茄|土豆|南瓜2.2.2流程控制在計算機編程語言中，程序的流程控制大致包括三種邏輯結(jié)構(gòu)，即順序結(jié)構(gòu)、選擇結(jié)構(gòu)和循環(huán)結(jié)構(gòu)，如圖2-20所示。具體地，順序結(jié)構(gòu)是指順序執(zhí)行程序中包含的所有語句；選擇結(jié)構(gòu)根據(jù)程序中的條件表達式進行判斷，根據(jù)不同的結(jié)果執(zhí)行不同的語句塊；循環(huán)結(jié)構(gòu)是指在滿足條件表達式要求時多次循環(huán)執(zhí)行某段程序語句，然后在不滿足條件表達式要求時退出循環(huán)。由于順序結(jié)構(gòu)不需要任何流程控制語句，本節(jié)主要講解Python語言中與選擇結(jié)構(gòu)和循環(huán)結(jié)構(gòu)相關(guān)的邏輯控制語句。選擇語句循環(huán)語句跳轉(zhuǎn)語句2.2.2流程控制（1）if…else…語句。一個if語句后可跟一個可選的else語句，如果布爾表達式為True，則執(zhí)行if塊內(nèi)的代碼。如果布爾表達式為False，則執(zhí)行else塊內(nèi)的代碼。例如：1.選擇語句1.name=NanShan2.ifname==Python:#判斷變量是否為Python3.print(IlikePython)#并輸出歡迎信息4.else:5.print(name)#條件不成立時輸出變量名稱2.2.2流程控制（2）if…elif…else語句。一個if語句后可跟可選的elif…else語句，這可用于測試多種條件。if語句之后可跟一個或多個elif…else語句，如果某一條件表達式為真，則執(zhí)行相應(yīng)的語句塊。只有在所有的條件表達式都為假的情況下，才會執(zhí)行else語句。例如：1.選擇語句1.num=52.ifnum==3:#判斷num的值3.print(administrator)4.elifnum==2:5.print(user)6.elifnum==1:7.print(guest)8.else:9.print(attacker)#條件均不成立時輸出2.2.2流程控制（1）while循環(huán)語句。通過一個條件來判斷是否要繼續(xù)執(zhí)行循環(huán)體，若條件為真則執(zhí)行，否則退出。例如：2.循環(huán)語句1.flag=True2.num=13.whileflag:#條件表達式14.print(Hello)5.num+=16.ifnum>4:#條件表達式27.flag=False2.2.2流程控制（2）for循環(huán)語句。for循環(huán)允許編寫一個執(zhí)行指定次數(shù)的循環(huán)控制結(jié)構(gòu)，在達到指定次數(shù)之前，不斷執(zhí)行程序塊，并且在每次執(zhí)行之前進行條件檢查。如果達到了指定的循環(huán)次數(shù)，則退出。例如：2.循環(huán)語句1.forletterinPython:#第一個實例2.print(當前字母:,letter)3.4.fruits=［banana,apple,mango］5.forfruitinfruits:#第二個實例6.print(當前字母:,fruit)7.print("Goodbye!")2.2.2流程控制對于循環(huán)結(jié)構(gòu)，除了基于while循環(huán)語句和for循環(huán)語句構(gòu)建循環(huán)邏輯之外，在滿足特定條件時，需要直接退出循環(huán)或者跳過循環(huán)結(jié)構(gòu)中某一輪的執(zhí)行。因此，需要跳轉(zhuǎn)語句進行Python循環(huán)結(jié)構(gòu)的邏輯控制。（1）break語句。其用于終止當前循環(huán)（打破最小封閉for或while循環(huán)）。例如：3.跳轉(zhuǎn)語句1.forletterinPython:#第一個實例2.ifletter==h:3.break4.print(當前字母:,letter)想一想：Python語言中的break語句的功能與C語言中的break語句的功能有什么異同？2.2.2流程控制輸出結(jié)果：3.跳轉(zhuǎn)語句當前字母:P當前字母:y當前字母:t（2）continue語句。其用于提前終止本次循環(huán)而進入下一次循環(huán)中。例如：1.forletterinPython:2.ifletter==h:3.continue4.print(當前字母:,letter)2.2.2流程控制輸出結(jié)果：3.跳轉(zhuǎn)語句當前字母:P當前字母:y當前字母:t當前字母:o當前字母:n2.2.2流程控制（3）pass語句。其不做任何事情，僅起到占位作用，方便以后需要時進行補充。例如：3.跳轉(zhuǎn)語句1.forletterinPython:2.ifletter==h:3.pass4.print(這是pass塊)5.print(當前字母:,letter)6.print("Goodbye!")CONTENTS2.3列表、元組與字典2.3列表、元組與字典列表元組字典0102032.3.1列表列表是最常用的Python數(shù)據(jù)類型，其數(shù)據(jù)項不需要具有相同的類型。創(chuàng)建一個列表，只要把由逗號分隔的不同數(shù)據(jù)項用方括號括起來即可。如下所示：1.list1=［1,2,3,4,5］;2.list2=［"a","b","c","d"］;遍歷列表添加、修改和刪除列表統(tǒng)計和計算排序2.3.1列表對列表中的每個元素進行查詢和處理。例如：1.list=［sichuan,chongqing,guangdong,hunan］2.foriteminlist:3.print(item)1.遍歷列表輸出結(jié)果：sichuanchongqingguangdonghunan2.3.1列表可以通過append()函數(shù)在列表末尾添加元素。對于列表中的已有元素，可以通過索引直接進行修改和刪除。例如：1.list=［sichuan,chongqing,guangdong,hunan］2.list.append(jiangsu)3.print(list)2.添加、修改和刪除列表輸出:

［sichuan,chongqing,guangdong,hunan,jiangsu］2.3.1列表1.list=［sichuan,chongqing,guangdong,hunan］2.list［0］=3.print(list)2.添加、修改和刪除列表輸出:［,chongqing,guangdong,hunan］2.3.1列表1.list=［sichuan,chongqing,guangdong,hunan］2.dellist［3］3.print(list)2.添加、修改和刪除列表輸出:［sichuan,chongqing,guangdong］2.3.1列表3.統(tǒng)計和計算通過count()獲取列表中指定元素的出現(xiàn)次數(shù)，代碼如下：1.list=［sichuan,chongqing,sichuan,hunan］2.list.count(sichuan)通過index()獲取指定元素首次出現(xiàn)的下標，代碼如下：1.list=［sichuan,chongqing,sichuan,hunan］2.list.index(sichuan)通過sum()獲取數(shù)值列表的元素和，代碼如下：1.list=［10,10,10,10］2.print(sum(list))2.3.1列表4.排序使用列表對象的sort()方法改變原始列表元素的排列順序，其中可以通過reverse參數(shù)設(shè)置排序規(guī)則，reverse等于True，則降序排列，否則升序排列。例如：1.char=［cat,Tom,Angela,pet］2.char.sort()3.print(char)輸出:

［Angela,Tom,cat,pet］2.3.1列表4.排序1.num=