Matlab 數(shù)據(jù)分析 課件 康海剛 第1、2章 數(shù)據(jù)的基本概念及其應(yīng)用、Matlab 基礎(chǔ)

Matlab數(shù)據(jù)分析第1章數(shù)據(jù)的基本概念及其應(yīng)用第2章Matlab基礎(chǔ)第3章隨機(jī)模擬第4章數(shù)據(jù)預(yù)處理第5章數(shù)據(jù)探索與分析第6章多元線性回歸模型第7章聚類分析第8章分類第1章數(shù)據(jù)的基本概念及其應(yīng)用1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.1數(shù)據(jù)的相關(guān)基本概念1.數(shù)據(jù)2.大數(shù)據(jù)（1）Volume（大量）數(shù)據(jù)存儲(chǔ)單位從過(guò)去的GB、TB，到現(xiàn)在的PB、EB、ZB量級(jí)了。（2）Velocity（高速）生活中每個(gè)人都離不開(kāi)互聯(lián)網(wǎng)，每個(gè)人每天都在向大數(shù)據(jù)中心提供大量的信息，通過(guò)互聯(lián)網(wǎng)傳輸，大數(shù)據(jù)的產(chǎn)生非常迅速。（3）Variety（多樣）廣泛的數(shù)據(jù)來(lái)源決定了大數(shù)據(jù)形式的多樣性，任何形式的數(shù)據(jù)都可以產(chǎn)生作用。（4）Value（價(jià)值）大數(shù)據(jù)最大的價(jià)值在于通過(guò)從大量不相關(guān)的各種類型的數(shù)據(jù)中，挖掘出對(duì)未來(lái)趨勢(shì)與模式的預(yù)測(cè)分析有價(jià)值的數(shù)據(jù)。3.信息1.1數(shù)據(jù)與數(shù)據(jù)處理4.信息量1.1.2數(shù)據(jù)處理的主要概念1.算法2.數(shù)據(jù)挖掘3.機(jī)器學(xué)習(xí)1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.3數(shù)據(jù)處理的流程第一階段：制定目標(biāo)?該組織或單位什么要設(shè)立和研究該項(xiàng)目？缺少什么以及需要什么？?該組織或單位正在做什么事情來(lái)解決問(wèn)題？什么還不夠好？是否有可借鑒的經(jīng)驗(yàn)？?你需要什么種類的數(shù)據(jù)以及需要多少？團(tuán)隊(duì)需要什么人員、哪些技術(shù)、多少時(shí)問(wèn)？計(jì)算資源是什么？?該組織或單位如何實(shí)施和應(yīng)用你的結(jié)果？為了成功地應(yīng)用部署，必須滿足哪些約束條件？1.1數(shù)據(jù)與數(shù)據(jù)處理第二階段：數(shù)據(jù)準(zhǔn)備?什么數(shù)據(jù)可以我所用？?這些數(shù)據(jù)是否有助于解決問(wèn)題？?這些數(shù)據(jù)是否足夠多？?數(shù)據(jù)的質(zhì)量是否足夠好？第三階段：建立模型1）特征化。2）打分。3）排序。4）關(guān)聯(lián)。5）分類。1.1數(shù)據(jù)與數(shù)據(jù)處理6）聚類。7）異常檢測(cè)。第四階段：評(píng)價(jià)與批判模型?對(duì)你的需求來(lái)說(shuō)是否足夠準(zhǔn)確？它是否能很好地概括需求？?它是否比“直觀猜測(cè)”表現(xiàn)得更好？比你當(dāng)前使用的任何估計(jì)都表現(xiàn)得更好？比之前使用的模型方法是否更好？?模型結(jié)果（系數(shù)、聚簇、規(guī)則）在專業(yè)領(lǐng)域的情景是否有意義？也就是說(shuō)，模型給出的結(jié)果是否符合實(shí)際情況？?模型是否足夠精確？是否有更好的方式？第五階段：展示結(jié)果和文檔第六階段：模型實(shí)施與維護(hù)1.1數(shù)據(jù)與數(shù)據(jù)處理1.1.4數(shù)據(jù)處理的誤區(qū)1.不要用單一類型的數(shù)據(jù)去評(píng)價(jià)全局2.不要夸大偶然事件，認(rèn)為帶來(lái)必然結(jié)果3.避免唯數(shù)據(jù)論4.不是從問(wèn)題實(shí)際出發(fā)，寄希望于軟件“黑箱”工具1.2數(shù)據(jù)處理涉及的主要領(lǐng)域1.2.1統(tǒng)計(jì)學(xué)1.2.2數(shù)據(jù)挖掘1）處理的數(shù)據(jù)規(guī)模十分龐大，達(dá)到GB、TB數(shù)量級(jí)。2）查詢一般是決策制定者提出的即時(shí)查詢，往往不能形成精確的查詢要求，需要靠系統(tǒng)本身尋找其可能感興趣的內(nèi)容。3）在一些應(yīng)用領(lǐng)域，由于數(shù)據(jù)變化迅速，因此要求數(shù)據(jù)挖掘能快速做出相應(yīng)反應(yīng)以隨時(shí)提供決策支持。4）數(shù)據(jù)挖掘中，規(guī)則的發(fā)現(xiàn)基于統(tǒng)計(jì)規(guī)律。5）數(shù)據(jù)挖掘所發(fā)現(xiàn)的規(guī)則是動(dòng)態(tài)的，它只反映了當(dāng)前狀態(tài)的數(shù)據(jù)庫(kù)具有的規(guī)則，隨著不斷地向數(shù)據(jù)庫(kù)中加入新數(shù)據(jù)，需要隨時(shí)對(duì)其進(jìn)行更新。1.2數(shù)據(jù)處理涉及的主要領(lǐng)域1.2.3云計(jì)算（1）超大規(guī)模“云”具有相當(dāng)?shù)囊?guī)模，Google云計(jì)算已經(jīng)擁有100多萬(wàn)臺(tái)服務(wù)器，Amazon、IBM、微軟、Yahoo等的“云”均擁有幾十萬(wàn)臺(tái)服務(wù)器。（2）虛擬化云計(jì)算支持用戶在任意位置、使用各種終端獲取應(yīng)用服務(wù)。（3）高可靠性“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來(lái)保障服務(wù)的高可靠性，使用云計(jì)算比使用本地計(jì)算機(jī)可靠。（4）通用性云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行。（5）高可擴(kuò)展性“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，滿足應(yīng)用和用戶規(guī)模增長(zhǎng)的需要。（6）按需服務(wù)“云”是一個(gè)龐大的資源池，可按需購(gòu)買；云可以像白來(lái)水、電、煤氣那樣計(jì)費(fèi)。（7）極其廉價(jià)由于“云”的特殊容錯(cuò)性，可以采用極其廉價(jià)的節(jié)點(diǎn)來(lái)構(gòu)成云，“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)須負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之1.2數(shù)據(jù)處理涉及的主要領(lǐng)域傳統(tǒng)系統(tǒng)大幅提升，因此用戶可以充分享受“云”的低成本優(yōu)勢(shì)，經(jīng)常只要花費(fèi)幾百美元、幾天時(shí)間就能完成以前需要數(shù)萬(wàn)美元、數(shù)月時(shí)間才能完成的任務(wù)。（8）潛在的危險(xiǎn)性云計(jì)算除了提供計(jì)算服務(wù)外，還必然提供了存儲(chǔ)服務(wù)。常見(jiàn)的云計(jì)算平臺(tái)有以下9個(gè)：（1）GoogleAppEngine

GoogleAppEngine是Google提供的服務(wù)，允許開(kāi)發(fā)者在Google的基礎(chǔ)架構(gòu)上運(yùn)行網(wǎng)絡(luò)應(yīng)用程序。（2）AmazonElasticBeanstalkElasticBeanstalk為在AWS（AmazonWebServices）云中部署和管理應(yīng)用提供了一種方法。（3）微軟云Azure云計(jì)算服務(wù)平臺(tái)可以使客戶選擇的權(quán)力部署在以云計(jì)算基礎(chǔ)的互聯(lián)網(wǎng)服務(wù)上，或通過(guò)服務(wù)器，或把它們混合起來(lái)以任何方式提供給需要的業(yè)務(wù)。（4）阿里云與傳統(tǒng)的操作系統(tǒng)相比，依托云計(jì)算的阿里云OS具有明顯的優(yōu)勢(shì)。1.2數(shù)據(jù)處理涉及的主要領(lǐng)域（5）百度BAE平臺(tái)針對(duì)大數(shù)據(jù)的規(guī)模大、類型多、價(jià)值密度低等特征，百度云平臺(tái)提供的BAE（百度應(yīng)用引擎）將提供高并發(fā)的處理能力，以滿足處理速度快的要求。（6）新浪SAE云計(jì)算平臺(tái)作為典型的云計(jì)算，SAE采用“所付即所用，所付僅所用”的計(jì)費(fèi)理念，通過(guò)日志和統(tǒng)計(jì)中心精確地計(jì)算每個(gè)應(yīng)用的資源消耗（包括CPU、內(nèi)存、磁盤等）。（7）騰訊云騰訊云有著深厚的基礎(chǔ)架構(gòu)，并且有著多年對(duì)海量互聯(lián)網(wǎng)服務(wù)的經(jīng)驗(yàn)，可以為開(kāi)發(fā)者及企業(yè)提供云服務(wù)器、云存儲(chǔ)、云數(shù)據(jù)庫(kù)和彈性Web引擎等整體一站式服務(wù)方案。（8）華為云華為云通過(guò)基于瀏覽器的云管理平臺(tái)，以互聯(lián)網(wǎng)線上自助服務(wù)的方式，為用戶提供云計(jì)算IT基礎(chǔ)設(shè)施服務(wù)。（9）盛大云盛大云是一個(gè)安全、快捷、自助化Taas和Paas服務(wù)的門戶入口。1.3數(shù)據(jù)處理的主要方法1.3.1數(shù)據(jù)采集（1）數(shù)據(jù)抓取通過(guò)程序從現(xiàn)有的網(wǎng)絡(luò)資源中提取相關(guān)信息，錄入到數(shù)據(jù)庫(kù)中。（2）數(shù)據(jù)導(dǎo)入將指定的數(shù)據(jù)源導(dǎo)入數(shù)據(jù)庫(kù)中，通常支持的數(shù)據(jù)源包括Excel表格、數(shù)據(jù)庫(kù)文件、XMI文檔、文本文件以及常用的數(shù)據(jù)庫(kù)（如SQLServer、Oracle、MySQL等）。（3）傳感設(shè)備自動(dòng)采集數(shù)據(jù)有關(guān)數(shù)據(jù)或信息通過(guò)傳感設(shè)備傳輸?shù)街骺匕澹骺匕鍖?duì)數(shù)據(jù)或信息進(jìn)行信號(hào)解析、算法分析和數(shù)據(jù)量化，將數(shù)據(jù)通過(guò)無(wú)線通信方式進(jìn)行傳輸。1.3.2數(shù)據(jù)預(yù)處理（1）數(shù)據(jù)清理它是通過(guò)填寫缺失的值、光滑噪聲數(shù)據(jù)、識(shí)別或刪除離群點(diǎn)并解決不一致性來(lái)“清理”數(shù)據(jù)的。（2）數(shù)據(jù)集成將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來(lái)并統(tǒng)一存儲(chǔ)，建立數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程實(shí)際上就是數(shù)據(jù)集成。1.3數(shù)據(jù)處理的主要方法（3）數(shù)據(jù)變換通過(guò)平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)挖掘的形式。（4）數(shù)據(jù)歸約數(shù)據(jù)挖掘時(shí)往往數(shù)據(jù)量非常大，在少量數(shù)據(jù)上進(jìn)行挖掘分析需要很長(zhǎng)的時(shí)間，數(shù)據(jù)歸約技術(shù)可以用來(lái)得到數(shù)據(jù)集的歸約表示，這就使數(shù)據(jù)量小得多，但仍然接近于保持原數(shù)據(jù)的完整性，使結(jié)果與歸約前結(jié)果相同或幾乎相同。1.3.3數(shù)據(jù)分析1）老七種工具，即排列圖、因果圖、分層法、調(diào)查表、散步圖、直方圖、控制圖。2）新七種工具，即關(guān)聯(lián)圖、系統(tǒng)圖、矩陣圖、KJ法、計(jì)劃評(píng)審技術(shù)、PDPC法、矩陣數(shù)據(jù)圖。1.描述性數(shù)據(jù)分析2.探索性數(shù)據(jù)分析3.驗(yàn)證性數(shù)據(jù)分析1.3數(shù)據(jù)處理的主要方法1.3.4數(shù)據(jù)挖掘算法1.3數(shù)據(jù)處理的主要方法1.監(jiān)督學(xué)習(xí)模型（1）決策樹(shù)決策樹(shù)是用于分類和預(yù)測(cè)的主要技術(shù)之一，決策樹(shù)學(xué)習(xí)是以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法，它著眼于從一組無(wú)次序、無(wú)規(guī)則的實(shí)例中推理出以決策樹(shù)表示的分類規(guī)則。（2）貝葉斯算法貝葉斯（Bayes）算法是一類利用概率統(tǒng)計(jì)知識(shí)進(jìn)行分類的算法，如樸素貝葉斯（NaiveBayes）算法。（3）神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一種具有類似于大腦神經(jīng)突觸連接結(jié)構(gòu)并能進(jìn)行信息處理等應(yīng)用的數(shù)學(xué)模型。（4）支持向量機(jī)（SupportVectorMachine,SVM）支持向量機(jī)是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的學(xué)習(xí)方法，它的最大特點(diǎn)是根據(jù)結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則，以最大化分類間隔構(gòu)造最優(yōu)分類超平面來(lái)提高學(xué)習(xí)機(jī)的泛化能力，較好地解決了非線性、高維數(shù)、局部極小點(diǎn)等問(wèn)題。（5）集成學(xué)習(xí)分類模型集成學(xué)習(xí)是一種機(jī)器學(xué)習(xí)范式，它試圖通過(guò)連續(xù)調(diào)用單個(gè)的學(xué)習(xí)算法，獲得不同的基學(xué)習(xí)器，然后根據(jù)規(guī)則組合這些學(xué)習(xí)器來(lái)解決同一個(gè)問(wèn)題，可以顯著地提高學(xué)習(xí)系統(tǒng)的1.3數(shù)據(jù)處理的主要方法泛化能力。（6）其他分類學(xué)習(xí)模型此外還有l(wèi)ogistics回歸模型、隱馬爾科夫分類模型（HMM）、基于規(guī)則的分類模型等眾多的分類模型，對(duì)于處理不同的數(shù)據(jù)、分析不同的問(wèn)題，各種模型都有自己的特性和優(yōu)勢(shì)。2.無(wú)監(jiān)督學(xué)習(xí)模型（1）k-means聚類k-means算法的基本思想是初始隨機(jī)給定K個(gè)簇中心，按照最鄰近原則把待分類樣本點(diǎn)分到各個(gè)簇，然后按平均法重新計(jì)算各個(gè)簇的質(zhì)心，從而確定新的簇心，一直迭代，直到簇心的移動(dòng)距離小于某個(gè)給定的值。（2）基于密度的聚類根據(jù)密度完成對(duì)象的聚類。（3）層次聚類層次聚類就是對(duì)給定的數(shù)據(jù)集進(jìn)行層次分解，直到滿足某種條件為止。（4）譜聚類譜聚類（SpectralClustering,SC）是一種基于圖論的聚類方法———將帶權(quán)無(wú)向圖劃分為兩個(gè)或兩個(gè)以上的最優(yōu)子圖，使子圖內(nèi)部盡量相似，而子圖間距離盡量較遠(yuǎn)，以達(dá)到常見(jiàn)聚類1.3數(shù)據(jù)處理的主要方法的目的。第2章Matlab基礎(chǔ)2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介2.1.1Matlab的特點(diǎn)1）Matlab是一個(gè)交互式軟件系統(tǒng)，輸入一條命令，立即就可以得到該命令的結(jié)果。2）具有強(qiáng)大的數(shù)值計(jì)算功能。3）Matlab符號(hào)運(yùn)算功能。4）Matlab繪圖功能。5）編程功能。6）豐富的APPS。7）源程序開(kāi)放。2.1.2Matlab窗口簡(jiǎn)介?命令窗口（CommandWindow）?歷史命令窗口（HistoryCommandWindow）2.1

Matlab簡(jiǎn)介?編輯調(diào)試窗口（Edit/DebugWindow）?圖像窗口（FigureWindow）?工作空間（Workspace）?當(dāng)前目錄文件夾（CurrentFolder）?幫助窗口（HelpBrowser）?當(dāng)前路徑窗口（CurrentDirectoryBrowser）本節(jié)將簡(jiǎn)單介紹其中幾個(gè)窗口的基本操作方式。2.1

Matlab簡(jiǎn)介1.命令窗口（CommandWindow）2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介2.歷史命令窗口（HistoryCommandWindow）3.編輯調(diào)試窗口（Edit/DebugWindow）2.1

Matlab簡(jiǎn)介4.圖像窗口（FigureWindow）2.1

Matlab簡(jiǎn)介5.工作空間（Workspace）2.1

Matlab簡(jiǎn)介2.1

Matlab簡(jiǎn)介6.當(dāng)前目錄文件夾（CurrentFolder）2.1

Matlab簡(jiǎn)介2.2數(shù)組及其運(yùn)算2.2.1變量和數(shù)組1.數(shù)值的記述2.變量命名規(guī)則1）變量名、函數(shù)名對(duì)字母大小寫是敏感的，如變量myvar和MyVar表示兩個(gè)不同的變量。2）變量名的第一個(gè)字符必須是英文字母，最多可包含63個(gè)字符（英文、數(shù)字和下連符），如myvar201是合法的變量名。3）變量名中不得包含空格、標(biāo)點(diǎn)、運(yùn)算符，但可以包含下連符。4）盡量避免與預(yù)定義變量名相同。3.Matlab默認(rèn)的預(yù)定義變量2.2數(shù)組及其運(yùn)算①如果用戶對(duì)表中任何一個(gè)預(yù)定義變量進(jìn)行賦值，則該變量的默認(rèn)值將被用戶新賦的值“臨時(shí)”覆蓋。②在遵循IEEE算法規(guī)則的機(jī)器上，被0除是允許的。2.2數(shù)組及其運(yùn)算4.數(shù)組2.2數(shù)組及其運(yùn)算5.數(shù)據(jù)類型2.2數(shù)組及其運(yùn)算2.2.2變量的初始化1）用賦值語(yǔ)句初始化變量。2）用input函數(shù)從鍵盤輸入初始化變量。3）從文件讀取一個(gè)數(shù)據(jù)。1.用賦值語(yǔ)句初始化變量2.用捷徑表達(dá)式賦值3.用內(nèi)置函數(shù)來(lái)初始化2.2數(shù)組及其運(yùn)算4.用關(guān)鍵字input初始化變量2.2.3多維數(shù)組1.多維數(shù)組在內(nèi)存中的存儲(chǔ)2.2數(shù)組及其運(yùn)算2.用單個(gè)下標(biāo)訪問(wèn)多標(biāo)數(shù)組2.2數(shù)組及其運(yùn)算2.2.4子數(shù)組1.end函2.子數(shù)組在左邊的賦值語(yǔ)句的使用3.用一標(biāo)量來(lái)給子數(shù)組賦值4.子數(shù)組的刪除2.2.5單元陣列2.2數(shù)組及其運(yùn)算2.2數(shù)組及其運(yùn)算2.2.6顯示輸出數(shù)據(jù)1.改變默認(rèn)格式2.2數(shù)組及其運(yùn)算2.disp函數(shù)3.用fprintf函數(shù)格式化輸出數(shù)據(jù)2.2.7數(shù)據(jù)文件2.2.8數(shù)組運(yùn)算和矩陣運(yùn)算2.2數(shù)組及其運(yùn)算2.2數(shù)組及其運(yùn)算2.2.9內(nèi)置函數(shù)1.常用內(nèi)置函數(shù)2.2數(shù)組及其運(yùn)算2.其他內(nèi)置函數(shù)（1）randrand產(chǎn)生一個(gè)在（0，1）之間的均勻分布的數(shù)。（2）randnrandn產(chǎn)生一個(gè)服從N（0，1）正態(tài)分布的隨機(jī)數(shù)。（3）find找出非0元素，也可以查找指定條件的元素，并返回元素所在位置索引。1）示例1：2）示例2：2.2數(shù)組及其運(yùn)算3）示例3：(4)sort［Y,1］=sort（x）返回索引矩陣I，如果x是一個(gè)向量，則Y=x（I）。（5）fprintf格式化數(shù)據(jù)輸出與C語(yǔ)言中的printf函數(shù)用法相似，常見(jiàn)的數(shù)值處理函數(shù)見(jiàn)表2-8。2.2數(shù)組及其運(yùn)算2.3作圖入門2.3作圖入門2.3.1簡(jiǎn)單的直角坐標(biāo)系作圖1.基本作圖操作2.3作圖入門2.3作圖入門2.3作圖入門2.聯(lián)合作圖2.3作圖入門2.3作圖入門2.3作圖入門2.3.2作圖的附加特性1.圖例2.3作圖入門2.3作圖入門2.控制坐標(biāo)軸范圍2.3作圖入門3.在同一坐標(biāo)系內(nèi)畫出多個(gè)圖像2.3作圖入門2.3作圖入門4.創(chuàng)建多個(gè)圖像窗口5.子窗口2.3作圖入門2.3作圖入門6.對(duì)畫線的增強(qiáng)控制2.3作圖入門2.3作圖入門7.極坐標(biāo)圖像2.4

Matlab程序設(shè)計(jì)2.4.1關(guān)系運(yùn)算符和邏輯運(yùn)算符1.關(guān)系運(yùn)算符2.4

Matlab程序設(shè)計(jì)2.邏輯運(yùn)算符2.4

Matlab程序設(shè)計(jì)3.邏輯函數(shù)2.4.2選擇結(jié)構(gòu)1.if結(jié)構(gòu)2.4

Matlab程序設(shè)計(jì)例2.1求一元二次方程的根。步驟1打開(kāi)Script文件，在CommandWindow中輸入edit命令或按“Ctrl+N”組合鍵。步驟2在edit文件中輸入下述命令：步驟3保存Script文件。步驟4運(yùn)行和調(diào)試Script文件。2.switch結(jié)構(gòu)例2.2編寫一個(gè)學(xué)生成績(jī)管理程序。3.try/catch結(jié)構(gòu)2.4

Matlab程序設(shè)計(jì)2.4.3循環(huán)結(jié)構(gòu)1.

while循環(huán)例2.3使用歐幾里得算法求兩個(gè)整數(shù)的最大公約數(shù)，偽代碼如下：2.4

Matlab程序設(shè)計(jì)2.for循環(huán)1）在for循環(huán)開(kāi)始時(shí)，Matlab產(chǎn)生了控制表達(dá)式。2）第一次進(jìn)入循環(huán)，程序把循環(huán)控制表達(dá)式的第一列賦值于循環(huán)變量index，然后執(zhí)行循環(huán)體內(nèi)的語(yǔ)句。3）