能源大數(shù)據(jù)分析理論與實(shí)踐 課件 2.數(shù)據(jù)獲取與預(yù)處理;3.回歸分析_第1頁(yè)
能源大數(shù)據(jù)分析理論與實(shí)踐 課件 2.數(shù)據(jù)獲取與預(yù)處理;3.回歸分析_第2頁(yè)
能源大數(shù)據(jù)分析理論與實(shí)踐 課件 2.數(shù)據(jù)獲取與預(yù)處理;3.回歸分析_第3頁(yè)
能源大數(shù)據(jù)分析理論與實(shí)踐 課件 2.數(shù)據(jù)獲取與預(yù)處理;3.回歸分析_第4頁(yè)
能源大數(shù)據(jù)分析理論與實(shí)踐 課件 2.數(shù)據(jù)獲取與預(yù)處理;3.回歸分析_第5頁(yè)
已閱讀5頁(yè),還剩50頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

數(shù)據(jù)獲取與預(yù)處理02DataAcquisitionAndPreprocessing數(shù)據(jù)獲取與預(yù)處理概述DataAcquisitionAndPreprocessingOverview2.1.1數(shù)據(jù)獲取在現(xiàn)實(shí)應(yīng)用中,多個(gè)源系統(tǒng)的數(shù)據(jù)兼容性較差,因此需要對(duì)獲取的異構(gòu)數(shù)據(jù)進(jìn)行處理。ETL方法提供了一個(gè)數(shù)據(jù)獲取與預(yù)處理的標(biāo)準(zhǔn)流程和技術(shù)工具。數(shù)據(jù)獲取是指從各種相關(guān)數(shù)據(jù)源獲取數(shù)據(jù)的過(guò)程,也指ETL的數(shù)據(jù)獲取環(huán)節(jié),是數(shù)據(jù)分析與挖掘的基礎(chǔ)。數(shù)據(jù)獲取是ETL處理的第一步,也是最重要的一步,數(shù)據(jù)被成功獲取后,才可以進(jìn)行轉(zhuǎn)換并加載到數(shù)據(jù)倉(cāng)庫(kù)中。2.1.1數(shù)據(jù)獲取傳統(tǒng)數(shù)據(jù)獲取和大數(shù)據(jù)獲取有如下不同:數(shù)據(jù)源方面,傳統(tǒng)數(shù)據(jù)獲取的數(shù)據(jù)源單一,而大數(shù)據(jù)獲取系統(tǒng)還需要從社交系統(tǒng)、互聯(lián)網(wǎng)系統(tǒng)及各種類型的機(jī)器設(shè)備上獲取數(shù)據(jù)。數(shù)據(jù)量方面,互聯(lián)網(wǎng)系統(tǒng)和機(jī)器系統(tǒng)產(chǎn)生的數(shù)據(jù)量要遠(yuǎn)遠(yuǎn)大于企業(yè)系統(tǒng)產(chǎn)生的數(shù)據(jù)量。數(shù)據(jù)結(jié)構(gòu)方面,傳統(tǒng)數(shù)據(jù)獲取系統(tǒng)獲取的數(shù)據(jù)都是結(jié)構(gòu)化數(shù)據(jù),而大數(shù)據(jù)獲取系統(tǒng)需要獲取大量的視頻、音頻、照片等非結(jié)構(gòu)化數(shù)據(jù),以及網(wǎng)頁(yè)、博客、日志等半結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)產(chǎn)生速度,傳統(tǒng)數(shù)據(jù)獲取系統(tǒng)獲取的數(shù)據(jù)幾乎都是由人操作生成的,遠(yuǎn)遠(yuǎn)慢于機(jī)器生成數(shù)據(jù)的速度。2.1.2數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換在一般情況下,數(shù)據(jù)倉(cāng)庫(kù)分為ODS、DW兩個(gè)部分。ODS是數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的一種過(guò)渡,數(shù)據(jù)結(jié)構(gòu)一般與數(shù)據(jù)源保持一致,便于減少ETL的工作復(fù)雜性,而且ODS的數(shù)據(jù)周期一般比較短。ODS的數(shù)據(jù)最終流入DW,DW是數(shù)據(jù)的歸宿,這里保存著所有從ODS到來(lái)的數(shù)據(jù),而且這些數(shù)據(jù)不會(huì)被修改。數(shù)據(jù)轉(zhuǎn)換:它是在ODS到DW的過(guò)程中轉(zhuǎn)換的,將數(shù)據(jù)轉(zhuǎn)換為適用于查詢和分析的形式和結(jié)構(gòu)。數(shù)據(jù)從操作型源系統(tǒng)獲取后,需要進(jìn)行多種轉(zhuǎn)換操作,通常是最復(fù)雜的部分,也是ETL處理中用時(shí)最長(zhǎng)的一步。數(shù)據(jù)清洗:數(shù)據(jù)轉(zhuǎn)換一個(gè)最重要的功能是數(shù)據(jù)清洗,目的是只有“合規(guī)”的數(shù)據(jù)才能進(jìn)入目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)。這步操作在不同系統(tǒng)間交互和通信時(shí)尤為必要。2.1.3數(shù)據(jù)加載數(shù)據(jù)加載就是將轉(zhuǎn)換后的數(shù)據(jù)導(dǎo)入目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。這步操作需要重點(diǎn)考慮兩個(gè)問(wèn)題,一是數(shù)據(jù)加載的效率問(wèn)題,二是一旦加載過(guò)程中失敗了,如何再次執(zhí)行加載過(guò)程。要提高數(shù)據(jù)加載的效率,加快加載速度,可以采用如下兩種做法:保證足夠的系統(tǒng)資源。在進(jìn)行數(shù)據(jù)加載時(shí),禁用數(shù)據(jù)庫(kù)約束(唯一性、非空性、檢查約束等)和索引,當(dāng)加載過(guò)程完全結(jié)束后,再啟用這些約束,重建索引。ETL系統(tǒng)一般會(huì)從多個(gè)應(yīng)用系統(tǒng)中整合數(shù)據(jù),常用實(shí)現(xiàn)方法有三種:借助ETL工具采用SQL方式ETL工具和SQL方式相結(jié)合為了提高ETL處理的效率,通常數(shù)據(jù)獲取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)加載操作會(huì)并行執(zhí)行。數(shù)據(jù)獲取技術(shù)DataAcquisitionTechnique2.2.1數(shù)據(jù)獲取技術(shù)概述數(shù)據(jù)獲取需要在調(diào)研階段做大量的工作。如果已經(jīng)明確了需要獲取的數(shù)據(jù),下一步就該考慮從源系統(tǒng)獲取數(shù)據(jù)的方法了。數(shù)據(jù)獲取方法的選擇高度依賴于源系統(tǒng)和目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的業(yè)務(wù)需要。隨著大數(shù)據(jù)的蓬勃發(fā)展,數(shù)據(jù)獲取的來(lái)源廣泛且數(shù)據(jù)量巨大,數(shù)據(jù)類型豐富,包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù),它們大多存在于分布式數(shù)據(jù)庫(kù)中。目前大數(shù)據(jù)獲取主要方法如下:數(shù)據(jù)庫(kù)獲取系統(tǒng)日志獲取網(wǎng)絡(luò)數(shù)據(jù)獲取感知設(shè)備數(shù)據(jù)獲取針對(duì)軟件系統(tǒng)的數(shù)據(jù)獲取,有如下三種方式:接口對(duì)接方式開(kāi)放數(shù)據(jù)庫(kù)方式基于底層數(shù)據(jù)交換的數(shù)據(jù)直接獲取方式2.2.2網(wǎng)絡(luò)爬蟲(chóng)網(wǎng)絡(luò)爬蟲(chóng)可以按照我們制定的規(guī)則自動(dòng)瀏覽網(wǎng)絡(luò)中的數(shù)據(jù),這些規(guī)則稱為網(wǎng)絡(luò)爬蟲(chóng)算法。網(wǎng)絡(luò)爬蟲(chóng)由控制節(jié)點(diǎn)、爬蟲(chóng)節(jié)點(diǎn)、資源庫(kù)構(gòu)成??刂乒?jié)點(diǎn)主要負(fù)責(zé)根據(jù)URL分配線程,并調(diào)用爬蟲(chóng)節(jié)點(diǎn)進(jìn)行具體的爬取爬蟲(chóng)節(jié)點(diǎn)會(huì)按照相關(guān)的算法,對(duì)網(wǎng)頁(yè)進(jìn)行具體的爬取,爬取后會(huì)將爬取結(jié)果存儲(chǔ)到對(duì)應(yīng)的資源庫(kù)中。通用網(wǎng)絡(luò)爬蟲(chóng)通用網(wǎng)絡(luò)爬蟲(chóng)的爬取目標(biāo)是整個(gè)互聯(lián)網(wǎng)上的所有網(wǎng)頁(yè)。主要由初始URL集合、URL隊(duì)列、網(wǎng)頁(yè)爬取模塊、網(wǎng)頁(yè)分析模塊、網(wǎng)頁(yè)數(shù)據(jù)庫(kù)、鏈接過(guò)濾模塊等構(gòu)成。通用網(wǎng)絡(luò)爬蟲(chóng)在爬取的時(shí)候會(huì)采取一定的爬取策略,主要有深度優(yōu)先策略和廣度優(yōu)先策略。這類網(wǎng)絡(luò)爬蟲(chóng)主要應(yīng)用于大型搜索引擎中,有非常高的應(yīng)用價(jià)值。聚焦網(wǎng)絡(luò)爬蟲(chóng)聚焦網(wǎng)絡(luò)爬蟲(chóng)是按照預(yù)先定義好的主題有選擇地進(jìn)行網(wǎng)頁(yè)爬取的一種爬蟲(chóng)??梢源蟠蠊?jié)省爬蟲(chóng)爬取時(shí)所需的帶寬資源和服務(wù)器資源。聚焦網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用在對(duì)特定信息的爬取中,主要為某一類特定的人群提供服務(wù),主要由初始URL集合、URL隊(duì)列、網(wǎng)頁(yè)爬取模塊、網(wǎng)頁(yè)分析模塊、網(wǎng)頁(yè)數(shù)據(jù)庫(kù)、鏈接過(guò)濾模塊、內(nèi)容評(píng)價(jià)模塊、鏈接評(píng)價(jià)模塊等構(gòu)成。聚焦網(wǎng)絡(luò)爬蟲(chóng)的爬取策略主要有四種:基于內(nèi)容評(píng)價(jià)的爬取策略基于鏈接評(píng)價(jià)的爬取策略基于強(qiáng)化學(xué)習(xí)的爬取策略基于語(yǔ)境圖的爬取策略增量式網(wǎng)絡(luò)爬蟲(chóng)增量式更新指在更新的時(shí)候只更新改變的地方,未改變的地方則不更新,所以只爬取內(nèi)容發(fā)生變化的網(wǎng)頁(yè)或新產(chǎn)生的網(wǎng)頁(yè),對(duì)于未發(fā)生內(nèi)容變化的網(wǎng)頁(yè)則不會(huì)爬取。深層網(wǎng)絡(luò)爬蟲(chóng)在互聯(lián)網(wǎng)中,按存在方式分類,網(wǎng)頁(yè)可以分為表層網(wǎng)頁(yè)和深層網(wǎng)頁(yè):表層網(wǎng)頁(yè):不需要提交表單,使用靜態(tài)的鏈接就能夠到達(dá)的靜態(tài)網(wǎng)頁(yè);深層網(wǎng)頁(yè):隱藏在表單后面,不能通過(guò)靜態(tài)鏈接直接獲取,是需要提交一定的關(guān)鍵詞之后才能夠到達(dá)的網(wǎng)頁(yè)。在互聯(lián)網(wǎng)中,深層網(wǎng)頁(yè)的數(shù)量往往比表層網(wǎng)頁(yè)的數(shù)量要多很多,因此需要深層網(wǎng)絡(luò)爬蟲(chóng)。深層網(wǎng)絡(luò)爬蟲(chóng)在爬取深層網(wǎng)頁(yè)時(shí)需要自動(dòng)填寫(xiě)好對(duì)應(yīng)的表單,表單填寫(xiě)方式有兩種:①基于領(lǐng)域知識(shí)的表單填寫(xiě):建立一個(gè)填寫(xiě)表單的關(guān)鍵詞庫(kù),在需要填寫(xiě)的時(shí)候,根據(jù)語(yǔ)義分析選擇對(duì)應(yīng)的關(guān)鍵詞進(jìn)行填寫(xiě)。②基于網(wǎng)頁(yè)結(jié)構(gòu)分析的表單填寫(xiě):會(huì)根據(jù)網(wǎng)頁(yè)結(jié)構(gòu)進(jìn)行分析,并自動(dòng)地進(jìn)行表單填寫(xiě),一般在領(lǐng)域知識(shí)有限的情況下使用。數(shù)據(jù)預(yù)處理DataPre-processing2.3.1數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量是指數(shù)據(jù)在特定應(yīng)用環(huán)境中是否滿足預(yù)期的要求。包括以下幾個(gè)方面:準(zhǔn)確性:數(shù)據(jù)與實(shí)際情況的符合程度,數(shù)據(jù)值與實(shí)際值的一致性高低。完整性:數(shù)據(jù)是否包含了需要的全部信息,有無(wú)遺漏或缺失。一致性:數(shù)據(jù)在不同的數(shù)據(jù)源、數(shù)據(jù)記錄等方面是否保持一致,數(shù)據(jù)之間有無(wú)沖突或矛盾。及時(shí)性:數(shù)據(jù)是否及時(shí)地進(jìn)行采集、處理、傳輸和更新,以保證數(shù)據(jù)的實(shí)效性和時(shí)效性。可理解性:數(shù)據(jù)是否易于被理解,數(shù)據(jù)結(jié)構(gòu)和格式是否清晰,數(shù)據(jù)值和字段是否具有明確的含義。可靠性:數(shù)據(jù)是否可信、可靠,其產(chǎn)生的過(guò)程和來(lái)源是否可靠,數(shù)據(jù)是否經(jīng)過(guò)驗(yàn)證和核實(shí)。可用性:指數(shù)據(jù)是否易于訪問(wèn)、檢索和使用,數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)的性能是否足夠高效。導(dǎo)致數(shù)據(jù)質(zhì)量不高的根源主要如下:數(shù)據(jù)采集問(wèn)題數(shù)據(jù)存儲(chǔ)問(wèn)題數(shù)據(jù)處理問(wèn)題數(shù)據(jù)管理問(wèn)題數(shù)據(jù)使用問(wèn)題2.3.2數(shù)據(jù)清洗數(shù)據(jù)清洗是審查和校驗(yàn)數(shù)據(jù)的過(guò)程,旨在刪除重復(fù)信息、糾正錯(cuò)誤并確保一致性。缺失數(shù)據(jù)處理:刪除缺失數(shù)據(jù):適用于少量缺失且影響較小時(shí),但可能引入樣本偏差。插補(bǔ)缺失數(shù)據(jù):適用于缺失較多或影響較大時(shí)。插補(bǔ)的方法可以分為三類:(1)均值插補(bǔ)(2)回歸插補(bǔ)(3)多重插補(bǔ)創(chuàng)建指示變量:對(duì)于分類變量的缺失數(shù)據(jù),新增指示變量(0/1)標(biāo)記缺失情況,避免插補(bǔ)誤差。其他:利用聚類或?qū)iT(mén)模型處理缺失數(shù)據(jù)。在處理缺失數(shù)據(jù)時(shí),還需要注意以下三個(gè)問(wèn)題:①缺失數(shù)據(jù)的模式②數(shù)據(jù)的完整性③插補(bǔ)方法的合理性2.3.2數(shù)據(jù)清洗噪聲數(shù)據(jù)是指數(shù)據(jù)中存在錯(cuò)誤或異常(偏離期望值)的數(shù)據(jù),即測(cè)量變量中存在隨機(jī)誤差或方差。噪聲數(shù)據(jù)處理:分箱:通過(guò)考察相鄰數(shù)據(jù)來(lái)確定最終值。

分箱的方法有四種:(1)等深分箱法(2)等寬分箱法(3)用戶自定義區(qū)間法(4)最小熵法。

在分箱之后,要對(duì)每個(gè)“箱子”中的數(shù)據(jù)進(jìn)行平滑處理:(1)按均值進(jìn)行平滑處理(2)按中位數(shù)進(jìn)行平滑處理(3)按邊界值進(jìn)行平滑處理。聚類:將數(shù)據(jù)集合分組為若干個(gè)簇,在簇外的值為孤立點(diǎn),應(yīng)對(duì)這些孤立點(diǎn)進(jìn)行刪除或替換。相似或相鄰的數(shù)據(jù)聚合在一起形成各個(gè)聚類集合,在這些聚類集合之外的數(shù)據(jù)為異常數(shù)據(jù)?;貧w:如果變量之間存在函數(shù)關(guān)系,則可以使用回歸分析方法進(jìn)行函數(shù)擬合,通過(guò)使用擬合值或平滑數(shù)據(jù)來(lái)更新變量數(shù)值,從而實(shí)現(xiàn)噪聲數(shù)據(jù)去除。2.3.3數(shù)據(jù)集成數(shù)據(jù)集成是將來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)整合到統(tǒng)一的數(shù)據(jù)集中,以便分析、決策支持和業(yè)務(wù)應(yīng)用。其過(guò)程涉及數(shù)據(jù)整合、匹配、沖突解決、質(zhì)量控制、元數(shù)據(jù)管理和安全等方面。模式識(shí)別和對(duì)象匹配是在數(shù)據(jù)集成過(guò)程中的兩個(gè)重要任務(wù),用于識(shí)別和匹配不同數(shù)據(jù)源中的模式和對(duì)象,以提高數(shù)據(jù)集成的準(zhǔn)確性和效率。模式識(shí)別:對(duì)表征事物或現(xiàn)象的模式進(jìn)行自動(dòng)處理和判讀。對(duì)象匹配:將不同數(shù)據(jù)源中的對(duì)象進(jìn)行匹配和對(duì)應(yīng)。在進(jìn)行模式識(shí)別和對(duì)象匹配時(shí),需要考慮以下幾個(gè)方面:①特征提?。涸谶M(jìn)行模式識(shí)別和對(duì)象匹配時(shí),需要選擇合適的特征并進(jìn)行提取。②相似度度量:方法包括歐氏距離、曼哈頓距離、余弦相似度等。③匹配算法:算法包括基于規(guī)則的匹配、基于機(jī)器學(xué)習(xí)的匹配、基于統(tǒng)計(jì)的匹配、基于圖的匹配等。④沖突解決:可以通過(guò)規(guī)則、投票機(jī)制、權(quán)重分配、機(jī)器學(xué)習(xí)等方法來(lái)確定最佳匹配結(jié)果。2.3.3數(shù)據(jù)集成數(shù)據(jù)冗余是指數(shù)據(jù)存儲(chǔ)或集成過(guò)程中產(chǎn)生的重復(fù)或多余數(shù)據(jù),包括重復(fù)數(shù)據(jù)和無(wú)關(guān)數(shù)據(jù)。需處理數(shù)據(jù)冗余以減少存儲(chǔ)占用和分析誤差??赏ㄟ^(guò)一下幾種方式來(lái)實(shí)現(xiàn):規(guī)則和約束:通過(guò)定義規(guī)則和約束來(lái)防止數(shù)據(jù)冗余的產(chǎn)生。數(shù)據(jù)規(guī)范化:數(shù)據(jù)規(guī)范化是一種將數(shù)據(jù)劃分成更小、更規(guī)范的單元的過(guò)程。數(shù)據(jù)清洗和去重:去除重復(fù)和冗余的數(shù)據(jù)。數(shù)據(jù)合并和歸約:將重復(fù)和冗余的數(shù)據(jù)進(jìn)行合并和歸約。數(shù)據(jù)壓縮:通過(guò)編碼或壓縮技術(shù)減少存儲(chǔ)占用。數(shù)據(jù)分析和挖掘:通過(guò)數(shù)據(jù)分析和挖掘技術(shù),可以識(shí)別和消除數(shù)據(jù)冗余。2.3.3數(shù)據(jù)集成在數(shù)據(jù)集成過(guò)程中,不同數(shù)據(jù)源可能存在沖突(如值、格式、單位、覆蓋范圍不一致)。為確保數(shù)據(jù)質(zhì)量和準(zhǔn)確性,需要進(jìn)行沖突檢測(cè)與處理。步驟如下:(1)確定沖突類型。常見(jiàn)類型包括數(shù)據(jù)值、格式、單位或覆蓋范圍不同。(2)數(shù)據(jù)沖突檢測(cè)。利用算法或規(guī)則檢測(cè)相同實(shí)體在不同數(shù)據(jù)源中的特征是否一致或存在矛盾。(3)沖突解析。當(dāng)發(fā)現(xiàn)沖突時(shí),需要進(jìn)行沖突解析來(lái)確定集成數(shù)據(jù)的準(zhǔn)確值。常見(jiàn)的沖突解析方法如下:①人工解析②投票機(jī)制③權(quán)重分配④規(guī)則和模型。(4)沖突解析后的數(shù)據(jù)集成。應(yīng)用解析后的數(shù)據(jù),形成最終集成結(jié)果。沖突檢測(cè)與處理較復(fù)雜,需根據(jù)數(shù)據(jù)需求、質(zhì)量要求和沖突類型選擇合適方法,并考慮數(shù)據(jù)源的可靠性和權(quán)威性。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是數(shù)據(jù)預(yù)處理的重要環(huán)節(jié),通過(guò)轉(zhuǎn)換提高數(shù)據(jù)質(zhì)量和可用性,使其更適合分析和建模。主要方法包括數(shù)據(jù)規(guī)范化、數(shù)據(jù)離散化、數(shù)據(jù)泛化和數(shù)據(jù)脫敏。數(shù)據(jù)規(guī)范化:將被挖掘?qū)ο蟮奶卣鲾?shù)據(jù)按比例縮放,使其落入一個(gè)小的特定區(qū)間。常用方法有三種:①小數(shù)定標(biāo)規(guī)范化:將原始數(shù)據(jù)除以一個(gè)固定值,將數(shù)據(jù)映射到[-1,1]之間。②最小值—最大值規(guī)范化:將原始數(shù)據(jù)映射到0~1之間的特定區(qū)間,保留數(shù)據(jù)的相對(duì)大小關(guān)系。③Z-Score規(guī)范化:將原始數(shù)據(jù)轉(zhuǎn)化為均值為0、標(biāo)準(zhǔn)差為1的標(biāo)準(zhǔn)正態(tài)分布。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)離散化:將連續(xù)型數(shù)據(jù)轉(zhuǎn)換為離散型數(shù)據(jù)的過(guò)程,將數(shù)據(jù)劃分為若干個(gè)區(qū)間或類別。常見(jiàn)方法如下:①等寬離散化:將數(shù)據(jù)根據(jù)固定的寬度劃分為若干個(gè)區(qū)間,每個(gè)區(qū)間的寬度相同。②等頻離散化:將數(shù)據(jù)根據(jù)相同的樣本數(shù)量劃分為若干個(gè)區(qū)間,每個(gè)區(qū)間中包含的樣本數(shù)量相同。③聚類離散化:用聚類算法將數(shù)據(jù)聚類為若干個(gè)簇,每個(gè)簇表示一個(gè)離散化的類別。④決策樹(shù)離散化:使用決策樹(shù)算法將連續(xù)型數(shù)據(jù)轉(zhuǎn)換為決策樹(shù)的劃分節(jié)點(diǎn),將數(shù)據(jù)分為不同的類別。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)泛化:把較低層次的概念用較高層次的概念替換來(lái)匯總數(shù)據(jù),或者通過(guò)減小維度,在較小維度的概念空間中匯總數(shù)據(jù)。常用的方法如下:①基于數(shù)據(jù)立方體的數(shù)據(jù)聚集:用于從多維數(shù)據(jù)集中提取有用的信息。數(shù)據(jù)立方體是一個(gè)多維數(shù)組,其中每個(gè)維度表示數(shù)據(jù)的一個(gè)特征,構(gòu)建步驟:選擇維度→設(shè)計(jì)度量→聚合數(shù)據(jù)→構(gòu)建數(shù)據(jù)立方體。②面向特征的歸納:旨在從數(shù)據(jù)中歸納出特征間的關(guān)系、規(guī)律和模式。主要過(guò)程包括以下步驟:

特征選擇→歸納分析→模式評(píng)估與驗(yàn)證。2.3.4數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)脫敏:通過(guò)對(duì)敏感數(shù)據(jù)進(jìn)行部分或完全的刪除、替換或隱藏,以抹去個(gè)人敏感信息。常見(jiàn)方法如下:①刪除(Deletion):直接刪除或部分刪除包含敏感信息的數(shù)據(jù)。②替換(Substitution):將敏感數(shù)據(jù)替換為不可識(shí)別的偽造值。③脫敏屏蔽(Masking):在數(shù)據(jù)中通過(guò)覆蓋、屏蔽或空白值等方式隱藏敏感信息,以避免敏感信息的識(shí)別。④加密(Encryption):使用加密算法對(duì)敏感信息進(jìn)行加密,只有授權(quán)的用戶才能解密和訪問(wèn)。具體方法的選擇取決于數(shù)據(jù)類型、隱私需求和分析任務(wù)。2.3.5數(shù)據(jù)歸約數(shù)據(jù)歸約是在保持?jǐn)?shù)據(jù)原貌的前提下,最大限度地精簡(jiǎn)數(shù)據(jù),以降低數(shù)據(jù)規(guī)模。主要包括維歸約和數(shù)據(jù)歸約兩種方法。維歸約:目的是將高維數(shù)據(jù)集轉(zhuǎn)換為低維表示,以減少數(shù)據(jù)集的維度并保留主要的信息。①特征集選擇(FSS):篩選最相關(guān)和有價(jià)值的特征,去除無(wú)關(guān)或冗余特征。②主成分分析(PCA):將高維數(shù)據(jù)映射到低維子空間,提取主要特征。③線性判別分析(LDA):監(jiān)督學(xué)習(xí)方法,尋找最能區(qū)分類別的投影方向。④非負(fù)矩陣分解(NMF):將高維矩陣分解為兩個(gè)低維非負(fù)矩陣,以降低維度。⑤t-SNE:基于數(shù)據(jù)相似性,將高維數(shù)據(jù)映射到低維,保持局部關(guān)系,適用于可視化。2.3.5數(shù)據(jù)歸約數(shù)據(jù)歸約:通過(guò)聚合、壓縮或采樣等方法減少數(shù)據(jù)點(diǎn),以簡(jiǎn)化分析和處理,提高計(jì)算效率并降低存儲(chǔ)需求。常見(jiàn)方法如下:①聚合(Aggregation):按規(guī)則匯總數(shù)據(jù),減少數(shù)據(jù)規(guī)模。②采樣(Sampling):從數(shù)據(jù)集中選取部分樣本作為代表,如隨機(jī)、均勻、分層采樣等。③插值(Interpolation):在數(shù)據(jù)點(diǎn)之間插值,填補(bǔ)缺失值,提高數(shù)據(jù)密度。④壓縮(Compression):使用壓縮算法減少數(shù)據(jù)存儲(chǔ)空間,如gzip、LZW、哈夫曼編碼等。數(shù)據(jù)歸約提高效率,但可能造成信息損失,需根據(jù)任務(wù)需求權(quán)衡選擇。數(shù)據(jù)集的構(gòu)建ConstructionOfDataSets2.4.1數(shù)據(jù)集的劃分?jǐn)?shù)據(jù)預(yù)處理后可存入數(shù)據(jù)倉(cāng)庫(kù),供分析或訓(xùn)練時(shí)提取。通常,數(shù)據(jù)會(huì)被劃分或重抽樣以適應(yīng)模型應(yīng)用。在機(jī)器學(xué)習(xí)算法中,通常將原始數(shù)據(jù)集劃分為三個(gè)部分:訓(xùn)練集(TrainingSet)、驗(yàn)證集(ValidationSet)和測(cè)試集(TestSet)。訓(xùn)練集是用于訓(xùn)練的樣本集合,主要用于訓(xùn)練模型中的參數(shù);驗(yàn)證集是驗(yàn)證模型性能的樣本集合,主要用于超參數(shù)的調(diào)整;測(cè)試集主要用于訓(xùn)練和驗(yàn)證完成的模型,來(lái)客觀評(píng)估模型的性能。訓(xùn)練集用于模型學(xué)習(xí),驗(yàn)證集少量調(diào)整,測(cè)試集僅作最終評(píng)估,數(shù)據(jù)集應(yīng)互不重疊。在數(shù)據(jù)量不是特別大的情況下一般遵循6∶2∶2的劃分比例。2.4.2重抽樣方法重抽樣可用于提高最終預(yù)測(cè)效果,因訓(xùn)練集、驗(yàn)證集和測(cè)試集的數(shù)據(jù)分布可能存在差異。將數(shù)據(jù)隨機(jī)分為訓(xùn)練集和驗(yàn)證集:模型在訓(xùn)練集上學(xué)習(xí),然后在驗(yàn)證集上評(píng)估預(yù)測(cè)誤差。誤差計(jì)算結(jié)果可能波動(dòng)較大,取決于樣本劃分方式。僅使用部分?jǐn)?shù)據(jù)進(jìn)行訓(xùn)練,可能導(dǎo)致誤差估計(jì)偏高。重抽樣可降低誤差波動(dòng),但需權(quán)衡計(jì)算成本與數(shù)據(jù)利用率。2.4.2重抽樣方法

2.4.2重抽樣方法

2.4.2重抽樣方法

2.4.2重抽樣方法自助法在數(shù)據(jù)集較小、難以有效劃分訓(xùn)練集和測(cè)試集時(shí)很有用。此外,自助法能從初始數(shù)據(jù)集中產(chǎn)生多個(gè)不同的訓(xùn)練集,這對(duì)集成學(xué)習(xí)等有很大的好處,該方法也常常用于非平衡數(shù)據(jù)的處理。但是自助法產(chǎn)生的數(shù)據(jù)集改變了原始數(shù)據(jù)集的分布,這會(huì)導(dǎo)致估計(jì)偏差,因此在原始數(shù)據(jù)集足夠大時(shí),驗(yàn)證集方法和交叉驗(yàn)證法更加常用。思考題什么是ETL?ETL的主要流程是什么?網(wǎng)絡(luò)爬蟲(chóng)的工作原理是什么?試結(jié)合Python爬蟲(chóng)程序分析實(shí)現(xiàn)過(guò)程。數(shù)據(jù)清洗中缺失數(shù)據(jù)和噪聲數(shù)據(jù)如何處理?試舉例說(shuō)明。什么是數(shù)據(jù)轉(zhuǎn)換?數(shù)據(jù)轉(zhuǎn)換包含哪幾類?試舉例說(shuō)明數(shù)據(jù)轉(zhuǎn)換的操作過(guò)程。機(jī)器學(xué)習(xí)中數(shù)據(jù)集劃分為幾類?各類數(shù)據(jù)集的作用是什么?K折交叉驗(yàn)證的原理是什么?Thankyou!回歸分析03RegressionAnalysis3.1

回歸分析概述回歸分析是在眾多的相關(guān)變量中根據(jù)實(shí)際問(wèn)題考察其中一個(gè)或多個(gè)目標(biāo)變量(因變量)與其影響因素(自變量)之間相互依賴的定量關(guān)系的一種方法。通常事物的特征可用多個(gè)變量進(jìn)行描述。回歸分析的公式可以表示為:例如,能源消費(fèi)量

受經(jīng)濟(jì)、人口和科技發(fā)展等因素影響,這些因素包括GDP指標(biāo)

、人口規(guī)模

、科技投入指標(biāo)

等。當(dāng)對(duì)這一問(wèn)題進(jìn)行回歸分析時(shí),將能源消費(fèi)量

稱為因變量(或目標(biāo)變量),

稱為自變量,

為自變量的維度,回歸分析的目標(biāo)是利用歷史數(shù)據(jù)找出函數(shù)表示它們之間的關(guān)系,以預(yù)測(cè)未來(lái)能源消費(fèi)量的情況。在大數(shù)據(jù)分析中,習(xí)慣上將這些自變量稱為特征(Feature),因變量則稱為標(biāo)簽(Label)。如果只需考察一個(gè)變量與其余多個(gè)變量之間的相互依賴關(guān)系,則稱為一元回歸問(wèn)題。若要同時(shí)考察多個(gè)因變量與多個(gè)自變量之間的相互依賴關(guān)系,則稱為多因變量的多元回歸問(wèn)題。(3-1)3.1回歸分析概述回歸分析的分類標(biāo)準(zhǔn)多樣,按照不同的分類標(biāo)準(zhǔn),可以分成不同的種類。按照涉及自變量的數(shù)量,回歸分析可以分為一元回歸分析和多元回歸分析,只有一個(gè)自變量的稱為一元回歸分析(又稱簡(jiǎn)單回歸分析),有兩個(gè)或兩個(gè)以上自變量的稱為多元回歸分析(又稱復(fù)回歸分析)。按照涉及因變量的數(shù)量,回歸分析可以分為簡(jiǎn)單回歸分析和多重回歸分析。按照自變量和因變量之間的關(guān)系類型,回歸分析可以分為線性回歸分析和非線性回歸分析。基本過(guò)程3.2線性回歸線性回歸(LinearRegression)是利用稱為線性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)因變量和自變量之間關(guān)系進(jìn)行建模的一種回歸分析方法,這種函數(shù)是一個(gè)或多個(gè)稱為回歸系數(shù)的模型參數(shù)的線性組合。只包括一個(gè)自變量和一個(gè)因變量,且二者的關(guān)系可用一條直線近似表示包括兩個(gè)或兩個(gè)以上的自變量,且因變量和自變量之間是線性關(guān)系線性回歸分析是一種統(tǒng)計(jì)分析方法,用于了解兩個(gè)變量之間的相關(guān)性,以及一個(gè)變量隨另一個(gè)變量變化的趨勢(shì)。3.2線性回歸線性模型(GeneralLinearModels,GLM)并不是一個(gè)具體的模型,而是多種統(tǒng)計(jì)模型的統(tǒng)稱,其中包含線性回歸模型、方差分析模型等。線性模型可以表示為:式中,

是一個(gè)因變量的觀測(cè)集合;

是一個(gè)自變量的觀測(cè)集合;

是待估計(jì)的參數(shù)矩陣;

是誤差矩陣或隨機(jī)擾動(dòng)項(xiàng),又叫噪聲(Noise)。一元線性回歸模型可以寫(xiě)為:多元線性回歸模型又稱多重線性回歸模型。其數(shù)學(xué)模型可以寫(xiě)為:線性回歸模型需要假設(shè)因變量關(guān)于自變量的條件期望存在線性關(guān)系,即:(3-2)(3-3)(3-4)(3-5)假設(shè)中的

是未知的,稱為回歸系數(shù)。為了檢驗(yàn)這個(gè)假設(shè),需要利用樣本數(shù)據(jù)估計(jì)出

,將它們的估計(jì)值記為

,由此得出的相應(yīng)因變量

的估計(jì)值為

,這樣式(3-5)就變?yōu)椋海?-6)回歸分析概述統(tǒng)計(jì)學(xué)中估計(jì)回歸系數(shù)的一種方法是最小二乘法(LeastSquareMethod,LSE),為了與廣義最小二乘法相區(qū)別,也稱之為普通最小二乘法(OrdinaryLeastSquare,OLS)。如果回歸方程對(duì)樣本擬合得較好,能較好地反映客觀規(guī)律,那么真實(shí)值和回歸值的“距離”會(huì)較小。真實(shí)值和回歸值的“距離”可以采用誤差平方和表示。機(jī)器學(xué)習(xí)中使用線性回歸模型進(jìn)行預(yù)測(cè)時(shí),需要使得理論值與觀測(cè)值之差(誤差,或者說(shuō)殘差)的平方和達(dá)到最小,這個(gè)誤差稱為均方誤差(MeanSquareError,MSE),表示為:均方誤差是反映估計(jì)量與被估計(jì)量之間差異程度的一種度量,在機(jī)器學(xué)習(xí)中稱為損失函數(shù)(LossFunction)。機(jī)器學(xué)習(xí)中通過(guò)不斷迭代使得均方誤差不斷降低,從而逼近最優(yōu)解。式中,

是因變量觀測(cè)值的樣本;

是預(yù)測(cè)值;

是均方誤差。(3-7)3.3非線性回歸非線性回歸指因變量與自變量的關(guān)系不是一次函數(shù),而是更復(fù)雜的非線性函數(shù),適用于描述非線性關(guān)聯(lián)的數(shù)據(jù)。非線性回歸類型廣義非線性回歸:可通過(guò)變量變換轉(zhuǎn)換為線性回歸,也稱非純非線性回歸。狹義非線性回歸:無(wú)論如何變換都無(wú)法轉(zhuǎn)換為線性回歸,即純非線性回歸。廣義非線性回歸可簡(jiǎn)化計(jì)算,而狹義非線性回歸通常需更復(fù)雜的優(yōu)化方法求解。3.3非線性回歸非線性回歸問(wèn)題大多數(shù)可以轉(zhuǎn)變?yōu)榫€性回歸問(wèn)題來(lái)求解,也就是通過(guò)對(duì)非線性回歸模型進(jìn)行適當(dāng)?shù)淖兞孔儞Q,使其轉(zhuǎn)變?yōu)榫€性回歸模型來(lái)求解。一般步驟為:例如,全球煤炭消費(fèi)量隨時(shí)間的變化并不是線性的,因此若選取日期作為自變量,則不適合使用線性回歸模型,非線性回歸模型更為適用。全球煤炭消費(fèi)量隨時(shí)間的變化曲線擬合如圖3-1所示。圖3-1全球煤炭消費(fèi)量隨時(shí)間的變化曲線擬合3.3非線性回歸1多項(xiàng)式模型多項(xiàng)式模型在非線性回歸分析中占有重要的地位。根據(jù)級(jí)數(shù)展開(kāi)的原理,任何曲線、曲面、超曲面的問(wèn)題在一定的范圍內(nèi)都能夠用多項(xiàng)式任意逼近,所以,當(dāng)因變量與自變量之間的確定關(guān)系未知時(shí),可以使用適當(dāng)冪次的多項(xiàng)式來(lái)近似。當(dāng)所涉及的自變量只有一個(gè)時(shí),所采用的多項(xiàng)式稱為一元多項(xiàng)式,其一般形式為:多項(xiàng)式模型可以轉(zhuǎn)變?yōu)榫€性回歸模型,并利用最小二乘法確定系數(shù)。并不是所有的非線性回歸模型都可以通過(guò)變換得到與原模型完全等價(jià)的線性回歸模型。在遇到這種情況時(shí),還需要利用其他一些方法,如泰勒級(jí)數(shù)展開(kāi)法等進(jìn)行估計(jì)。(3-8)3.3非線性回歸2冪函數(shù)模型

冪函數(shù)模型為:(3-9)令

,則冪函數(shù)模型可以轉(zhuǎn)變?yōu)榫€性回歸模型:

(3-10)3指數(shù)函數(shù)模型指數(shù)函數(shù)用于描述幾何級(jí)數(shù)遞增或遞減的現(xiàn)象,一般的自然增長(zhǎng)及大多數(shù)經(jīng)濟(jì)數(shù)列屬于此類。指數(shù)函數(shù)模型為:

(3-11)

,指數(shù)函數(shù)模型同樣可以轉(zhuǎn)變?yōu)榫€性回歸模型。3.3非線性回歸54對(duì)數(shù)函數(shù)模型對(duì)數(shù)函數(shù)是指數(shù)函數(shù)的反函數(shù),對(duì)數(shù)函數(shù)模型為:(3-12)令

,對(duì)數(shù)函數(shù)模型可以轉(zhuǎn)變?yōu)榫€性回歸模型。雙曲線模型若因變量

隨自變量

的增加(或減少),最初增加(或減少)很快,以后逐漸放慢并趨于穩(wěn)定,則可以選用雙曲線模型來(lái)擬合。雙曲線模型為:令

,雙曲線模型可以轉(zhuǎn)變?yōu)榫€性回歸模型。(3-13)3.3非線性回歸非線性回歸模型非線性回歸可分為固定模式和非固定模式兩類。1.固定模式的非線性回歸結(jié)構(gòu)固定,部分自變量可能不確定,無(wú)法轉(zhuǎn)換為線性回歸。采用泰勒級(jí)數(shù)展開(kāi)或數(shù)值優(yōu)化方法求解。低維(≤3維)可通過(guò)繪制測(cè)點(diǎn)圖像確定線性類型。應(yīng)用:適用于調(diào)查研究、臨床試驗(yàn)等,分析單值或多值變量的非線性關(guān)系。2.非固定模式的非線性回歸結(jié)構(gòu)不固定,需要在建模過(guò)程中同時(shí)確定模型結(jié)構(gòu)和參數(shù)。方法:機(jī)器學(xué)習(xí)算法(如神經(jīng)網(wǎng)絡(luò)、決策樹(shù)等)、數(shù)據(jù)驅(qū)動(dòng)建模(如自回歸方法)、自適應(yīng)回歸(如局部加權(quán)回歸)應(yīng)用:適用于復(fù)雜系統(tǒng)建模,非線性關(guān)系未知或數(shù)據(jù)驅(qū)動(dòng)特征明顯的場(chǎng)景。3.4分位數(shù)回歸線性回歸最基本的假設(shè)是殘差滿足正態(tài)分布、獨(dú)立性、同方差性,但這些條件常常得不到滿足。如果樣本數(shù)據(jù)中存在異常值或極端值,則線性回歸模型估計(jì)值可能會(huì)存在較大偏差。我們不僅希望研究被解釋變量的期望,還希望能探索被解釋變量Y的全局分布(如被解釋變量的某個(gè)分位數(shù)),這時(shí)候就需要使用分位數(shù)回歸。分位數(shù)亦稱分位點(diǎn),是指將一個(gè)隨機(jī)變量的概率分布范圍分為幾個(gè)等份的數(shù)值點(diǎn),常用的有中位數(shù)(二分位數(shù))、四分位數(shù)(25%、50%和75%)等。分位數(shù)回歸是估計(jì)一組解釋變量X與被解釋變量Y的分位數(shù)之間線性關(guān)系的建模方法,其原理是將數(shù)據(jù)按被解釋變量拆分成多個(gè)分位數(shù),研究不同分位數(shù)情況下的回歸影響關(guān)系。3.4分位數(shù)回歸分位數(shù)回歸的優(yōu)點(diǎn)如下:(1)能夠更加全面地描述被解釋變量條件分布的全貌,而不是僅僅分析被解釋變量的條件期望(均值),也可以分析解釋變量如何影響被解釋變量的分位數(shù)。不同分位數(shù)下的回歸系數(shù)估計(jì)量常常不同,即解釋變量對(duì)不同水平被解釋變量的影響不同。(2)分位數(shù)回歸的估計(jì)方法與最小二乘法相比,估計(jì)結(jié)果對(duì)離群值表現(xiàn)得更加穩(wěn)健,而且分位數(shù)回歸對(duì)誤差項(xiàng)并不要求很強(qiáng)的假設(shè)條件,因此對(duì)于非正態(tài)分布而言,分位數(shù)回歸系數(shù)估計(jì)量更加穩(wěn)健。3.4分位數(shù)回歸圖3-2給出了分位數(shù)回歸示例,其中的數(shù)據(jù)來(lái)自Python程序包statsmodel中的案例數(shù)據(jù)。因變量是食物支出,自變量是家庭收入,對(duì)該數(shù)據(jù)同時(shí)進(jìn)行最小二乘法(OLS)回歸和分位數(shù)回歸可以得到圖3-2中的回歸線。從圖3-2可以看出,食物支出隨家庭收入的增加而增加,食物支出的分布隨家庭收入增加變得越來(lái)越寬(高分位數(shù)和低分位數(shù)之間的間隔越來(lái)越大),存在典型的異方差,因此比較適合分位數(shù)回歸。圖3-2分位數(shù)回歸示例3.4分位數(shù)回歸分位數(shù)回歸的估計(jì)方法介紹:如果一組數(shù)據(jù)由小到大排列后,

分位數(shù)為

,則表示該組數(shù)據(jù)中有

的數(shù)據(jù)小于

。所謂的

分位

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論