第章-物聯(lián)網(wǎng)中的智能決策

第13章物聯(lián)網(wǎng)中的智能決策內(nèi)容提要智能決策是物聯(lián)網(wǎng)“智慧”的來源。本章將介紹數(shù)據(jù)挖掘的基本流程，基本類型和典型算法。13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘有哪三個步驟？本章內(nèi)容13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘（DataMining）從大量數(shù)據(jù)中獲取潛在有用的并且可以被人們理解的模式的過程。即從大量數(shù)據(jù)中提取或“挖掘”知識。是一個反復(fù)迭代的人機交互和處理的過程，歷經(jīng)多個步驟，并且在一些步驟中需要由用戶提供決策數(shù)據(jù)挖掘的過程：數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對挖掘結(jié)果的評估與表示每一個階段的輸出結(jié)果成為下一個階段的輸入沃爾馬的故事13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過程數(shù)據(jù)預(yù)處理階段數(shù)據(jù)準(zhǔn)備：了解領(lǐng)域特點，確定用戶需求數(shù)據(jù)選?。簭脑紨?shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等數(shù)據(jù)變換：通過投影或利用其他操作減少數(shù)據(jù)量數(shù)據(jù)挖掘階段確定挖掘目標(biāo)：確定要發(fā)現(xiàn)的知識類型選擇算法：根據(jù)確定的目標(biāo)選擇合適的數(shù)據(jù)挖掘算法數(shù)據(jù)挖掘：運用所選算法，提取相關(guān)知識并以一定的方式表示知識評估與表示階段模式評估：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式(知識)進行評估知識表示：使用可視化和知識表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識13.1數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的過程13.1數(shù)據(jù)挖掘概述13.2數(shù)據(jù)挖掘的基本類型和算法*13.3智能決策與物聯(lián)網(wǎng)數(shù)據(jù)挖掘的基本類型和算法有那些？本章內(nèi)容13.2數(shù)據(jù)挖掘的基本類型和算法數(shù)據(jù)挖掘的基本類型關(guān)聯(lián)分析(AssociationAnalysis)聚類分析(ClusteringAnalysis)離群點分析(OutlierAnalysis)分類與預(yù)測(ClassificationandPrediction)演化分析(EvolutionAnalysis)描述性挖掘任務(wù)：刻畫數(shù)據(jù)庫中數(shù)據(jù)的一般特性預(yù)測性挖掘任務(wù)：在當(dāng)前數(shù)據(jù)上進行推斷和預(yù)測關(guān)聯(lián)分析關(guān)聯(lián)分析的目標(biāo)是從給定的數(shù)據(jù)中發(fā)現(xiàn)頻繁出現(xiàn)的模式，即關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則通常的表述形式是XY，表示“數(shù)據(jù)庫中滿足條件X的記錄(元組)可能也滿足條件Y”以某電器商場銷售記錄為例：含義：4%(支持度)的顧客的年齡在20至29歲且月收入在3000至5000元，且這樣的顧客中，65%(置信度)的人購買了筆記本電腦關(guān)聯(lián)分析挖掘關(guān)聯(lián)規(guī)則，需要置信度和支持度越高越好基本概念項集：滿足若干條件的數(shù)據(jù)項的集合，如果條件數(shù)為k，則稱k-項集滿足年齡(顧客,“20~29”)的項集是1-項集滿足年齡(顧客,“20~29”)收入(顧客,“3000~5000”)的項集是2-項集計算步驟首先找到具備足夠支持度的項集，即頻繁項集然后由頻繁項集構(gòu)成關(guān)聯(lián)規(guī)則，并計算置信度分類和和預(yù)測測分類和和預(yù)測測的目標(biāo)標(biāo)是找出描描述和和區(qū)分分不同同數(shù)據(jù)據(jù)類或或概念念的模模型或或函數(shù)數(shù)，以便便能夠夠使用用模型型預(yù)測測數(shù)據(jù)據(jù)類或或標(biāo)記記未知知的對對象所獲得得的分類模模型可以采采用多多種形形式加加以描描述輸輸出分類規(guī)規(guī)則判定樹樹數(shù)學(xué)公公式神經(jīng)網(wǎng)網(wǎng)絡(luò)…分類與與預(yù)測測的區(qū)區(qū)別：：分類通通常指指預(yù)測測數(shù)據(jù)據(jù)對象象屬于于哪一一類，，而當(dāng)當(dāng)被預(yù)預(yù)測的的值是是數(shù)值值數(shù)據(jù)據(jù)時，，通常常稱為為預(yù)測測分類和和預(yù)測測以判定樹樹方法為為例，，簡要要介紹紹分類類的基基本步步驟和和結(jié)果果表示示問題實實例：假定定商場場需要要向潛潛在的的客戶戶郵寄寄新產(chǎn)產(chǎn)品資資料和和促銷銷信息息?？涂蛻魯?shù)數(shù)據(jù)庫庫描述述的客客戶屬屬性包包括姓姓名、、年齡齡、收收入、、職業(yè)業(yè)和信信用記記錄。。我們可可以按按是否否會在在商場場購買買計算算機將將客戶戶分為為兩類類，只只將促促銷材材料郵郵寄給給那些些會購購買計計算機機的客客戶，，從而而降低低成本本。分類和和預(yù)測測用于預(yù)預(yù)測客客戶是是否可可能購購買計計算機機的判定樹樹，其中中每個非非樹葉葉節(jié)點點表示一一個屬性上上的測測試，每個樹樹葉節(jié)節(jié)點代表預(yù)測結(jié)結(jié)果聚類分分析聚類的的目的的是將數(shù)據(jù)據(jù)對象象劃分分為多多個類類或簇簇，在同同一個個簇中中的對對象之之間具具有較較高的的相似似度，，而不不同簇簇中的的對象象差別別較大大聚類與與分類類的區(qū)區(qū)別：：要劃分分的類類是事事先未未知的的聚類分分析的的應(yīng)用用聚類分分析聚類分分析的的方法法劃分方方法：要求求事先先給定定聚類類的數(shù)數(shù)目k。首先先創(chuàng)建建一個個初始始劃分分，然然后通通過對對劃分分中心心點的的反復(fù)復(fù)迭代代來改改進劃劃分。。典型型算法法包括括k-means算法和和k-medoids算法等等層次方方法：對給給定數(shù)數(shù)據(jù)集集合進進行逐逐層遞遞歸的的合并并或者者分裂裂，因因此可可以被被分為為合并并或分分裂方方法。。合并并方法法首先先將每每個對對象都都作為為獨立立的類類，然然后持持續(xù)合合并相相近的的類，，直到到達到到終止止條件件為止止。分分裂方方法首首先將將所有有的數(shù)數(shù)據(jù)對對象置置于一一個類類中，，然后后反復(fù)復(fù)迭代代并判判定當(dāng)當(dāng)前的的類是是否可可以被被繼續(xù)續(xù)分裂裂，直直到達達到終終止條條件為為止基于密度的的方法：只要某區(qū)區(qū)域數(shù)據(jù)密密度超過閾閾值，就將將該區(qū)域的的數(shù)據(jù)進行行聚類。其其優(yōu)勢在于于噪音數(shù)據(jù)據(jù)下的抗干干擾能力，，并能夠發(fā)發(fā)現(xiàn)任意形形狀的聚類類聚類分析聚類分析的的方法（續(xù)續(xù)）基于網(wǎng)格的的方法：把對象空空間量化為為具有規(guī)則則形狀的單單元格，從從而形成一一個網(wǎng)格狀狀結(jié)構(gòu)。在在聚類的時時候，將每每個單元格格當(dāng)作一條條數(shù)據(jù)進行行處理。優(yōu)優(yōu)點是處理理速度很快快，因處理理時間與數(shù)數(shù)據(jù)對象數(shù)數(shù)目無關(guān)，，而只與量量化空間中中的單元格格數(shù)目相關(guān)關(guān)基于模型的的方法：如果事先先已知數(shù)據(jù)據(jù)是根據(jù)潛潛在的概率率分布生成成的，基于于模型的方方法便可為為每個聚類類構(gòu)建相關(guān)關(guān)的數(shù)據(jù)模模型，然后后尋找數(shù)據(jù)據(jù)對給定模模型的最佳佳匹配。主主要分兩類類：統(tǒng)計學(xué)學(xué)方法和神神經(jīng)網(wǎng)絡(luò)方方法離群點分析析離群點(Outlier)：數(shù)據(jù)集合合中存在的的一些數(shù)據(jù)據(jù)對象，它它們與其余余絕大多數(shù)數(shù)數(shù)據(jù)的特特性或模型型不一致尋找離群點點的意義發(fā)現(xiàn)信用卡卡詐騙。通過檢測測購物地點點、商品種種類或者購購物金額和和頻率，能能夠發(fā)現(xiàn)與與絕大多數(shù)數(shù)正常消費費不一樣的的記錄，這這種行為就就有可能屬屬于信用卡卡詐騙性使使用預(yù)防網(wǎng)絡(luò)詐詐騙。在網(wǎng)絡(luò)銷銷售的時候候，詐騙者者往往冒充充商家，出出售報價比比正常價格格低出許多多的商品，，這樣的行行為也是可可以通過離離群點分析析被找到的的離群點分析析尋找離群點點的方法基于統(tǒng)計的的方法：需要事先已已知數(shù)據(jù)的的分布或概概率模型(例如一個正正態(tài)分布)，然后根據(jù)據(jù)數(shù)據(jù)點與與該模型的的不一致性性檢驗來確確定離群點點基于距離的的方法：不需要數(shù)據(jù)據(jù)模型，而而是將那些些沒有足夠夠鄰居的數(shù)數(shù)據(jù)對象看看作是離群群點，這里里的鄰居是是基于距給給定對象的的距離來定定義的?，F(xiàn)現(xiàn)有的基于于距離的離離群點探測測算法又分分為基于索索引的算法法，嵌套循循環(huán)算法和和基于單元元的算法，，其目的都都是為了減減小計算和和I/O開銷基于偏移的的方法：不采用統(tǒng)計計檢驗或基基于距離的的度量值來來確定異常常對象。相相反，它通通過檢查數(shù)數(shù)據(jù)對象的的一組主要要特征來確確定離群點點。偏離事事先給出的的特征描述述的數(shù)據(jù)對對象被認為為是離群點點演化分析演化分析的目的是挖挖掘隨時間變化化的數(shù)據(jù)對象象的變化規(guī)規(guī)律和趨勢勢，并對其其建模，進進而為相關(guān)關(guān)決策提供供參考演化分析的的應(yīng)用對股票的演演化分析可可以得出整整個股票市市場和特定定的公司的的股票變化化規(guī)律，為為投資者決決策提供幫幫助對生態(tài)和氣氣候的演化化分析可以以知道人類類活動對自自然的影響響程度，為為環(huán)境保護護提供重要要依據(jù)…建模方法：：除了關(guān)聯(lián)分分析和分類類分析，還還包括與時時間相關(guān)的的數(shù)據(jù)分析析方法，主主要包括趨趨勢分析、、相似搜索索、序列模模式挖掘和和與周期分分析演化分析與時間相關(guān)關(guān)的數(shù)據(jù)分分析方法趨勢分析：：確定趨勢的的常見方法法是計算數(shù)數(shù)據(jù)n階的變化平平均值，或或者采用最最小二乘法法等方法平平滑數(shù)據(jù)變變化曲線相似搜索：：相似搜索用用于找出與與給定序列列最接近的的數(shù)據(jù)序列列序列模式挖挖掘：挖掘相對時時間或其它它維屬性出出現(xiàn)頻率高高的模式周期分析：：挖掘具有周周期的模式式或者關(guān)聯(lián)聯(lián)規(guī)則，例例如”若每每周六公司司的下班時時間比平時時晚半小時時以上，則則選擇打車車回家的人人數(shù)大約增增加20%”13.1數(shù)據(jù)挖掘概概述13.2數(shù)據(jù)挖掘的的基本類型型和算法*13.3智能決策與與物聯(lián)網(wǎng)數(shù)據(jù)挖掘在在物聯(lián)網(wǎng)背背景下有著著廣泛的需需求本章內(nèi)容13.3智能決策與與物聯(lián)網(wǎng)數(shù)據(jù)挖掘技技術(shù)在物聯(lián)聯(lián)網(wǎng)中的需需求精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析…精準(zhǔn)農(nóng)業(yè)精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析通過植入土土壤或暴露露在空氣中中的傳感器器監(jiān)控土壤壤性狀和環(huán)環(huán)境狀況。數(shù)據(jù)通過物物聯(lián)網(wǎng)傳輸輸?shù)竭h程控控制中心，，可及時查查清當(dāng)前農(nóng)農(nóng)作物的生長環(huán)境現(xiàn)現(xiàn)狀和變化化趨勢，確確定農(nóng)作物物的生產(chǎn)目目標(biāo)。通過數(shù)據(jù)挖挖掘的方法法，可以知知道：環(huán)境境溫度濕度度和土壤各各項參數(shù)等等因素是如如何影響農(nóng)農(nóng)作物產(chǎn)量量的，如何何調(diào)節(jié)它們們才能夠最最大限度地地提高農(nóng)作作物產(chǎn)量市場行銷精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析利用數(shù)據(jù)挖挖掘技術(shù)通通過對用戶戶數(shù)據(jù)的分分析，可以以得到關(guān)于于顧客購物物取向和興興趣的信息息，從而為為商業(yè)決策策提供依據(jù)據(jù)數(shù)據(jù)庫行銷銷(DatabaseMarketing)通過交互式式查詢、數(shù)數(shù)據(jù)分割和和模型預(yù)測測等方法來來選擇潛在在的顧客以以便向它們們推銷產(chǎn)品品預(yù)測采用何何種銷售渠渠道和優(yōu)惠惠條件，使使得用戶最最有可能被被打動貨籃分析(BasketAnalysis)通過分析市市場銷售數(shù)數(shù)據(jù)(例如POS數(shù)據(jù)庫)來發(fā)現(xiàn)顧客客的購買行行為模式智能家居精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析以獲取天氣氣信息為例例：一方面面，智能設(shè)設(shè)備隨時關(guān)關(guān)注氣象信信息，并針針對雨天發(fā)發(fā)出報警提提醒；另一一方面，另另外一些智智能終端會會隨時跟蹤蹤主人的行行蹤，并通通過數(shù)據(jù)挖挖掘方法由由主人的歷歷史行動特特征數(shù)據(jù)預(yù)預(yù)測他的去去向一旦預(yù)測到到主人要出出門，那么么就在合適適的時候由由相應(yīng)的智智能終端提提醒他不要要忘記帶雨雨傘。例如如，如果主主人在門口口，就將由由安裝在門門上的智能能設(shè)備向他他發(fā)出提醒醒，如果在在車內(nèi)，則則由車載計計算機發(fā)出出提醒金融安全精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析由于金融投投資的風(fēng)險險很大，所所以在進行行投資決策策時，需要要通過對各各種投資方方向的數(shù)據(jù)據(jù)進行分析析，以選擇擇最佳的投投資方向。。數(shù)據(jù)挖掘掘可以通過過對已有數(shù)數(shù)據(jù)的處理理，找到數(shù)數(shù)據(jù)對象之之間的關(guān)系系，然后利利用學(xué)習(xí)得得到的模式式進行合理理的預(yù)測金融欺詐識識別主要是是通過分析析正常行為為和詐騙行行為的數(shù)據(jù)據(jù)和模式，，得到詐騙騙行為的一一些特性，，這樣當(dāng)某某項業(yè)務(wù)記記錄符合這這樣的特征征時，識別別系統(tǒng)可以以向決策人人員提出警警告產(chǎn)品制造和和質(zhì)量監(jiān)控控精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析隨著科技進進步，制造造業(yè)已不是是簡單的手手工勞動，，而是集成成了多種先先進科技的的流水作業(yè)業(yè)。在產(chǎn)品品的生產(chǎn)制制造過程中中常常伴隨隨有大量的的數(shù)據(jù)，如如產(chǎn)品的各各種加工條條件或控制制參數(shù)(如時間、溫溫度等)。通過各種種監(jiān)控儀器器收集的這這些數(shù)據(jù)反反映了每個個生產(chǎn)環(huán)節(jié)節(jié)的狀態(tài)，，對生產(chǎn)的的順利進行行起著這關(guān)關(guān)重要的作作用。通過數(shù)據(jù)挖挖掘?qū)?shù)據(jù)據(jù)進行分析析，可以得得到產(chǎn)品質(zhì)質(zhì)量與這些些參數(shù)之間間的關(guān)系，，從而能獲獲得針對性性很強的建建議以改進進產(chǎn)品質(zhì)量量，而且有有可能發(fā)現(xiàn)現(xiàn)新的更高高效節(jié)約的的控制模式式，為廠家家?guī)碡S厚厚的回報互聯(lián)網(wǎng)用戶戶行為分析析精準(zhǔn)農(nóng)業(yè)市場行銷智能家居金融安全產(chǎn)品制造和和質(zhì)量監(jiān)控控互聯(lián)網(wǎng)用戶戶行為分析析隨著中國互互聯(lián)網(wǎng)用戶戶數(shù)的激增增，用戶在在互聯(lián)網(wǎng)上上的行為分分析逐漸引引起了關(guān)注注。例如，