數(shù)據(jù)挖掘技術(shù)及應(yīng)用

數(shù)據(jù)挖掘技術(shù)及應(yīng)用 廣州從興電子開發(fā)有限公司 2009.10 張良均 內(nèi) 容 數(shù)據(jù)挖掘 FAQ 數(shù)據(jù)挖掘過程 應(yīng)用案例 總結(jié) 數(shù)據(jù)挖掘 FAQ What? Why? How? Which? Who? 數(shù)據(jù)挖掘 FAQ What 是一個(gè)選擇、探索和建模的過程 按既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索，揭示隱藏其中的規(guī)律性，從而帶來業(yè)務(wù)價(jià)值 數(shù)據(jù)挖掘 FAQ Why 從數(shù)據(jù)中淘金 從數(shù)據(jù)中獲取智能 數(shù)據(jù)挖掘 FAQ Why 原始 數(shù)據(jù) 清洗后 的數(shù)據(jù) 標(biāo)準(zhǔn) 報(bào)表 即席查詢 &OLAP 解釋性模型 預(yù)測(cè)性模型 優(yōu)化 分析決策 能力 投資回報(bào)分析 (ROI) 信息 數(shù)據(jù) 知識(shí) 智能 發(fā)生了什么？ 為什么發(fā)生？ 將會(huì)發(fā)生什么？ 希望發(fā)生什么？ 數(shù)據(jù)挖掘 FAQ Which 客戶生命周期管理 起始（客戶獲?。簩?duì)新的品牌缺乏了解，處于觀望，忠誠(chéng)度低） 發(fā)展（客戶激活：使用頻率低，想嘗試其它產(chǎn)品） 成熟（客戶流失預(yù)測(cè)） 終止 CRM客戶關(guān)系管理 更多的錢包份額 (Wallet Share) 客戶獲取 (Acquisition) 客戶保持 (Retention) 預(yù)防欺詐 (Frand) WAR/F：幫你打贏這場(chǎng)戰(zhàn)爭(zhēng) 數(shù)據(jù)挖掘 FAQ Which 請(qǐng)大家列舉幾個(gè) 工作中數(shù)據(jù)挖掘應(yīng)用的例子？ ？數(shù)據(jù)挖掘 FAQ Which 預(yù)測(cè)性模型 分類 數(shù)值預(yù)測(cè) 聚類 關(guān)聯(lián)規(guī)則 時(shí)間序列預(yù)測(cè) 1、偷竊漏電預(yù)測(cè) 2、客戶信用風(fēng)險(xiǎn)預(yù)測(cè) 1、售電量預(yù)測(cè) 2、絕緣子漏電量預(yù)測(cè) 3、負(fù)荷預(yù)測(cè) 1、電力用戶分類 2、電力變壓器狀態(tài)評(píng)價(jià) 1、分時(shí)電價(jià)與售電量分析 1、負(fù)荷預(yù)測(cè) 2、線損預(yù)測(cè) 數(shù)據(jù)挖掘 FAQ Which 預(yù)測(cè)性模型 分類 數(shù)值預(yù)測(cè) 聚類 關(guān)聯(lián)分析 時(shí)間序列預(yù)測(cè) 1、概率回歸 2、對(duì)數(shù)回歸 3、決策樹模型 4、 MLP/RBF神經(jīng)網(wǎng)絡(luò) 1、線性回歸 2、非線性回歸 3、決策樹模型 4、 MLP/RBF神經(jīng)網(wǎng)絡(luò) 1、 K均值法 2、 SOM/KOHONEN神經(jīng)網(wǎng)絡(luò) 3、系統(tǒng)聚類法 1、關(guān)聯(lián)模式 2、序列模式 3、鏈接分析 4、相似時(shí)間序列 1、 ARIMA模型 2、支持向量機(jī) 3、灰色理論 4、移動(dòng)平均 數(shù)據(jù)挖掘 FAQ Who 高級(jí)業(yè)務(wù)分析人員 領(lǐng)導(dǎo)決策者 數(shù)據(jù)挖掘 FAQ How ？ 內(nèi) 容 數(shù)據(jù)挖掘 FAQ 數(shù)據(jù)挖掘過程 應(yīng)用案例 總結(jié) 數(shù)據(jù)挖掘過程 數(shù)據(jù)挖掘過程 數(shù)據(jù)取樣 從企業(yè)數(shù)據(jù)中精選用于數(shù)據(jù)挖掘的樣本 數(shù)據(jù)取樣時(shí)要嚴(yán)把質(zhì)量關(guān) 抽樣數(shù)據(jù)必須在足夠范圍內(nèi)有代表性 數(shù)據(jù)常分為訓(xùn)練、測(cè)試和驗(yàn)證數(shù)據(jù)集 數(shù)據(jù)挖掘過程 數(shù)據(jù)探索 抽樣數(shù)據(jù)是否達(dá)到設(shè)想要求 ? 有沒有什么明顯的規(guī)律和趨勢(shì) ? 有沒有出現(xiàn)從未設(shè)想過的數(shù)據(jù)狀態(tài) ? 因素之間有什么相關(guān)性 ? 是否有明顯的組差別 ? 數(shù)據(jù)挖掘過程 模式發(fā)現(xiàn) 對(duì)問題解決的要求需進(jìn)一步量化 過濾不需要的記錄知識(shí)的發(fā)現(xiàn) 數(shù)據(jù)結(jié)構(gòu)和內(nèi)容進(jìn)一步調(diào)整 數(shù)據(jù)挖掘過程 預(yù)測(cè)建模 數(shù)據(jù)挖掘的核心環(huán)節(jié) 根據(jù)數(shù)據(jù)集的特征和要實(shí)現(xiàn)的目標(biāo) ,選擇合適的數(shù)據(jù)挖掘方法 嘗試不同的建模技術(shù)，精煉模型 數(shù)據(jù)挖掘過程 模型評(píng)估 從多個(gè)模型中尋找最優(yōu)模型 模型評(píng)價(jià)方法： 建模數(shù)據(jù)進(jìn)行檢驗(yàn) 另找一批數(shù)據(jù)進(jìn)行檢驗(yàn) 發(fā)布有效的挖掘模型 內(nèi) 容 數(shù)據(jù)挖掘 FAQ 數(shù)據(jù)挖掘過程 應(yīng)用案例 總結(jié) 應(yīng)用案例 案例分析 在進(jìn)行電力規(guī)劃時(shí)，無論電源的建設(shè)，還是輸電，配電網(wǎng)的建設(shè)，需要負(fù)荷預(yù)測(cè)這一基礎(chǔ)數(shù)據(jù)； 在組織電力生產(chǎn)時(shí)，購(gòu)置多少燃料 (水，煤等 )，外部電網(wǎng)供應(yīng)多少，需要知道未來的負(fù)荷需求； 在每天的電力運(yùn)行調(diào)度過程中，安排每日的機(jī)組發(fā)電計(jì)劃，電網(wǎng)的運(yùn)行方式，也要提前知道負(fù)荷的大小 。 應(yīng)用案例 案例分析 超短期負(fù)荷預(yù)測(cè)：一小時(shí)以內(nèi)的負(fù)荷預(yù)測(cè)，用于安全監(jiān)視、預(yù)防性控制和緊急狀態(tài)處理。 短期負(fù)荷預(yù)測(cè)：對(duì)未來一天 24 小時(shí)到未來幾天的負(fù)荷預(yù)測(cè)，確定燃料的供應(yīng)計(jì)劃，對(duì)運(yùn)行中的電廠出力要求提出預(yù)告。 中長(zhǎng)期負(fù)荷預(yù)測(cè)：預(yù)測(cè)未來幾個(gè)月到未來幾年負(fù)荷的變化，主要確定電網(wǎng)的運(yùn)行方式和設(shè)備大修計(jì)劃等。 應(yīng)用案例 案例分析 負(fù)荷預(yù)測(cè)的方法很多，并且隨著這一領(lǐng)域研究的不斷深化，新的負(fù)荷預(yù)測(cè)方法不斷涌現(xiàn)。 傳統(tǒng)預(yù)測(cè)方法的基礎(chǔ)是傳統(tǒng)數(shù)學(xué)工具，代表性的方法有回歸模型法、時(shí)間序列法、趨勢(shì)外推法等?，F(xiàn)代預(yù)測(cè)方法是隨著人工智能研究領(lǐng)域的興起而出現(xiàn)的，它結(jié)合了人工智能領(lǐng)域的神經(jīng)網(wǎng)絡(luò)、小波分析、模糊數(shù)學(xué)等學(xué)科的最新研究成果，這是負(fù)荷預(yù)測(cè)方法發(fā)展歷史中一個(gè)里程碑。 由于影響負(fù)荷變化的因素有很多，且關(guān)系錯(cuò)綜復(fù)雜，尋常的模型如狀態(tài)估計(jì)和多元回歸等方法難于把握其影響因素和負(fù)荷變化之間的非線性函數(shù)關(guān)系，因此需要一種具有高度非線性函數(shù)映射關(guān)系的模型來進(jìn)行模擬，神經(jīng)元網(wǎng)絡(luò)模型就具有這樣的優(yōu)點(diǎn)和特性，事實(shí)上正是因?yàn)樗陌l(fā)展才使得高精度的負(fù)荷預(yù)測(cè)成為可能。 負(fù)荷預(yù)測(cè) 數(shù)據(jù)取樣 實(shí)時(shí)負(fù)荷數(shù)據(jù) 每日最高氣溫 是否節(jié)假日 突發(fā)事件 負(fù)荷預(yù)測(cè) 數(shù)據(jù)探索 樣本數(shù)據(jù)是否按時(shí)間順序排列？ 不同時(shí)間粒度 (年、月、日 )數(shù)據(jù)是否存在明顯分組？ 抽樣數(shù)據(jù)是否存在明顯的規(guī)律和趨勢(shì)？ 負(fù)荷值與哪些因素存在關(guān)聯(lián)？ 趨勢(shì)成分：顯示一個(gè)時(shí)間序列在較長(zhǎng)時(shí)期的變化趨勢(shì) 季節(jié)成分：反映時(shí)間序列在一年中有規(guī)律的變化 循環(huán)成分：反映時(shí)間序列在超過一年的時(shí)間內(nèi)有規(guī)律的變化 不規(guī)則成分：不能歸因于上述三種成分的時(shí)間序列的變化 4050607080901001101201301 2 3 4 5 6 7 8 9 10 11 12月銷量無趨勢(shì) 60657075808590951001051 3 5 7 9 11 13 15 17 19 21 23月銷量線性趨勢(shì) 901001101201301401501601701 3 5 7 9 11 13 15 17 19 21 23月銷量非線性趨勢(shì) 0204060801001 2 3 4 5 6 7 8 9 10 11 12月銷售額第一年第二年季節(jié)成分 負(fù)荷預(yù)測(cè) 數(shù)據(jù)探索 負(fù)荷預(yù)測(cè) 模式發(fā)現(xiàn) 明確預(yù)測(cè)目標(biāo)： 短期負(fù)荷預(yù)測(cè)？ 中期負(fù)荷預(yù)測(cè)？ 長(zhǎng)期負(fù)荷預(yù)測(cè)？ 數(shù)據(jù)分組：實(shí)時(shí)負(fù)荷、日負(fù)荷、月負(fù)荷 數(shù)據(jù)結(jié)構(gòu)和內(nèi)容調(diào)整 負(fù)荷預(yù)測(cè) 模式發(fā)現(xiàn) 負(fù)荷預(yù)測(cè) 預(yù)測(cè)建模 外推法：找出時(shí)間序列觀測(cè)值中的變化規(guī)律與趨勢(shì)，然后通過對(duì)這些規(guī)律或趨勢(shì)的外推來確定未來的預(yù)測(cè)值，包括： 移動(dòng)平均法 (時(shí)間序列沒有趨勢(shì)和季節(jié)成分 ) 指數(shù)平滑法 (時(shí)間序列沒有趨勢(shì)和季節(jié)成分 ) 趨勢(shì)預(yù)測(cè)法 (時(shí)間序列含有趨勢(shì)成分 ) 季節(jié)指數(shù)法 (時(shí)間序列含有季節(jié)成分 ) 因果法：尋找時(shí)間序列因變量觀測(cè)值與自變量觀測(cè)值之間的依賴關(guān)系，然后利用這種依賴關(guān)系和自變量的預(yù)計(jì)值來確定因變量的預(yù)測(cè)值。 回歸預(yù)測(cè)法 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè) 適用于圍繞一個(gè)穩(wěn)定水平上下波動(dòng)的時(shí)間序列。 利用平均使各個(gè)時(shí)間點(diǎn)上的觀測(cè)值中的隨機(jī)因素互相抵消掉，以獲得關(guān)于穩(wěn)定水平的預(yù)測(cè)。 將包括當(dāng)前時(shí)刻在內(nèi)的 N個(gè)時(shí)間點(diǎn)上的觀測(cè)值的平均值作為對(duì)于下一時(shí)刻的預(yù)測(cè)值（ N應(yīng)選擇得使 MSE極小化）。 負(fù)荷預(yù)測(cè) 移動(dòng)平均模型 負(fù)荷預(yù)測(cè) 移動(dòng)平均模型 改進(jìn)移動(dòng)平均預(yù)測(cè)模型，將計(jì)算平均值對(duì)于不同時(shí)期觀測(cè)值的權(quán)數(shù)設(shè)置得不同：近期的權(quán)數(shù)較大，遠(yuǎn)期的權(quán)數(shù)較小。 負(fù)荷預(yù)測(cè) 指數(shù)平滑模型 指數(shù)平滑的疊代算法。 負(fù)荷預(yù)測(cè) 指數(shù)平滑模型 負(fù)荷預(yù)測(cè) 指數(shù)平滑模型 當(dāng)電力負(fù)荷依時(shí)間變化呈現(xiàn)某種上升或下降的趨勢(shì)，并且無明顯的季節(jié)波動(dòng)，又能找到一條合適的函數(shù)曲線反映這種變化趨勢(shì)時(shí)，就可以用時(shí)間 t為自變量，時(shí)序數(shù)值 y為因變量，建立趨勢(shì)模型 y f(t)。賦予變量 t所需要的值，可以得到相應(yīng)時(shí)刻的時(shí)間序列未來值。這就是趨勢(shì)外推法。 線性趨勢(shì)預(yù)測(cè)法、對(duì)數(shù)趨勢(shì)預(yù)測(cè)法、二次曲線趨勢(shì)預(yù)測(cè)法、指數(shù)曲線趨勢(shì)預(yù)測(cè)法。 負(fù)荷預(yù)測(cè) 趨勢(shì)預(yù)測(cè)模型 負(fù)荷預(yù)測(cè) 趨勢(shì)預(yù)測(cè)模型 對(duì)于既含有線性 (非線性 )趨勢(shì)成分又含有季節(jié)成分的時(shí)間序列，可對(duì)其成分進(jìn)行分解，這種分解建立在以下乘法模型的基礎(chǔ)上： 其中， Tt表示趨勢(shì)成分， St表示季節(jié)成分，It表示不規(guī)則成分。由于不規(guī)則成分的不可預(yù)測(cè)，因此預(yù)測(cè)值就可表示為趨勢(shì)成分和季節(jié)成分的乘積。 負(fù)荷預(yù)測(cè) 季節(jié)指數(shù)模型 建立季節(jié)指數(shù)模型的一般步驟如下： 第一步，計(jì)算每一季（每季度，每月等等）的季節(jié)指數(shù) St 。 第二步，用時(shí)間序列的每一個(gè)觀測(cè)值除以適當(dāng)?shù)募竟?jié)指數(shù)，消除季節(jié)影響。 第三步，為消除了季節(jié)影響的時(shí)間序列建立適當(dāng)?shù)内厔?shì)模型并用這個(gè)模型進(jìn)行預(yù)測(cè)。 第四步，用預(yù)測(cè)值乘以季節(jié)指數(shù)，計(jì)算出最終的帶季節(jié)影響的預(yù)測(cè)值。 負(fù)荷預(yù)測(cè) 季節(jié)指數(shù)模型 灰色預(yù)測(cè)是一種對(duì)含有不確定因素的系統(tǒng)進(jìn)行預(yù)測(cè)的方法。 把一切隨機(jī)過程看作是在一定范圍內(nèi)變化的、與時(shí)間有關(guān)的灰色過程，可在數(shù)據(jù)不多的情況下找出某個(gè)時(shí)期內(nèi)起作用的規(guī)律，建立電量和負(fù)荷預(yù)測(cè)的模型。 負(fù)荷預(yù)測(cè) 灰色預(yù)測(cè)法 從因果關(guān)系出發(fā)，利用數(shù)理統(tǒng)計(jì)學(xué)中的回歸分析來找出事物變化的規(guī)律，從而進(jìn)行預(yù)測(cè)。分為簡(jiǎn)單線性回歸分析，多元線性回歸分析，非線性回歸分析。 回歸分析主要體現(xiàn)： 判別自變量是否能解釋因變量的顯著變化 -關(guān)系是否存在； 判別自變量能夠在多大程度上解釋因變量 -關(guān)系的強(qiáng)度； 判別關(guān)系的結(jié)構(gòu)或形式 -反映因變量和自變量之間相關(guān)的數(shù)學(xué)表達(dá)式； 預(yù)測(cè)自變量的值； 當(dāng)評(píng)價(jià)一個(gè)特殊變量或一組變量對(duì)因變量的貢獻(xiàn)時(shí)，對(duì)其自變量進(jìn)行控制。 負(fù)荷預(yù)測(cè) 回歸分析 傳統(tǒng)的預(yù)測(cè)模型是用顯式的數(shù)學(xué)表達(dá)式加以描述，這就決定了它的局限性。 由于影響負(fù)荷變化的因素有很多，且關(guān)系錯(cuò)綜復(fù)雜，尋常的模型如狀態(tài)估計(jì)和多元回歸等方法難于把握其影響因素和負(fù)荷變化之間的非線性函數(shù)關(guān)系，因此需要一種具有非線性函數(shù)映射關(guān)系的模型來進(jìn)行模擬。 神經(jīng)元網(wǎng)絡(luò)模型就具有這樣的優(yōu)點(diǎn)和特性，事實(shí)上正是因?yàn)樗陌l(fā)展才使得高精度的負(fù)荷預(yù)測(cè)成為可能。 負(fù)荷預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò) 負(fù)荷預(yù)測(cè) 神經(jīng)網(wǎng)絡(luò) 評(píng)價(jià)模型準(zhǔn)確性 均方誤差（ MSE） 平均絕對(duì)誤差（ MAE） 平方和誤差（ SSE） 平均相對(duì)誤差（ MAPE） 負(fù)荷預(yù)測(cè) 模型評(píng)估 內(nèi) 容 數(shù)據(jù)挖掘 FAQ 數(shù)據(jù)挖掘過程 應(yīng)用案例 總結(jié) 總結(jié) 課程總結(jié) 數(shù)據(jù)挖掘能使企業(yè)的商務(wù)智能流程真正形成閉環(huán)。它幫助企業(yè)不斷了解自身運(yùn)作中的各種問題、發(fā)現(xiàn)新的市場(chǎng)機(jī)會(huì)，并適時(shí)調(diào)整企業(yè)經(jīng)營(yíng)的策略，從而螺旋式地提高企業(yè)的經(jīng)營(yíng)情況和管理水平。 總結(jié) 電力數(shù)據(jù)挖掘技術(shù)應(yīng)用展望 對(duì)于電力系統(tǒng)這個(gè)存在著大量