數(shù)據(jù)挖掘在企業(yè)中的應(yīng)用

數(shù)據(jù)挖掘在企業(yè)中的應(yīng)用近年來，人們希望有新的技術(shù)和工具對大量數(shù)據(jù)進(jìn)行強(qiáng)有力的分析，從中提取出有價(jià)值的信息，為決策者提供必要的支持。由此，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。許多企業(yè)實(shí)施了ERP系統(tǒng)，完成了企業(yè)業(yè)務(wù)管理的功能，并形成了準(zhǔn)確、及時(shí)、完整的基礎(chǔ)數(shù)據(jù)。然而，決策中最重要問題是如何獲取更高層次的知識，來把握企業(yè)整體運(yùn)作和決定企業(yè)未來的戰(zhàn)略發(fā)展，這就需要可靠的決策支持系統(tǒng)，而數(shù)據(jù)挖掘技術(shù)就成為實(shí)現(xiàn)決策支持系統(tǒng)的最佳途徑。一、數(shù)據(jù)挖掘的發(fā)展20世紀(jì)90年代以來，由于經(jīng)濟(jì)全球化和市場國際化的發(fā)展趨勢，制造業(yè)所面臨的競爭更趨激烈。經(jīng)歷了40年代的訂貨點(diǎn)法、60年代的時(shí)段式MRP、70年代的閉環(huán)MRP、80年代的MRPII后，隨著市場競爭的加劇，企業(yè)競爭空問與范圍進(jìn)一步擴(kuò)大，MRPII逐步發(fā)展為怎么樣有效利用和管理整體資源的管理思想。隨后，在MRPII基礎(chǔ)上發(fā)展起來的ERP于90年代產(chǎn)生[]。ERP是一個(gè)高度集成的信息系統(tǒng)，它體現(xiàn)了物流信息與資金流信息的集成。在ERP系統(tǒng)中，制造、供銷和財(cái)務(wù)三大部分是其重要組成部分。此外，在功能上還增加了支持物料流通體系的運(yùn)輸管理、倉庫管理；支持在線分析處理(OLAP)、售后服務(wù)及質(zhì)量反饋；支持生產(chǎn)保障體系的質(zhì)量管理、試驗(yàn)室管理、設(shè)備維修和備品備件管理；支持跨國經(jīng)營的多國家地區(qū)、多工廠、多語種、多幣值需求；支持多種生產(chǎn)類型或混合型制造企業(yè)：支持遠(yuǎn)程通信(web／Intranet／Internet／E—business)、電子數(shù)據(jù)交換(EDI)、電子商務(wù)(E—cormerce)；支持工作流動態(tài)模型變化與信息處理程序命令的集成等。事實(shí)上，當(dāng)前的一些ERP軟件所具備的功能已經(jīng)遠(yuǎn)遠(yuǎn)超出制造業(yè)的應(yīng)用范圍，成為一種適應(yīng)性強(qiáng)、具有廣泛應(yīng)用意義的企業(yè)管理信息系統(tǒng)[]。隨著企業(yè)信息化的發(fā)展，ERP做為一個(gè)集成的、以電子化的管理信息與業(yè)務(wù)流程貫穿于企業(yè)經(jīng)營各個(gè)方面的系統(tǒng)，在企業(yè)中廣泛得以應(yīng)用，極大地提高了企業(yè)的競爭力，并且積累了比較準(zhǔn)確的、及時(shí)的、完整的基本事務(wù)數(shù)據(jù)。然而，對于企業(yè)管理層來說，想要得到可以輔助決策的信息，就需要決策支持系統(tǒng)。它是以管理科學(xué)、計(jì)算機(jī)科學(xué)等為基礎(chǔ)，以計(jì)算機(jī)技術(shù)、人工智能技術(shù)、數(shù)學(xué)方法和信息技術(shù)等為手段，主要面對半結(jié)構(gòu)化的決策問題，支持中高級決策者的決策活動的一種人機(jī)交互系統(tǒng)。它能為決策者迅速而準(zhǔn)確地提供決策需要的數(shù)據(jù)、信息和背景材料，幫助決筑者明確目標(biāo)，建立和修改模型，提供備選方案，評價(jià)和優(yōu)選各種方案，通過人機(jī)對話進(jìn)行分析、比較和判斷，為正確決策提供有力支持[]。根據(jù)這個(gè)定義，可以看到現(xiàn)有ERP系統(tǒng)滿足的只是預(yù)先定義處理規(guī)則的日常決策。例如，根據(jù)企業(yè)制定的庫存最低限額，倉庫管理員每天都要做出這樣的決策：今天有哪些材料要提請采購、采購量各是多少等?而那些戰(zhàn)術(shù)層次的、半結(jié)構(gòu)的決策，ERP系統(tǒng)就不能像操作決策那樣完全可以駕馭、甚至取代人來完成了。例如，年度經(jīng)營預(yù)算的編制，無論是以銷售收入為起點(diǎn)的預(yù)算、還是以制造數(shù)量為起點(diǎn)的預(yù)算，雖然有其規(guī)范的編制格式和項(xiàng)目間的聯(lián)動關(guān)系，但其起點(diǎn)的銷售收入和制造數(shù)量，則由于相關(guān)因素太多，而不能給出非常合理的預(yù)測。不難看出，ERP只能完成量化的部分、來自內(nèi)部與歷史的部分，而那些定性的、柔性的部分，只能由決策者在此基礎(chǔ)上自行完成。所以，如何由ERP系統(tǒng)直接為決策者提供基于歷史數(shù)據(jù)的決策支持，正是現(xiàn)有ERP系統(tǒng)期待解決的問題。數(shù)據(jù)挖掘(DataMining，DM)的出現(xiàn)解決了這一問題，它是從數(shù)據(jù)中發(fā)現(xiàn)趨勢或模式的過程。這一過程的目標(biāo)就是通過對大量數(shù)據(jù)的分類從而抽取出人們感興趣的知識，這些知識是隱含的、事先未知的但非常有用的重要信息。DM能自動地分析企業(yè)的數(shù)據(jù)，做出歸納性推理，從中挖掘出潛在的模式和規(guī)律，預(yù)測在未來可能發(fā)生的行為，幫助決策者做出正確決策[]。數(shù)據(jù)挖掘技術(shù)發(fā)展迅速，一些通用數(shù)據(jù)挖掘軟件相繼誕生，例如DBMiner、IntelligentMiner等。然而通用數(shù)據(jù)挖掘系統(tǒng)在處理特定應(yīng)用問題時(shí)有其局限性，因?yàn)镋RP系統(tǒng)有其特殊性和復(fù)雜性，它需要與數(shù)據(jù)挖掘融合起來，采用符合ERP系統(tǒng)要求的挖掘模型和算法，將挖掘結(jié)果結(jié)合到ERP系統(tǒng)的決策功能中。針對這些問題，文獻(xiàn)[]提出了一個(gè)將數(shù)據(jù)倉庫和數(shù)據(jù)挖掘技術(shù)應(yīng)用到ERP采購管理的模型DWBPMS(DataWarehouseBasedPurchaseManagementSystem)，強(qiáng)調(diào)數(shù)據(jù)挖掘結(jié)合在ERP中的體系結(jié)構(gòu)。文獻(xiàn)[]針對ERP銷售數(shù)據(jù)的特點(diǎn)，強(qiáng)調(diào)用神經(jīng)網(wǎng)絡(luò)預(yù)測銷售的時(shí)阿序列方法應(yīng)用于ERP數(shù)據(jù)挖掘中。文獻(xiàn)[]提出了一種智能制造資源計(jì)劃和智能企業(yè)資源計(jì)劃的全新系統(tǒng)模式，即IMRPII／IERP=MRPII／ERP+Dw十0LAP+DM，設(shè)計(jì)出了一種智能預(yù)測模塊的方法。文獻(xiàn)[]的DSS設(shè)計(jì)方案中，提出了基于C／S和B／S的OLAM混合結(jié)構(gòu)，采用了多種數(shù)學(xué)模型來滿足挖掘需求，并運(yùn)用到企業(yè)級決策支持系統(tǒng)中。文獻(xiàn)[]從系統(tǒng)工程進(jìn)行決策分析的角度出發(fā)，將決策系統(tǒng)分為相容性和不相容性決策系統(tǒng)，針對不同系統(tǒng)的特點(diǎn)提出不同的挖掘模型，并利用粗糙集的方法進(jìn)行數(shù)據(jù)的約減和規(guī)則提取等。文獻(xiàn)[]描述了在ERP系統(tǒng)中進(jìn)行知識發(fā)現(xiàn)和數(shù)據(jù)挖掘所用到的理論和技術(shù)支持、評價(jià)標(biāo)準(zhǔn)等，從而建立起一個(gè)基本的框架結(jié)構(gòu)?？梢钥吹?，在決策支持系統(tǒng)中采用數(shù)據(jù)挖掘技術(shù)以及ERP與數(shù)據(jù)挖掘技術(shù)的結(jié)合已經(jīng)取得了一定的進(jìn)步，但由于ERP系統(tǒng)的復(fù)雜性和特殊性，數(shù)據(jù)挖掘在這一領(lǐng)域的應(yīng)用還需要進(jìn)一步的研究。二、分類算法與決策系統(tǒng)在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域中分類是一項(xiàng)非常重要的基本任務(wù)。它能對大量有關(guān)數(shù)據(jù)進(jìn)行學(xué)習(xí)和分析，并建立相應(yīng)問題領(lǐng)域中的分類模型。該技術(shù)在科學(xué)、通訊、金融等領(lǐng)域均有著廣泛的應(yīng)用．決策樹分類方法作為分類知識發(fā)現(xiàn)的一種非常重要方法，它具有良好的可解釋性、分類速度快、分類性能優(yōu)越，因此，研究決策樹分類器算法逐漸成為一個(gè)活躍的研究領(lǐng)域。最為典型的決策樹分類器學(xué)習(xí)算法是ID3算法，它采用自頂向下分而治之的策略，利用信息增益的標(biāo)準(zhǔn)選擇分裂屬性，能保證構(gòu)造出一棵簡單的樹。但是它只能處理枚舉型屬性，不能解決過適應(yīng)問題。C4．5算法很好地?cái)U(kuò)展了ID3算法，它將分類領(lǐng)域從枚舉型屬性擴(kuò)展到連續(xù)值屬性，同時(shí)采用剪枝策略很好地解決了過適應(yīng)問題。目前它己成為現(xiàn)在公認(rèn)的性能較優(yōu)的決策樹分類器算法。在實(shí)際應(yīng)用中，我們所構(gòu)建的決策樹通常是基于大型數(shù)據(jù)庫中的海量數(shù)據(jù)，如何將決策樹的構(gòu)建與數(shù)據(jù)庫技術(shù)充分結(jié)合起來仍是一個(gè)值得研究的問題，為此，很多以前提出的算法被重新研究和拓展。分類技術(shù)是數(shù)據(jù)挖掘的重要分支，它能夠?qū)Ω鱾€(gè)行業(yè)提供良好的決策支持，對整個(gè)社會的發(fā)展產(chǎn)生重要而深遠(yuǎn)的影響。用于分類挖掘技術(shù)的方法有很多，如決策樹方法、遺傳算法、貝葉斯網(wǎng)絡(luò)、粗糙集、K最臨近方法、關(guān)聯(lián)規(guī)則方法等等。在這些方法中，決策樹方法以其算法容易被入理解、易轉(zhuǎn)換成IF-THEN分類規(guī)則、效率較高等優(yōu)點(diǎn)被廣泛研究與應(yīng)用，使得它在數(shù)據(jù)挖掘領(lǐng)域中有著重要的地位。目前分類挖掘在實(shí)際應(yīng)用中有著很重要的應(yīng)用價(jià)值，在很多行業(yè)領(lǐng)域都取得實(shí)現(xiàn)了決策模型的移植和重用，從而降低了DSS系統(tǒng)的開發(fā)周期和費(fèi)用，使我們能利用模型組件快速搭建系統(tǒng)，同時(shí)也提高了系統(tǒng)的可維護(hù)性、可靠性和可擴(kuò)充性。五、決策系統(tǒng)在汽車ERP中的應(yīng)用近年來，企業(yè)資源計(jì)劃ERP在我國的應(yīng)用越來越廣泛，許多企業(yè)把實(shí)施ERP系統(tǒng)作為在WTO環(huán)境下實(shí)現(xiàn)企業(yè)信息化、提升競爭力的唯一選擇。然而，對汽車業(yè)的調(diào)查資料顯示：ERP系統(tǒng)實(shí)施運(yùn)行后，雖然在一定程度上有效地改善了企業(yè)內(nèi)部管理，但系統(tǒng)積累的大量實(shí)時(shí)數(shù)據(jù)沒有被深層次綜合分析利用，系統(tǒng)存在數(shù)據(jù)利用程度不夠、預(yù)測功能難以有效實(shí)現(xiàn)等缺陷。事實(shí)上，ERP作為一種先進(jìn)的企業(yè)管理信息系統(tǒng)，其基本特征是“聯(lián)機(jī)事務(wù)處理”【】，一般著眼于企業(yè)的后臺管理，把需求預(yù)測作為外部輸入，但是用常規(guī)數(shù)據(jù)分析方法進(jìn)行的市場銷售預(yù)測往往不準(zhǔn)確，因而難以依據(jù)這種預(yù)測合理地安排生產(chǎn)。能否利用ERP系統(tǒng)本身積累的大量完整數(shù)據(jù)資料，并通過導(dǎo)入數(shù)據(jù)挖掘技術(shù)找出預(yù)測所需的信息呢？在中國Geely汽車公司ERP系統(tǒng)中的研究實(shí)驗(yàn)表明，利用決策樹方法在GL-ERP系統(tǒng)中進(jìn)行數(shù)據(jù)挖掘是有效的，可以為系統(tǒng)的需求預(yù)測提供一些潛在的有用信息，在一定程度上緩解傳統(tǒng)ERP系統(tǒng)把需求預(yù)測作為外部輸入帶來的局限性。六、數(shù)據(jù)倉庫在稅收領(lǐng)域的應(yīng)用1稅務(wù)系統(tǒng)信息化建設(shè)現(xiàn)狀和存在的問題伴隨著信息技術(shù)的迅猛發(fā)展，稅務(wù)部門的信息化建設(shè)水平也在不斷提高，信息技術(shù)已經(jīng)融人到涉稅事務(wù)的方方面面。但是現(xiàn)有的不同版本、不同功能的稅收業(yè)務(wù)系統(tǒng)并不能解決稅務(wù)決策支持所帶來的問題，主要原因如下：1、數(shù)據(jù)的處理時(shí)效問題稅收業(yè)務(wù)系統(tǒng)主要解決稅務(wù)人員在日常事務(wù)處理中面臨的問題，側(cè)重于事務(wù)處理的操作性和實(shí)時(shí)性。而稅務(wù)決策支持則需要遍歷大量的涉稅數(shù)據(jù)，問題處理的時(shí)間亦較長，有時(shí)可能會連續(xù)運(yùn)行多個(gè)小時(shí)，因此用稅收業(yè)務(wù)系統(tǒng)來處理稅務(wù)決策支持所需要解決的問題顯然是不合適的【】。2、數(shù)據(jù)的集成性問題稅收業(yè)務(wù)系統(tǒng)主要解決某項(xiàng)具體的涉稅事務(wù)，例如申報(bào)征收、稅務(wù)稽查、執(zhí)法考核等，側(cè)重于稅務(wù)系統(tǒng)內(nèi)部的事務(wù)。而稅務(wù)決策支持要解決某個(gè)決策分析問題，則不僅需要稅務(wù)部門內(nèi)部的數(shù)據(jù)，還需要銀行、工商、統(tǒng)計(jì)等部門的外部數(shù)據(jù)，這就涉及到系統(tǒng)數(shù)據(jù)的集成性問題，而一般的稅收業(yè)務(wù)系統(tǒng)則不具備這樣的功能【】。3、數(shù)據(jù)的時(shí)間性問題稅收業(yè)務(wù)系統(tǒng)主要解決當(dāng)前的涉稅操作問題，數(shù)據(jù)庫中只保存短期的數(shù)據(jù)而稅務(wù)決策支持要解決的問題在時(shí)間上有比較大的跨度，因此只保留短期的涉稅數(shù)據(jù)是遠(yuǎn)遠(yuǎn)不夠的，它可能需要幾年前甚至更長時(shí)間的相關(guān)數(shù)據(jù)，對數(shù)據(jù)的時(shí)間性要求更高【】。4、數(shù)據(jù)的綜合性問題由于稅收業(yè)務(wù)系統(tǒng)主要處理的是日常操作型問題，系統(tǒng)產(chǎn)生了大量的細(xì)節(jié)數(shù)據(jù)，而稅務(wù)決策支持是對某個(gè)問題進(jìn)行宏觀的決策分析，這些數(shù)據(jù)的存在將會影響分析的效率，同時(shí)亦不利于分析人員在浩瀚的數(shù)據(jù)中找到有價(jià)值的