基于海量數(shù)據(jù)的數(shù)據(jù)分析方案設(shè)計(jì)

1、基于海量數(shù)據(jù)的數(shù)據(jù)分析方案設(shè)計(jì)dataanalysisprogramdesignbasedonmassdata摘要：隨著互聯(lián)網(wǎng)，移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展，誰也無法否認(rèn)，我們來到了一個(gè)海量數(shù)據(jù)的時(shí)代。隨著數(shù)據(jù)積累的越來越多，現(xiàn)在許多行業(yè)大多面臨基于海量數(shù)據(jù)的分析問題，該文從基于海量數(shù)據(jù)挖掘的分析方法出發(fā)，利用河南省2005到2009年交通事故的數(shù)據(jù)，設(shè)計(jì)了一個(gè)數(shù)據(jù)分析方案。關(guān)鍵詞：海量數(shù)據(jù)，數(shù)據(jù)挖掘，回歸模型，方案Abstract:withthedevelopmentofInternet,mobileInternetanddevelopmentofInternetofthings,nobodyc

2、andenythatwecometoamassivedataera.Asdataaccumulatemoreandmore,manyindustriesarefacingproblemsbasedonlargeamountsofdataanalysis.ThispaperibasedontheanalysisofmassdataminingmethodofHenanprovincefrom2005to2009,usingthedataoftrafficaccidents,designesadataanalysisprogram.Keywords:massdata,datamining,regr

3、essionmodel,scheme一、引言隨著信息技術(shù)的發(fā)展，人們積累的數(shù)據(jù)越來越多。事實(shí)上，數(shù)據(jù)本身是沒有意義的，只有用以進(jìn)行分析處理才真正起到作用。因此，可以說激增的數(shù)據(jù)背后更重要的是隱含的信息，人們希望能夠?qū)@些數(shù)據(jù)進(jìn)行更高層次的分析，以便更好地利用這些數(shù)據(jù)。海量數(shù)據(jù)是發(fā)展趨勢，對數(shù)據(jù)分析和挖掘也越來越重要，從海量數(shù)據(jù)中提取有用信息重要而緊迫，這便要求處理要準(zhǔn)確，精度要高，而且處理時(shí)間要短，得到有價(jià)值信息要快，所以，對海量數(shù)據(jù)的研究很有前途，也很值得進(jìn)行廣泛深入的研究。在實(shí)際的工作環(huán)境下，許多人會遇到海量數(shù)據(jù)這個(gè)復(fù)雜而艱巨的問題，它的主要難點(diǎn)有以下幾個(gè)方面：數(shù)據(jù)量過大，數(shù)據(jù)中什么情況都

4、可能存在；軟硬件要求高，系統(tǒng)資源占用過高；要求很高的處理方法和技巧?；诤Ａ繑?shù)據(jù)的數(shù)據(jù)挖掘正在逐步興起，面對著超海量的數(shù)據(jù)，一般的挖掘軟件或算法往往采用數(shù)據(jù)抽樣的方式進(jìn)行處理，這樣的誤差不會很高，大大提高了處理效率和處理的成功率。數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中提取出隱含在其中的、可信、新穎、人們事先不知道的、但又是潛在有用的模式的高級處理過程。數(shù)據(jù)挖掘是由統(tǒng)計(jì)學(xué)、人工智能、數(shù)據(jù)庫、可視化技術(shù)等多個(gè)領(lǐng)域相融合而形成的一個(gè)交叉學(xué)科。除了進(jìn)行關(guān)系和規(guī)則的描述之外，數(shù)據(jù)挖掘的一個(gè)很重要的任務(wù)是分析。根據(jù)在過去和現(xiàn)在的數(shù)據(jù)中尋找到的規(guī)律建模，這樣的模式有時(shí)候也可以

5、認(rèn)為是以時(shí)間為關(guān)鍵屬性的關(guān)聯(lián)知識。一個(gè)數(shù)據(jù)挖掘系統(tǒng)可以自動在大型數(shù)據(jù)庫中尋找預(yù)測性信息，以往需要進(jìn)行大量手工分析的問題如今可以迅速直接由數(shù)據(jù)本身得出結(jié)論。一個(gè)典型的例子是數(shù)據(jù)挖掘在交通事故中的應(yīng)用，交通事故數(shù)據(jù)挖掘應(yīng)用分析的主要作用有：可以分析出影響交通安全的諸因素及其影響的輕重程度，預(yù)測交通事故的發(fā)展趨勢；發(fā)現(xiàn)和識別事故高發(fā)區(qū)域、交叉口和路段；可以分析交通事故成因、特征、規(guī)律及交通安全工作中的薄弱環(huán)節(jié)，明確交通安全管理工作的重點(diǎn)和對策等。一般情況下，分析的基本數(shù)據(jù)是時(shí)間序列數(shù)據(jù)，也就是按照時(shí)間先后存放在數(shù)據(jù)庫中的數(shù)據(jù)。時(shí)間序列預(yù)測法可用于短期、中期和長期預(yù)測。根據(jù)對資料分析方法的不同，又可分

6、為：簡單序時(shí)平均數(shù)法、加權(quán)序時(shí)平均數(shù)法、移動平均法、加權(quán)移動平均法、趨勢預(yù)測法、指數(shù)平滑法、季節(jié)性趨勢預(yù)測法、市場壽命周期預(yù)測法等。由于大量的時(shí)間序列是非平穩(wěn)的，其特征參數(shù)和數(shù)據(jù)分布隨著時(shí)間的推移而發(fā)生變化，因此，僅僅通過對某段歷史數(shù)據(jù)的訓(xùn)練，建立單一的神經(jīng)網(wǎng)絡(luò)模型，還無法完成準(zhǔn)確的建模任務(wù)。為此，人們提出了基于統(tǒng)計(jì)學(xué)和基于精確性的再訓(xùn)練方法，當(dāng)發(fā)現(xiàn)現(xiàn)存模型不再適用于當(dāng)前數(shù)據(jù)時(shí)，對模型重新訓(xùn)練，獲得新的權(quán)重參數(shù)，建立新的模型。也可以根據(jù)問題規(guī)模的不同采用并行算法的計(jì)算優(yōu)勢進(jìn)行分析。二數(shù)據(jù)挖掘分析的過程（一）問題定義一個(gè)行業(yè)或者機(jī)構(gòu)面臨的數(shù)據(jù)挖掘需求總是多種多樣的，在問題形成之前甚至需要多次研究

7、問題本身，再由問題提煉出模型。這樣，一個(gè)數(shù)據(jù)挖掘的使用者最先也是最重要的就是熟悉背景知識，弄清需求，要想充分發(fā)揮數(shù)據(jù)挖掘的價(jià)值，必須對目標(biāo)要有一個(gè)清晰明確的定義，即決定到底想干什么。（二）獲取數(shù)據(jù)資源，建立數(shù)據(jù)挖掘庫要進(jìn)行數(shù)據(jù)挖掘必須收集到要挖掘的數(shù)據(jù)資源。更多情況下，這些數(shù)據(jù)資源分布在不同的數(shù)據(jù)源里，因?yàn)榇蟛糠智闆r下需要預(yù)處理，修改這些數(shù)據(jù)，而且常會遇到采用外部數(shù)據(jù)的情況，所以應(yīng)該盡量將其收集到一個(gè)數(shù)據(jù)庫或者數(shù)據(jù)倉庫中。（三）分析和調(diào)整數(shù)據(jù)分析數(shù)據(jù)就是數(shù)據(jù)深入研究其規(guī)律的過程，從數(shù)據(jù)集中找出規(guī)律和趨勢，可以采用聚類分類關(guān)聯(lián)規(guī)則發(fā)現(xiàn)等具體的分析技術(shù)，最終要達(dá)到的目的就是搞清楚多因素相互影響的復(fù)

8、雜關(guān)系，最后發(fā)現(xiàn)因素之間的相關(guān)性。調(diào)整數(shù)據(jù)是基于以上數(shù)據(jù)分析的過程和結(jié)論，在對數(shù)據(jù)狀態(tài)和趨勢有了進(jìn)一步了解的基礎(chǔ)上進(jìn)行數(shù)據(jù)調(diào)整，這時(shí)對問題要進(jìn)一步明確化、量化，針對問題的需求對數(shù)據(jù)進(jìn)行增刪，按照對整個(gè)數(shù)據(jù)挖掘過程的新認(rèn)識組合或生成一個(gè)新的變量，以體現(xiàn)對狀態(tài)的準(zhǔn)確描述。（四）模型化這是數(shù)據(jù)挖掘的核心環(huán)節(jié)，在經(jīng)過以上步驟的處理和分析后，問題進(jìn)一步明確數(shù)據(jù)結(jié)構(gòu)和內(nèi)容進(jìn)一步根據(jù)需求進(jìn)行了調(diào)整，就可以建立數(shù)據(jù)挖掘模型。在預(yù)測過程中，一般是用神經(jīng)網(wǎng)絡(luò)、決策樹、數(shù)理統(tǒng)計(jì)、時(shí)間序列分析等方法來建立模型。三、數(shù)據(jù)模型的建立和分析（一）收集數(shù)據(jù)在全國道路交通事故情況中選取2005-2009年河南省交通事故情況進(jìn)行

9、分析其中XI為事故起數(shù)，X2為死傷人數(shù)，X3為受傷人數(shù)，Y為直接財(cái)產(chǎn)損失。tx1x2x3y2005237784587228311067492022006184024046191936849191720071631434301908763205105200811529282213024491045952009858720181015933028766事故起數(shù)死亡人數(shù)受傷人數(shù)口直接財(cái)產(chǎn)損失（二）分析方法簡介回歸分析是實(shí)際工作中應(yīng)用最廣泛的統(tǒng)計(jì)方法之一，概括的講，回歸分析是描述兩個(gè)或兩個(gè)以上變量間關(guān)系的一種統(tǒng)計(jì)方法。在實(shí)際工作中回歸分析的應(yīng)用范圍很廣，回歸分析可以求出自變量與因變量之間的經(jīng)驗(yàn)公式，所

10、以，只要需要定量分析多變量之間相關(guān)關(guān)系時(shí)都是必不可少的。尤其在現(xiàn)在流行的數(shù)據(jù)挖掘技術(shù)中，回歸分析也是必不可少的。通過對已知訓(xùn)練數(shù)據(jù)進(jìn)行回歸分析得出經(jīng)驗(yàn)公式，利用經(jīng)驗(yàn)公式就可以在已知自變量的情況下預(yù)測因變量的取值。（三）分析從圖二可以看出，直接財(cái)產(chǎn)損失和事故起數(shù)、死亡及受傷人數(shù)都有關(guān)系；圖2直接財(cái)產(chǎn)損失與事故起數(shù)、死亡人數(shù)和受傷人數(shù)的相關(guān)折線圖（一）簡單相關(guān)分析從簡單相關(guān)系數(shù)（表二）可以看出，在不考慮相互影響的情況下，河南省交通事故直接財(cái)產(chǎn)損失與全年交通事故總數(shù)、死亡人數(shù)和受傷人數(shù)均成正向高度相關(guān)，這說明上述三個(gè)因素都是直接財(cái)產(chǎn)損失的重要因素，其重要次序依次為事故起數(shù)，死亡人數(shù)和受傷人數(shù)。表1交

11、通事故直接損失與影響因素之間的簡單相關(guān)系數(shù)YX1X2X3Y1.0000000.9786060.9460950.934363X10.9786061.0000000.9853320.979823X20.9460950.9853321.0000000.971186X30.9343630.9798230.9711861.000000因變量Y與自變量XI,X2,X3是直接的關(guān)系，因此，在進(jìn)行多元線性回歸的時(shí)候?qū)I，X2，X3直接納入模型。（二）回歸分析表2：變量進(jìn)入情況1,輸入/移去的變量模型輸入的變量移去的變量方法1受傷人數(shù)，死亡人數(shù)，事故起數(shù)a輸入a.已輸入所有請求的變量。表3：模型擬合度檢驗(yàn)2,

12、模型匯總b模型RR方調(diào)整R方標(biāo)準(zhǔn)估計(jì)的誤差1.990a.980.9217733796.958預(yù)測變量：（常量），受傷人數(shù)，死亡人數(shù)，事故起數(shù)。因變量：直接財(cái)產(chǎn)損失表二所示的是對模型擬合度的檢驗(yàn)結(jié)果。對于多元線性回歸模型，一般應(yīng)采用其調(diào)整的決定系數(shù)來判斷，在本例中，其值為0.921，說明其擬合程度是可以接受的。表4：方差分析表Anovab模型平方和df均方FSig.1回歸2.970E1539.898E1416.549.178a殘差5.981E1315.981E13總計(jì)3.029E154預(yù)測變量：（常量），受傷人數(shù)，死亡人數(shù)，事故起數(shù)。因變量：直接財(cái)產(chǎn)損失表三所示是模型檢驗(yàn)結(jié)果，這是一個(gè)標(biāo)準(zhǔn)的方差

13、分析表，回歸模型的Sig.值為0.178，說明該模型有顯著的統(tǒng)計(jì)意義。3，建立模型表5：回歸分析結(jié)果非標(biāo)淮4七系數(shù)標(biāo)堆系數(shù)樽型B標(biāo)堆誤差試用版tSig.1常量）1.349E72.261E7.597.657事故起數(shù)9340.5584617.9952.0162.024.292死亡人數(shù)-14099.44922790.067-.517-.619.647受傷人數(shù)-2830.1653018.512-.539-756.588乩因變量:直接財(cái)產(chǎn)損失由未標(biāo)準(zhǔn)化的回歸系數(shù)可知，擬合結(jié)果為Y=9348.558X1-14099.449X2-2888.165X3，四、結(jié)論數(shù)據(jù)挖掘經(jīng)常會在行業(yè)中得到應(yīng)用，主要是根據(jù)歷史情

14、況進(jìn)行建模，統(tǒng)計(jì)一直是分析的一個(gè)基本工具。在海量數(shù)據(jù)的前提下可以直接應(yīng)用在數(shù)據(jù)挖掘的過程中，討論了數(shù)據(jù)挖掘預(yù)測中的處理模式設(shè)計(jì)，然后就交通安全事故的相關(guān)分析進(jìn)行了討論，就模型的選擇、評價(jià)和應(yīng)用都進(jìn)行了深入的討論。面對日益嚴(yán)峻的道路交通安全形勢，交通管理部門應(yīng)該越來越重視對交通事故數(shù)據(jù)的收集和分析工作。在分析道路交通事故現(xiàn)狀的基礎(chǔ)上，應(yīng)用數(shù)據(jù)挖掘技術(shù)，可以更為完善的處理復(fù)雜、稀疏、多維、不全的數(shù)據(jù)，從而做出更為科學(xué)的決策。因而，應(yīng)用數(shù)據(jù)挖掘技術(shù)分析預(yù)防道路交通事故，對于保障人們的人身安全，減少國家的經(jīng)濟(jì)損失有著積極作用。相信數(shù)據(jù)挖掘技術(shù)在海量數(shù)據(jù)預(yù)測中的應(yīng)用會為道路交通事故分析預(yù)防工作提出新的思

15、維方式。參考文獻(xiàn)：【1】王一夫，陳松橋，陳安的海量數(shù)據(jù)預(yù)測模型設(shè)計(jì)及案例分析【Z】， HYPERLINK /view/043906d6360cba1aa811da49.html /view/043906d6360cba1aa811da49.html【2】李武選，郭巖紅，李源，李軍的2004年某縣交通事故數(shù)據(jù)挖掘分析【J】。長安大學(xué)學(xué)報(bào)，2009，11（1）：49-54?！?】吳昊，李軍國的基于關(guān)聯(lián)規(guī)則理論的道路交通事故數(shù)據(jù)挖掘模型【D】，百度文庫?！?】楊進(jìn)倩,孔令人,夏毓榮的數(shù)據(jù)挖掘技術(shù)在道路交通事故分析和預(yù)防中的作用【D】，百度文庫。【5】趙衛(wèi)亞，彭壽康，朱晉的計(jì)量經(jīng)濟(jì)學(xué)書【M】。機(jī)械工業(yè)出版社，2009.【6】數(shù)據(jù)挖掘技術(shù)綜述【Z】，百度文庫。【7】中國歷年交通事故死亡人數(shù)官方統(tǒng)計(jì)Z】, H