數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)

數(shù)據(jù)挖掘?qū)嵙?xí)報(bào)告題目：數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)院系：學(xué)號(hào)：學(xué)生姓名：指導(dǎo)教師：日期：2011/12/26數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)1系統(tǒng)開發(fā)目的及背景隨著科學(xué)技術(shù)的開展，信息時(shí)代的來臨，可以說我們正處在一個(gè)信息大爆炸的時(shí)代，我們的生活時(shí)時(shí)刻刻都被信息籠罩著。我們隨時(shí)也都在使用數(shù)據(jù)，當(dāng)然也在產(chǎn)生數(shù)據(jù)，但是我們?nèi)绾胃玫厥褂脭?shù)據(jù)，從看似無用的巨大數(shù)據(jù)中挖掘出有用的知識(shí)或者規(guī)律，為我們做出一些目標(biāo)的規(guī)劃或設(shè)計(jì)時(shí)提供科學(xué)的支持？為初步解決這個(gè)問題，我們的系統(tǒng)應(yīng)運(yùn)而生！在這個(gè)時(shí)代，最優(yōu)化問題已經(jīng)滲透到管理、經(jīng)濟(jì)和工程技術(shù)等領(lǐng)域的各個(gè)方面?，F(xiàn)代科學(xué)技術(shù)特別是計(jì)算機(jī)技術(shù)的迅速開展，為求解最優(yōu)化問題提供了雄厚的根底和有效地手段。因此，最優(yōu)化技術(shù)具有十分重要的現(xiàn)實(shí)意義。隨著數(shù)據(jù)的不斷使用，數(shù)值分析就愈發(fā)的顯出其重要性。數(shù)值分析是科學(xué)計(jì)算的重要根底之一，承當(dāng)著引導(dǎo)計(jì)算科學(xué)入門到詳細(xì)介紹常用的現(xiàn)代科學(xué)計(jì)算的優(yōu)化算法，為我們能快速高效的使用龐大的數(shù)據(jù)提供了科學(xué)的方法。近年來，網(wǎng)絡(luò)的快速開展與普及，使人類開始真正體會(huì)到了數(shù)據(jù)海洋的無邊無際，也將人們陷入了一個(gè)“數(shù)據(jù)豐富，知識(shí)匱乏”的為難境地。面對(duì)如此巨大的數(shù)據(jù)資源，人們迫切需要新的數(shù)據(jù)分析方法和技術(shù)，以便能夠利用信息技術(shù)開展的新成果，將這些巨大的數(shù)據(jù)資源轉(zhuǎn)化成有價(jià)值的信息和知識(shí)，為我們制定科學(xué)的決策提供支持。2工程方案任務(wù)用Matlab數(shù)學(xué)平臺(tái)開發(fā)一個(gè)數(shù)據(jù)挖掘系統(tǒng)主要功能如下：a).最優(yōu)化——包括一些常用的最優(yōu)化方法的程序?qū)崿F(xiàn)，使一些實(shí)際問題分析求解的過程過程功能化，求解簡(jiǎn)單化，求解結(jié)果精確化。b).數(shù)值計(jì)算——包括一些重要的典型算法的功能程序化，界面化，使一些大型的數(shù)據(jù)分析及功能運(yùn)算模式化，機(jī)器化。c).數(shù)據(jù)挖掘——包括一些重要的分類方法的程序?qū)崿F(xiàn)，便于使用者對(duì)巨大的數(shù)據(jù)具有初步的處理和挖掘，為其科學(xué)決策提供支持。3系統(tǒng)設(shè)計(jì)思路本系統(tǒng)的設(shè)計(jì)思路與其他系統(tǒng)開發(fā)的思路相同，采用模塊化的思路來實(shí)現(xiàn)系統(tǒng)各個(gè)不同的功能，最后通過模塊之間的耦合，來完成系統(tǒng)的整體開發(fā)。本系統(tǒng)分為三個(gè)模塊，在不同的模塊下耦合了一些子模塊：4系統(tǒng)設(shè)計(jì)流程4.1概要設(shè)計(jì)首先要有一個(gè)總體的規(guī)劃，即概要設(shè)計(jì)。概要設(shè)計(jì)需要對(duì)軟件的設(shè)計(jì)進(jìn)行考慮，包括系統(tǒng)的根本處理流程、系統(tǒng)的組織結(jié)構(gòu)、模塊劃分、功能分配、接口設(shè)計(jì)、運(yùn)行設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)和出錯(cuò)處理設(shè)計(jì)等，為軟件的詳細(xì)設(shè)計(jì)提供根底。4.2詳細(xì)設(shè)計(jì)在概要設(shè)計(jì)的根底上，需要進(jìn)行軟件系統(tǒng)的詳細(xì)設(shè)計(jì)。在詳細(xì)設(shè)計(jì)中，描述實(shí)現(xiàn)具體模塊所涉及到的主要算法、數(shù)據(jù)結(jié)構(gòu)、類的層次結(jié)構(gòu)及調(diào)用關(guān)系，需要說明軟件系統(tǒng)各個(gè)層次中的每一個(gè)程序(每個(gè)模塊或子程序)的設(shè)計(jì)考慮，以便進(jìn)行編碼和測(cè)試。應(yīng)當(dāng)保證軟件的需求完全分配給整個(gè)軟件。詳細(xì)設(shè)計(jì)應(yīng)當(dāng)足夠詳細(xì)，能夠根據(jù)詳細(xì)設(shè)計(jì)報(bào)告進(jìn)行編碼。4.3編碼在系統(tǒng)編碼階段，根據(jù)系統(tǒng)詳細(xì)設(shè)計(jì)中對(duì)數(shù)據(jù)結(jié)構(gòu)、算法分析和模塊實(shí)現(xiàn)等方面的設(shè)計(jì)要求，開始具體的編寫程序工作，分別實(shí)現(xiàn)各模塊的功能，從而實(shí)現(xiàn)對(duì)目標(biāo)系統(tǒng)的功能、性能、接口、界面等方面的要求。4.4系統(tǒng)耦合在編碼的根底上，根據(jù)各個(gè)子系統(tǒng)的特性通過幾口設(shè)計(jì)將各個(gè)模塊耦合在一起，形成最原始的挖掘系統(tǒng)，在設(shè)計(jì)接口的過程中要做到高內(nèi)聚低耦合，有利于下一步的系統(tǒng)測(cè)試及相關(guān)問題的的解決。4.5系統(tǒng)調(diào)試根據(jù)設(shè)計(jì)初衷，對(duì)系統(tǒng)各個(gè)功能進(jìn)行測(cè)試，發(fā)現(xiàn)問題并解決問題，在測(cè)試過程中要做到黑盒和白盒測(cè)試法的交互進(jìn)行，相關(guān)程序編碼人員輔助進(jìn)行盡量做到用戶界面友好性。在此過程中如發(fā)現(xiàn)一些與設(shè)計(jì)初衷有出入，權(quán)衡系統(tǒng)的健壯性與實(shí)用性，或修改設(shè)計(jì)方案，或作適當(dāng)取舍。5局部模塊算法分析與設(shè)計(jì)5.1Apriori算法functionY=fun_017_Chebyshev_polynomial(y,n)symsx;f=(1-x^2)^(-1/2);%權(quán)函數(shù)P_matrix=cell(n+1,1);%%%%%%%%%%%%%將Chebyshev〔切比雪夫〕多項(xiàng)式賦值給L_matrix%%%%%%fori=0:nP_matrix{i+1,1}=expand(cos(i*acos(x)));end%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%Y=0;fori=1:n+1a_vector(i,1)=int(P_matrix{i,1}*y*f,x,-1,1)/...int(P_matrix{i,1}*P_matrix{i,1}*f,x,-1,1);Y=Y+a_vector(i,1)*P_matrix{i,1};end算法步驟算法偽代碼源程序見附錄。5.2K—means算法算法準(zhǔn)備A).類〔簇〕的定義表示B).距離的定義C).相似系數(shù)的定義算法步驟算法偽代碼源程序見附錄。6參考文獻(xiàn)[1]郭科，陳聆，魏友華.最優(yōu)化方法及其應(yīng)用[M].北京：高等教育出版社，2010.8[2]同濟(jì)大學(xué)計(jì)算數(shù)學(xué)教研室，現(xiàn)代數(shù)值計(jì)算[M].北京：人民郵電出版社，2009.10[3]朱明.數(shù)據(jù)挖掘[M].合肥：中國(guó)科技大學(xué)出版社.2008.11[4]陳東方，黃遠(yuǎn)林，李順新，李文杰，王曉峰.C語(yǔ)言程序設(shè)計(jì)根底[M].北京：清華大學(xué)出版社.2010.3[5]呂國(guó)英，李茹，王文劍.高級(jí)語(yǔ)言程序設(shè)計(jì)[M].北京：清華大學(xué)出版社.2008.3附錄[1]Apriori算法function[M_matrix,N_matrix]=Apriori(support,min_con,Sheet1)%%輸入要進(jìn)行分析的數(shù)據(jù)n=length(Sheet1(:,1));%min_con=0.6;%最小置信度。%support=2/9;%支持度%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%找出最大事物集I_matrix=Sheet1{1,1}(:,:);fori=2:nI_matrix=union(I_matrix,Sheet1{i,1}(:,:));endk=length(I_matrix(1,:));%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%找出最大頻繁項(xiàng)集D_matrix=cell(0,0);form=1:kclearA_matrixB_matrix;e=0;%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%產(chǎn)生候選集B_matrix以及候選集的個(gè)數(shù)bifm==1%事物集中的工程數(shù)為1時(shí)B_matrix=combntns(I_matrix,m);b=nchoosek(k,m);elseifm==2%事物集中的工程數(shù)為2時(shí)A_matrix=D_matrix{1,1}(1,:);forp=1:length(D_matrix(:,1))A_matrix=union(A_matrix,D_matrix{p,1}(:,:));endB_matrix=combntns(A_matrix,m);b=nchoosek(length(A_matrix(1,:)),m);elseifm>=3%事物集中的工程數(shù)為>3時(shí)d=0;forii=1:c-1forjj=ii+1:cAA=strcmp(C_matrix{ii,1}(1,1:end-1),C_matrix{jj,1}(1,1:end-1));BB=strcmp(C_matrix{ii,1}(1,end),C_matrix{jj,1}(1,end));ifAA==1&&BB==0%d=d+1;B_matrix(d,:)=[C_matrix{ii,1}(1,1:end),C_matrix{jj,1}(1,end)];endendendb=d;end%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%挑選支持度大于最小置信度事物集C_matrixfori=1:ba=0;forj=1:nifstrcmp(B_matrix(i,:),intersect(B_matrix(i,:),Sheet1{j,:}(:,:)))==1a=a+1;endendifa/n>=supporte=e+1;C_matrix{e,2}=a/n;C_matrix{e,1}=B_matrix(i,:);endife==0break;endend%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%判斷是否滿足循環(huán)終止條件ife==0break;endd=0;c=e;M_matrix=C_matrix(1:e,:);D_matrix=[D_matrix;C_matrix(1:e,:)];end%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%找出最大頻繁集的所有子集E_matrix=cell(0,0);F_matrix=cell(0,0);fori=1:length(M_matrix(:,1))m=0;forj=1:length(M_matrix{i,1}(1,:))-1clearA_matrix;A_matrix=nchoosek(M_matrix{i,1}(1,:),j);fork=1:length(A_matrix(:,1))m=m+1;E_matrix{m,1}(1,:)=A_matrix(k,:);endendforc=1:mE_matrix{c,2}(1,:)=E_matrix{m+1-c,1}(1,:);endF_matrix=[F_matrix;E_matrix];endfori=1:length(D_matrix(:,1))-length(M_matrix(:,1))forj=1:length(F_matrix(:,1))ifstrcmp(F_matrix{j,1}(1,:),D_matrix{i,1}(1,:))==1F_matrix{j,3}(1,1)=D_matrix{i,2}(1,1);endendend%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%輸出分析結(jié)果m=0;N_matrix=cell(0,0);fori=1:length(F_matrix(:,1))ifF_matrix{i,3}(1,1)>=min_conm=m+1;N_matrix(m,:)=F_matrix(i,:);endend%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%[2]K—means算法functionJishu=kmeans(k,threshold,Data)%Data為處理后的原始數(shù)據(jù)。k為分類種數(shù)，threshold為閥值。[a,b]=size(Data);%返回原始數(shù)據(jù)的個(gè)數(shù)和屬性個(gè)數(shù)。%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%隨機(jī)選取k個(gè)不同的原始數(shù)據(jù)作為初始值%%%%%%%p=0;while0==pfori=1:kk_vector(i,1)=ceil(randab(0,a));endforii=1:k-1forjj=ii+1:kifk_vector(ii,1)==k_vector(jj,1)p=0;break;elsep=1;endendif0==pbreak;endendendfori=1:kAA(i,:)=Data(k_vector(i,1),:);end%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%mm=norm(AA);whilemm>thresholdclearJishu;clearnumber;number=zeros(k,1);Jishu=cell(k,2);fori=1:a%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%計(jì)算沒個(gè)記錄到每個(gè)初始值得距離%%%forj=1:kcompar_vector(j,1)=norm(Data(i,:)-AA(j,:));end%%%%%%%%%%%%%%%%%%%%