2023年數(shù)據(jù)挖掘?qū)嶒?yàn)報(bào)告新編

數(shù)據(jù)挖掘?qū)嶒?yàn)報(bào)告

——加權(quán)K-近鄰法數(shù)據(jù)源說(shuō)明數(shù)據(jù)理解數(shù)據(jù)來(lái)自于天貓對(duì)顧客的BuyＯrNot（買(mǎi)與不買(mǎi)),ＢuyDNactDN(消費(fèi)活躍度),AｃｔＤNTotalDＮ(活躍度)，BuyBBrand（成交有效度），BuyHｉt(活動(dòng)有效度）這五個(gè)變量的記錄。數(shù)據(jù)提成兩類數(shù)據(jù)，一類作為訓(xùn)練數(shù)據(jù)集，一類為測(cè)試數(shù)據(jù)集。2.數(shù)據(jù)清理現(xiàn)實(shí)世界的數(shù)據(jù)一般是不完整的、有噪聲的和不一致的。數(shù)據(jù)清理例程試圖填充缺失的值,光滑噪聲并辨認(rèn)離群點(diǎn),并糾正數(shù)據(jù)中的不一致。缺失值：當(dāng)數(shù)據(jù)中存在缺失值是,忽略該元組噪聲數(shù)據(jù)：本文暫沒(méi)考慮?；谧兞恐匾缘募訖?quán)K-近鄰法[1]由于我們計(jì)算K-近鄰法默認(rèn)輸入變量在距離測(cè)度中有“同等重要”的奉獻(xiàn)，但情況并不總是如此。我們知道不同的變量對(duì)我們所要預(yù)測(cè)的變量的作用是不一定同樣的,所以找出對(duì)輸出變量分類預(yù)測(cè)故意義的重要變量對(duì)數(shù)據(jù)預(yù)測(cè)具有重要作用。同時(shí)也可以減少那些對(duì)輸出變量分類預(yù)測(cè)無(wú)意義的輸入變量,減少模型的變量。為此,采用基于變量重要性的K-近鄰法,計(jì)算加權(quán)距離,給重要的變量賦予較高的權(quán)重，不重要的變量賦予較低的權(quán)重是必要的。(1)算法思緒：我們引進(jìn)為第i個(gè)輸入變量的權(quán)重,是輸入變量重要性(也稱特性重要性)，F(xiàn)I函數(shù)，定義為:。其中為第i個(gè)輸入變量的特性重要性，這里,依第i個(gè)輸入變量對(duì)預(yù)測(cè)誤差的影響定義。設(shè)輸入變量集合包含ｐ個(gè)變量:。剔除第i個(gè)變量后計(jì)算輸入變量的誤判率，記為。若第ｉ個(gè)變量對(duì)預(yù)測(cè)有重要作用,剔除變量后的預(yù)測(cè)誤差應(yīng)較大。于是,第i個(gè)變量的重要性定義為：?？梢?jiàn),變量越重要,在計(jì)算距離時(shí)的權(quán)重越高。(２)算法環(huán)節(jié)：step.1--－求解犯錯(cuò)判率最低的Ｋ值ｓtep．2--－求解出第i個(gè)變量的(３）算法源代碼librarｙ（"claｓs＂）Ｔmall＿traｉｎ<-read.cｓv("Ｄ：\\Doｃｕments＼\Rwoｒd＼\第一章＼＼Train＿tmａlｌ.csv"）Tmall_test＜-ｒeａd．csv("D:\＼Dｏcｕｍenｔs\＼Rwｏrd＼\第一章\＼天貓_Test＿１.csv")paｒ（mｆrow＝c（２，2))seｔ．seed(1２3４5６)eｒrRatio<-ｖectｏr(）for(iin1:30）｛KnｎFiｔ<-knn(traｉn=Ｔｍａｌl＿train[,－1］,ｔesｔ=Tmall_test[，-1]，ｃl=Tmall＿trａiｎ[，1],k=i,prob=FALSＥ)CＴ<-table(Ｔmall_tesｔ［,１],KnnFiｔ)erｒRatｉｏ<-c(eｒｒRatio,(1-ｓum(dｉａg(CT))／sum(CＴ)）*１０0)｝ｐloｔ(errRatio,type＝"l",xlab="近鄰個(gè)數(shù)ｋ",yｌab=＂錯(cuò)判率(%）＂，mａin＝＂近鄰數(shù)Ｋ與錯(cuò)判率")從右邊近鄰數(shù)K與錯(cuò)判率的圖可明顯看出，近鄰個(gè)數(shù)為7時(shí),誤判率和穩(wěn)健性最佳eｒｒDｅｌｔeX<-eｒrRatｉｏ[7]for(ｉｉn－2:-５){ｆit<-knｎ(train=Tmall_tｒaｉn[,c(-1,i）],ｔest=Tmall_tesｔ[,c（-1,i）］，cl＝Tmaｌl＿tｒaｉn[,１]，k=7）CT<-table（Tmaｌｌ_tesｔ[,1],fiｔ)ｅrrDｅlteＸ<-c(errDeltｅX(qián),(1-sｕm(diag(ＣT))/sum(CT）)＊10０）}plot(ｅｒｒDelteX,ｔｙpe="l",xlａｂ＝＂剔除變量"，ylab＝"剔除錯(cuò)判率（%)"，ｍain="剔除變量與剔除錯(cuò)判率",ｃｅx.maiｎ=0.8)xTitle=c("1:全體變量","2:消費(fèi)活躍度"，"3:活躍度",＂４:成交有效度"，"5:活動(dòng)有效度")lｅｇend("ｔｏｐright",ｌｅgｅnd＝xTitle，ｔiｔle="變量說(shuō)明＂,ｌｔy=１,cex=０.6）FＩ<-errＤeltｅX(qián)[-１]+1/4wi＜－ＦI/ｓｕm（FＩ)Ｇｌａｂs<-pａsｔe(ｃ("度＂，＂活躍度"，"成交有效度","活動(dòng)有效度"),rｏuｎd(ｗｉ,2)，seｐ=":＂)pｉｅ(wi,lａｂeｌs=Gｌａbs,cloｃkｗise＝Ｔ,main="輸入變量權(quán)重＂，cex.maiｎ＝０．8)從上面兩個(gè)圖我們可以明顯得出,消費(fèi)活躍度、成交有效度及活動(dòng)有效度在預(yù)測(cè)消費(fèi)者買(mǎi)與不買(mǎi)中占的權(quán)重比較大，其中消費(fèi)者消費(fèi)活躍度在預(yù)測(cè)消費(fèi)者買(mǎi)與不買(mǎi)的重要性最大，達(dá)成４5%,是預(yù)測(cè)消費(fèi)者消費(fèi)的一個(gè)關(guān)鍵變量。三、基于觀測(cè)相似性的加權(quán)K-近鄰法[２］（１)核心思想：K-近鄰法預(yù)測(cè)時(shí),默認(rèn)K個(gè)近鄰對(duì)觀測(cè)結(jié)果又“同等力度“的影響。事實(shí)上，據(jù)的遠(yuǎn)近觀測(cè)對(duì)預(yù)測(cè)奉獻(xiàn)的大小是有影響的，距離越近對(duì)預(yù)測(cè)的奉獻(xiàn)大于距離較遠(yuǎn)的預(yù)測(cè)奉獻(xiàn)。將相似性定義為各觀測(cè)與距離的某種非線性函數(shù),且距離越近,相似性越強(qiáng)，權(quán)重越高,預(yù)測(cè)時(shí)的重要性越大。設(shè)觀測(cè)與的距離為。若采用函數(shù)將距離轉(zhuǎn)換成與的相似性,則函數(shù)K(d)應(yīng)有如下特性：通常,核函數(shù)是符合上述特性的函數(shù)。若函數(shù)為示例函數(shù)，通常核函數(shù)有：(２）環(huán)節(jié)第一步:求解誤判率最低的k值；第二步：加權(quán)K－近鄰法與K-近鄰法比較；(3)代碼:eq\o\ac（○,１)求解誤判率最低的k值；Tmaｌl_train<-reａd.csｖ（"Ｔraｉn_tmalｌ.csｖ")Tｍall＿traｉn$BuyOrNot<-facｔor（Ｔmall＿traｉn＄BuyOrNot)fit<-trａin．kknn(BuyOrNｏｔ~(yú).，data=Tmall＿tｒａｉn,kmａx=1１,dｉsｔancｅ=２，kernel＝c(＂tｒiangｕlar",＂ｒｅcｔangｕlar"，＂epanechniｋov"),ｎa.aｃtｉon=nａ.ｏmit())pｌot(fit$MISCLＡＳＳ[,１]＊100,typｅ="l"，ｍaｉｎ=＂不同核函數(shù)和近鄰個(gè)數(shù)K下的錯(cuò)判率曲線圖＂,cex.maｉn=０.8，xlaｂ="近鄰個(gè)數(shù)",yｌａｂ="誤判率(%）"）lineｓ（fit$MISCLASＳ[，2]*1００，lty=2,col=1)linｅs（ｆiｔ$MISCＬASS[,3]*1０0,lty=３，cｏl=2)leｇeｎｄ("ｔopｌeｆt",ｌｅgｅnd=c（"ｔriangulａr","rectangulaｒ＂，"epaｎechｎikｏｖ"）,lty=c(1,2，3),cｏl=ｃ(1,１，2),cｅx=0.7)基于穩(wěn)健性基于穩(wěn)健性我們選擇了K=7時(shí)的誤判率eq＼o\ac(○,２)加權(quán)K-近鄰法Tmａll_test<-reａd.csv(＂天貓_Teｓt_1.csv")Tmall＿ｔｅsｔ$BuyＯrNot<-ａs.factor(Ｔmａｌｌ_ｔesｔ$BｕｙＯｒNot)fiｔ＜-ｋknn(ＢuyOrＮot~.,train＝Tmall_train,teｓt＝Tmaｌl_tｅsｔ,k=7,distance=２，kernel="gaussｉaｎ"，ｎa.ａctioｎ=na.ｏmiｔ())ＣT<-tａble(Ｔmall_test[，1],fiｔ$fｉtted．values)ｅrｒＲatio<－(1-sum（diag(ＣT))/sｕm(ＣT))*10０K－近鄰法Tmaｌl_ｔest<-read.ｃsv("天貓_Test_1．ｃsv"）Tｍalｌ_tesｔ＄ＢｕyOrNoｔ＜-factor（Tmaｌｌ_teｓt＄BｕｙOrNot)ｆit<－knｎ(tｒａin=Ｔmａｌl_train[,-１],tesｔ=Tmall＿ｔｅｓｔ[,-1],cｌ＝Tmａｌl_train$ＢuｙOrNot,k＝7）CT＜-tａble(Tmall_tesｔ[，1],fit)erｒＲatiｏ<－c（ｅｒrRaｔiｏ，(１-suｍ(ｄiａg(CT))／ｓuｍ（ＣＴ))＊１０0)errＧｒａph＜－bａrｐlot（ｅrrＲaｔｉo,ｍain＝（"加權(quán)K-近鄰法與K-近鄰法錯(cuò)判率對(duì)比圖")，cex.maｉn＝０．8，xlａb="分類方法"，ylaｂ="錯(cuò)判率（％）＂,ａｘes=FAＬＳE)ａxｉs(sｉde＝1,ａt(yī)=ｃ(0,errGrap