數(shù)據(jù)挖掘分析面試題

本文格式為Word版，下載可任意編輯——數(shù)據(jù)挖掘分析面試題2023Alibaba數(shù)據(jù)分析師（實習(xí)）試題解析

一、異常值是指什么？請列舉1種識別連續(xù)型變量異常值的方法？

異常值（Outlier）是指樣本中的個別值，其數(shù)值明顯偏離所屬樣本的其余觀測值。在數(shù)理統(tǒng)計里一般是指一組觀測值中與平均值的偏差超過兩倍標(biāo)準(zhǔn)差的測定值。Grubbs’test（是以FrankE.Grubbs命名的），又叫maximumnormedresidualtest，是一種用于單變量數(shù)據(jù)集異常值識別的統(tǒng)計檢測，它假定數(shù)據(jù)集來自正態(tài)分布的總體。

未知總體標(biāo)準(zhǔn)差σ，在五種檢驗法中，優(yōu)劣次序為：t檢驗法、格拉布斯檢驗法、峰度檢驗法、狄克遜檢驗法、偏度檢驗法。

二、什么是聚類分析？聚類算法有哪幾種？請選擇一種詳細(xì)描述其計算原理和步驟。

聚類分析(clusteranalysis)是一組將研究對象分為相對同質(zhì)的群組(clusters)的統(tǒng)計分析技術(shù)。聚類分析也叫分類分析(classificationanalysis)或數(shù)值分類(numericaltaxonomy)。聚類與分類的不同在于，聚類所要求劃分的類是未知的。聚類分析計算方法主要有：層次的方法（hierarchicalmethod）、劃分方法（partitioningmethod）、基于密度的方法（density-basedmethod）、基于網(wǎng)格的方法（grid-basedmethod）、基于模型的方法（model-basedmethod）等。其中，前兩種算法是利用統(tǒng)計學(xué)定義的距離進(jìn)行度量。k-means算法的工作過程說明如下：首先從n個數(shù)據(jù)對象任意選擇k個對象作為初始聚類中心；而對于所剩下其它對象，則根據(jù)它們與這些聚類中心的相像度（距離），分別將它們分派給與其最相像的（聚類中心所代表的）聚類；然后再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復(fù)這一過程直到標(biāo)準(zhǔn)測度函數(shù)開始收斂為止。一般都采用均方差作為標(biāo)準(zhǔn)測度函數(shù).k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。其流程如下：

（1）從n個數(shù)據(jù)對象任意選擇k個對象作為初始聚類中心；（2）根據(jù)每個聚類對象的均值（中心對象），計算每個對象與這些中心對象的距離；并根據(jù)最小距離重新對相應(yīng)對象進(jìn)行劃分；

（3）重新計算每個（有變化）聚類的均值（中心對象）；（4）循環(huán)（2）、（3）直到每個聚類不再發(fā)生變化為止（標(biāo)準(zhǔn)測量函數(shù)收斂）。

優(yōu)點：本算法確定的K個劃分到達(dá)平方誤差最小。當(dāng)聚類是密集的，且類與類之間區(qū)別明顯時，效果較好。對于處理大數(shù)據(jù)集，這個算法是相對可伸縮和高效的，