數(shù)據(jù)挖掘考試題庫-2022年整理

優(yōu)質(zhì)資料word版本——下載后可編輯優(yōu)質(zhì)資料word版本——下載后可編輯8/8優(yōu)質(zhì)資料word版本——下載后可編輯何謂數(shù)據(jù)挖掘？它有哪些方面的功能？從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程稱為數(shù)據(jù)挖掘。相關(guān)的名稱有知識發(fā)現(xiàn)、數(shù)據(jù)分析、數(shù)據(jù)融合、決策支持等。數(shù)據(jù)挖掘的功能包括：概念描述、關(guān)聯(lián)分析、分類與預(yù)測、聚類分析、趨勢分析、孤立點(diǎn)分析以及偏差分析等。何謂粒度？它對數(shù)據(jù)倉庫有什么影響？按粒度組織數(shù)據(jù)的方式有哪些？粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)細(xì)化或綜合程度的級別。粒度影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時(shí)影響數(shù)據(jù)倉庫所能回答查詢問題的細(xì)節(jié)程度。按粒度組織數(shù)據(jù)的方式主要有：簡單堆積結(jié)構(gòu)輪轉(zhuǎn)綜合結(jié)構(gòu)簡單直接結(jié)構(gòu)連續(xù)結(jié)構(gòu)簡述數(shù)據(jù)倉庫設(shè)計(jì)的三級模型及其基本內(nèi)容。概念模型設(shè)計(jì)是在較高的抽象層次上的設(shè)計(jì)，其主要內(nèi)容包括：界定系統(tǒng)邊界和確定主要的主題域。邏輯模型設(shè)計(jì)的主要內(nèi)容包括：分析主題域、確定粒度層次劃分、確定數(shù)據(jù)分割策略、定義關(guān)系模式、定義記錄系統(tǒng)。物理數(shù)據(jù)模型設(shè)計(jì)的主要內(nèi)容包括：確定數(shù)據(jù)存儲結(jié)構(gòu)、確定數(shù)據(jù)存放位置、確定存儲分配以及確定索引策略等。在物理數(shù)據(jù)模型設(shè)計(jì)時(shí)主要考慮的因素有:I/O存取時(shí)間、空間利用率和維護(hù)代價(jià)等。提高性能的主要措施有劃分粒度、數(shù)據(jù)分割、合并表、建立數(shù)據(jù)序列、引入冗余、生成導(dǎo)出數(shù)據(jù)、建立廣義索引等。在數(shù)據(jù)挖掘之前為什么要對原始數(shù)據(jù)進(jìn)行預(yù)處理？原始業(yè)務(wù)數(shù)據(jù)來自多個(gè)數(shù)據(jù)庫或數(shù)據(jù)倉庫，它們的結(jié)構(gòu)和規(guī)則可能是不同的，這將導(dǎo)致原始數(shù)據(jù)非常的雜亂、不可用，即使在同一個(gè)數(shù)據(jù)庫中，也可能存在重復(fù)的和不完整的數(shù)據(jù)信息，為了使這些數(shù)據(jù)能夠符合數(shù)據(jù)挖掘的要求，提高效率和得到清晰的結(jié)果，必須進(jìn)行數(shù)據(jù)的預(yù)處理。為數(shù)據(jù)挖掘算法提供完整、干凈、準(zhǔn)確、有針對性的數(shù)據(jù)，減少算法的計(jì)算量，提高挖掘效率和準(zhǔn)確程度。簡述數(shù)據(jù)預(yù)處理方法和內(nèi)容。數(shù)據(jù)清洗：包括填充空缺值，識別孤立點(diǎn)，去掉噪聲和無關(guān)數(shù)據(jù)。數(shù)據(jù)集成：將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)結(jié)合起來存放在一個(gè)一致的數(shù)據(jù)存儲中。需要注意不同數(shù)據(jù)源的數(shù)據(jù)匹配問題、數(shù)值沖突問題和冗余問題等。數(shù)據(jù)變換：將原始數(shù)據(jù)轉(zhuǎn)換成為適合數(shù)據(jù)挖掘的形式。包括對數(shù)據(jù)的匯總、聚集、概化、規(guī)范化，還可能需要進(jìn)行屬性的重構(gòu)。數(shù)據(jù)歸約：縮小數(shù)據(jù)的取值范圍，使其更適合于數(shù)據(jù)挖掘算法的需要，并且能夠得到和原始數(shù)據(jù)相同的分析結(jié)果。簡述數(shù)據(jù)清理的基本內(nèi)容。盡可能賦予屬性名和屬性值明確的含義；統(tǒng)一多數(shù)據(jù)源的屬性值編碼；去除無用的惟一屬性或鍵值(如自動增長的id)；去除重復(fù)屬性(在某些分析中，年齡和出生日期可能就是重復(fù)的屬性，但在某些時(shí)候它們可能又是同時(shí)需要的)去除可忽略字段(大部分為空值的屬性一般是沒有什么價(jià)值的，如果不去除可能造成錯(cuò)誤的數(shù)據(jù)挖掘結(jié)果)合理選擇關(guān)聯(lián)字段(對于多個(gè)關(guān)聯(lián)性較強(qiáng)的屬性，重復(fù)無益，只需選擇其中的部分用于數(shù)據(jù)挖掘即可，如價(jià)格、數(shù)據(jù)、金額)去掉數(shù)據(jù)中的噪音、填充空值、丟失值和處理不一致數(shù)據(jù)。簡述處理空缺值的方法。忽略該記錄；去掉屬性；手工填寫空缺值；使用默認(rèn)值；使用屬性平均值；使用同類樣本平均值；預(yù)測最可能的值。常見的分箱方法有哪些？數(shù)據(jù)平滑處理的方法有哪些？分箱的方法主要有：統(tǒng)一權(quán)重法(又稱等深分箱法)統(tǒng)一區(qū)間法(又稱等寬分箱法)最小熵法自定義區(qū)間法數(shù)據(jù)平滑的方法主要有：平均值法、邊界值法和中值法。何謂數(shù)據(jù)規(guī)范化？規(guī)范化的方法有哪些？寫出對應(yīng)的變換公式。將數(shù)據(jù)按比例縮放(如更換大單位)，使之落入一個(gè)特定的區(qū)域（如0.0～1.0），稱為規(guī)范化。規(guī)范化的常用方法有：最大－最小規(guī)范化：零－均值規(guī)范化：小數(shù)定標(biāo)規(guī)范化：x＝x0/10α數(shù)據(jù)歸約的方法有哪些？為什么要進(jìn)行維歸約？數(shù)據(jù)立方體聚集維歸約數(shù)據(jù)壓縮數(shù)值壓縮離散化和概念分層維歸約可以去掉不重要的屬性，減少數(shù)據(jù)立方體的維數(shù)，從而減少數(shù)據(jù)挖掘處理的數(shù)據(jù)量，提高挖掘效率。何謂聚類？它與分類有什么異同？聚類是將物理或抽象對象的集合分組成為多個(gè)類或簇(cluster)的過程，使得在同一個(gè)簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大。聚類與分類不同，聚類要?jiǎng)澐值念愂俏粗?，分類則可按已知規(guī)則進(jìn)行；聚類是一種無指導(dǎo)學(xué)習(xí)，它不依賴預(yù)先定義的類和帶類標(biāo)號的訓(xùn)練實(shí)例，屬于觀察式學(xué)習(xí)，分類則屬于有指導(dǎo)的學(xué)習(xí)，是示例式學(xué)習(xí)。舉例說明聚類分析的典型應(yīng)用。①商業(yè)：幫助市場分析人員從客戶基本庫中發(fā)現(xiàn)不同的客戶群，并且用不同的購買模式描述不同客戶群的特征。②生物學(xué)：推導(dǎo)植物或動物的分類，對基于進(jìn)行分類，獲得對種群中固有結(jié)構(gòu)的認(rèn)識。③WEB文檔分類④其他：如地球觀測數(shù)據(jù)庫中相似地區(qū)的確定；各類保險(xiǎn)投保人的分組；一個(gè)城市中不同類型、價(jià)值、地理位置房子的分組等。⑤聚類分析還可作為其他數(shù)據(jù)挖掘算法的預(yù)處理：即先進(jìn)行聚類，然后再進(jìn)行分類等其他的數(shù)據(jù)挖掘。聚類分析是一種數(shù)據(jù)簡化技術(shù)，它把基于相似數(shù)據(jù)特征的變量或個(gè)案組合在一起。聚類分析中常見的數(shù)據(jù)類型有哪些？何謂相異度矩陣？它有什么特點(diǎn)？常見數(shù)據(jù)類型有區(qū)間標(biāo)度變量、比例標(biāo)度型變量、二元變量、標(biāo)稱型、序數(shù)型以及混合類型等。相異度矩陣是用于存儲所有對象兩兩之間相異度的矩陣，為一個(gè)nn維的單模矩陣。其特點(diǎn)是d(i,j)=d(j,i)，d(i,i)=0，d(j,j)=0。如下所示：分類知識的發(fā)現(xiàn)方法主要有哪些？分類過程通常包括哪兩個(gè)步驟？分類規(guī)則的挖掘方法通常有：決策樹法、貝葉斯法、人工神經(jīng)網(wǎng)絡(luò)法、粗糙集法和遺傳算法。分類的過程包括2步：首先在已知訓(xùn)練數(shù)據(jù)集上，根據(jù)屬性特征，為每一種類別找到一個(gè)合理的描述或模型，即分類規(guī)則；然后根據(jù)規(guī)則對新數(shù)據(jù)進(jìn)行分類。什么是決策樹？如何用決策樹進(jìn)行分類？決策樹是用樣本的屬性作為結(jié)點(diǎn)，用屬性的取值作為分支的樹結(jié)構(gòu)。它是利用信息論原理對大量樣本的屬性進(jìn)行分析和歸納而產(chǎn)生的。決策樹的根結(jié)點(diǎn)是所有樣本中信息量最大的屬性。樹的中間結(jié)點(diǎn)是以該結(jié)點(diǎn)為根的子樹所包含的樣本子集中信息量最大的屬性。決策樹的葉結(jié)點(diǎn)是樣本的類別值。決策樹用于對新樣本的分類，即通過決策樹對新樣本屬性值的測試，從樹的根結(jié)點(diǎn)開始，按照樣本屬性的取值，逐漸沿著決策樹向下，直到樹的葉結(jié)點(diǎn)，該葉結(jié)點(diǎn)表示的類別就是新樣本的類別。決策樹方法是數(shù)據(jù)挖掘中非常有效的分類方法。簡述ID3算法的基本思想及其主算法的基本步驟。首先找出最有判別力的因素，然后把數(shù)據(jù)分成多個(gè)子集，每個(gè)子集又選擇最有判別力的因素進(jìn)一步劃分，一直進(jìn)行到所有子集僅包含同一類型的數(shù)據(jù)為止。最后得到一棵決策樹，可以用它來對新的樣例進(jìn)行分類。主算法包括如下幾步：①從訓(xùn)練集中隨機(jī)選擇一個(gè)既含正例又含反例的子集(稱為窗口)；②用“建樹算法”對當(dāng)前窗口形成一棵決策樹；③對訓(xùn)練集(窗口除外)中例子用所得決策樹進(jìn)行類別判定，找出錯(cuò)判的例子；④若存在錯(cuò)判的例子，把它們插入窗口，重復(fù)步驟②，否則結(jié)束。簡述ID3算法的基本思想及其建樹算法的基本步驟。首先找出最有判別力的因素，然后把數(shù)據(jù)分成多個(gè)子集，每個(gè)子集又選擇最有判別力的因素進(jìn)一步劃分，一直進(jìn)行到所有子集僅包含同一類型的數(shù)據(jù)為止。最后得到一棵決策樹，可以用它來對新的樣例進(jìn)行分類。建樹算法的具體步驟如下：①對當(dāng)前例子集合，計(jì)算各特征的互信息；②選擇互信息最大的特征Ak；③把在Ak處取值相同的例子歸于同一子集，Ak取幾個(gè)值就得幾個(gè)子集；④對既含正例又含反例的子集，遞歸調(diào)用建樹算法；⑤若子集僅含正例或反例，對應(yīng)分枝標(biāo)上P或N，返回調(diào)用處。設(shè)某事務(wù)項(xiàng)集構(gòu)成如下表，填空完成其中支持度和置信度的計(jì)算。事務(wù)ID項(xiàng)集L2支持度%規(guī)則置信度%T1A,DA,B33.3A→B50T2D,EA,C33.3C→A60T3A,C,EA,D44.4A→D66.7T4A,B,D,EB,D33.3B→D75T5A,B,CC,D33.3C→D60T6A,B,DD,E33.3D→E43T7A,C,D……T8C,D,ET9B,C,D 從信息處理角度看，神經(jīng)元具有哪些基本特征？寫出描述神經(jīng)元狀態(tài)的M-P方程并說明其含義?；咎卣鳎孩俣噍斎?、單輸出；②突觸兼有興奮和抑制兩種性能；③可時(shí)間加權(quán)和空間加權(quán)；④可產(chǎn)生脈沖；⑤脈沖可進(jìn)行傳遞；⑥非線性，有閾值。M-P方程：，Wij是神經(jīng)元之間的連接強(qiáng)度，是閾值，f(x)是階梯函數(shù)。遺傳算法與傳統(tǒng)尋優(yōu)算法相比有什么特點(diǎn)？遺傳算法為群體搜索，有利于尋找到全局最優(yōu)解；遺傳算法采用高效有方向的隨機(jī)搜索，搜索效率高；遺傳算法處理的對象是個(gè)體而不是參變量，具有廣泛的應(yīng)用領(lǐng)域；遺傳算法使用適應(yīng)值信息評估個(gè)體，不需要導(dǎo)數(shù)或其他輔助信息，運(yùn)算速度快，適應(yīng)性好；遺傳算法具有隱含并行性，具有更高的運(yùn)行效率。寫出非對稱二元變量相異度計(jì)算公式(即jaccard系數(shù))，并計(jì)算下表中各對象間的相異度。測試項(xiàng)目對象test-1test-2test-3test-4test-5test-6OBJ1YNPNNNOBJ2YNPNPNOBJ3NYNYNN…簡述K-平均算法的輸入、輸出及聚類過程(流程)。輸入：簇的數(shù)目k和包含n個(gè)對象的數(shù)據(jù)集。輸出：k個(gè)簇，使平方誤差準(zhǔn)則最小。步驟：任意選擇k個(gè)對象作為初始的簇中心；計(jì)算其它對象與這k個(gè)中心的距離，然后把每個(gè)對象歸入離它“最近”的簇；計(jì)算各簇中對象的平均值，然后重新選擇簇中心(離平均值“最近”的對象值)；重復(fù)第2第3步直到簇中心不再變化為止。簡述K-中心點(diǎn)算法的輸入、輸出及聚類過程(流程)。輸入：結(jié)果簇的數(shù)目k，包含n個(gè)對象的數(shù)據(jù)集輸出：k個(gè)簇，使得所有對象與其最近中心點(diǎn)的相異度總和最小。流程：隨機(jī)選擇k個(gè)對象作為初始中心點(diǎn)；計(jì)算其它對象與這k個(gè)中心的距離，然后把每個(gè)對象歸入離它“最近”的簇；隨機(jī)地選擇一個(gè)非中心點(diǎn)對象Orandom，并計(jì)算用Orandom代替Oj的總代價(jià)S；如果S<0,則用Orandom代替Oj，形成新的k個(gè)中心點(diǎn)集合；重復(fù)迭代第3、4步，直到中心點(diǎn)不變?yōu)橹?。何謂文本挖掘？它與信息檢索有什么關(guān)系(異同)。文本挖掘是從大量文本數(shù)據(jù)中提取以前未知的、有用的、可理解的、可操作的知識的過程。它與信息檢索之間有以下幾方面的區(qū)別：方法論不同：信息檢索是目標(biāo)驅(qū)動的，用戶需要明確提出查詢要求；而文本挖掘結(jié)果獨(dú)立于用戶的信息需求，是用戶無法預(yù)知的。著眼點(diǎn)不同：信息檢索著重于文檔中字、詞和鏈接；而文本挖掘在于理解文本的內(nèi)容和結(jié)構(gòu)。目的不同：信息檢索的目的在于幫助用戶發(fā)現(xiàn)資源，即從大量的文本中找到滿足其查詢請求的文本子集；而文本挖掘是為了揭示文本中隱含的知識。評價(jià)方法不同：信息檢索用查準(zhǔn)率和查全率來評價(jià)其性能。而文本挖掘采用收益、置信度、簡潔性等來衡量所發(fā)現(xiàn)知識的有效性、可用性和可理解性。使用場合不同：文本挖掘是比信息檢索更高層次的技術(shù)，可用于信息檢索技術(shù)不能解決的許多場合。一方面，這兩種技術(shù)各有所長，有各自適用的場合；另一方面，可以利用文本挖掘的研究成果來提高信息檢索的精度和效率，改善檢索結(jié)果的組織，使信息檢索系統(tǒng)發(fā)展到一個(gè)新的水平。人工神經(jīng)網(wǎng)絡(luò)是用大量的簡單處理單元廣泛連接而成的網(wǎng)絡(luò),用以模擬生物神經(jīng)網(wǎng)絡(luò)的智能計(jì)算系統(tǒng),神經(jīng)網(wǎng)絡(luò)是一組類似于神經(jīng)元的處理單元,其中每個(gè)連接都與一個(gè)權(quán)重相關(guān)聯(lián).Apriori優(yōu)缺點(diǎn):優(yōu)點(diǎn)：大大壓縮了頻繁集的大小，取得了很好的性能。缺點(diǎn)：(1)產(chǎn)生大量的頻繁集(2)重復(fù)掃描事務(wù)數(shù)據(jù)庫如何改進(jìn)?改進(jìn)：在第一次數(shù)據(jù)庫遍歷后就不需要用到原始數(shù)據(jù)庫，而使用在前一次過程中所用的候選項(xiàng)集的集合。AprioriTid算法的優(yōu)點(diǎn)是用逐漸減少的TID表代替原始數(shù)據(jù)庫,但是在循環(huán)的初始階段,候選項(xiàng)集的個(gè)數(shù)往往大于數(shù)據(jù)項(xiàng)個(gè)數(shù),導(dǎo)致構(gòu)造的TID表可能比原始事務(wù)數(shù)據(jù)庫還要大.聚類分析:從數(shù)據(jù)集中找出相似的數(shù)據(jù)并組成不同的組數(shù)據(jù)挖掘步驟:問題定義,數(shù)據(jù)準(zhǔn)備,預(yù)處理,數(shù)據(jù)挖掘,結(jié)果的解釋和評估ID3優(yōu)點(diǎn):