大數(shù)據(jù)算法綜述

1、數(shù)據(jù)挖掘算法綜述張嫻162107201332017.04.28CONTENTS大數(shù)據(jù)概述數(shù)據(jù)挖掘算法分類經(jīng)典算法簡介123PART ONE大數(shù)據(jù)概述大數(shù)據(jù)概述 大數(shù)據(jù)是指無法在一定時間范圍內(nèi)用常規(guī)的軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合。是由于目前存儲和計算模式與能力不能滿足存儲與處理現(xiàn)有數(shù)據(jù)集規(guī)模的需求而產(chǎn)生的相對概念。大數(shù)據(jù)平臺的設計大數(shù)據(jù)分布式存儲系統(tǒng)： 研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲問題，突破大數(shù)據(jù)的存儲、管理和高效訪問關(guān)鍵技術(shù)平臺層高可擴展性大數(shù)據(jù)挖掘算法：基于云計算的分布式大數(shù)據(jù)處理與挖掘算法，構(gòu)建高可擴展的大數(shù)據(jù)處理與挖掘算法庫功能層基于 Web 的大數(shù)據(jù)挖掘技術(shù)：Web 的大數(shù)

2、據(jù)挖掘方法和流程，實現(xiàn)易于使用的基于Web 的大數(shù)據(jù)挖掘技術(shù)，構(gòu)建基于 Web 的大數(shù)據(jù)分析環(huán)境。 服務層PART TWO數(shù)據(jù)挖掘算法分類數(shù)據(jù)挖掘 大數(shù)據(jù)的挖掘是從海量、不完全的、有噪聲的、模糊的、隨機的大型數(shù)據(jù)庫中發(fā)現(xiàn)隱含在其中有價值的、潛在有用的信息和知識的過程，也是一種決策支持過程。 大數(shù)據(jù)的挖掘常用的方法有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡方法、Web 數(shù)據(jù)挖掘等。這些方法從不同的角度對數(shù)據(jù)進行挖掘。數(shù)據(jù)挖掘算法分類 找出數(shù)據(jù)庫中的一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到摸個給定的類別中。分類 反映了數(shù)據(jù)庫中數(shù)據(jù)的屬性

3、值的特性，通過函數(shù)表達數(shù)據(jù)映射的關(guān)系來發(fā)現(xiàn)屬性值之間的依賴關(guān)系?；貧w分析 針對數(shù)據(jù)的相似性和差異性將一組數(shù)據(jù)分為幾個類別。屬于同一類別的數(shù)據(jù)間的相似性很大，但不同類別之間數(shù)據(jù)的相似性很小，跨類的數(shù)據(jù)關(guān)聯(lián)性很低。聚類數(shù)據(jù)挖掘算法分類 隱藏在數(shù)據(jù)項之間的關(guān)聯(lián)或相互關(guān)系，即可以根據(jù)一個數(shù)據(jù)項的出現(xiàn)推導出其他數(shù)據(jù)項的出現(xiàn)。關(guān)聯(lián) 一種先進的人工智能技術(shù)，具有自行處理、分布存儲和高度容錯等特性。非常適合處理非線性的以及那些以模糊、不完整、不嚴密的知識或數(shù)據(jù)。神經(jīng)網(wǎng)絡 Web 從文檔結(jié)構(gòu)和使用的集合C 中發(fā)現(xiàn)隱含的模式P，如果將C看做是輸入，P 看做是輸出，那么Web 挖掘過程就可以看做是從輸入到輸出的一個

4、映射過程。Web數(shù)據(jù)挖掘PART THREE經(jīng)典算法簡介ID3算法 決策樹決策樹是一種依托決策而建立起來的一種樹。在機機器學習器學習中，決策樹是一種預測模型，代表的是一種對象屬性與對象值之間的一種映射關(guān)系，每一個節(jié)點代表某個對象，樹中的每一個分叉路徑代表某個可能的屬性值，而每一個葉子節(jié)點則對應從根節(jié)點到該葉子節(jié)點所經(jīng)歷的路徑所表示的對象的值。決策樹僅有單一輸出，如果有多個輸出，可以分別建立獨立的決策樹以處理不同的輸出。ID3算法 ID3算法是決策樹的一種，它是基于奧卡姆剃刀原理的，即用盡量用較少的東西做更多的事。在信息論中，期望信息越小，那么信息增益就越大，從而純度就越高。ID3算法的核心思想

5、就是以信息增益來度量屬性的選擇，選擇分裂后信息增益最大的屬性進行分裂。該算法采用自頂向下的貪婪搜索遍歷可能的決策空間。ID3算法ID3算法ID3算法C4.5算法C4.5相比于ID3改進的地方有： 1、用信息增益率來選擇屬性。 2、在樹構(gòu)造過程中進行剪枝，在構(gòu)造決策樹的時候，那些掛著幾個元素的節(jié)點，不考慮最好，不然容易導致overfitting。 3、對非離散數(shù)據(jù)也能處理。 4、能夠?qū)Σ煌暾麛?shù)據(jù)進行處理。K-Means算法 K-Means算法是聚類算法，k在在這里指的是分類的類型數(shù)，所以在開始設定的時候非常關(guān)鍵，算法的原理是首先假定k個分類點，然后根據(jù)歐式距離計算分類，然后取同分類的均值作為新的聚簇中心，循環(huán)操作直到收斂。K-Means算法Apriori 關(guān)聯(lián)關(guān)聯(lián)算算法法 Apriori算法學習數(shù)據(jù)的關(guān)聯(lián)規(guī)則(association rules)，適用于包含大量事務（transcation）的數(shù)據(jù)庫。 關(guān)聯(lián)規(guī)則學習是學習數(shù)據(jù)庫中不同變量中的相互關(guān)系的一種數(shù)據(jù)挖掘技術(shù)。Apriori 關(guān)聯(lián)關(guān)聯(lián)算算法法基本的 Apriori 算法有三步： 1、參與：掃描一遍整個數(shù)據(jù)庫，計算1-itemsets 出現(xiàn)的頻率。 2、剪枝：滿足支持度和可信度的這些1-itemsets移動到