人工智能算法k鄰近算法

人工主講教師：智能KNN算法（一）目錄KNN的原理工程中的數(shù)據(jù)處理問題以及程序代碼人工智能算法中的常用概念123KNN的原理1KNN的原理1分類是根據(jù)已知類別的數(shù)據(jù)確定預(yù)測數(shù)據(jù)的類別KNN（K鄰算法）是分類方法同一類別的事物通常聚集在一起“物以類聚”說的就是這個原理？“近”“鄰”KKNN的原理1B?A?推測A粉色圓點B綠色方塊觀察這張圖，推斷A、B兩點的顏色和形狀？KNN的原理1B?A?原因01以A為圓心的區(qū)域：粉色圓點02以B為圓心的區(qū)域：綠色方塊KNN的原理1C?按簡單多數(shù)原則大圈區(qū)域

4:5，粉色圓點小圈區(qū)域4:1，綠色方塊如何確定C的類別（K

Nearest

Node）就是：以K個最近鄰點推斷類別KNNK個近鄰？KNN的原理1KNN如何理解“最近”dABX2X1Y2Y1

最直觀的距離就是“歐氏”距離兩個點間距離的計算：用距離量化

“近”

品牌型號長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過KNN的原理1dABXYZKNN如何理解“最近”三維距離的計算：

用這個方法考察實際問題的數(shù)據(jù)，就能解決諸如“推薦”和“預(yù)測”這類人工智能領(lǐng)域的分類問題標志型號長（mm）寬（mm）高（mm）略過CrV405317401449瀏覽BW5508718681500略過POL403216801450瀏覽BDe6433015351885

推薦?X008456018221645KNN的原理1KNN的實際應(yīng)用廣告案例假設(shè)某網(wǎng)站發(fā)現(xiàn)用戶對某些車型的瀏覽行為如綠色數(shù)據(jù)所示，那么現(xiàn)在向用戶推送X008車型的廣告是否會引發(fā)用戶興趣？KNN的原理1KNN算法步驟KNN算法的一般過程需要對未知類別屬性的數(shù)據(jù)集中的每個點依次執(zhí)行以下操作：01逐一計算樣本集的點與預(yù)測點之間的距離。02按距離遞增排序。03選取與待預(yù)測點距離最小的k個點。04統(tǒng)計k個點的類別頻率，按規(guī)則確定預(yù)測結(jié)果。利用“電子表格”體驗過程操作過程錄像KNN的原理1KNN的原理1010203選取與被測車輛距離最小的k個點（一般k為奇數(shù)，本例k=3）的分類，作為判斷的依據(jù)；觀察圖中的黃色部分，即離被測最近距離的3種車中，2種為用戶感興趣的車型，1種為用戶無興趣車型；按簡單的少數(shù)服從多數(shù)原則，可確定被測車輛也是用戶感興趣車型。KNN的原理1KNN算法的幾個思考算法觀察與自己距離最近的k個點（k一般為奇數(shù)）的分類，并可以用簡單多數(shù)的原則確定自身的分類。如果考慮減小KNN算法中k的取值k取1待預(yù)測點的分類只依賴于與之最近的點，分類結(jié)果隨機性太大；k太大如極端情況，與數(shù)據(jù)集的樣本數(shù)一樣大，那么算法的分類結(jié)果沒有意義。就一般經(jīng)驗，k的取值一般低于已知類別的樣本數(shù)的平方根。other還可以不使用簡單投票規(guī)則，而對距離加權(quán)，比如可以使距離近的點更有影響力?？梢越档蚹值變化對結(jié)果的影響。C?小結(jié)1KNN用已知的最近距離的K個鄰接點確定帶預(yù)測點類別的算法01KNN的算法步驟0203取K（奇數(shù)）個最近點04遞增排序計算距離通過簡單多數(shù)或其他規(guī)則確定分類C?本小節(jié)結(jié)束！人工智能KNN算法（二）目錄Knn的原理工程中的數(shù)據(jù)處理問題以及程序代碼人工智能中的常用概念123工程中的數(shù)據(jù)處理問題以及程序代碼01數(shù)據(jù)的歸一化處理02利用程序完成算法03訓(xùn)練模型與測試應(yīng)用車型長（mm）寬

（mm）高

（mm）油耗

（L/100km）售價

（萬元）BAOJ3104032168014505.35.6XW-M14330153518857.814.5POL4053174014496.210.8BW55087186815008.525.6BDe64560182216457.815.8Wuling3797151018205.59.6型號長（mm）寬（mm）高（mm）CrV405317401449BW5508718681500POL403216801450BDe6433015351885VS.工程中的數(shù)據(jù)處理問題以及程序代碼可以想像此類不同數(shù)量級的數(shù)據(jù)將給預(yù)測帶來較大誤差數(shù)據(jù)的歸一化處理車型長(mm)寬

（mm）高

（mm）油耗

（L/100km）售價

（萬元）BAOJ3104032168014505.35.6XW-M14330153518857.814.5POL4053174014496.210.8BW55087186815008.525.6BDe64560182216457.815.8Wuling3797151018205.59.6數(shù)據(jù)歸一化由多種方法，其中最直觀的方法是，對每個屬性都找出最大數(shù)值和最小數(shù)值，然后對某一屬性數(shù)據(jù)集中的每個數(shù)據(jù)都按下面公式整理。

工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理本頁是Excel操作錄象工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的歸一化處理品牌型號長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過工程中的數(shù)據(jù)處理問題以及程序代碼數(shù)據(jù)的多維度擴展工程中的數(shù)據(jù)處理問題以及程序代碼歸一化后多維數(shù)據(jù)的KNN本頁是Excel操作錄象

1#引入工具包2importnumpyasnp3fromsklearn.neighborsimportKNeighborsClassifierasknn工程中的數(shù)據(jù)處理問題以及程序代碼4#定義數(shù)據(jù)5ar_x=[[4032,1680,1450,5.3,5.6],6[4330,1535,1885,7.8,14.5],7[4053,1740,1449,6.2,10.8],8[5087,1868,1500,8.5,25.6],9[4560,1822,1645,7.8,15.8],10[3797,1510,1820,5.5,9.6]]11ar_y=[0,1,0,1]KNN算法的程序?qū)崿F(xiàn)16#建立模型并預(yù)測17model=knn(n_neighbors=3)18model.fit(nor_ar[:4],ar_y)19pre=model.predict(nor_ar[4:6])20print(pre)工程中的數(shù)據(jù)處理問題以及程序代碼

12#利用歸一化處理數(shù)據(jù)13ar_min=np.min(ar_x,0)14ar_mn=np.max(ar_x,0)-ar_min15nor_ar=np.around((ar_x-ar_min)/ar_mn,4)KNN算法的程序?qū)崿F(xiàn)測試工程中的數(shù)據(jù)處理問題以及程序代碼訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集測試集模型合格？F泛化T模型：f（）XY訓(xùn)練模型與測試應(yīng)用“測試集”“訓(xùn)練集”工程中的數(shù)據(jù)處理問題以及程序代碼訓(xùn)練模型與測試應(yīng)用本小節(jié)結(jié)束！人工智能KNN算法（三）目錄人工智能中的常用概念工程中的數(shù)據(jù)處理問題以及程序代碼KNN的原理123人工智能算法的常用概念訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集測試集模型合格？F泛化T模型：f（）XY測試常用術(shù)語預(yù)測現(xiàn)實預(yù)測需謹慎常用術(shù)語數(shù)據(jù)集維數(shù)=8屬性術(shù)語訓(xùn)練、測試、數(shù)據(jù)集、訓(xùn)練集、樣本、維數(shù)、屬性、測試集“訓(xùn)練集”每條數(shù)據(jù)：樣本求模型-----“訓(xùn)練”“測試集”驗證模型正確性----“測試”品牌型號長（mm）寬（mm）高（mm）用戶行為BAOJ310403216801450略過XW-M1433015351885瀏覽POL405317401449略過BW5508718681500瀏覽BDe6456018221645瀏覽Wuling379715101820略過回歸分類常用術(shù)語術(shù)語標記、監(jiān)督學(xué)習(xí)、分類、回歸、無監(jiān)督學(xué)習(xí)標記數(shù)據(jù)集監(jiān)督學(xué)習(xí)“無標記”：無監(jiān)督學(xué)習(xí)常用術(shù)語訓(xùn)練泛化測試的性能不好，比如正確率不高：欠擬合測試很好，泛化能力不好：過擬合測試訓(xùn)練清洗處理原始數(shù)據(jù)訓(xùn)練集