機(jī)器學(xué)習(xí)簡(jiǎn)介及實(shí)例作業(yè)演示文稿

機(jī)器學(xué)習(xí)簡(jiǎn)介及實(shí)例作業(yè)演示文稿現(xiàn)在是1頁(yè)\一共有22頁(yè)\編輯于星期五什么是機(jī)器學(xué)習(xí)現(xiàn)今，機(jī)器學(xué)習(xí)已應(yīng)用于多個(gè)領(lǐng)域，遠(yuǎn)超出大多數(shù)人的想象，下面就是假想的一日，其中很多場(chǎng)景都會(huì)碰到機(jī)器學(xué)習(xí)：

假設(shè)你想起今天是某位朋友的生日，打算通過(guò)郵局給她郵寄一張生日賀卡。你打開(kāi)瀏覽器搜索趣味卡片，搜索引擎顯示了10個(gè)最相關(guān)的鏈接。你認(rèn)為第二個(gè)鏈接最符合你的要求，點(diǎn)擊了這個(gè)鏈接，搜索引擎將記錄這次點(diǎn)擊，并從中學(xué)習(xí)以優(yōu)化下次搜索結(jié)果。然后，你檢查電子郵件系統(tǒng)，此時(shí)垃圾郵件過(guò)濾器已經(jīng)在后臺(tái)自動(dòng)過(guò)濾垃圾廣告郵件，并將其放在垃圾箱內(nèi)。接著你去商店購(gòu)買(mǎi)這張生日卡片，并給你朋友的孩子挑選了一些尿布。結(jié)賬時(shí)，收銀員給了你一張1美元的優(yōu)惠券，可以用于購(gòu)買(mǎi)6罐裝的啤酒。之所以你會(huì)得到這張優(yōu)惠券，是因?yàn)榭钆_(tái)收費(fèi)軟件基于以前的統(tǒng)計(jì)知識(shí)，認(rèn)為買(mǎi)尿布的人往往也會(huì)買(mǎi)啤酒。然后你去郵局郵寄這張賀卡，手寫(xiě)識(shí)別軟件識(shí)別出郵寄地址，并將賀卡發(fā)送給正確的郵車。當(dāng)天你還去了貸款申請(qǐng)機(jī)構(gòu)，查看自己是否能夠申請(qǐng)貸款，辦事員并不是直接給出結(jié)果，而是將你最近的金融活動(dòng)信息輸入計(jì)算機(jī)，由軟件來(lái)判定你是否合格?，F(xiàn)在是2頁(yè)\一共有22頁(yè)\編輯于星期五機(jī)器學(xué)習(xí)問(wèn)題的幾個(gè)實(shí)例機(jī)器學(xué)習(xí)問(wèn)題到處都是，它們組成了日常使用的網(wǎng)絡(luò)或桌面軟件的核心或困難部分。蘋(píng)果的Siri語(yǔ)音理解系統(tǒng)就是實(shí)例。以下，是幾個(gè)真正有關(guān)機(jī)器學(xué)習(xí)到底是什么的的實(shí)例。1、垃圾郵件檢測(cè)：根據(jù)郵箱中的郵件，識(shí)別哪些是垃圾郵件，哪些不是。這樣的模型，可以程序幫助歸類垃圾郵件和非垃圾郵件。這個(gè)例子，我們應(yīng)該都不陌生。2、信用卡欺詐檢測(cè)：根據(jù)用戶一個(gè)月內(nèi)的信用卡交易，識(shí)別哪些交易是該用戶操作的，哪些不是。這樣的決策模型，可以幫助程序退還那些欺詐交易。3、數(shù)字識(shí)別：根據(jù)信封上手寫(xiě)的郵編，識(shí)別出每一個(gè)手寫(xiě)字符所代表的數(shù)字。這樣的模型，可以幫助程序閱讀和理解手寫(xiě)郵編，并根據(jù)地利位置分類信件。4、語(yǔ)音識(shí)別：從一個(gè)用戶的話語(yǔ)，確定用戶提出的具體要求。這樣的模型，可以幫助程序能夠并嘗試自動(dòng)填充用戶需求。帶有Siri系統(tǒng)的iPhone就有這種功能。5、人臉識(shí)別：根據(jù)相冊(cè)中的眾多數(shù)碼照片，識(shí)別出那些包含某一個(gè)人的照片。這樣的決策模型，可以幫助程序根據(jù)人臉管理照片。某些相機(jī)或軟件，如iPhoto，就有這種功能。現(xiàn)在是3頁(yè)\一共有22頁(yè)\編輯于星期五什么是機(jī)器學(xué)習(xí)1、林軒田：機(jī)器學(xué)習(xí)想做的事情，簡(jiǎn)單的說(shuō)是要從資料中歸納出有用的規(guī)則。大數(shù)據(jù)說(shuō)的是對(duì)大量的資料做分析，而人工智能說(shuō)的是讓機(jī)器看起來(lái)更聰明，兩者都可以使用機(jī)器學(xué)習(xí)來(lái)做核心的工具。

我們可以舉2012年的KDD-Cup做例子，當(dāng)年騰訊給的題目之一，是希望能從大量的線上廣告資料中，找出“這個(gè)廣告到底會(huì)不會(huì)被點(diǎn)擊”的規(guī)則，如果機(jī)器能找出有用的規(guī)則，我們就會(huì)有更高“智能”的廣告系統(tǒng)了。2、Arthur

Samuel定義的機(jī)器學(xué)習(xí)(1959)“在不直接針對(duì)問(wèn)題進(jìn)行編程的情況下，賦予計(jì)算機(jī)學(xué)習(xí)能力的一個(gè)研究領(lǐng)域”3、通俗講，機(jī)器學(xué)習(xí)，兩部分：首先是“機(jī)器”，這個(gè)機(jī)器一般其實(shí)指的就是“電腦”

其次學(xué)習(xí)，這個(gè)學(xué)習(xí)也分為兩部分，一是“數(shù)據(jù)”二是“算法”。其實(shí)和人是一樣的，比如你父母教你認(rèn)識(shí)“打棒球”這個(gè)體育運(yùn)動(dòng)的時(shí)候?？隙ㄒo你看打棒球的圖片或者視頻，或者需要跟你描述這個(gè)運(yùn)動(dòng)，這些就是“數(shù)據(jù)”。至于說(shuō)“算法”的話，描述本身就是一種算法。比如他們告訴你“拿著球棒，這樣那樣揮舞擊球的就是棒球”。這樣，在沒(méi)有他們幫助的情況下，再給你一個(gè)新的打棒球的圖片，你也認(rèn)出這是打棒球

4、簡(jiǎn)單講就是，總結(jié)過(guò)去，預(yù)測(cè)未來(lái)?！，F(xiàn)在是4頁(yè)\一共有22頁(yè)\編輯于星期五什么是機(jī)器學(xué)習(xí)現(xiàn)在是5頁(yè)\一共有22頁(yè)\編輯于星期五機(jī)器學(xué)習(xí)問(wèn)題的類型關(guān)于機(jī)器學(xué)習(xí)，有一些常見(jiàn)的分類。以下這些分類，是我們?cè)谘芯繖C(jī)器學(xué)習(xí)時(shí)碰到的大多問(wèn)題都會(huì)參考的典型。分類：標(biāo)記數(shù)據(jù)，也就是將它歸入某一類，如垃圾/非垃圾（郵件）或欺詐/非欺詐（信用卡交易）。決策建模是為了標(biāo)記新的未標(biāo)記的數(shù)據(jù)項(xiàng)。這可以看做是辨別問(wèn)題，為小組之間的差異性或相似性建模。回歸：數(shù)據(jù)被標(biāo)記以真實(shí)的值（如浮點(diǎn)數(shù)）而不是一個(gè)標(biāo)簽。簡(jiǎn)單易懂的例子如時(shí)序數(shù)據(jù)，如隨著時(shí)間波動(dòng)的股票價(jià)格。這個(gè)建模的的決策是為新的未預(yù)測(cè)的數(shù)據(jù)估計(jì)值。聚類：不標(biāo)記數(shù)據(jù)，但是可根據(jù)相似性，以及其他的對(duì)數(shù)據(jù)中自然結(jié)構(gòu)的衡量對(duì)數(shù)據(jù)進(jìn)行分組。可以從以上十個(gè)例子清單中舉出一例：根據(jù)人臉，而不是名字，來(lái)管理照片。這樣，用戶就不得不為分組命名，如Mac上的iPhoto。規(guī)則提取：數(shù)據(jù)被用作對(duì)提議規(guī)則（前提/結(jié)果，又名如果）進(jìn)行提取的基礎(chǔ)。這些規(guī)則，可能但不都是有指向的，意思是說(shuō)，這些方法可以找出數(shù)據(jù)的屬性之間在統(tǒng)計(jì)學(xué)上有說(shuō)服力的關(guān)系，但不都是必要的涉及到需要預(yù)測(cè)的東西。有一個(gè)找出買(mǎi)啤酒還是買(mǎi)尿布之間關(guān)系的例子，（這是數(shù)據(jù)挖掘的民間條例，真實(shí)與否，都闡述了期望和機(jī)會(huì)）?，F(xiàn)在是6頁(yè)\一共有22頁(yè)\編輯于星期五實(shí)例詳解機(jī)器學(xué)習(xí)如何解決問(wèn)題現(xiàn)在是7頁(yè)\一共有22頁(yè)\編輯于星期五什么是機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)可以分為無(wú)監(jiān)督學(xué)習(xí)（unsupervisedlearning）和有監(jiān)督學(xué)習(xí)（supervisedlearning），在工業(yè)界中，有監(jiān)督學(xué)習(xí)是更常見(jiàn)和更有價(jià)值的方式，下文中主要以這種方式展開(kāi)介紹。如下圖中所示，有監(jiān)督的機(jī)器學(xué)習(xí)在解決實(shí)際問(wèn)題時(shí)，有兩個(gè)流程，一個(gè)是離線訓(xùn)練流程（藍(lán)色箭頭），包含數(shù)據(jù)篩選和清洗、特征抽取、模型訓(xùn)練和優(yōu)化模型等環(huán)節(jié)；另一個(gè)流程則是應(yīng)用流程（綠色箭頭），對(duì)需要預(yù)估的數(shù)據(jù)，抽取特征，應(yīng)用離線訓(xùn)練得到的模型進(jìn)行預(yù)估，獲得預(yù)估值作用在實(shí)際產(chǎn)品中。在這兩個(gè)流程中，離線訓(xùn)練是最有技術(shù)挑戰(zhàn)的工作（在線預(yù)估流程很多工作可以復(fù)用離線訓(xùn)練流程的工作），所以下文主要介紹離線訓(xùn)練流程。現(xiàn)在是8頁(yè)\一共有22頁(yè)\編輯于星期五什么是模型（model）？模型，是機(jī)器學(xué)習(xí)中的一個(gè)重要概念，簡(jiǎn)單的講，指特征空間到輸出空間的映射；一般由模型的假設(shè)函數(shù)和參數(shù)w組成（下面公式就是LogisticRegression模型的一種表達(dá)，在訓(xùn)練模型的章節(jié)做稍詳細(xì)的解釋）；一個(gè)模型的假設(shè)空間（hypothesisspace），指給定模型所有可能w對(duì)應(yīng)的輸出空間組成的集合。工業(yè)界常用的模型有LogisticRegression（簡(jiǎn)稱LR）、GradientBoostingDecisionTree（簡(jiǎn)稱GBDT）、SupportVectorMachine（簡(jiǎn)稱SVM）、DeepNeuralNetwork（簡(jiǎn)稱DNN）等?，F(xiàn)在是9頁(yè)\一共有22頁(yè)\編輯于星期五為什么要用機(jī)器學(xué)習(xí)解決問(wèn)題？1、目標(biāo)問(wèn)題需要價(jià)值巨大，因?yàn)闄C(jī)器學(xué)習(xí)解決問(wèn)題有一定的代價(jià)；2、目標(biāo)問(wèn)題有大量數(shù)據(jù)可用，有大量數(shù)據(jù)才能使機(jī)器學(xué)習(xí)比較好地解決問(wèn)題（相對(duì)于簡(jiǎn)單規(guī)則或人工）；3、目標(biāo)問(wèn)題由多種因素（特征）決定，機(jī)器學(xué)習(xí)解決問(wèn)題的優(yōu)勢(shì)才能體現(xiàn)（相對(duì)于簡(jiǎn)單規(guī)則或人工）；4、目標(biāo)問(wèn)題需要持續(xù)優(yōu)化，因?yàn)闄C(jī)器學(xué)習(xí)可以基于數(shù)據(jù)自我學(xué)習(xí)和迭代，持續(xù)地發(fā)揮價(jià)值?，F(xiàn)在是10頁(yè)\一共有22頁(yè)\編輯于星期五對(duì)問(wèn)題建模本文以DEAL（團(tuán)購(gòu)單）交易額預(yù)估問(wèn)題為例（就是預(yù)估一個(gè)給定DEAL一段時(shí)間內(nèi)賣(mài)了多少錢(qián)），介紹使用機(jī)器學(xué)習(xí)如何解決問(wèn)題。首先需要：1、收集問(wèn)題的資料，理解問(wèn)題，成為這個(gè)問(wèn)題的專家；2、拆解問(wèn)題，簡(jiǎn)化問(wèn)題，將問(wèn)題轉(zhuǎn)化機(jī)器可預(yù)估的問(wèn)題。深入理解和分析DEAL交易額后，可以將它分解為如下圖的幾個(gè)問(wèn)題：現(xiàn)在是11頁(yè)\一共有22頁(yè)\編輯于星期五為什么要用機(jī)器學(xué)習(xí)解決問(wèn)題？1、目標(biāo)問(wèn)題需要價(jià)值巨大，因?yàn)闄C(jī)器學(xué)習(xí)解決問(wèn)題有一定的代價(jià)；2、目標(biāo)問(wèn)題有大量數(shù)據(jù)可用，有大量數(shù)據(jù)才能使機(jī)器學(xué)習(xí)比較好地解決問(wèn)題（相對(duì)于簡(jiǎn)單規(guī)則或人工）；3、目標(biāo)問(wèn)題由多種因素（特征）決定，機(jī)器學(xué)習(xí)解決問(wèn)題的優(yōu)勢(shì)才能體現(xiàn)（相對(duì)于簡(jiǎn)單規(guī)則或人工）；4、目標(biāo)問(wèn)題需要持續(xù)優(yōu)化，因?yàn)闄C(jī)器學(xué)習(xí)可以基于數(shù)據(jù)自我學(xué)習(xí)和迭代，持續(xù)地發(fā)揮價(jià)值?，F(xiàn)在是12頁(yè)\一共有22頁(yè)\編輯于星期五模型選擇對(duì)于DEAL交易額這個(gè)問(wèn)題，我們認(rèn)為直接預(yù)估難度很大，希望拆成子問(wèn)題進(jìn)行預(yù)估，即多模型模式。那樣就需要建立用戶數(shù)模型和訪購(gòu)率模型，因?yàn)闄C(jī)器學(xué)習(xí)解決問(wèn)題的方式類似，下文只以訪購(gòu)率模型為例。實(shí)際問(wèn)題選擇模型，需要轉(zhuǎn)化問(wèn)題的業(yè)務(wù)目標(biāo)為模型評(píng)價(jià)目標(biāo)，轉(zhuǎn)化模型評(píng)價(jià)目標(biāo)為模型優(yōu)化目標(biāo)；根據(jù)業(yè)務(wù)的不同目標(biāo)，選擇合適的模型，具體關(guān)系如下：通常來(lái)講，預(yù)估真實(shí)數(shù)值（回歸）、大小順序（排序）、目標(biāo)所在的正確區(qū)間（分類）的難度從大到小，根據(jù)應(yīng)用所需，盡可能選擇難度小的目標(biāo)進(jìn)行。對(duì)于訪購(gòu)率預(yù)估的應(yīng)用目標(biāo)來(lái)說(shuō)，我們至少需要知道大小順序或真實(shí)數(shù)值，所以我們可以選擇AreaUnderCurve（AUC）或MeanAbsoluteError（MAE）作為評(píng)估目標(biāo)，以Maximumlikelihood為模型損失函數(shù)（即優(yōu)化目標(biāo)）。綜上所述，我們選擇spark版本GBDT或LR，主要基于如下考慮：1）可以解決排序或回歸問(wèn)題；2）我們自己實(shí)現(xiàn)了算法，經(jīng)常使用，效果很好；3）支持海量數(shù)據(jù)；4）工業(yè)界廣泛使用?，F(xiàn)在是13頁(yè)\一共有22頁(yè)\編輯于星期五準(zhǔn)備訓(xùn)練數(shù)據(jù)深入理解問(wèn)題，針對(duì)問(wèn)題選擇了相應(yīng)的模型后，接下來(lái)則需要準(zhǔn)備數(shù)據(jù)；數(shù)據(jù)是機(jī)器學(xué)習(xí)解決問(wèn)題的根本，數(shù)據(jù)選擇不對(duì)，則問(wèn)題不可能被解決，所以準(zhǔn)備訓(xùn)練數(shù)據(jù)需要格外的小心和注意：注意點(diǎn)：1、待解決問(wèn)題的數(shù)據(jù)本身的分布盡量一致；2、訓(xùn)練集/測(cè)試集分布與線上預(yù)測(cè)環(huán)境的數(shù)據(jù)分布盡可能一致，這里的分布是指（x,y）的分布，不僅僅是y的分布；3、y數(shù)據(jù)噪音盡可能小，盡量剔除y有噪音的數(shù)據(jù)；4、非必要不做采樣，采樣常常可能使實(shí)際數(shù)據(jù)分布發(fā)生變化，但是如果數(shù)據(jù)太大無(wú)法訓(xùn)練或者正負(fù)比例嚴(yán)重失調(diào)（如超過(guò)100:1）,則需要采樣解決?，F(xiàn)在是14頁(yè)\一共有22頁(yè)\編輯于星期五抽取特征完成數(shù)據(jù)篩選和清洗后，就需要對(duì)數(shù)據(jù)抽取特征，就是完成輸入空間到特征空間的轉(zhuǎn)換（見(jiàn)下圖）。針對(duì)線性模型或非線性模型需要進(jìn)行不同特征抽取，線性模型需要更多特征抽取工作和技巧，而非線性模型對(duì)特征抽取要求相對(duì)較低?，F(xiàn)在是15頁(yè)\一共有22頁(yè)\編輯于星期五特征歸一化特征抽取后，如果不同特征的取值范圍相差很大，最好對(duì)特征進(jìn)行歸一化，以取得更好的效果，常見(jiàn)的歸一化方式如下：現(xiàn)在是16頁(yè)\一共有22頁(yè)\編輯于星期五特征選擇特征抽取和歸一化之后，如果發(fā)現(xiàn)特征太多，導(dǎo)致模型無(wú)法訓(xùn)練，或很容易導(dǎo)致模型過(guò)擬合，則需要對(duì)特征進(jìn)行選擇，挑選有價(jià)值的特征?，F(xiàn)在是17頁(yè)\一共有22頁(yè)\編輯于星期五訓(xùn)練模型完成特征抽取和處理后，就可以開(kāi)始模型訓(xùn)練了，下文以簡(jiǎn)單且常用的LogisticRegression模型（下稱LR模型）為例，進(jìn)行簡(jiǎn)單介紹。

設(shè)有m個(gè)（x,y）訓(xùn)練數(shù)據(jù)，其中x為特征向量，y為label，；w為模型中參數(shù)向量，即模型訓(xùn)練中需要學(xué)習(xí)的對(duì)象。

所謂訓(xùn)練模型，就是選定假說(shuō)函數(shù)和損失函數(shù)，基于已有訓(xùn)練數(shù)據(jù)（x,y），不斷調(diào)整w，使得損失函數(shù)最優(yōu)，相應(yīng)的w就是最終學(xué)習(xí)結(jié)果，也就得到相應(yīng)的模型?！，F(xiàn)在是18頁(yè)\一共有22頁(yè)\編輯于星期五優(yōu)化算法現(xiàn)在是19頁(yè)\一共有22頁(yè)\編輯于星期五優(yōu)化模型經(jīng)過(guò)上文提到的數(shù)據(jù)篩選和清洗、特征設(shè)計(jì)和選擇、模型訓(xùn)練，就得到了一個(gè)模型，但是如果發(fā)現(xiàn)效果不好？怎么辦？

【首先】反思目標(biāo)是否可預(yù)估，數(shù)據(jù)和特征是否存在bug。

【然后】分析一下模型是Overfitting還是Underfitting，從數(shù)據(jù)、特征和模型等環(huán)節(jié)做針對(duì)性優(yōu)化。現(xiàn)在是20頁(yè)\一共有22頁(yè)\編輯于星期五Underfitting&Overfitting所謂Underfitting，即模型沒(méi)有學(xué)到數(shù)據(jù)內(nèi)在關(guān)系，如下圖左一所示，產(chǎn)生分類面不能很好的區(qū)分X和O兩類數(shù)據(jù)；產(chǎn)生的深層原因，就是模型假設(shè)空間太小或者模型假設(shè)空間偏離。

所謂Overfitting，即模型過(guò)渡擬合了訓(xùn)練數(shù)據(jù)的內(nèi)在關(guān)系，如下圖右一所示，產(chǎn)生分類面過(guò)好地區(qū)分X和O兩類數(shù)據(jù)，而真實(shí)分類面可能并不是這樣，以至于在非訓(xùn)練數(shù)據(jù)上表現(xiàn)不好；產(chǎn)生的深層原因，是巨大的模型假設(shè)空間與稀疏的數(shù)據(jù)之間的矛盾。在實(shí)戰(zhàn)中，可以基于模型在訓(xùn)練集和測(cè)試集上的表現(xiàn)來(lái)確定當(dāng)前模型到底是Underfitting還是Overfitting，判斷方式如下表：現(xiàn)在是21頁(yè)\一共有22頁(yè)\編輯于星期五PPT模板下載：行業(yè)PPT模板：節(jié)日PPT模板：素材下載：PPT背景圖片：圖表下載：優(yōu)秀PPT下載：教程：Word教程：教程：資料下載：課件下載：范文下載：試卷下載：教案下載：

總結(jié)綜上所述，機(jī)器學(xué)習(xí)解決問(wèn)題涉及到問(wèn)題建模、準(zhǔn)備訓(xùn)練數(shù)據(jù)、抽取特征、訓(xùn)練