丨算法全景圖ai產(chǎn)品經(jīng)理必須要懂的有哪些

這節(jié)課，我會(huì)先帶你從宏觀上了解目前機(jī)器學(xué)習(xí)的三大類應(yīng)用場景，分別是分類問題、回歸問題、聚類問題，以及怎么用相關(guān)算法來處理這些問題，最后幫你梳理一張AI產(chǎn)品經(jīng)理需要掌握的算法技術(shù)全景圖。這樣，我們后面再去學(xué)習(xí)具體的算法，就能有一個(gè)更清晰的學(xué)習(xí)路徑了。比如說，你現(xiàn)在是一個(gè)產(chǎn)品經(jīng)理，有商城全部用戶的歷史行為數(shù)據(jù)，以及用戶A、B、C、D的數(shù)據(jù)，希望預(yù)測商城其他用戶的，可能是用戶E。這就是一個(gè)很經(jīng)典的分類問題，這個(gè)問題的預(yù)測結(jié)果就是或者女性。像這種判斷一個(gè)事情的結(jié)果是“男/女”、“是/否”、“1/0”的問題就是二分類問題。A、B、C、D的狀況數(shù)據(jù)，希望預(yù)測商城其他用戶的狀況。這個(gè)時(shí)候，預(yù)測的結(jié)那分類問題怎么解決呢？我們?cè)倩氐絼偛胚@個(gè)例子中。結(jié)合上面的表格，我們可以看到，已知的用戶會(huì)呈現(xiàn)出來一種規(guī)律，就是女性瀏覽美妝品類次數(shù)遠(yuǎn)高于瀏覽數(shù)碼類頁面次數(shù)，而會(huì)呈現(xiàn)出相反的趨勢。我們可以把和瀏覽頁面次數(shù)呈現(xiàn)到一個(gè)圖里，然后將用戶瀏覽美妝品類頁面，數(shù)碼品類頁面次數(shù)錄入。這個(gè)時(shí)候，你會(huì)發(fā)現(xiàn)用戶E和用戶A、C離得很近，從數(shù)學(xué)的角度來看，距離越近就越相似，所以我們大概率認(rèn)為E的應(yīng)該和A、C一樣，是女性。這就是分類問題的解決過程。在機(jī)器學(xué)習(xí)的場景中，分類算法解決分類問題也是利用相似的原理，可用的算法非常多，常見的有邏輯回歸、樸素貝葉斯、決策樹、隨機(jī)森林、K近鄰、支持向量機(jī)，以及神經(jīng)網(wǎng)絡(luò)等等。總的來說，使用分類算法解決問題，須要有已知的訓(xùn)練數(shù)據(jù)，才能對(duì)未知數(shù)據(jù)進(jìn)行預(yù)測。當(dāng)已知信息缺失的時(shí)候，我們又該怎么辦呢？這個(gè)時(shí)候，我們要么考慮通過人工打標(biāo)來處理數(shù)據(jù)，要么考慮使用聚類算法。這就是我接下來要講的聚類問題的處理邏輯了。我還是代入一個(gè)例子來給你講講，假設(shè)，你現(xiàn)在是一個(gè)系統(tǒng)，為了減輕人工客那聚類問題該怎么解決呢？我們接著剛才的例子來說，假設(shè)我們現(xiàn)在有5條如下的咨詢：小愛同學(xué)和小愛音響有什么區(qū)別？小米的藍(lán)牙耳機(jī)怎么連接？一定要小米路由器才能用嗎？如果我們把每句話都看成單獨(dú)的小組，這一共就是5個(gè)小組，那我們的目標(biāo)就是把相似的問題合并成一個(gè)小組。最簡單的辦法，就是找出每個(gè)小組中的名詞，把“各句中包含的名詞一致的數(shù)量”看作“相似度”。這樣一來，相同名詞數(shù)量最多的兩個(gè)句子就是最相似的。5O這樣，我們就能算出每一個(gè)句子和其他412、3、4、52、0、0、0?！熬渥?”和“句子3、4、5”的相似度是1、0、0。34、50、0?！熬渥?”和“句子5”的相似度是1。212”，我們把這兩個(gè)句子合并之后，5個(gè)小組就變成了4個(gè)小組：112”“小組2”：“句子3”“小組3”：“句子“小組4”：“句子1“小組5”：“句子1”、“句子2”和“句子“小組6”：“句子4”和“句子就這樣，當(dāng)我們把所有相似的句子聚類到一起，就完成了聚類的過程。其實(shí)，聚類算法的原理很簡單，就是根據(jù)樣本之間的距離把距離相近的聚在一起。剛才，我是通過句子中的名詞是否相同來衡量距離的，那在實(shí)際應(yīng)用場景里，衡量樣本之間距離關(guān)系的方更復(fù)雜，可能會(huì)用語義相似度、情感相似度等等?？傊?，聚類算法解決問題的思想就是“物以類聚，人以群分”，所以，聚類分析較為重要的一個(gè)應(yīng)用就是用戶。我們剛才說了，分類問題和聚類問題的差異在于分類問題需要根據(jù)已知的數(shù)據(jù)去學(xué)習(xí)，然后為新的數(shù)據(jù)進(jìn)行預(yù)測，而聚類分析直接在已有數(shù)據(jù)中發(fā)現(xiàn)聯(lián)系。但它們還存在著一個(gè)共同點(diǎn)，那就是它們都輸出的是“0”或“1”這種離散型的。離散型的指的就是非連續(xù)的一個(gè)個(gè)單獨(dú)的。比如說，一個(gè)人的年收入可能是從幾萬到幾千萬這樣的連續(xù)性值，但是如果年收入的具體數(shù)值轉(zhuǎn)化成低收入、中等收入、高收入、收入這些檔，每一個(gè)檔就是一個(gè)離散型的。但有時(shí)候，我們?cè)陧?xiàng)目中確實(shí)需要預(yù)測一個(gè)具體的連續(xù)性數(shù)值，比如酒店的價(jià)格或的價(jià)格。遇到這類問題我們?cè)撛趺崔k呢？這個(gè)時(shí)候，我們就可以通過解決回歸問題的算法來實(shí)現(xiàn)了。產(chǎn)品的銷量來動(dòng)態(tài)調(diào)整的。這個(gè)功能的實(shí)現(xiàn)方式是，先根據(jù)商城App分析出用戶的商品搜索次數(shù)，然后將每個(gè)商品的搜索次數(shù)和銷量做數(shù)據(jù)分析，畫出一個(gè)橫軸為搜索次數(shù)，縱軸為銷量的二維散點(diǎn)圖。我們以搜索小米路由器舉例，從上圖我們可以看到，相對(duì)密集的搜索次數(shù)都在1000次以1000這條回歸直線上，因?yàn)殇N量和搜索次數(shù)成正比，所以它們都可以用一元回歸方程來表示。如果我們假設(shè)影響銷量的因素只有搜索次數(shù)這一個(gè)特征，那么在有了新產(chǎn)品和它的搜索次數(shù)之后，我們根據(jù)一元回歸方程，就可以預(yù)測出新產(chǎn)品的銷量了。這個(gè)時(shí)候有的同學(xué)可能想說，“用戶搜索次數(shù)雖然會(huì)影響銷量，但我認(rèn)為用戶評(píng)價(jià)和庫存也會(huì)影響銷量啊”。接下來，我們就一起來驗(yàn)證一下這個(gè)假設(shè)。庫存、用戶評(píng)價(jià)作為影響銷量的兩個(gè)因素，去分析它們之間的關(guān)系。如上圖所示，當(dāng)庫存小于40%的時(shí)候，用戶評(píng)價(jià)和銷量都很低，當(dāng)庫存大于80%的時(shí)候，當(dāng)庫存大于80%且用戶評(píng)價(jià)高于0.6的時(shí)候，產(chǎn)品才有較好的銷量。因此，這三者之間的當(dāng)然，實(shí)際情況是像服務(wù)態(tài)度、物流時(shí)間、折扣力度、宣傳、購物體驗(yàn)這些因素，它們也會(huì)或多或少地影響銷量。我們可以把這些因素也就是n個(gè)特征，都總結(jié)到同一個(gè)回歸方程中，用多元回歸方程表示，具體的如下：a0a1?a2?a3?a4?和物流。當(dāng)然，回歸算法能做的還有很多，比如預(yù)測不同促銷組合產(chǎn)生的進(jìn)而確定如果你希望知道你的用戶會(huì)不會(huì)某個(gè)商品，你的用戶在平臺(tái)借款之后會(huì)不會(huì)不還錢，或者你想知道你的用戶會(huì)不會(huì)平臺(tái)的會(huì)員卡，這些就屬于分類問題了，如果你希望知道平臺(tái)某個(gè)商品未來的價(jià)格，預(yù)測小區(qū)未來某個(gè)時(shí)間點(diǎn)的房價(jià)，或者預(yù)測一下你的用戶收入情況是多少，的算法工程師可能會(huì)選擇使用回歸算法來解決如果你想做一個(gè)用戶體系，對(duì)用戶進(jìn)行分組打，這就屬于聚類分析的領(lǐng)域了，你當(dāng)然，算法分類的方式不止一種，我們也可以按照建模時(shí)候有沒有，把它們分成有監(jiān)督、無監(jiān)督和半監(jiān)督算法。我之所以選擇根據(jù)應(yīng)用場景來