搜索策略產(chǎn)品經(jīng)理必讀系列-第三講電商搜索排序

1、搜索策略產(chǎn)品經(jīng)理必讀系列第三講電商搜索排序一、排序的目標電商APP搜索返回的召回結(jié)果如何進行排序了？首先我們要明確排序的目標，為什么我們要對搜索召回結(jié)果進行排序，如果亂排會怎么樣？1.1 提升用戶體驗排序的直接目的就是為了提升用戶對于搜索功能的使用體驗，用戶搜索“礦泉水”，搜索引擎能夠?qū)⒂脩羝綍r常買，興趣度最高的“農(nóng)夫山泉”排序在前，不符合用戶消費習慣的“百歲山”等排序在后。如果搜索引擎經(jīng)常將一些和Query相關(guān)度低以及用戶感興趣不高的商品排序在前，用戶就需要經(jīng)常一直下滑去找自己想要的搜索結(jié)果，或者用戶更換Query詞重新進行搜索，整體對用戶體驗影響很大。大家通過下圖就可以感受出排序?qū)τ脩趔w驗

2、的影響。1.2 提升點擊率、轉(zhuǎn)化率、下單率在提升了用戶體驗的同時，用戶對于搜索結(jié)果感興趣了進而提升了對于搜索結(jié)果的點擊率，最終轉(zhuǎn)化率、下單率也會提升，從而提升了整體的流量轉(zhuǎn)化，提升整體的GMV。1.3 提升GMV影響搜索功能的整體成交金額的因素會有很多，但排序效果提升了，一定程度是會對搜索功能促成的整體交易額GMV有提升。但是我們在評估該指標時會考慮比較多的因素，因為整體GMV提升了，是不是將較多促銷的商品排序在前了，短期內(nèi)GMV確實提升了，但是否會出現(xiàn)業(yè)務(wù)的毛利率下滑了。二、排序策略目前工業(yè)界一般是三大類排序策略：相關(guān)性排序、粗排和精排。2.1 相關(guān)性排序相關(guān)性的整體策略就是考慮搜索召回結(jié)果

3、和Query的相關(guān)性，按照相關(guān)性進行打分，最終相關(guān)性從高到低進行排序。簡單的搜索，比如用戶搜索“水”，實體識別以后水是一個SPU+CATEGORY屬性的搜索詞，我們分別去結(jié)構(gòu)化的物料庫里面，SPU列和CATEGORY列進行召回，命中的商品則進行加分。實體的屬性Label，我們是存在優(yōu)先級的，每個實體我們會配置一個相應(yīng)的分數(shù)，比如我們認為SPU的重要性高于CATEGORY，我們給SPU設(shè)置為100分，CATEGORY為80分。那么一個商品如果SPU和CATEGORY都命中了，則相關(guān)性分數(shù)就為180分。同時對于同義詞、近義詞、意圖詞召回的結(jié)果我們進行相應(yīng)的降權(quán)。比如用戶搜索“圣女果”，A商品名為“

4、小番茄”，“小番茄”和“圣女果”是同義詞，我們對同義詞命中的乘以0.9系數(shù)，則A商品的相關(guān)性分數(shù)即為100*0.9=90分。下圖即為用戶搜索“康師傅方便面”，每個商品對應(yīng)的相關(guān)性Score。對于上述相關(guān)度分數(shù)一致的商品，ES索引會自行隨機排序，線下測試時會發(fā)現(xiàn)相同分數(shù)的商品每次排序可能都不太一樣。2.2 粗排 （相關(guān)性 + 人氣 + 歷史購買記錄等）用戶搜索“礦泉水”，物料庫里的“康師傅礦泉水”、“怡寶礦泉水”、“依云礦泉水”。這三個物料的相關(guān)性都是和“礦泉水”完全一樣，那么如何排序了？隨機排序嘛？所以很多時候我們只考慮Query的相關(guān)性是完全不夠的，我們還需要考慮業(yè)務(wù)因素。2.2.1 考慮業(yè)

5、務(wù)因素業(yè)務(wù)因素總的來說就是希望通過歷史數(shù)據(jù)來評估用戶對商品的喜好程度，然后將“喜好程度”進行量化，不同商品之間可以相互比較。一般情況下我們考慮的業(yè)務(wù)因素有：銷量：銷量是排序當中非常重要的一個因素，銷量直接反映該商品的受歡迎程度；收藏：商品的收藏量也間接反映出用戶對該商品的期待程度和受歡迎程度；點擊&加購：通過埋點行為數(shù)據(jù)跟蹤商品的歷史點擊和加購行為，也可以一部分反映用戶對商品的喜好程度。可以考慮的業(yè)務(wù)因素有很多，同時每個業(yè)務(wù)因素的配對的比重分數(shù)具體看每個業(yè)務(wù)方的業(yè)務(wù)需求。但業(yè)務(wù)因素配置的分數(shù)肯定不會超過相關(guān)性，而且一般會低較多，比如SPU設(shè)置100分，可能銷量只設(shè)置50分。具體分數(shù)也要根據(jù)實際

6、情況進行調(diào)試。促銷：有時候我們設(shè)置要考慮當前商品是否促銷，為了配合市場推廣策略等，有時業(yè)務(wù)部門希望將促銷的商品排序靠前，短期內(nèi)增加商品的總銷量。這時排序的時候也需要針對“促銷”這個因素設(shè)置一定的排序權(quán)重分數(shù)，不同的促銷類型配置不同的分數(shù)。2.2.2 歸一化方法業(yè)務(wù)因素我們羅列完以后，如何將這些因素進行量化？讓不同商品之間可以進行比較。統(tǒng)計口徑：銷量的統(tǒng)計通常我們會按照訂單維度進行統(tǒng)計，而不是商品的具體銷售個數(shù)。因為有些商品之間按照銷售個數(shù)是無法比較的，完全不在一個維度，比如瓶裝康師傅礦泉水和茅臺的銷量對比，前者肯定要多很多。雖然是這樣同時銷量的統(tǒng)計我們還會把那些大促期間的銷量剔除掉，因為這部分

7、銷量并不能代表用戶真實的需求和意志。統(tǒng)計周期：統(tǒng)計近半年，近三個月，近一個月，近15天等等。時間周期一般會設(shè)置多個，然后不同的時間周期我們會按照重要性進行百分比權(quán)重配比，最后加起來等于100%。只統(tǒng)計一個時間維度，很多時候商品的銷量具有欺騙性。比如夏天的時候冷飲銷量火爆，但如果將時間維度拉長到半年，可能冷飲銷量就沒有那么火爆，所以需要不同的時間維度進行組合。統(tǒng)計門店or區(qū)域：我們不會將平臺上所有的數(shù)據(jù)匯總在一起統(tǒng)計，一般情況下像生鮮電商類APP，我們會按照門店進行數(shù)據(jù)統(tǒng)計，綜合性電商APP我們可以按照每個省份區(qū)域進行數(shù)據(jù)統(tǒng)計。因為不同區(qū)域不同門店的用戶偏好是完全不一樣的，比如北方人可能偏好康師

8、傅礦泉水，南方人偏好怡寶礦泉水。歸一化公式：歸一化比較簡單的公式，我們可以用：（商品訂單數(shù) 門店最少的商品訂單數(shù) ）/ （門店最高的商品訂單數(shù) 門店最少的商品訂單數(shù) ），這只是其中一種方法，有很多種歸一化的方法。最終我們計算出的是一個系數(shù)，然后我們將該系數(shù)乘以我們最初設(shè)置的權(quán)重分數(shù)，比如銷量為50分，康師傅礦泉數(shù)計算出來的系數(shù)為0.5，那么0.5*50 = 25分，再將該分數(shù)和相關(guān)性分數(shù)進行相加，得到一個綜合性分數(shù)再排序。2.2.3 潛在問題上述將業(yè)務(wù)因素考慮進排序中也會帶來一些實際的問題馬太效應(yīng)：銷量高的商品得到的曝光機會越來越多，銷量低的商品得到的曝光機會會越來越少；新品曝光機會少：很多新

9、品剛上市，根本不存在任何銷量，此時相關(guān)業(yè)務(wù)性分數(shù)均為零，導(dǎo)致新品得到的曝光機會非常少；品類會比較集中：因為消費品的使用周期完全不一樣，比如像礦泉水可能幾天就會購買一次，但是像SK-2神仙水可能幾個月才會購買一次。對于部分表述比較寬泛的搜索詞，有可能排序前列的都來自于一個小品類，比如用戶搜索肉，可能豬肉相關(guān)的商品整體銷量就是高于鴨肉、雞肉等，那么展示的結(jié)果中排序前列的可能都是豬肉。當然上述列舉的三大類問題，我們都可以有相應(yīng)策略進行調(diào)整和優(yōu)化，但基于粗排和精排的模式對于整個業(yè)務(wù)的增長慢慢來到了瓶頸期?；ヂ?lián)網(wǎng)電商巨頭們慢慢積累了大量的用戶行為數(shù)據(jù)，工業(yè)界開始探索構(gòu)建模型來進行排序，預(yù)測探索用戶的偏好

10、，實現(xiàn)按照用戶維度的千人千面排序。2.3 精排上述介紹的“相關(guān)性排序”或者是“粗排”，其實都是基于規(guī)則來做的。目前工業(yè)界電商巨頭們更加常用的做法是基于歷史訂單數(shù)據(jù)、用戶信息、埋點數(shù)據(jù)、用戶歷史Query等，使用傳統(tǒng)機器學(xué)習或者深度學(xué)習來構(gòu)建CTR模型。構(gòu)建排序模型，第一件事情就是模型的學(xué)習目標是什么，是以CTR為目標還是CVR為目標。通常情況下，模型一般以CTR為目標，同時也會關(guān)注CVR和整體帶來的GMV提升等相關(guān)指標。關(guān)于千人千面排序模型，工業(yè)界也存在一個演進的過程。下面我們引用美團點評技術(shù)團隊公開發(fā)布的文章里面部分的真實數(shù)據(jù)進行講解，講解各個排序模型的特點和實際的線上效果。在美團酒店業(yè)務(wù)搜

11、索這個場景中，效果最好的模型是以高維Wide特征為基礎(chǔ)的LR模型和以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的Deep模型相結(jié)合得到的一個綜合類模型。但不同的業(yè)務(wù)場景，用戶的數(shù)據(jù)維度和數(shù)據(jù)量都完全不一樣，所以相同的模型在不同業(yè)務(wù)場景的效果完全不一樣，需要具體問題具體分析。2.4 業(yè)務(wù)策略干預(yù)模型排序完的結(jié)果并不是最終展示給用戶的結(jié)果，因為很多時候會存在一些業(yè)務(wù)策略的干預(yù)，強制將某些商品排序靠前或者調(diào)后，甚至將一些商品過濾掉；比如說生鮮電商盒馬搜索場景中，排序完的結(jié)果會需要根據(jù)定位的門店進行商品有無上架，商品當前有無庫存等進行過濾，未上架和當前無庫存的商品會直接過濾掉；假設(shè)當前盒馬和康師傅品牌達成合作，康師傅希望借助盒馬

12、的平臺做一些新品的市場推廣活動，則搜索結(jié)果中存在該新品的，盒馬都會一定程度排序調(diào)前甚至是置頂；比如說綜合電商淘寶搜索場景中。購買了淘寶的店鋪推廣服務(wù)的店鋪，這些店鋪的商品最終排序時淘寶就會適當?shù)赝芭拧I(yè)務(wù)策略會有很多很多，具體視每一家電商平臺的業(yè)務(wù)需求而制定。一般這種業(yè)務(wù)策略，都是通過后臺產(chǎn)品化的工具進行配置，而不是說通過hard code寫進代碼中。產(chǎn)品化的工具更加靈活，因為這些策略經(jīng)常變動，需要支持產(chǎn)品運營人員更加靈活地進行配置。2.5 小結(jié)相關(guān)性排序和粗排我們統(tǒng)稱為專家規(guī)則，每次調(diào)整影響比較大，無法及時地發(fā)現(xiàn)用戶的行為變化，但是可解釋性很強。排序模型，能夠讓模型不停地訓(xùn)練自學(xué)習，及時發(fā)現(xiàn)用戶的行為變化，不過需要大量數(shù)據(jù)的支撐。有些時候在部分業(yè)務(wù)場景下，排序模型的線上效果并不一定強于專家規(guī)則。業(yè)務(wù)量小的電商APP，專家規(guī)則的效果要優(yōu)于排序模型，LR模型的效果要優(yōu)于深度學(xué)習模型。只有一些業(yè)務(wù)量很大的電商APP，數(shù)據(jù)量足夠，用戶特征維度足夠，排序模型效果才會優(yōu)于專