知乎推薦系統(tǒng)的實(shí)踐及重構(gòu)之路

1、知乎推薦系統(tǒng)的實(shí)踐及重構(gòu)之路自衷推薦系統(tǒng)重構(gòu)之路遇到的問題及應(yīng)對(duì)未來挑戰(zhàn)心口自衷2.2 億注冊(cè)用戶數(shù)3000 萬問題1.3 億回答知乎是綜合岊知識(shí)內(nèi)容平臺(tái)存在20余種推薦場(chǎng)景簡(jiǎn)單推薦系統(tǒng)的流程現(xiàn)實(shí)推薦系統(tǒng)的流程知乎早期部分推薦系統(tǒng)總體架構(gòu)知乎早期部分推薦系統(tǒng)總體架構(gòu)存在哪些問題呢？對(duì)多R召回支持不友好召回索引全部基于Redis通用特征和監(jiān)控建設(shè)困難缺乏統(tǒng)一的特征落地方案不支持多隊(duì)列融合重構(gòu)之路重構(gòu)之路重構(gòu)前的思考重構(gòu)前的思考語言的選擇如何支持隊(duì)列混合和多路召回召回索引除Redis-，其他索引數(shù)據(jù)庫的引入重構(gòu)之路語言選擇Python丿avaScalaGolang性能最慢快快快編譯速度慢慢快開發(fā)效

2、率高般般高維護(hù)成本中中中低第三方庫豐富豐富豐富極少語言特點(diǎn)簡(jiǎn)單比較為什么選擇GalangGalang天然支持高并發(fā)并占用資淜少，適用多路召回、G征抽-的并發(fā)知乎內(nèi)部基礎(chǔ)組件的Galang版生態(tài)比較完善。重構(gòu)之路語言選擇語言的選擇不是只有唯一答案如何支持多隊(duì)列隊(duì)列注冊(cè)管-器重構(gòu)之路架構(gòu)設(shè)計(jì)第一步配置文件第二步第三步如何支持多召回召回-冊(cè)管理器重構(gòu)之路架構(gòu)設(shè)計(jì)第一步配置文件第二步第三步重構(gòu)之路 -回索引常見的-回源？用戶多topic的混合-回實(shí)體詞-回地域-回CF-回Embedding-回重構(gòu)之路 召回索引 NoSQL產(chǎn)品簡(jiǎn)單比-RedisHBaseElasticSearch特d-ey-value

3、存儲(chǔ)列式存儲(chǔ)數(shù)據(jù)庫V索R擎優(yōu)dl單、yS能支持a量數(shù)據(jù)tB支持復(fù)雜p合查s（V索）缺d不支持復(fù)雜查s、 uc消oy復(fù)雜查sS能低下y硬件uc消ovg場(chǎng)景定r模hKV查 s（e門E回，H 域E回kk）數(shù)據(jù)量極大，查s 條件l單h場(chǎng)景KiE回檢索（topic（tag）h E回k）重構(gòu)之U 召回索引Embedding召回 ANNFaceboo-Nfaiss進(jìn)行封裝F供了多種embedding召回方法檢索速度快c+實(shí)現(xiàn)，A且F供了pyt+onN封裝調(diào)用大部分P法GEGPU實(shí)現(xiàn)重構(gòu)之N 召回索引召回索引ES 支A相對(duì)復(fù)C的召回，E如多種t-pic的F合召回Redis 支A簡(jiǎn)單的KV召回，E如熱門召回，少

4、量CF召回ANN支AEmbedding召回，包括NN產(chǎn)出的embedding，CF的embeddingK重構(gòu)之路 總體架構(gòu)重構(gòu)遇到的問題舉例重構(gòu)之路遇到的問題遇到的問題-線任務(wù)和模型的管理問題特征日志問題服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題離線任務(wù)和模型的管理問題存在大量離線任務(wù)對(duì)離線部分的不重視代碼管理部署-臺(tái)化完善監(jiān)控特征日志問題重構(gòu)之路遇-的問題Raw DataDataSetModelPrediction理想特征日志問題重構(gòu)之路遇-的問題Raw DataDataSetModelPrediction現(xiàn)實(shí)重構(gòu)之D遇到的問題在C特征RFC離C特征特征Pb日志格式化監(jiān)控流量抽樣ParserLabelka&kaDa-ase- & &map在CF分破局離CF分重構(gòu)之路遇到的問題服務(wù)監(jiān)控問題appappapp服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題Queue的內(nèi)部流程服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題服務(wù)監(jiān)控問題重構(gòu)之路遇到的問題未來挑戰(zhàn)數(shù)據(jù) 規(guī)模決速擴(kuò)張策略通用和業(yè)務(wù)隔離的協(xié)調(diào)資源調(diào)度和性能