丨大規(guī)模數(shù)據(jù)處理初體驗(yàn)怎樣實(shí)現(xiàn)大型電商熱銷榜

今天我們就以大型熱銷榜為例，來(lái)談一談從1萬(wàn)用戶到1億用戶，從GB數(shù)據(jù)到同樣的問(wèn)題舉一反三，可以應(yīng)用在淘寶熱賣，App榜，熱門，甚至是胡潤(rùn)百富假設(shè)你的銷售10億件商品，已經(jīng)了的銷售記錄：商品id和時(shí){product_id,timestamp}，整個(gè)記錄是1000億行數(shù)據(jù)，TB級(jí)。作為技術(shù)，你會(huì)怎樣設(shè)計(jì)一個(gè)系統(tǒng)，根據(jù)銷售記錄統(tǒng)計(jì)去年銷量前10的商品呢？我們可以把熱銷榜按product_id為：1,2,3O(nn1000TopKO(nPythondef"""Calculatenumberofsalesforeachproduct3sales_records:listofSaleRecord,SaleRecordisanamede.g.{product_id:“1”, dictof{product_id:num_of_sales}.E.g.{“1”:1,“2”:sales_count=forrecordinsales_count[record[product_id]]+= returndefTopSellingItems(sale_records,"""Calculatethebestsellingksales_records:listofSaleRecord,SaleRecordisanamede.g.{product_id:“1”, K:numoftopproductsyouwanttoListofkproduct_id,sortedbynumofsales_count=returnheapq.nlargest(k,sales_count,1014TopK對(duì)于TB級(jí)的記錄數(shù)據(jù)，很難找到單臺(tái)計(jì)算機(jī)容納那么大的哈希表了。你可能想到，那比如，就用一個(gè)1000I/O題。一次磁盤大概需要10ms的時(shí)間。O(n*logk*10^9=10^7s=115天的時(shí)間。你可能需要賈躍亭附體，才能接受這樣的設(shè)例如，100012找出銷量前這里我們不妨把問(wèn)題抽象一下，抽象出是銷量前K的產(chǎn)品。因?yàn)槟愕碾S時(shí)可能把產(chǎn)品需求改成前20銷量，而不是前10了。分布在各個(gè)機(jī)器分散的產(chǎn)品銷量匯總出來(lái)。例如，把所有product_id=1的銷量全部疊下圖示例是K=1的情況，每臺(tái)機(jī)器先把所有product_id=1的銷量疊加在了一起，再找出自己機(jī)器上銷量前K=1的商品?？梢钥吹綄?duì)于每臺(tái)機(jī)器而言，他們的輸出就是最終前K=1的商品候選者。K前K=1的商品候選者中找出真正的銷量前K=1的商品。1000當(dāng)你辛辛苦苦設(shè)計(jì)了應(yīng)對(duì)1億用戶的數(shù)據(jù)處理系統(tǒng)時(shí)，可能你就要另一個(gè)維度的規(guī)?；╯caling）。那就是應(yīng)用場(chǎng)景數(shù)量從1個(gè)變成1000個(gè)。每一次都為不同的應(yīng)用場(chǎng)景單在第二講“MapReduce忘掉MapReduce，忘掉ApacheSpark，忘掉ApacheBeam。1sales_count=這樣簡(jiǎn)單的描述，在我們框架設(shè)計(jì)層面，就要能自動(dòng)構(gòu)建成上文描述的“銷量統(tǒng)計(jì)計(jì)算集1top_k_sales=這行代碼需要自動(dòng)構(gòu)建成上文描述的“找出銷量前K集群”。GBTBTB據(jù)場(chǎng)景到1000個(gè)應(yīng)用場(chǎng)景，我們探索了大規(guī)模數(shù)據(jù)處理框架的設(shè)計(jì)。 不得售賣。頁(yè)面已增加防盜追蹤，將依法其上一 02|MapReduce后誰(shuí)主沉?。涸鯓釉O(shè)計(jì)下一代數(shù)據(jù)處理技術(shù)下一 04|分布式系統(tǒng)（上）：學(xué)會(huì)用服務(wù)等級(jí)協(xié)議SLA來(lái)評(píng)估你的系言言青 Liu 好。于是我用了非常hack的：先使用randomprojection算法降低一定維度，這是Mr 6老師好，我目前是做NLP感。另外由于的ERT橫空出世，感覺(jué)NPP 孫稚 4尾的，少量的item占據(jù)大多數(shù)量，很容易發(fā)送數(shù)據(jù)傾斜，需要設(shè)計(jì)更新的hash-sharding 4 Top1的情況，只統(tǒng)計(jì)每臺(tái)機(jī)器的top1是不是可能會(huì)確呢？比如數(shù)據(jù)按時(shí)間段分片，某個(gè)商品銷量很大很穩(wěn)定，累計(jì)總數(shù)第一但很少是top1 3我們?cè)谧錾唐酚唵谓y(tǒng)計(jì)的時(shí)候，會(huì)按itemidorderyearordermonthhash來(lái)做group的key，分割成更小塊，防止popularitem堆積造成的瓶頸 3關(guān)鍵問(wèn)題是怎么切，切多大？怎么不全切碎，讓它完整的，讓人知道是條魚 3= 2 朱同 1大規(guī)模的topk在計(jì)算過(guò)程中很容易數(shù)據(jù)傾斜的問(wèn)題，在實(shí)際業(yè)務(wù)里，計(jì)算的優(yōu)化是一 1我的思考是：如果K=，而produtd=,produtd=, produtd=(rdtd有種而且每種rdtd可能會(huì)重復(fù)出現(xiàn)，個(gè)數(shù)是動(dòng)態(tài)的)，那么在統(tǒng)計(jì)銷量集群，分配計(jì)算的方法不變，但是在找出銷量前K的集群，每臺(tái)機(jī)