2024大模型在系統(tǒng)中的落地實(shí)踐

錄2000年左 2010年左

2015年左 今

45TB570GB清洗后語(yǔ)料(93%175GB模型（在GPU顯存

830GB代碼數(shù)

表征建模能力：推薦系統(tǒng)缺乏語(yǔ)義信息；而大模型推薦能提取高質(zhì)量的文本表示，并利用編碼的世界知識(shí)完善物品理解和用戶建模個(gè)性化內(nèi)容生成：推薦系統(tǒng)僅能回答用戶對(duì)給定候選集中物品的偏好；而大模型推薦具備生成能力生成不受限的個(gè)性化內(nèi)容，且具備較好的可解釋性 傳統(tǒng)大模型推薦1傳統(tǒng)大模型推薦1C的傳統(tǒng)語(yǔ)言模型(GloveC的傳統(tǒng)語(yǔ)言模型(BERTA與BC無(wú)關(guān)CAB大模型嵌入替代或添加進(jìn)推薦模型嵌入(大模型嵌入替代或添加進(jìn)推薦模型嵌入(如BIGRec)：利用大模型獲取物品的嵌入，將嵌入替代或添加薦嵌入進(jìn)行后續(xù)推薦

訓(xùn)練與推理時(shí)延：LLM模型生成嵌入的速度較慢訓(xùn)練與推理時(shí)延：LLM模型生成嵌入的速度較慢，導(dǎo)致了額外的傳統(tǒng)大模型推薦2傳統(tǒng)大模型推薦2無(wú)法對(duì)輔助信息推理：推薦模型通常只基于序列或特征建模，而LLM可以結(jié)合上下文和輔助信息進(jìn)行

提煉和聯(lián)想新信息(如KAR)：提煉和聯(lián)想新信息(如KAR)：利用LLM從輸入中提煉關(guān)鍵信息，并聯(lián)想開放域知識(shí)引入(如CTRL通過(guò)嵌入對(duì)齊，將開放域知識(shí)

通過(guò)預(yù)訓(xùn)練后的LLM提示工程(如TALLRec、KP4SR)：通過(guò)設(shè)計(jì)專門的prompt，輸入用戶信息、上下文以及候選物品列表作為輔助信息，使M生成推薦結(jié)果推薦模型嵌入融入（如LLaRa）：將來(lái)自推薦模型（如協(xié)同過(guò)濾模型或圖神經(jīng)網(wǎng)絡(luò)）的embedding融入到模型中，結(jié)合M的語(yǔ)義理解能力和推薦模型提取協(xié)同信息的能力設(shè)計(jì)prompt，處理推薦信

ChatGPT對(duì)“是”回答 基于語(yǔ)義embedding獲取語(yǔ)義ID，用來(lái)代替無(wú)意義的物品ID層次化碼本：基于殘差量化的方式獲得重要程度逐級(jí)遞減的碼本（粗粒度->細(xì)粒度），

每層碼本表達(dá)意義的“模長(zhǎng)”生成式推薦大模型2：生成式推薦大模型2：生成式推薦大模型2：生成式推薦大模型2：推薦任務(wù)->序列生成任務(wù)：將輸入的各項(xiàng)異構(gòu)特征整合和編碼成一個(gè)統(tǒng)一的時(shí)間序列，并將召回、排序等推薦任務(wù)重構(gòu)為統(tǒng)一的Seq2Seq序列生成任務(wù)，設(shè)計(jì)基于trsforr的架構(gòu)生成下一個(gè)to。生成式推薦大模型2：生成式推薦大模型2：時(shí)間復(fù)雜度：不涉及對(duì)時(shí)間復(fù)雜度的在模型架構(gòu)層面的優(yōu)化，未來(lái)工作可以考慮設(shè)計(jì)類似于線性注意力機(jī)制或最新提出的mamba等一次復(fù)雜度的架構(gòu)代替或部分代替二次復(fù)雜度的自注意力機(jī)制。但對(duì)于新架構(gòu)，如何保持sligl是一個(gè)挑戰(zhàn)

GPT成功的數(shù)據(jù)基石：GPTGPT成功的數(shù)據(jù)基石：GPT進(jìn)化中，模型結(jié)構(gòu)保持相似，訓(xùn)練數(shù)據(jù)的規(guī)模、質(zhì)量亟待解決的問(wèn)題：,Model-centric同原始數(shù)據(jù)中學(xué)習(xí)到的→映射關(guān)系具有不同側(cè)重，而Data-centric范式先從原始數(shù)據(jù)集針對(duì)不同模型重生成易于學(xué)習(xí)模式的數(shù)據(jù)集′，使學(xué)習(xí)映射′→更加簡(jiǎn)單直觀Model-centric：Onedataset,AllData-centric:Onedataset,One推薦系統(tǒng)中存在的數(shù)據(jù)問(wèn) odlcentric和data-centric范式對(duì)DR4SR預(yù)訓(xùn)練階段(A)學(xué)習(xí)重生成器:提出滑動(dòng)窗口策略提取“(序列,模式)”對(duì)，構(gòu)建預(yù)訓(xùn)練任務(wù)，解決監(jiān)督信號(hào)缺失；提出方法優(yōu)越性：DR4SR在不同數(shù)據(jù)集和各類模型上的性能均顯著提升，展現(xiàn)了跨模型結(jié)構(gòu)泛化能力以Data-centric和Modlcentric范式互補(bǔ)性，體現(xiàn)了Data-centric進(jìn)一步分析：雖然DR4SR可以提供模型感知的序列訓(xùn)練數(shù)據(jù)集，但仍需要基于原始的數(shù)據(jù)集構(gòu)建高階數(shù)據(jù)模式和用于增廣訓(xùn)練的數(shù)據(jù)，針對(duì)不同數(shù)據(jù)類型擴(kuò)展D4S數(shù)據(jù)重生成方法仍需探索基于benchmark數(shù)據(jù)集在5大類

Entropylaw數(shù)據(jù)壓縮率R：度量了數(shù)據(jù)中所蘊(yùn)含的信息密度。可通過(guò)現(xiàn)有的各類數(shù)據(jù)壓縮算法對(duì)文本數(shù)據(jù)進(jìn)行壓縮，訓(xùn)練損失L：度量了數(shù)據(jù)被模型記憶的難易程度?？赏ㄟ^(guò)觀察LLM訓(xùn)練的第一個(gè)epoch的少數(shù)訓(xùn)練步數(shù)便數(shù)據(jù)一致性C：度量了數(shù)據(jù)之間的組合效應(yīng)。反映給定上下文時(shí)，預(yù)測(cè)下一個(gè)token平均數(shù)據(jù)質(zhì)量Q：度量了數(shù)據(jù)的樣本級(jí)別質(zhì)量基于EntropylawZIP根據(jù)信息冗余度向量，選擇K1Entropylaw的實(shí)驗(yàn)驗(yàn)證模型效果vs壓縮率：壓縮率越低，代表了更大的Entropylaw的實(shí)驗(yàn)驗(yàn)證模型效果vs壓縮率：壓縮率越低，代表了更大的信息總量而壓縮率接近的do，Clstr，rlity具有接近的損失及模型效果，符合entropylaw模型效果vs訓(xùn)練損失：更低的壓縮率通常伴隨著更大的訓(xùn)練損失，這是因?yàn)閿?shù)據(jù)中信息總量更大，增大了模型的理解難度 Scalinglaw的擬合分析：對(duì)于模型的loss與模型維度作scalinglaw擬合，初步驗(yàn)證loss與模型層數(shù)，嵌入scaling

L=

(1+

引入近似熵ApEn衡量數(shù)據(jù)質(zhì)量，熵值越低，數(shù)據(jù)質(zhì)量越高。驗(yàn)證擬合數(shù)據(jù)參數(shù)與數(shù)據(jù)規(guī)模/近似熵成8.38633E-2.58694E-8.12462E-

（R2=ScalingLaw只揭示了loss模型規(guī)模影響因素分析：給定數(shù)據(jù)集規(guī)模，推薦模型scalinglaw中最優(yōu)模型參數(shù)正比于模型層數(shù)L與嵌入維