2025深度解讀DeepSeek：原理與效應-天津大學

TheTheNaturalLanguageProcessingLaboratoryatTianjinUniversity深度解讀DeepSeek：原理與效應伏羲傳語01大語言模型發(fā)展路線圖ENIAC圖靈測試達特茅斯會議ELIZAAI寒冬I專家系統(tǒng)oScalingLaws：數(shù)據(jù)學習、生成的擴展法則ENIAC圖靈測試達特茅斯會議ELIZAAI寒冬I專家系統(tǒng)oScalingLaws：數(shù)據(jù)學習、生成的擴展法則ENIAC圖靈測試達特茅斯會議ELIZAAI寒冬I專家系統(tǒng)oScalingLaws：數(shù)據(jù)學習、生成的擴展法則ENIAC圖靈測試達特茅斯會議ELIZAAI寒冬I專家系統(tǒng)oScalingLaws：數(shù)據(jù)學習、生成的擴展法則ENIAC圖靈測試達特茅斯會議ELIZAAI寒冬I專家系統(tǒng)oScalingLaws：數(shù)據(jù)學習、生成的擴展法則自然語言處理：人類語言的智能化處理與分析，使計算機具備聽、說、讀、寫、譯等人所具備的語言能力語言模型：自然語言統(tǒng)計建模，簡單說，就是預測句子中的下一個單詞是什么Application通用模型行業(yè)模型SpecializedModel行業(yè)數(shù)據(jù)領領域微調(diào)訓練行業(yè)對齊數(shù)據(jù)領領域?qū)R訓練行行業(yè)模型部署行行業(yè)模型評測General-purposeModel預訓練對齊訓練SFTBest預訓練對齊訓練SFTBestofNsamplingRLHRLHF動態(tài)批處理模型蒸餾模型剪枝模型量化性能監(jiān)控算子優(yōu)化DataParallelExpertParallelDataParallelExpertParallelZeROPipelineParallelFlashAttentionTensorParallelSequenceSequenceParallelDataProcessingandManagement網(wǎng)頁論文處理流程質(zhì)質(zhì)量篩選PromptResponsesA>C>B>D知識能力價值對齊知識能力價值對齊安全可信安全可信專業(yè)領專業(yè)領域百科語語言檢測數(shù)據(jù)去重數(shù)據(jù)去重內(nèi)容內(nèi)容過濾領領域分類版本控制版本控制書籍代碼ComComputingManagement資源分配任務調(diào)度性能監(jiān)控容錯機制彈性擴展負載均衡A100大語言模型：生命周期與范式數(shù)據(jù)處理后訓練應用部署預訓練數(shù)據(jù)處理后訓練應用部署預訓練數(shù)據(jù)治理數(shù)據(jù)要素知識源頭基座模型能力涌現(xiàn)對齊模型微調(diào)&強化安全可信紅隊測試模型壓縮擴展法則大語言模型：后訓練范式過程獎勵模型PRM01大語言模型發(fā)展路線圖o模型架構：大部分企業(yè)采用已驗證架構（試錯成本高昂）【不敢】o推理模型：大部分實驗室仍在苦苦猜測摸索Q*/o1（OpenAI保密）【不知】大模型架構技術探索成本{大模型架構技術探索成本DeepSeekV2-V3及R1在模這些技術并不是所有都是原始創(chuàng)新，但是能夠進行如此多大模型架構底層創(chuàng)新的實下，盡可能通過算法挖掘和提升硬件訓練和解碼o推理模型訓練技術框架：4步法，有效解決了R1-為什么MCTS+PRM是“誤區(qū)”模型不能生成停止符使用標記<think></think><answer></answer>oDeepSeek-R1不是唯一的推理模型框架，2025年將出現(xiàn)更多新的框架o要復現(xiàn)上述框架，需要DeepSeek開源相關DeepSeek：技術創(chuàng)新——推理模型|推理能力蒸餾推理模型蒸餾到小模型o大模型蒸餾到小模型優(yōu)于小模型直接通過大規(guī)模RL訓練了美國的“AIDominance”01大語言模型發(fā)展路線圖算力價格戰(zhàn)開源vs閉源認知誤區(qū)創(chuàng)新&人才&Vision產(chǎn)品：性價比永遠是王道技術也是如此數(shù)百億美元構建的前沿技術護城河一夜間被攻破GPT-3選擇閉源之后，大模型開源vs閉源之爭、之戰(zhàn)一直存在美國AI第一梯隊企業(yè)的前沿技術封閉被打破開源vs閉源不僅涉及技術的公開性，也關乎AI安全治理o美國人對中國AI水平的認知：長久以來，美國認為中國在技術型人才：大模型頂大模型頂尖人才o第一類人才自我驅(qū)動性很強，技術只需要給定方向，最大限度激發(fā)創(chuàng)o突破：通常要打破學科思維定勢，或者是本學科還沒有形成思維定勢考，具備遠大夢想《關于Sora、國內(nèi)大模型及通用人工智能趨勢》《認識大模型》（載于學習時DeepSeekV3和R1的創(chuàng)新，從技術上看，是在探明方更創(chuàng)新，筆者將其定義為探明技術方向上的0-1創(chuàng)新（獨術框架或者開辟了新的方向。探明方向上的0-1創(chuàng)新，如果有足夠多的第一類人才，加上足夠多的算技術方向已經(jīng)被探明了的“追趕”相對容易，難的是在前面面向未知開路，即在未探明方向、未有概念上進行0到1創(chuàng)新、或者進行概念形成和驗證，這方面的創(chuàng)新是要更多膽量、更多vision、更多不計成本投入才能做到的，同時需要第二類人才與第一類人才緊密合作，形成雙反饋；來實現(xiàn)AGI可能還需要3-5個在未探明方向上進行0-1的創(chuàng)新突破；我國如果要在2030年實現(xiàn)“人工智能理論、技術與應用總體達到世界領先水平”，需要更多企業(yè)、高校、研究機構開展探明方向和未探明方向上的0-1創(chuàng)新；01大語言模型發(fā)展路線圖未來…人類所有職業(yè)實現(xiàn)AI自動化需要30年第三個重大突破技術，處于0-1的概念織、自管理、自推進，為人類或團體安排事項、管理科學、社會等重要領 第1范式：經(jīng)驗科學觀察現(xiàn)象經(jīng)驗1600年理論模型牛頓定律、電