DeepSeek-R1 全面分析2025介紹

DeepSeek-R1是DeepSeek團(tuán)隊(duì)推出的第一代推理模型，通過(guò)強(qiáng)化學(xué)習(xí)（RL）和蒸餾技術(shù)顯著提升導(dǎo)語(yǔ)了語(yǔ)言模型的推理能力。DeepSeek-R1-Zero模型在沒(méi)有監(jiān)督微調(diào)（SFT）的情況下，通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練展現(xiàn)出強(qiáng)大的推理能力，但存在可讀性和語(yǔ)言混合問(wèn)題。為了解決這些問(wèn)題，DeepSeek-R1引入了冷啟動(dòng)數(shù)據(jù)和多階段訓(xùn)練，推理性能與OpenAI的GPTo1-1217相當(dāng)。此外，團(tuán)隊(duì)還科全書(shū)，歡迎對(duì)復(fù)雜性科學(xué)感興趣、熱愛(ài)知識(shí)整理和分享的朋友加入，文末可以掃碼報(bào)名加入百科志愿者！關(guān)鍵詞：大模型語(yǔ)言，強(qiáng)化學(xué)習(xí)，蒸餾模型，組相對(duì)策略優(yōu)化，規(guī)則化獎(jiǎng)勵(lì)1.1DeepSeek系列模型2.技術(shù)特點(diǎn)2.1DeepSeek-R1-Zero與強(qiáng)化學(xué)習(xí)2.2DeepSeek-R1-Zero的頓悟時(shí)刻2.3冷啟動(dòng)數(shù)據(jù)與多階段訓(xùn)練2.3.1冷啟動(dòng)數(shù)據(jù)2.3.2多階段訓(xùn)練2.4蒸餾技術(shù)2.5性能表現(xiàn)2.5.1教育領(lǐng)域任務(wù)2.5.2長(zhǎng)上下文任務(wù)2.5.3事實(shí)性問(wèn)答2.5.4指令執(zhí)行與規(guī)范化輸出2.5.5寫(xiě)作和開(kāi)放問(wèn)答任務(wù)2.5.6數(shù)學(xué)和編程任務(wù)2.5.7蒸餾模型的性能評(píng)價(jià)2.6開(kāi)源貢獻(xiàn)2.7應(yīng)用場(chǎng)景2.8未來(lái)展望3.DeepSeek-R1發(fā)布帶來(lái)的社會(huì)影響3.1社會(huì)影響3.2相關(guān)事件1.背景該模型的開(kāi)發(fā)背景源于傳統(tǒng)語(yǔ)言模型在復(fù)雜推理任務(wù)中的局限性，尤其是在需要多步邏輯推理的場(chǎng)景中。盡管現(xiàn)有的語(yǔ)言模型在生成文本和理解語(yǔ)言方面表現(xiàn)出色，但在數(shù)學(xué)推理、代碼生成等需要精確邏輯推理的任務(wù)中，表現(xiàn)仍然有限。為了解決這一問(wèn)題，DeepSeek團(tuán)隊(duì)提出了基于強(qiáng)化學(xué)習(xí)的訓(xùn)練方法，開(kāi)發(fā)了DeepSeek-R1系列模型。該模型的核心目標(biāo)是通過(guò)強(qiáng)化學(xué)習(xí)和大規(guī)模訓(xùn)練，提升模型在復(fù)雜推理任務(wù)中的表現(xiàn)。DeepSeek-R1-Zero是這一系列中的第一個(gè)模型，它通過(guò)純強(qiáng)化學(xué)習(xí)訓(xùn)練，無(wú)需監(jiān)督微調(diào)（SFT展現(xiàn)出強(qiáng)大的推理能力。然而，DeepSeek-R1-Zero在訓(xùn)練過(guò)程中也暴露出一些問(wèn)題，如可讀性差、語(yǔ)言混合等。為了進(jìn)一步優(yōu)化模型，DeepSeek團(tuán)隊(duì)引入了冷啟動(dòng)數(shù)據(jù)和多階段訓(xùn)練方法，開(kāi)發(fā)了DeepSeek-R1。冷啟動(dòng)數(shù)據(jù)的使用使得模型在訓(xùn)練初期能夠更快地收斂，并且通過(guò)多階段訓(xùn)練，模型的推理能力和可讀性得到了顯著提升。此外，團(tuán)隊(duì)還探索了蒸餾技術(shù)，將大型模型的推理能力傳遞到小型模型，使得小型模型在推理任務(wù)中也能表現(xiàn)出色?？偟膩?lái)說(shuō)，DeepSeek-R1的開(kāi)發(fā)背景是為了解決傳統(tǒng)語(yǔ)言模型在復(fù)雜推理任務(wù)中的不足，通過(guò)強(qiáng)化學(xué)習(xí)和蒸餾技術(shù)，提升模型在數(shù)學(xué)推理、代碼生成等任務(wù)中的表現(xiàn)，并為研究社區(qū)提供開(kāi)源的推理模型資源。1.1DeepSeek系列模型2023年7月，國(guó)內(nèi)大型私募基金幻方量化成立了子公司深度求索，他們儲(chǔ)備了過(guò)萬(wàn)張A100和H800計(jì)算顯卡，開(kāi)啟了半年迭代一版大模型的探索歷程：·2024年1月，深度求索發(fā)布了第一代模型，DeepSeekMoE系列，最大的版本有67B參數(shù)，確立了混合專家模型(MoE)架構(gòu)路線，能大幅減少訓(xùn)練和生成期間的成本。另外，DeepSeekMoE發(fā)現(xiàn)了細(xì)粒度多數(shù)量Expert模塊以及設(shè)立獨(dú)立的共享Expert模塊能獲得更加穩(wěn)定且更好的效果?！?024年5月，深度求索發(fā)布了第二代模型，DeepSeek-v2，最大的版本有273B參數(shù)。其中最重要的創(chuàng)新是多頭潛在注意力機(jī)制(Multi-headLatentAttention，MLA)。MLA能大幅降低模型在生成（推理）階段的顯卡緩存占用，據(jù)報(bào)告可降到原先的5%-13%，因而可以大大提高其在生成階段的效率。這一創(chuàng)新，配合其他創(chuàng)新使得DeepSeek-v2的生成文字的成本降到只有每百萬(wàn)token一塊錢(qián)。·2024年12月，深度求索發(fā)布了第三代模型，DeepSeek-v3，最大的版本有671B參數(shù)。v3采用了多token預(yù)測(cè)訓(xùn)練（Multi-TokenPrediction,MTP）技術(shù)以及無(wú)損負(fù)載均衡技術(shù)，在訓(xùn)練過(guò)程大幅提高模型能力，最終使得其模型能力比肩GPT-4o的最新版本。此外，DeepSeek-v3還第一次證明了大規(guī)模fp8混合精度訓(xùn)練的可行性，提出了DualPipe算法來(lái)重疊集群間計(jì)算和通信的開(kāi)銷(xiāo)，以及針對(duì)MoE架構(gòu)的PD分離策略等各種技術(shù)。2.技術(shù)特點(diǎn)2.1DeepSeek-R1-Zero與強(qiáng)化學(xué)習(xí)DeepSeek-R1-Zero模型通過(guò)純強(qiáng)化學(xué)習(xí)訓(xùn)練，無(wú)需監(jiān)督微調(diào)（SFT展現(xiàn)出強(qiáng)大的推理能力。且模型在訓(xùn)練過(guò)程中表現(xiàn)出“頓悟時(shí)刻”，即自發(fā)地重新評(píng)估和優(yōu)化推理步驟。在以往的研究中，模型的性能提升主要依賴于大量的監(jiān)督數(shù)據(jù)，或者在預(yù)訓(xùn)練模型的基礎(chǔ)上通過(guò)監(jiān)督微調(diào)（SFT）來(lái)實(shí)現(xiàn)。監(jiān)督微調(diào)是指在預(yù)訓(xùn)練模型的基礎(chǔ)上，使用帶有標(biāo)注的數(shù)據(jù)進(jìn)行進(jìn)一步訓(xùn)練，使模型更好地適應(yīng)特定任務(wù)（如文本分類(lèi)、圖像識(shí)別等從而提升其在該任務(wù)上的性能。然而，DeepSeek-R1-Zero模型的出現(xiàn)打破了這一傳統(tǒng)模式，證明了即使不使用監(jiān)督微調(diào)作為冷啟動(dòng)，也能通過(guò)大規(guī)模強(qiáng)化學(xué)習(xí)（RL）顯著提高推理能力。這一方法可以類(lèi)比DeepMind的Alpha-Zero，后者通過(guò)自我對(duì)弈生成數(shù)據(jù)，在圍棋對(duì)弈中實(shí)現(xiàn)了無(wú)需人類(lèi)先驗(yàn)知識(shí)的強(qiáng)大決策能力。DeepSeek-R1-Zero模型的創(chuàng)新主要體現(xiàn)在兩個(gè)方面：組相對(duì)策略優(yōu)化（GRPO）和規(guī)則化獎(jiǎng)勵(lì)（Rule-basedreward）。-組相對(duì)策略優(yōu)化（GRPO）：GRPO方法放棄了通常與策略模型大小相同的批評(píng)者模型，而是通過(guò)組得分來(lái)估計(jì)基線。這種方法類(lèi)似于多個(gè)科研小組共同攻關(guān)同一個(gè)課題，當(dāng)某個(gè)小組取得領(lǐng)先時(shí)，其他小組會(huì)復(fù)制其方法，從而節(jié)省強(qiáng)化學(xué)習(xí)的訓(xùn)練成本。-基于規(guī)則的獎(jiǎng)勵(lì)（Rule-basedreward即訓(xùn)練過(guò)程中的獎(jiǎng)勵(lì)由一個(gè)規(guī)則系統(tǒng)給出（而非神經(jīng)網(wǎng)絡(luò)）。例如，確定性的數(shù)學(xué)題答案可以和事先給定的標(biāo)準(zhǔn)答案對(duì)比，確定獎(jiǎng)懲信號(hào)，二代碼題的答案還可以直接丟盡編譯器，由編譯器給出通過(guò)與否的獎(jiǎng)懲信號(hào)。除此了答案正確與否的獎(jiǎng)懲信號(hào)，獎(jiǎng)勵(lì)系統(tǒng)中還引入了格式的獎(jiǎng)懲信號(hào)，即希望模型輸出遵守給定的格式，即整個(gè)思考過(guò)程并放在“<think>...</think>”里，而最終答案放在“<answer>...</answer>”。基于規(guī)則的獎(jiǎng)勵(lì)實(shí)現(xiàn)起來(lái)簡(jiǎn)單高效，也避免了基于神經(jīng)網(wǎng)絡(luò)的獎(jiǎng)勵(lì)系統(tǒng)在大規(guī)模強(qiáng)化學(xué)習(xí)過(guò)程中可能出現(xiàn)的“獎(jiǎng)勵(lì)操縱”（rewardhacking）?；谏鲜霾呗裕珼eepSeek-R1-Zero的訓(xùn)練展示了兩個(gè)顯著效果。首先，模型自然而然地學(xué)會(huì)了用更多的思考時(shí)間來(lái)解決推理任務(wù)。這一變化并非通過(guò)外部壓力實(shí)現(xiàn)，而是模型內(nèi)在發(fā)展的結(jié)果。其次，模型進(jìn)化出了復(fù)雜性，并產(chǎn)生了引人注目的“頓悟時(shí)刻”。這些結(jié)果表明，DeepSeek-R1-Zero在推理能力上取得了重要突破。推理過(guò)程中DeepSeek-R1-Zero在訓(xùn)練集上的平均響應(yīng)時(shí)間。DeepSeek-R1-Zero?然?然地學(xué)會(huì)了?更多的思考時(shí)間來(lái)解決推理任務(wù)然而，DeepSeek-R1-Zero也面臨一些挑戰(zhàn)。由于在預(yù)訓(xùn)練階段完全放棄了對(duì)計(jì)算資源消耗巨大的監(jiān)督學(xué)習(xí)，模型具有明顯的成本優(yōu)勢(shì)。但與此同時(shí)，完全放棄監(jiān)督學(xué)習(xí)也導(dǎo)致輸出結(jié)果不穩(wěn)定，且可讀性較差。這一問(wèn)題的存在引發(fā)了DeepSeek團(tuán)隊(duì)對(duì)模型優(yōu)化的進(jìn)一步思受到DeepSeek-R1-Zero成果的啟發(fā)，研究人員提出了兩個(gè)未來(lái)研究方向。首先，作為冷啟動(dòng)，納入少量高質(zhì)量數(shù)據(jù)能否進(jìn)一步提高推理性能或加速收斂？其次，如何才能訓(xùn)練出一個(gè)用戶友好型模型，不僅能生成清晰連貫的思維鏈（CoT還能展示強(qiáng)大的通用能力？這些問(wèn)題的探索將為模型的發(fā)展提供新的思路和可能性。2.2DeepSeek-R1-Zero的頓悟時(shí)刻頓悟時(shí)刻(AhaMoment)體現(xiàn)了模型能自發(fā)地重新評(píng)估和優(yōu)化推理步驟的能力。如下圖所示。模型重新評(píng)估了其初始解題方法，并學(xué)會(huì)了為解題分配更多的思考時(shí)間。使用強(qiáng)化學(xué)習(xí)方法，人們不需要明確教導(dǎo)模型解決問(wèn)題方法，只需要提供適當(dāng)?shù)募?lì)，即可讓模型自主發(fā)展出問(wèn)題解決策略。這種自主性不僅展示了模型推理能力的提升，還顯示了強(qiáng)化學(xué)習(xí)在解鎖AI智能水平方面的潛力。2.3冷啟動(dòng)數(shù)據(jù)與多階段訓(xùn)練為了解決可讀性和語(yǔ)言混合問(wèn)題，DeepSeek-R1引入了冷啟動(dòng)數(shù)據(jù)和多階段訓(xùn)練方法。這些改進(jìn)使得模型在推理任務(wù)中的表現(xiàn)與OpenAI的o1-1217模型相當(dāng)。盡管DeepSeek-R1-Zero顯示出了強(qiáng)大的推理能力，但其輸出不符合人類(lèi)的閱讀習(xí)慣，且會(huì)混雜中英文甚至代碼和數(shù)學(xué)符號(hào)，所以人類(lèi)的閱讀體驗(yàn)并不好。而要使模型的輸出符合人類(lèi)習(xí)慣，人們使用微調(diào)技術(shù)就會(huì)比較適合。于是DeepSeek團(tuán)隊(duì)在一定程度上又把監(jiān)督微調(diào)(SFT)技術(shù)請(qǐng)了回來(lái)，在最初使用少量標(biāo)注數(shù)據(jù)對(duì)基模進(jìn)行監(jiān)督微調(diào)，作為模型的冷啟動(dòng)，然后再進(jìn)行DeepSeek-R1-Zero所經(jīng)歷的大規(guī)模強(qiáng)化學(xué)習(xí)。2.3.1冷啟動(dòng)數(shù)據(jù)“冷啟動(dòng)”是人工智能領(lǐng)域的一個(gè)術(shù)語(yǔ)，用于描述人工智能模型在沒(méi)有任何先前訓(xùn)練數(shù)據(jù)的情況下從頭開(kāi)始學(xué)習(xí)的情況。與DeepSeek-R1-Zero不同，為了避免從基礎(chǔ)模型開(kāi)始的強(qiáng)化學(xué)習(xí)訓(xùn)練早期不穩(wěn)定的冷啟動(dòng)階段，DeepSeek-R1構(gòu)建和收集了少量長(zhǎng)思維鏈數(shù)據(jù)，收集的過(guò)程主要注重過(guò)濾掉不易讀的結(jié)果。這次冷啟動(dòng)階段的監(jiān)督微調(diào)和以往的“先監(jiān)督微調(diào)后強(qiáng)化學(xué)習(xí)”訓(xùn)練過(guò)程有顯著區(qū)別，最大的區(qū)別在于二者的數(shù)量上。比如DeepseekMath在RL前的監(jiān)督微調(diào)階段使用了77.6萬(wàn)個(gè)樣本，而這次的冷啟動(dòng)階段只使用了幾千個(gè)。也正因?yàn)槔鋯?dòng)階段用于微調(diào)的樣本量相對(duì)較少，所以工程人員可以精心挑選這些樣本，因此它們的質(zhì)量也比以往監(jiān)督微調(diào)階段用到的數(shù)據(jù)要高得多。事先使用高質(zhì)量數(shù)據(jù)微調(diào)后，模型在開(kāi)始就會(huì)使用人類(lèi)偏好的語(yǔ)言和思維風(fēng)格進(jìn)行思考，并輸出對(duì)人類(lèi)閱讀體驗(yàn)友好的結(jié)果。且由于這些微調(diào)數(shù)據(jù)一般都有高質(zhì)量的思維鏈（ChainofThoughts在后續(xù)的強(qiáng)化學(xué)習(xí)之始可以跳過(guò)不斷隨機(jī)摸索的階段，快速發(fā)展出使用思維鏈進(jìn)行復(fù)雜推理的能力。因此，少批量高質(zhì)量數(shù)據(jù)的冷啟動(dòng)不僅能使模型輸出符合人類(lèi)的閱讀偏好，還能使模型更快收斂，獲得更強(qiáng)的推理能力。不過(guò)即便經(jīng)過(guò)了冷啟動(dòng)，大模型在第二階段的在大規(guī)模強(qiáng)化學(xué)習(xí)過(guò)程中還是顯示出了語(yǔ)言混雜的現(xiàn)象。為了解決這一問(wèn)題，Deepseek團(tuán)隊(duì)還在訓(xùn)練過(guò)程中加入了“語(yǔ)言一致性獎(jiǎng)勵(lì)”，即獎(jiǎng)勵(lì)模型盡可能使用一致的語(yǔ)言來(lái)思考和回答。2.3.2多階段訓(xùn)練經(jīng)過(guò)第一階段的冷啟動(dòng)和第二階段的大規(guī)模強(qiáng)化學(xué)習(xí)后，第三和第四階段的訓(xùn)練分別是提高模型各方面能力的大規(guī)模微調(diào)和增強(qiáng)模型有用性及無(wú)害性的進(jìn)一步的強(qiáng)化學(xué)習(xí)。第三階段和第一階段雖然都是微調(diào)，但在目的和規(guī)模上都不一樣。第一階段的冷啟動(dòng)微調(diào)是為了使模型的輸出更具可讀性和激發(fā)其后續(xù)的思維推理潛力，而第三階段的微調(diào)是為了提升模型的其他的通用能力，比如寫(xiě)作，問(wèn)答、翻譯、角色扮演、自我反思等。為此，相比于冷啟動(dòng)所需的幾千個(gè)數(shù)據(jù)樣本，第三階段的微調(diào)使用了80多萬(wàn)個(gè)樣本數(shù)據(jù)。這里面包括各種來(lái)源的數(shù)據(jù)，比如說(shuō)訓(xùn)練Deepseek-v3時(shí)用到的監(jiān)督微調(diào)數(shù)據(jù)集。有趣的是，這80多萬(wàn)個(gè)樣本中，有60多萬(wàn)個(gè)是從之前R1的訓(xùn)練過(guò)程中所得的checkpoints中得來(lái)。團(tuán)隊(duì)人員使用prompt去讓checkpoint模型做出回答，然后使用一個(gè)訓(xùn)練好的獎(jiǎng)勵(lì)模型來(lái)判斷哪些回答質(zhì)量高可以保留，哪些質(zhì)量差要被拒絕、丟棄掉，如此獲得一個(gè)由這些checkpoint生成的，但質(zhì)量又高于這些checkpoint平均水平的數(shù)據(jù)集，從而繼續(xù)訓(xùn)練。這個(gè)過(guò)程也被稱為拒絕采樣（RejectionSampling）。使用這80多萬(wàn)個(gè)數(shù)據(jù)樣本對(duì)模型進(jìn)一步微調(diào)后，模型不僅有了強(qiáng)大的思維推理能力，還具備了其它各方面的能力?，F(xiàn)在最后一步就是要進(jìn)一步提高模型的推理能力以及有用性，并使其輸出無(wú)害。這也是第四階段的進(jìn)一步強(qiáng)化學(xué)習(xí)要做的事情。對(duì)用于提升其推理能力的數(shù)據(jù)，可以遵循DeepSeek-R1-Zero的方法獲得，而用于提升有用性和無(wú)害性的數(shù)據(jù)，就需要收集模型對(duì)于prompt的回答并人工分析，標(biāo)注出有害部分的數(shù)據(jù)，使用這些標(biāo)注好的數(shù)據(jù)去做強(qiáng)化學(xué)習(xí)。這也被稱作從人類(lèi)反饋中的強(qiáng)化學(xué)習(xí)（ReinforcementLearningfromHumanFeedback）?？偟膩?lái)說(shuō)，Deepseek-R1的訓(xùn)練分為四階段，兩個(gè)監(jiān)督式微調(diào)階段，兩個(gè)RL階段：.第一階段：冷啟動(dòng)監(jiān)督微調(diào)，培養(yǎng)正確（符合人類(lèi)偏好）的語(yǔ)言習(xí)慣、激發(fā)模型的推理潛能。第二階段：大規(guī)模強(qiáng)化學(xué)習(xí)，本階段專注于提升模型的推理密集任務(wù)的能力，并訓(xùn)練模型在回答問(wèn)題時(shí)應(yīng)保持語(yǔ)言一致。第三階段：大規(guī)模監(jiān)督微調(diào)，結(jié)合更廣闊領(lǐng)域的數(shù)據(jù)，提高模型其他方面的通用能力。本階段還對(duì)推理任務(wù)和非推理任務(wù)進(jìn)行分開(kāi)訓(xùn)練。第四階段：進(jìn)一步強(qiáng)化學(xué)習(xí)，從而進(jìn)一步提高推理能力和響應(yīng)的有效性，并減少其輸出的有害內(nèi)容?？梢?jiàn)模型的主要推理能力涌現(xiàn)自第一和第二階段，第三第四階段更像都是后訓(xùn)練（post-training）。理論上還可以有第五階段監(jiān)督微調(diào)、第六階段強(qiáng)化學(xué)習(xí)，第七階段監(jiān)督微調(diào)、第八階段強(qiáng)化學(xué)習(xí)……，從而不斷迭代提高模型的能力。2.4蒸餾技術(shù)DeepSeek團(tuán)隊(duì)開(kāi)源了六個(gè)基于Qwen和Llama的蒸餾模型，幫助小型模型提升推理能力。蒸餾技術(shù)將大型模型的推理能力傳遞到小型模型，使得小型模型在推理任務(wù)中表現(xiàn)優(yōu)異。2015年，GeoffreyHinton、OriolVinyals和JeffDean等學(xué)者[1]提出了在AI領(lǐng)域的知識(shí)蒸餾技術(shù)，即將大型、復(fù)雜模型（教師模型）的知識(shí)轉(zhuǎn)移到小型、簡(jiǎn)單模型（學(xué)生模型）上去的技術(shù)。DeepSeek團(tuán)隊(duì)發(fā)現(xiàn)，不僅僅是知識(shí)，推理能力也可以從大模型蒸餾傳遞到小模型。DeepSeek團(tuán)隊(duì)用DeepSeek-R1第三階段整理得到的80萬(wàn)個(gè)樣本對(duì)一些開(kāi)源模型如Qwen2.5和Llama3.3的小模型版本進(jìn)行了直接微調(diào)。它們發(fā)現(xiàn)，僅僅是如此簡(jiǎn)單的微調(diào)就能大大提升小模型的推理能力，而且這種提升的幅度是僅憑大規(guī)模強(qiáng)化學(xué)習(xí)所不能得到的。為此，它們使用Qwen-32B-Base做了一個(gè)實(shí)驗(yàn)，對(duì)其分別做了與Deepseek-R1-Zero相同大規(guī)模的強(qiáng)化學(xué)習(xí)[2]，以及從Deepseek-R1做蒸餾。實(shí)驗(yàn)結(jié)果是，大規(guī)模強(qiáng)化學(xué)習(xí)后得到的版本，DeepSeek-R1-Zero-Qwen-32B，與目前32B最強(qiáng)的推理模型QwQ-32B-Preview能力相似，然而從Deepseek-R1蒸餾得到的DeepSeek-R1-Distill-Qwen-32B表現(xiàn)卻遠(yuǎn)超前兩者。至此我們也能暫且得出結(jié)論：模型蒸餾技術(shù)非常有用，相比之下，小模型做大規(guī)模強(qiáng)化學(xué)習(xí)不僅消耗大量算力，而且結(jié)果還不如從大模型蒸餾所得。然而，這一切的前提是有這么一個(gè)有強(qiáng)能力的大模型。因此，要獲得更強(qiáng)的推理能力，還是需要更強(qiáng)的大模型和更大規(guī)模的強(qiáng)化學(xué)習(xí)。2.5性能表現(xiàn)下圖顯示了DeepSeek進(jìn)行的測(cè)試結(jié)果，該測(cè)試針對(duì)OpenAI的o1模型在數(shù)學(xué)、編碼和推理任務(wù)上測(cè)試了其大型語(yǔ)言模型的三個(gè)版本。DeepSeek-R1在數(shù)學(xué)和編碼基準(zhǔn)測(cè)試中擊敗或與o1相媲美。[3]2.5.1教育領(lǐng)域任務(wù)在MMLU、MMLU-Pro和GPQADiamond等知識(shí)基準(zhǔn)測(cè)試表明，DeepSeek-R1在STEM（科學(xué)、技術(shù)、工程和數(shù)學(xué)）相關(guān)問(wèn)題上相比DeepSeek-V3具有顯著的改進(jìn)。研究者將其歸因于大規(guī)模強(qiáng)化學(xué)習(xí)（reinforcementlearning,RL）的使用。.MMLU(MassiveMultitaskLanguageUnderstanding)是一項(xiàng)涵蓋多學(xué)科、多領(lǐng)域的大規(guī)模基準(zhǔn)測(cè)試，旨在評(píng)估語(yǔ)言模型在不同任務(wù)和學(xué)科中的表現(xiàn)。這些任務(wù)包括人文、科學(xué)、社會(huì)科學(xué)和數(shù)學(xué)等多個(gè)領(lǐng)域的高中至專業(yè)水平的問(wèn)題。DeepSeek-R1在MMLU基準(zhǔn)測(cè)試中取得了90.8%的Pass@1準(zhǔn)確率，顯著優(yōu)于DeepSeek-V3，展示了其強(qiáng)大的知識(shí)處理和推理能力。MMLU-Pro是一個(gè)更加復(fù)雜和魯棒的多任務(wù)語(yǔ)言理解基準(zhǔn)，設(shè)計(jì)用于挑戰(zhàn)模型在更高難度任務(wù)中的表現(xiàn)。與MMLU相比，MMLU-Pro更強(qiáng)調(diào)推理能力和跨領(lǐng)域的綜合性。DeepSeek-R1在這一基準(zhǔn)中取得了84.0%的準(zhǔn)確率，超越了DeepSeek-V3，并在挑戰(zhàn)性更高的任務(wù)中展現(xiàn)了卓越的推理能力。.GPQADiamond(Graduate-LevelGoogle-ProofQ&ABenchmark)是一個(gè)針對(duì)研究級(jí)問(wèn)答任務(wù)設(shè)計(jì)的基準(zhǔn)，問(wèn)題往往需要復(fù)雜的推理和深度分析才能回答。DeepSeek-R1在這一基準(zhǔn)中的表現(xiàn)達(dá)到71.5%的Pass@1準(zhǔn)確率，顯著高于DeepSeek-V3，進(jìn)一步證明了其在處理復(fù)雜問(wèn)題上的潛力。2.5.2長(zhǎng)上下文任務(wù)DeepSeek-R1在FRAMES（依賴長(zhǎng)上下文的問(wèn)答任務(wù)）基準(zhǔn)測(cè)試中展現(xiàn)了強(qiáng)大的文檔分析能力。FRAMES是一項(xiàng)評(píng)估模型在長(zhǎng)上下文環(huán)境中問(wèn)答能力的基準(zhǔn)測(cè)試，旨在檢測(cè)其文檔分析和信息提取能力。DeepSeek-R1在該測(cè)試中取得了82.5%的準(zhǔn)確率，遠(yuǎn)超DeepSeek-V3，展現(xiàn)了其在復(fù)雜文檔分析任務(wù)中的顯著優(yōu)勢(shì)。2.5.3事實(shí)性問(wèn)答在SimpleQA基準(zhǔn)測(cè)試中，DeepSeek-R1超越了DeepSeek-V3，證明了其處理基于事實(shí)查詢的能力。但是在中文SimpleQA基準(zhǔn)上，DeepSeek-R1的表現(xiàn)不如DeepSeek-V3，主要由于安全強(qiáng)化學(xué)習(xí)（safetyRL）導(dǎo)致模型拒絕回答某些問(wèn)題。2.5.4指令執(zhí)行與規(guī)范化輸出DeepSeek-R1在IF-Eval基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異。這個(gè)測(cè)試專注于評(píng)估模型遵循格式指令（formatinstructions）的能力。這些改進(jìn)主要?dú)w因于監(jiān)督微調(diào)（supervisedfine-tuning,SFT）和強(qiáng)化學(xué)習(xí)（RL）后期階段中指令遵循數(shù)據(jù)的引入：.IF-Eval(InstructionFollowingEvaluation)旨在評(píng)估模型遵循格式化指令的能力，是衡量其在嚴(yán)格指令執(zhí)行中的表現(xiàn)的重要基準(zhǔn)。DeepSeek-R1在IF-Eval中表現(xiàn)卓越，得益于訓(xùn)練過(guò)程中加入了指令遵循數(shù)據(jù)。這種改進(jìn)顯示出DeepSeek-R1在格式化和結(jié)構(gòu)化任務(wù)中的顯著優(yōu)勢(shì)。2.5.5寫(xiě)作和開(kāi)放問(wèn)答任務(wù)在AlpacaEval2.0和ArenaHard基準(zhǔn)測(cè)試中，DeepSeek-R1表現(xiàn)出色，進(jìn)一步表明其在寫(xiě)作任務(wù)和開(kāi)放問(wèn)答（open-domainquestionanswering）中的優(yōu)勢(shì)，強(qiáng)調(diào)了大規(guī)模強(qiáng)化學(xué)習(xí)的泛化優(yōu)勢(shì)，不僅增強(qiáng)了推理能力，還提升了跨領(lǐng)域的表現(xiàn)能力。此外，DeepSeek-R1生成的摘要長(zhǎng)度簡(jiǎn)潔，表明DeepSeek-R1在基于GPT的評(píng)估中避免了引入長(zhǎng)度偏差（lengthbias進(jìn)一步鞏固了其在多任務(wù)中的穩(wěn)健性。.AlpacaEval2.0是一個(gè)評(píng)估模型在開(kāi)放式問(wèn)答任務(wù)中能力的基準(zhǔn)，測(cè)試模型在非考試導(dǎo)向任務(wù)（如寫(xiě)作和回答復(fù)雜問(wèn)題）中的表現(xiàn)。DeepSeek-R1在這一基準(zhǔn)中實(shí)現(xiàn)了87.6%的勝率（win-rate顯著優(yōu)于DeepSeek-V3，證明了其強(qiáng)大的寫(xiě)作能力和開(kāi)放域問(wèn)答能力。.ArenaHard是一個(gè)以對(duì)話評(píng)估為主的高難度基準(zhǔn)測(cè)試，使用GPT-4作為裁判來(lái)比較模型在復(fù)雜對(duì)話中的表現(xiàn)。DeepSeek-R1在該基準(zhǔn)中實(shí)現(xiàn)了92.3%的勝率，展現(xiàn)了其在復(fù)雜對(duì)話任務(wù)中的優(yōu)越性能，同時(shí)避免了由于輸出長(zhǎng)度導(dǎo)致的偏差。2.5.6數(shù)學(xué)和編程任務(wù)在數(shù)學(xué)（如AIME2024和MATH-500）和編程任務(wù)（如LiveCodeBench和Codeforces）中，DeepSeek-R1的表現(xiàn)顯著優(yōu)于其他模型，并與OpenAI-o1-1217相.AIME，全稱AmericanInvitationalMathematicsExamination，是一項(xiàng)面向中學(xué)生的高水平數(shù)學(xué)競(jìng)賽，其難度介于AMC（美國(guó)數(shù)學(xué)競(jìng)賽）和IMO（國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽）之間，享有極高的聲譽(yù)與含金量。與AMC相比，AIME的試題更具挑戰(zhàn)性，需要參賽者具備更強(qiáng)的數(shù)學(xué)推理能力和問(wèn)題解決技巧。同時(shí)，AIME也是選拔美國(guó)數(shù)學(xué)奧林匹克競(jìng)賽（USAMO）和國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽（IMO）國(guó)家隊(duì)的重要環(huán)節(jié)之一。在這一測(cè)試中，DeepSeek-R1達(dá)到了79.8%的Pass@1準(zhǔn)確率，略高于OpenAIo1-1217模型的79.2%。這一結(jié)果表明，DeepSeek-R1具備以較高準(zhǔn)確率解決高中生水平復(fù)雜數(shù)學(xué)問(wèn)題的能力。MATH-500數(shù)據(jù)集收錄了500道難度極高的數(shù)學(xué)競(jìng)賽題，涵蓋代數(shù)、幾何、數(shù)論、組合數(shù)學(xué)等多個(gè)領(lǐng)域。這些題目要求深厚的數(shù)學(xué)知識(shí)儲(chǔ)備以及復(fù)雜的推理步驟才能解答。在這一測(cè)試中，DeepSeek-R1以97.3%的驚人成績(jī)表現(xiàn)出色，與OpenAI的o1-1217模型持平，并顯著超越了其他對(duì)比模型。這一表現(xiàn)表明，DeepSeek-R1已經(jīng)能夠勝任大學(xué)水平的數(shù)學(xué)競(jìng)賽題解答，展現(xiàn)了其卓越的數(shù)學(xué)推理能力。.Codeforces是全球知名的編程競(jìng)賽平臺(tái)，以高難度和強(qiáng)競(jìng)爭(zhēng)性聞名，吸引了來(lái)自世界各地的頂尖程序員參賽。其競(jìng)賽題目通常需要選手具備扎實(shí)的算法和數(shù)據(jù)結(jié)構(gòu)知識(shí)，以及優(yōu)秀的編程能力。在Codeforces平臺(tái)上，DeepSeek-R1獲得了2029的Elo評(píng)分，超過(guò)了96.3%的人類(lèi)程序員。這一結(jié)果表明，DeepSeek-R1的編程能力已經(jīng)超越了絕大多數(shù)人類(lèi)程序員，成為算法和編程領(lǐng)域的強(qiáng)大競(jìng)爭(zhēng)者。2.5.7蒸餾模型的性能評(píng)價(jià)蒸餾DeepSeek-R1的輸出使小型模型（如DeepSeek-R1-Distill-Qwen-7B和DeepSeek-R1-Distill-Qwen-32B）在多個(gè)基準(zhǔn)上超越了GPT-4o-0513等非推理模型和其他對(duì)比模型。這表明蒸餾技術(shù)的有效性。2.6開(kāi)源貢獻(xiàn)DeepSeek團(tuán)隊(duì)開(kāi)源了以下模型，可以在GitHub主頁(yè)下載：.DeepSeek-R1-Zero.DeepSeek-R1.六個(gè)基于Qwen和Llama的蒸餾模型這些開(kāi)源模型為研究社區(qū)提供了寶貴的資源，幫助進(jìn)一步探索語(yǔ)言模型的推理能力。2.7應(yīng)用場(chǎng)景推理密集型任務(wù)：例如編程任務(wù)中的代碼生成、算法設(shè)計(jì)，以及數(shù)學(xué)問(wèn)題求解、科學(xué)推理和邏輯分析等需要復(fù)雜推理的場(chǎng)景。教育與知識(shí)應(yīng)用：可用于解決教育領(lǐng)域的問(wèn)題，支持知識(shí)理解與解答。文檔分析與長(zhǎng)上下文理解：適合處理需要深入文檔分析和理解長(zhǎng)上下文的任務(wù)，例如復(fù)雜信息提取與整合。開(kāi)放領(lǐng)域問(wèn)答與寫(xiě)作：在內(nèi)容生成、問(wèn)題回答以及創(chuàng)造性寫(xiě)作中具有廣泛應(yīng)用，例如生成高質(zhì)量文本或進(jìn)行內(nèi)容編輯。數(shù)據(jù)分析與搜索：在數(shù)據(jù)處理與智能搜索中展現(xiàn)出應(yīng)用潛力，能夠高效解析復(fù)雜信息。2.8未來(lái)展望DeepSeek團(tuán)隊(duì)計(jì)劃進(jìn)一步優(yōu)化強(qiáng)化學(xué)習(xí)在推理任務(wù)中的應(yīng)用，并探索更多蒸餾技術(shù)的潛力，以提升小型模型的推理能力。3.DeepSeek-R1發(fā)布帶來(lái)的社會(huì)影響DeepSeek-R1模型的發(fā)布確實(shí)引發(fā)了廣泛關(guān)注，尤其是在中美科技競(jìng)爭(zhēng)背景下，其影響不僅限于技術(shù)層面，還涉及經(jīng)濟(jì)、政治和國(guó)際關(guān)系等多個(gè)領(lǐng)域。3.1社會(huì)影響以下是該模型發(fā)布所產(chǎn)生的主要社會(huì)影響：·中國(guó)科技創(chuàng)新的標(biāo)志性事件。技術(shù)突破的象征：DeepSeek-R1的發(fā)布被視為中國(guó)在人工智能領(lǐng)域取得重大突破的標(biāo)志，尤其是在推理能力方面，展示了中國(guó)在高端技術(shù)研發(fā)上的實(shí)力。。國(guó)際影響力的提升：該模型的成功發(fā)布進(jìn)一步鞏固了中國(guó)在全球人工智能領(lǐng)域的地位，被視為中國(guó)科技創(chuàng)新崛起的重要里程碑?！?duì)美國(guó)科技行業(yè)的影響?？萍脊善辈▌?dòng)：DeepSeek-R1的發(fā)布引發(fā)了美國(guó)科技股票市場(chǎng)的震蕩，尤其是英偉達(dá)等公司的股價(jià)出現(xiàn)下跌。市場(chǎng)擔(dān)憂中國(guó)在人工智能領(lǐng)域的快速進(jìn)步可能削弱美國(guó)企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。。企業(yè)調(diào)查與競(jìng)爭(zhēng)壓力：OpenAI等美國(guó)科技公司對(duì)DeepSeek-R1的技術(shù)細(xì)節(jié)展開(kāi)調(diào)查，試圖了解其技術(shù)優(yōu)勢(shì)并制定應(yīng)對(duì)策略。這加劇了中美科技企業(yè)之間的競(jìng)·美國(guó)政府與政策反應(yīng)。技術(shù)封禁的討論：有報(bào)道稱，美國(guó)政府正在考慮對(duì)DeepSeek-R1模型實(shí)施封禁或限制，以防止其技術(shù)在美國(guó)的廣泛應(yīng)用。這一舉措反映了美國(guó)對(duì)中國(guó)技術(shù)崛起的警惕。。出口管制與制裁：美國(guó)政府可能進(jìn)一步加強(qiáng)對(duì)人工智能相關(guān)技術(shù)的出口管制，限制中國(guó)獲取高端芯片和關(guān)鍵技術(shù)，以遏制中國(guó)在人工智能領(lǐng)域的發(fā)展。.對(duì)全球科技格局的影響。技術(shù)競(jìng)爭(zhēng)加?。篋eepSeek-R1的發(fā)布加劇了中美兩國(guó)在人工智能領(lǐng)域的技術(shù)競(jìng)爭(zhēng)，促使其他國(guó)家加快相關(guān)技術(shù)的研發(fā)和投資。3.2相關(guān)事件.2025年1月27日，DeepSeek超越ChatGPT，登頂蘋(píng)果AppStore美國(guó)區(qū)免費(fèi)APP下載排行榜