大模型原理與技術(shù)-課件 chap1 緒 論

緒

論計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院智周萬(wàn)物?道濟(jì)天下o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排22

目錄o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排3

目錄

大模型基本概念4o

大模型是通過(guò)“大數(shù)據(jù)+大算力+強(qiáng)算法”相結(jié)合來(lái)模擬人類思維和創(chuàng)造力的人工智能算法

大模型基本概念5o

大模型是通過(guò)“大數(shù)據(jù)+大算力+強(qiáng)算法”相結(jié)合來(lái)模擬人類思維和創(chuàng)造力的人工智能算法l

大數(shù)據(jù)：規(guī)模巨大、多樣化的數(shù)據(jù)集合。

具有廣度和深度的數(shù)據(jù)可以提供豐富的信息來(lái)訓(xùn)練和優(yōu)化大模型，從而使大模型具備更全面的認(rèn)知

和更準(zhǔn)確的預(yù)測(cè)能力，更好地理解現(xiàn)實(shí)世界復(fù)雜的現(xiàn)象和問(wèn)題。l

大算力：指計(jì)算機(jī)或計(jì)算系統(tǒng)具有處理和執(zhí)行復(fù)雜計(jì)算任務(wù)的高度能力。

大模型涉及龐大的參數(shù)和復(fù)雜的計(jì)算任務(wù)，強(qiáng)大的算力是支撐大模型訓(xùn)練和推理的基石。

在訓(xùn)練階段，大算力可以加速數(shù)據(jù)預(yù)處理、特征提取和模型優(yōu)化，使得模型能夠更快地收斂；

在推理階段，大算力可以實(shí)現(xiàn)模型的高效運(yùn)行和及時(shí)響應(yīng)，滿足用戶對(duì)于實(shí)時(shí)性的需求。l

強(qiáng)算法：指在解決特定問(wèn)題或執(zhí)行任務(wù)方面表現(xiàn)出高效率、高準(zhǔn)確率和強(qiáng)魯棒性的算法，是模型解決問(wèn)題的機(jī)制。

強(qiáng)算法能夠更好地挖掘大數(shù)據(jù)中的潛在模式，并將其轉(zhuǎn)化為模型的優(yōu)化方向，

在面對(duì)不確定性和變化時(shí)保持高度的適應(yīng)性和穩(wěn)定性，有效應(yīng)對(duì)現(xiàn)實(shí)世界中的復(fù)雜問(wèn)題。

大模型基本概念6o

大模型是“大數(shù)據(jù)+大算力+強(qiáng)算法”相互融合的產(chǎn)物

大模型是一種全新的AI基礎(chǔ)范式o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排7

目錄

大模型發(fā)展歷程8Transformer架構(gòu)GPTBERT技術(shù)架構(gòu)參數(shù)規(guī)模模態(tài)支持大規(guī)模預(yù)訓(xùn)練模型超大規(guī)模預(yù)訓(xùn)練模型預(yù)訓(xùn)練模型多模態(tài)跨模態(tài)單模態(tài)應(yīng)用領(lǐng)域基礎(chǔ)大模型行業(yè)大模型o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排9

目錄

大模型關(guān)鍵技術(shù)：模型擴(kuò)展10模型擴(kuò)展擴(kuò)展計(jì)算資源擴(kuò)展訓(xùn)練數(shù)據(jù)擴(kuò)展模型規(guī)模提升模型處理和學(xué)習(xí)能力提高模型泛化能力和性能加速模型訓(xùn)練過(guò)程o

最近的一項(xiàng)研究探討了在給定固定預(yù)算的情況下，模型大小、數(shù)據(jù)規(guī)模和計(jì)算資源之間的平衡關(guān)系。o

該研究突顯了模型規(guī)模的增大在一定程度上能夠提升性能，但同時(shí)也指出了遭遇遞減收益的問(wèn)題。o

因此，制定出精確而高效的模型擴(kuò)展策略需要綜合考慮多個(gè)因素，并在計(jì)算資源有限的情況下實(shí)現(xiàn)最佳效益。

大模型關(guān)鍵技術(shù)：模型訓(xùn)練11o

由于具有巨大的參數(shù)，訓(xùn)練對(duì)于大模型來(lái)說(shuō)是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。o

大模型通常需要采用各種并行策略，在多個(gè)計(jì)算設(shè)備上同時(shí)進(jìn)行訓(xùn)練，

因此，分布式訓(xùn)練在學(xué)習(xí)大模型網(wǎng)絡(luò)參數(shù)方面扮演著不可或缺的角色。o

同時(shí)，為了支持分布式訓(xùn)練，一些優(yōu)化框架已經(jīng)問(wèn)世，進(jìn)一步促進(jìn)并行算法的實(shí)施和部署，

包括DeepSpeed和Megatron-LM等。模型訓(xùn)練分布式訓(xùn)練優(yōu)化框架的提出支持

大模型關(guān)鍵技術(shù)：對(duì)齊調(diào)優(yōu)12o

由于大模型接受預(yù)訓(xùn)練時(shí)涵蓋了各種語(yǔ)料庫(kù)的數(shù)據(jù)特征。o

因此，大模型存在生成有毒、偏見(jiàn)甚至有害內(nèi)容的潛在風(fēng)險(xiǎn)。o

為確保大模型與人類價(jià)值觀保持一致，InstructGPT提出了一種有效的微調(diào)方法：o

通過(guò)基于人類反饋的強(qiáng)化學(xué)習(xí)技術(shù)，使大模型能夠按照期望的指令進(jìn)行操作。

大模型關(guān)鍵技術(shù)：能力誘導(dǎo)13o

在大規(guī)模語(yǔ)料庫(kù)上進(jìn)行預(yù)訓(xùn)練后，大模型獲得了作為通用任務(wù)求解器的潛在能力。o

然而，這些能力在執(zhí)行某些特定任務(wù)時(shí)可能并不會(huì)明顯展現(xiàn)。o

因此，通過(guò)設(shè)計(jì)適當(dāng)?shù)娜蝿?wù)引導(dǎo)或特定上下文學(xué)習(xí)策略喚起這些潛能。提示詞的微妙變化對(duì)大模型輸出結(jié)果的影響

大模型關(guān)鍵技術(shù)：工具使用14o

大模型通過(guò)在海量純文本語(yǔ)料庫(kù)上進(jìn)行文本生成訓(xùn)練，因此在一些不適合以文本形式表達(dá)的任務(wù)上可能表現(xiàn)不佳。o

此外，它們的能力也受限于預(yù)訓(xùn)練數(shù)據(jù)，無(wú)法獲取最新信息。o

為了解決這些問(wèn)題，近期有研究提出利用外部工具來(lái)彌補(bǔ)大模型的不足。l

例如，大模型可以通過(guò)使用計(jì)算器進(jìn)行準(zhǔn)確計(jì)算，或者利用搜索引擎檢索未知信息。l

最近，ChatGPT已經(jīng)實(shí)現(xiàn)了一種機(jī)制，允許使用外部插件，無(wú)論是現(xiàn)有的還是新創(chuàng)建的應(yīng)用程序。l

通過(guò)這種機(jī)制，大模型可以更廣泛地利用外部工具，從而顯著擴(kuò)展其能力范圍。l

這種工具使用的方法不僅僅使大模型能夠在特定任務(wù)上表現(xiàn)更為靈活和準(zhǔn)確，

而且還使其能夠處理更廣泛和多樣化的信息來(lái)源。o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排15

目錄

大模型訓(xùn)練流程16預(yù)訓(xùn)練有監(jiān)督微調(diào)獎(jiǎng)勵(lì)建模強(qiáng)化學(xué)習(xí)未標(biāo)注或部分標(biāo)準(zhǔn)的數(shù)據(jù)集上，通過(guò)預(yù)測(cè)下一個(gè)詞或完成句子等任務(wù)進(jìn)行無(wú)監(jiān)督訓(xùn)練，進(jìn)而構(gòu)建出能學(xué)習(xí)到豐富的數(shù)據(jù)表示和通用知識(shí)的基礎(chǔ)大模型，為后續(xù)的特定任務(wù)訓(xùn)練提供堅(jiān)實(shí)的基礎(chǔ)。有監(jiān)督微調(diào)是在基礎(chǔ)大模型的基礎(chǔ)上利用少量高質(zhì)量數(shù)據(jù)集合進(jìn)行微調(diào)，從而生成有監(jiān)督微調(diào)模型。高質(zhì)量數(shù)據(jù)集合包含用戶輸入的提示詞和對(duì)應(yīng)的理想輸出結(jié)果，用戶輸入可以是問(wèn)題、閑聊對(duì)話、任務(wù)指令等多種形式和任務(wù)。在大模型訓(xùn)練的上下文中，設(shè)計(jì)一個(gè)獎(jiǎng)勵(lì)體系，以量化模型行為的好壞，從而引導(dǎo)模型學(xué)習(xí)如何在給定環(huán)境中作出最優(yōu)決策，達(dá)到預(yù)期目標(biāo)。在這一階段，根據(jù)數(shù)十萬(wàn)用戶提供的提示詞，利用在前一階段訓(xùn)練的模型，對(duì)有監(jiān)督微調(diào)模型生成的用戶提示詞補(bǔ)全結(jié)果進(jìn)行質(zhì)量評(píng)估。這個(gè)評(píng)估結(jié)果與基礎(chǔ)模型的建模目標(biāo)結(jié)合，以獲得更優(yōu)的效果。o

大模型基本概念o

大模型發(fā)展歷程o

大模型關(guān)鍵技術(shù)及訓(xùn)練流程l

大模型關(guān)鍵技術(shù)l

大模型訓(xùn)練流程o

內(nèi)容安排17

目錄

內(nèi)容安排18理論基礎(chǔ)第1章

緒論第2章

深度學(xué)習(xí)基礎(chǔ)第3章

自然語(yǔ)言處理第4章

大模型網(wǎng)絡(luò)結(jié)構(gòu)預(yù)訓(xùn)練及微調(diào)第5章

大模型訓(xùn)練與優(yōu)化第6章

大模型微調(diào)第7章

大模型提示工程第8章

高效大