大語(yǔ)言模型基礎(chǔ)微課版課件 第2章 大模型與生成式AI

浙江省普通本科高校“十四五”重點(diǎn)教材建設(shè)成果之一大語(yǔ)言模型基礎(chǔ)大語(yǔ)言模型基礎(chǔ)周蘇教授QQ：81505050第2章大模型與生成式AI語(yǔ)言模型是自然語(yǔ)言處理領(lǐng)域的基礎(chǔ)任務(wù)和核心問(wèn)題，其目標(biāo)是對(duì)自然語(yǔ)言的概率分布建模。大量的研究從n元語(yǔ)言模型、神經(jīng)語(yǔ)言模型以及預(yù)訓(xùn)練語(yǔ)言模型等不同角度開(kāi)展了一系列工作，這些研究在不同階段對(duì)自然語(yǔ)言處理任務(wù)有重要作用。隨著基于谷歌Transformer的各類(lèi)語(yǔ)言模型的發(fā)展，以及預(yù)訓(xùn)練微調(diào)范式在自然語(yǔ)言處理各類(lèi)任務(wù)中取得突破性進(jìn)展，從OpenAI發(fā)布GPT-3開(kāi)始，對(duì)大語(yǔ)言模型的研究逐漸深入。雖然大模型的參數(shù)量巨大，通過(guò)有監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)能夠完成非常多的任務(wù)，但是其基礎(chǔ)理論仍然離不開(kāi)對(duì)語(yǔ)言的建模。第2章大模型與生成式AI此外，作為一種能夠創(chuàng)造新的內(nèi)容或預(yù)測(cè)未來(lái)數(shù)據(jù)的人工智能技術(shù)，生成式AI（GenerativeAI）包括用于生成文本、圖像、音頻和視頻等各種類(lèi)型內(nèi)容的模型。生成式AI的一個(gè)關(guān)鍵特性是，它不僅可以理解和分析數(shù)據(jù)，還可以創(chuàng)造新的、獨(dú)特的輸出，這些輸出是從學(xué)習(xí)的數(shù)據(jù)模式中派生出來(lái)的。第2章大模型與生成式AI01什么是語(yǔ)言模型02大模型發(fā)展三階段03Transformer模型04生成式人工智能目錄/CONTENTSPART01什么是語(yǔ)言模型語(yǔ)言模型起源于語(yǔ)音識(shí)別。輸入一段音頻數(shù)據(jù)，語(yǔ)音識(shí)別系統(tǒng)通常會(huì)生成多個(gè)句子作為候選，判斷哪個(gè)句子更合理？這就需要用到語(yǔ)言模型對(duì)候選句子進(jìn)行排序。語(yǔ)言模型的應(yīng)用范圍早已擴(kuò)展到機(jī)器翻譯、信息檢索、問(wèn)答、文摘等眾多自然語(yǔ)言處理領(lǐng)域。2.1什么是語(yǔ)言模型語(yǔ)言模型是這樣一個(gè)模型：對(duì)于任意的詞序列，它能夠計(jì)算出這個(gè)序列是一句話的概率。例如，詞序列A：“這個(gè)網(wǎng)站|的|文章|真|水|啊”，這個(gè)明顯是一句話，一個(gè)好的語(yǔ)言模型也會(huì)給出很高的概率。再看詞序列B：“這個(gè)網(wǎng)站|的|睡覺(jué)|蘋(píng)果|好快”，這明顯不是一句話，如果語(yǔ)言模型訓(xùn)練的好，那么序列B的概率就會(huì)很小。2.1.1語(yǔ)言模型的定義于是，給出語(yǔ)言模型的較為正式的定義。假設(shè)我們要為中文創(chuàng)建一個(gè)語(yǔ)言模型，V表示詞典，V={貓,狗,機(jī)器,學(xué)習(xí),語(yǔ)言,模型,...}，wi∈V。語(yǔ)言模型就是這樣一個(gè)模型：給定詞典V，能夠計(jì)算出任意單詞序列w1,w2,...,wn是一句話的概率p(w1,w2,...,wn)，其中，p≥0。語(yǔ)言模型中計(jì)算p(w1,w2,...,wn)的最簡(jiǎn)單方法是數(shù)數(shù)，假設(shè)訓(xùn)練集中共有N個(gè)句子，數(shù)一下在訓(xùn)練集中(w1,w2,...,wn)

出現(xiàn)的次數(shù)，不妨假定為n，則p(w1,w2,...,wn)=n/N?？梢韵胂蟪鲞@個(gè)模型的預(yù)測(cè)能力幾乎為0，一旦單詞序列沒(méi)有在訓(xùn)練集中出現(xiàn)過(guò)，模型的輸出概率就是0。2.1.1語(yǔ)言模型的定義語(yǔ)言模型的另一種等價(jià)定義是：能夠計(jì)算p(wi|w1,w2,...,wi-1)的模型就是語(yǔ)言模型。從文本生成角度來(lái)看，也可以給出如下的語(yǔ)言模型定義：給定一個(gè)短語(yǔ)（一個(gè)詞組或一句話），語(yǔ)言模型可以生成（預(yù)測(cè)）接下來(lái)的一個(gè)詞。2.1.1語(yǔ)言模型的定義在統(tǒng)計(jì)學(xué)模型為主體的自然語(yǔ)言處理時(shí)期，語(yǔ)言模型任務(wù)主要是N-gram語(yǔ)言模型。為了簡(jiǎn)化p(wi|w1,w2,...,wi-1)的計(jì)算，引入一階馬爾可夫假設(shè)：每個(gè)詞只依賴(lài)前一個(gè)詞；也可以引入二階馬爾可夫假設(shè)：每個(gè)詞依賴(lài)前兩個(gè)詞。馬爾可夫假設(shè)可以方便的計(jì)算條件概率。此外，還有前饋神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型、循環(huán)神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型及其他預(yù)訓(xùn)練語(yǔ)言模型。2.1.1語(yǔ)言模型的定義語(yǔ)言模型可用于提升語(yǔ)音識(shí)別和機(jī)器翻譯的性能。例如，在語(yǔ)音識(shí)別中，給定一段“廚房里食油用完了”的語(yǔ)音，有可能會(huì)輸出“廚房里食油用完了”和“廚房里石油用完了”這兩個(gè)讀音完全一樣的文本序列。如果語(yǔ)言模型判斷出前者的概率大于后者的概率，就可以根據(jù)相同讀音的語(yǔ)音輸出“廚房里食油用完了”這個(gè)文本序列。在機(jī)器翻譯中，如果對(duì)英文“yougofirst”逐詞翻譯成中文的話，可能得到“你走先”“你先走”等排列方式的文本序列。如果語(yǔ)言模型判斷出“你先走”的概率大于其他排列方式文本序列的概率，就可以把“yougofirst”譯成“你先走”。2.1.1語(yǔ)言模型的定義早期在解決機(jī)器翻譯這一類(lèi)序列到序列的問(wèn)題時(shí)，通常采用的做法是利用一個(gè)編碼器和一個(gè)解碼器構(gòu)建端到端的神經(jīng)網(wǎng)絡(luò)模型。但是，基于編碼解碼的神經(jīng)網(wǎng)絡(luò)存在兩個(gè)問(wèn)題。拿機(jī)器翻譯作為例子：?jiǎn)栴}1：如果翻譯的句子很長(zhǎng)很復(fù)雜，比如直接將一篇文章輸進(jìn)去，模型的計(jì)算量很大，并且模型的準(zhǔn)確率下降嚴(yán)重。問(wèn)題2：在不同的翻譯語(yǔ)境下，同一個(gè)詞可能具有不同含義，但是網(wǎng)絡(luò)對(duì)這些詞向量并沒(méi)有區(qū)分度，沒(méi)有考慮詞與詞之間的相關(guān)性，導(dǎo)致翻譯效果比較差。2.1.2注意力機(jī)制同樣，在計(jì)算機(jī)視覺(jué)領(lǐng)域，如果輸入的圖像尺寸很大，做圖像分類(lèi)或者識(shí)別時(shí)，模型的性能也會(huì)下降。針對(duì)這樣的問(wèn)題，提出了注意力機(jī)制。早在20世紀(jì)九十年代對(duì)注意力機(jī)制就有研究，到2014年弗拉基米爾的《視覺(jué)注意力的反復(fù)模型》一文中將其應(yīng)用在視覺(jué)領(lǐng)域，后來(lái)，伴隨著2017年Transformer結(jié)構(gòu)的提出，注意力機(jī)制在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等相關(guān)問(wèn)題上被廣泛應(yīng)用。2.1.2注意力機(jī)制“注意力機(jī)制”實(shí)際上就是想將人的感知方式、注意力的行為應(yīng)用在機(jī)器上，讓機(jī)器學(xué)會(huì)去感知數(shù)據(jù)中的重要和不重要的部分。比如要識(shí)別一張圖片中是一個(gè)什么動(dòng)物時(shí)，我們讓機(jī)器側(cè)重于關(guān)注圖片中動(dòng)物的面部特征，包括耳朵、眼睛、鼻子、嘴巴，而不用太關(guān)注其背景信息。核心目的是希望機(jī)器能注意到當(dāng)前任務(wù)的關(guān)鍵信息，而減少對(duì)其他非關(guān)鍵信息的注意。同樣，在機(jī)器翻譯中，讓機(jī)器注意到每個(gè)詞向量之間的相關(guān)性，有側(cè)重地進(jìn)行翻譯，模擬人類(lèi)的理解過(guò)程。2.1.2注意力機(jī)制對(duì)模型的每一個(gè)輸入項(xiàng)，它可能是圖片中的不同部分，或者是語(yǔ)句中的某個(gè)單詞，分配一個(gè)權(quán)重，這個(gè)權(quán)重的大小代表了我們希望模型對(duì)該部分的關(guān)注程度。這樣，通過(guò)權(quán)重大小來(lái)模擬人在處理信息時(shí)的注意力側(cè)重，有效的提高模型的性能，并且在一定程度上降低了計(jì)算量。2.1.2注意力機(jī)制深度學(xué)習(xí)中的注意力機(jī)制通常可分為三類(lèi)：軟注意（全局注意）、硬注意（局部注意）和自注意力（內(nèi)注意）。（1）軟注意機(jī)制：對(duì)每個(gè)輸入項(xiàng)分配的權(quán)重在0~1之間，也就是某些部分關(guān)注多一點(diǎn)，某些部分關(guān)注少一點(diǎn)。由于對(duì)大部分信息都有考慮，但考慮程度不一，所以相對(duì)計(jì)算量比較大。（2）硬注意機(jī)制：對(duì)每個(gè)輸入項(xiàng)分配的權(quán)重非0即1，只考慮哪部分需要關(guān)注，哪部分不關(guān)注，也就是直接舍棄掉一些不相關(guān)項(xiàng)。優(yōu)勢(shì)在于可以減少一定的時(shí)間和計(jì)算成本，但有可能丟失一些本應(yīng)該注意的信息。2.1.2注意力機(jī)制（3）自注意力機(jī)制：對(duì)每個(gè)輸入項(xiàng)分配的權(quán)重取決于輸入項(xiàng)之間的相互作用，即通過(guò)輸入項(xiàng)內(nèi)部的“表決”來(lái)決定應(yīng)該關(guān)注哪些輸入項(xiàng)。和前兩種相比，在處理很長(zhǎng)的輸入時(shí)，具有并行計(jì)算的優(yōu)勢(shì)。2.1.2注意力機(jī)制大模型技術(shù)可以分為“開(kāi)源”和“閉源”兩大類(lèi)型。所謂“開(kāi)源”，是指事物規(guī)劃為可以公開(kāi)訪問(wèn)的，因此人們都可以對(duì)其修改并分享。2.1.3開(kāi)源還是閉源“開(kāi)源”這個(gè)詞最初起源于軟件開(kāi)發(fā)，指的是一種開(kāi)發(fā)軟件的特殊形式。但時(shí)至今天，“開(kāi)源”已經(jīng)泛指一組概念——就是所謂“開(kāi)源的方式”。這些概念包括開(kāi)源項(xiàng)目、產(chǎn)品，或是自發(fā)倡導(dǎo)并歡迎開(kāi)放變化、協(xié)作參與、快速原型、公開(kāi)透明、精英體制以及面向社區(qū)開(kāi)發(fā)的原則。開(kāi)源軟件的源代碼任何人都可以審查、修改和增強(qiáng)?！霸创a”是軟件中大部分計(jì)算機(jī)用戶都沒(méi)見(jiàn)過(guò)的部分，程序員可以修改代碼來(lái)改變一個(gè)軟件（“程序”或“應(yīng)用”）工作的方式。程序員如果可以接觸到計(jì)算機(jī)程序源代碼，就可以通過(guò)添加功能或修復(fù)問(wèn)題來(lái)改進(jìn)這個(gè)軟件。2.1.3開(kāi)源還是閉源PART02大模型發(fā)展三階段在很短一段時(shí)間內(nèi)，人們接連迎來(lái)了ChatGPT、Gemini、Gemma和Sora等一系列大模型產(chǎn)品的發(fā)布，整個(gè)人工智能圈和科技圈都異常興奮，人工智能帶來(lái)的更像是工業(yè)革命的變革浪潮，將逐漸改變?nèi)藗兊纳詈凸ぷ鞣绞?。大模型的發(fā)展大致可以分為三個(gè)階段。2.2大模型發(fā)展三階段此階段集中在2018年至2021年。2017年瓦斯瓦尼等人提出Transformer架構(gòu)，在機(jī)器翻譯任務(wù)上取得了突破性進(jìn)展。2018年谷歌和OpenAI分別提出BERT和GPT-1模型，開(kāi)啟了預(yù)訓(xùn)練語(yǔ)言模型時(shí)代。BERT-Base參數(shù)量為1.1億，BERT-Large參數(shù)量為3.4億，GPT-1參數(shù)量為1.17億，相比于其他深度神經(jīng)網(wǎng)絡(luò)，其參數(shù)量有了數(shù)量級(jí)上的提升。2019年OpenAI發(fā)布了GPT-2，參數(shù)量達(dá)到5億。此后，谷歌發(fā)布參數(shù)規(guī)模為110億的T5模型，2020年OpenAI進(jìn)一步將語(yǔ)言模型參數(shù)量擴(kuò)展到1750億，發(fā)布了GPT-3。2.2.1基礎(chǔ)模型階段此后，國(guó)內(nèi)也相繼推出了一系列大模型產(chǎn)品，包括百度ERNIE、華為盤(pán)古-α等。這個(gè)階段，研究主要集中在語(yǔ)言模型本身，包括僅編碼器、編碼器-解碼器、僅解碼器等各種類(lèi)型的模型結(jié)構(gòu)都有相應(yīng)的研究。模型大小與BERT相類(lèi)似的算法通常采用預(yù)訓(xùn)練微調(diào)范式，針對(duì)不同下游任務(wù)進(jìn)行微調(diào)。但模型參數(shù)量在10億以上時(shí)，由于微調(diào)計(jì)算量很高，這類(lèi)模型的影響力在當(dāng)時(shí)相較BERT類(lèi)模型有不小的差距。2.2.1基礎(chǔ)模型階段此階段集中于2019年至2022年，由于大模型很難針對(duì)特定任務(wù)進(jìn)行微調(diào)，研究者開(kāi)始探索在不針對(duì)單一任務(wù)進(jìn)行微調(diào)的情況下，如何能夠發(fā)揮大模型的能力。2019年雷德福等人使用GPT-2研究大模型在零樣本情況下的任務(wù)處理能力。在此基礎(chǔ)上，Brown等人在GPT-3模型上研究通過(guò)語(yǔ)境學(xué)習(xí)進(jìn)行少樣本學(xué)習(xí)的方法，將不同任務(wù)的少量有標(biāo)注實(shí)例拼接到待分析的樣本，用語(yǔ)言模型根據(jù)實(shí)例理解任務(wù)并給出正確結(jié)果。包括TriviaQA、WebQS、CoQA等評(píng)測(cè)集合都展示出了非常強(qiáng)的能力，在有些任務(wù)中甚至超過(guò)了此前的有監(jiān)督方法。2.2.2能力探索階段上述方法不需要修改語(yǔ)言模型的參數(shù)，模型在處理不同任務(wù)時(shí)無(wú)需花費(fèi)大量計(jì)算資源進(jìn)行模型微調(diào)。但是，僅依賴(lài)語(yǔ)言模型本身，其性能在很多任務(wù)上很難達(dá)到有監(jiān)督學(xué)習(xí)效果，因此研究人員們提出了指令微調(diào)方案，將大量各類(lèi)型任務(wù)，統(tǒng)一為生成式自然語(yǔ)言理解框架，并構(gòu)造訓(xùn)練語(yǔ)料進(jìn)行微調(diào)。2.2.2能力探索階段此階段以2022年11月ChatGPT的發(fā)布為起點(diǎn)。ChatGPT通過(guò)一個(gè)簡(jiǎn)單的對(duì)話框，利用一個(gè)大模型就可以實(shí)現(xiàn)問(wèn)題回答、文稿撰寫(xiě)、代碼生成、數(shù)學(xué)解題等過(guò)去自然語(yǔ)言處理系統(tǒng)需要大量小模型訂制開(kāi)發(fā)才能分別實(shí)現(xiàn)的能力。它在開(kāi)放領(lǐng)域問(wèn)答、各類(lèi)自然語(yǔ)言生成式任務(wù)以及對(duì)話上文理解上所展現(xiàn)出來(lái)的能力遠(yuǎn)超大多數(shù)人的想象。2.2.3突破發(fā)展階段2023年3月GPT-4發(fā)布，相較于ChatGPT又有了非常明顯的進(jìn)步，具備了多模態(tài)理解能力。GPT-4在多種基準(zhǔn)考試測(cè)試上的得分高于88%的應(yīng)試者，包括美國(guó)律師資格考試、法學(xué)院入學(xué)考試、學(xué)術(shù)能力評(píng)估等。它展現(xiàn)了近乎“通用人工智能（AGI）”的能力。各大公司和研究機(jī)構(gòu)也相繼發(fā)布了此類(lèi)系統(tǒng)，包括谷歌推出的Bard、百度的文心一言、科大訊飛的星火大模型、智譜ChatGLM等。2.2.3突破發(fā)展階段PART03Transformer模型Transformer是一種在自然語(yǔ)言處理領(lǐng)域中廣泛使用的深度學(xué)習(xí)模型，它源自谷歌公司在2017年發(fā)表的一篇論文“注意力就是你所需要的”。Transformer模型的主要特點(diǎn)是使用了“自注意力”機(jī)制，允許模型在處理序列數(shù)據(jù)時(shí)考慮到序列中所有元素的上下文關(guān)系。Transformer模型首先被應(yīng)用于機(jī)器翻譯的神經(jīng)網(wǎng)絡(luò)模型架構(gòu)，目標(biāo)是從源語(yǔ)言轉(zhuǎn)換到目標(biāo)語(yǔ)言，它完成了對(duì)源語(yǔ)言序列和目標(biāo)語(yǔ)言序列全局依賴(lài)的建模。因?yàn)檫m用于并行計(jì)算，使它的模型復(fù)雜程度在精度和性能上都要高于之前流行的RNN循環(huán)神經(jīng)網(wǎng)絡(luò)，如今的大語(yǔ)言模型幾乎都基于Transformer結(jié)構(gòu)。2.3

Transformer模型可以簡(jiǎn)單地把Transformer看成是一個(gè)黑盒子，當(dāng)我們?cè)谧鑫谋痉g任務(wù)時(shí)，輸入一段中文，經(jīng)過(guò)這個(gè)黑盒子之后，輸出來(lái)的就是翻譯過(guò)來(lái)的英文。

圖2-2把Transformer當(dāng)成黑盒子2.3.1

Transformer過(guò)程黑盒子里面主要有兩部分組成：編碼器組和解碼器組。當(dāng)輸入一個(gè)文本的時(shí)候，通過(guò)編碼器模塊對(duì)該文本數(shù)據(jù)進(jìn)行編碼，然后將編碼數(shù)據(jù)傳入解碼器模塊進(jìn)行解碼，得到翻譯后的文本。圖2-3黑匣子里面是編碼器組和解碼器組2.3.1

Transformer過(guò)程一般情況下編碼器組模塊里邊有6個(gè)小編碼器，解碼器組里邊有6個(gè)小解碼器。編碼器里邊是自注意力機(jī)制加上一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。圖2-4編碼器內(nèi)部結(jié)構(gòu)2.3.1

Transformer過(guò)程所謂前饋神經(jīng)網(wǎng)絡(luò)，可以理解為是一個(gè)多層感知機(jī)，即一個(gè)包含了多個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)，其中層與層之間是全連接的，相鄰兩層的任意兩個(gè)節(jié)點(diǎn)都有連接。圖2-5前饋神經(jīng)網(wǎng)絡(luò)示例2.3.1

Transformer過(guò)程我們通過(guò)以下步驟來(lái)解釋自注意力機(jī)制。步驟1：模型最初輸入的是詞向量形式。自注意力機(jī)制，顧名思義就是自己和自己計(jì)算一遍注意力，對(duì)每一個(gè)輸入的詞向量需要構(gòu)建自注意力機(jī)制的輸入。這里，Transformer將詞向量乘上三個(gè)矩陣，得到三個(gè)新的向量，這是為了獲得更多的參數(shù)，提高模型效果。對(duì)于輸入X1（機(jī)器），乘上三個(gè)矩陣后分別得到Q1、K1、V1。同樣，對(duì)于輸入X2（學(xué)習(xí)），也乘上三個(gè)不同的矩陣得到Q2、K2、V2。2.3.1

Transformer過(guò)程步驟2：計(jì)算注意力得分。這個(gè)得分是通過(guò)計(jì)算Q與各個(gè)單詞的K向量的點(diǎn)積得到的。以X1為例，分別將Q1和K1、K2進(jìn)行點(diǎn)積運(yùn)算，假設(shè)分別得到得分112和96。圖2-7計(jì)算注意力得分2.3.1

Transformer過(guò)程步驟3：將得分分別除以一個(gè)特定數(shù)值8（K向量的維度的平方根，通常K向量的維度是64）這能讓梯度更加穩(wěn)定，得到結(jié)果14和12。步驟4：將上述結(jié)果進(jìn)行softmax運(yùn)算，得到0.88和0.12。softmax運(yùn)算主要是將分?jǐn)?shù)標(biāo)準(zhǔn)化，使得數(shù)都是正數(shù)并且加起來(lái)等于1。softmax從字面上來(lái)說(shuō)，可以分成soft和max兩個(gè)部分。max就是最大值的意思。softmax的核心在于soft，而soft有軟的含義，與之相對(duì)的是hard硬。很多場(chǎng)景中需要我們找出數(shù)組所有元素中值最大的元素，實(shí)質(zhì)上都是求的hardmax。2.3.1

Transformer過(guò)程步驟5：將V向量乘上softmax的結(jié)果，主要是為了保持想要關(guān)注的單詞的值不變，而掩蓋掉那些不相關(guān)的單詞，例如將它們乘上很小的數(shù)字。圖2-8V向量乘softmax2.3.1

Transformer過(guò)程步驟6：將帶權(quán)重的各個(gè)V向量加起來(lái)。至此，產(chǎn)生在這個(gè)位置上（第一個(gè)單詞）的自注意力機(jī)制層的輸出，其余位置的自注意力機(jī)制輸出計(jì)算方式相同。將上述過(guò)程總結(jié)為一個(gè)公式。

圖2-9自注意力計(jì)算過(guò)程總結(jié)2.3.1

Transformer過(guò)程為進(jìn)一步細(xì)化自注意力機(jī)制層，增加了“多頭注意力機(jī)制”的概念，從兩個(gè)方面提高自注意力層的性能。第一方面，擴(kuò)展模型關(guān)注不同位置的能力，第二方面，給自注意力層多個(gè)“表示子空間”。2.3.1

Transformer過(guò)程多頭自注意力機(jī)制不止有一組Q/K/V權(quán)重矩陣，而是有多組（例如用8組），所以每個(gè)編碼器/解碼器使用8個(gè)“頭”（可以理解為8個(gè)互不干擾的自注意力機(jī)制運(yùn)算），每一組的Q/K/V都不相同。然后，得到8個(gè)不同的權(quán)重矩陣Z，每個(gè)權(quán)重矩陣被用來(lái)將輸入向量投射到不同的表示子空間。經(jīng)過(guò)多頭注意力機(jī)制后，就會(huì)得到多個(gè)權(quán)重矩陣Z，將多個(gè)Z進(jìn)行拼接就得到了自注意力機(jī)制層的輸出。

圖2-10自注意力機(jī)制層的輸出2.3.1

Transformer過(guò)程自注意力機(jī)制層的輸出即是前饋神經(jīng)網(wǎng)絡(luò)層的輸入，只需要一個(gè)矩陣就可以了，不需要8個(gè)矩陣，所以需要把8個(gè)矩陣壓縮成一個(gè)，這只需要把這些矩陣拼接起來(lái)，然后用一個(gè)額外的權(quán)重矩陣與之相乘即可。最終的Z就作為前饋神經(jīng)網(wǎng)絡(luò)的輸入。圖2-118個(gè)矩陣的壓縮2.3.1

Transformer過(guò)程接下來(lái)就進(jìn)入小編碼器里邊的前饋神經(jīng)網(wǎng)模塊了。前饋神經(jīng)網(wǎng)絡(luò)的輸入是自注意力機(jī)制的輸出，即圖2-10中的Z，是一個(gè)維度為（序列長(zhǎng)度×D詞向量）的矩陣。之后前饋神經(jīng)網(wǎng)絡(luò)的輸出也是同樣的維度。進(jìn)一步，一個(gè)大的編碼部分就是將這個(gè)過(guò)程重復(fù)6次，最終得到整個(gè)編碼部分的輸出。然后，在Transformer中使用6個(gè)解碼器。為了解決梯度消失問(wèn)題，在解碼器和編碼器中都用了殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即每一個(gè)前饋神經(jīng)網(wǎng)絡(luò)的輸入不光包含上述自注意力機(jī)制的輸出Z，還包含最原始的輸入。2.3.1

Transformer過(guò)程編碼器是對(duì)輸入（機(jī)器學(xué)習(xí)）進(jìn)行編碼，使用的是自注意力機(jī)制+前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。在解碼器中使用的也是同樣的結(jié)構(gòu)，首先對(duì)輸出（機(jī)器學(xué)習(xí)）計(jì)算自注意力得分。不同的地方在于，執(zhí)行自注意力機(jī)制后，將其輸出與解碼器模塊的輸出計(jì)算一遍注意力機(jī)制得分，之后再進(jìn)入前饋神經(jīng)網(wǎng)絡(luò)模塊。2.3.1

Transformer過(guò)程至此，通過(guò)Transformer編碼和解碼兩大模塊，完成將“機(jī)器學(xué)習(xí)”翻譯成“machinelearing”的過(guò)程。解碼器輸出本來(lái)是一個(gè)浮點(diǎn)型的向量，為轉(zhuǎn)化成“machinelearing”這兩個(gè)詞，這個(gè)工作是最后的線性層接上一個(gè)softmax。其中，線性層是一個(gè)簡(jiǎn)單的全連接神經(jīng)網(wǎng)絡(luò)，它將解碼器產(chǎn)生的向量投影到一個(gè)更高維度的向量上，假設(shè)模型的詞匯表是10000個(gè)詞，那么向量就有10000個(gè)維度，每個(gè)維度對(duì)應(yīng)一個(gè)唯一的詞的得分。之后的softmax層將這些分?jǐn)?shù)轉(zhuǎn)換為概率。選擇概率最大的維度，并對(duì)應(yīng)地生成與之關(guān)聯(lián)的單詞作為此時(shí)間步的輸出就是最終的輸出。2.3.1

Transformer過(guò)程假設(shè)詞匯表維度是6，那么輸出最大概率詞匯的過(guò)程如下圖所示。以上的Transformer框架并沒(méi)有考慮順序信息，這里需要注意“位置編碼”概念，可以讓輸入攜帶位置信息。圖2-12最大概率詞匯過(guò)程2.3.1

Transformer過(guò)程Transformer模型主要由編碼器和解碼器兩部分組成。（1）編碼器：由多個(gè)相同的層組成，每一層都有兩個(gè)子層。第一個(gè)子層是自注意力層，它可以考慮到輸入序列中所有元素的上下文關(guān)系。第二個(gè)子層是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。每個(gè)子層后面都跟有一個(gè)殘差連接和層歸一化。編碼器的任務(wù)是將輸入序列轉(zhuǎn)換為一組連續(xù)的表示，這些表示考慮了輸入序列中每個(gè)元素的上下文。2.3.2

Transformer結(jié)構(gòu)（2）解碼器：由多個(gè)相同的層組成，每一層有三個(gè)子層。第一個(gè)子層是自注意力層，但它在處理當(dāng)前元素時(shí)，只考慮到該元素及其之前的元素，不考慮其后的元素，這種機(jī)制被稱(chēng)為掩碼自注意力。第二個(gè)子層是一個(gè)編碼器-解碼器注意力層，它使解碼器可以關(guān)注到編碼器的輸出。第三個(gè)子層是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)。每個(gè)子層后面都跟有一個(gè)殘差連接和層歸一化。解碼器的任務(wù)是基于編碼器的輸出和前面已經(jīng)生成的元素，生成下一個(gè)元素。2.3.2

Transformer結(jié)構(gòu)基于Transformer的編碼器和解碼器結(jié)構(gòu)如圖2-13所示，左側(cè)和右側(cè)分別對(duì)應(yīng)著編碼器和解碼器結(jié)構(gòu)，它們均由若干個(gè)基本的Transformer塊組成（對(duì)應(yīng)圖中的灰色框）。這里N×表示進(jìn)行了N次堆疊。每個(gè)Transformer塊都接收一個(gè)向量序列{xi}作為輸入，并輸出一個(gè)等長(zhǎng)的向量序列作為輸出{yi}。這里的xi和yi分別對(duì)應(yīng)文本序列中的一個(gè)詞元的表示。yi是當(dāng)前Transformer塊對(duì)輸入xi進(jìn)一步整合其上下文語(yǔ)義后對(duì)應(yīng)的輸出。2.3.2

Transformer結(jié)構(gòu)

圖2-13基于Transformer的編碼器和解碼器結(jié)構(gòu)2.3.2

Transformer結(jié)構(gòu)先通過(guò)輸入嵌入層將每個(gè)單詞轉(zhuǎn)換為其相對(duì)應(yīng)的向量表示。在從輸入到輸出的語(yǔ)義抽象過(guò)程中，主要涉及如下幾個(gè)模塊。（1）注意力層：自注意力操作是基于Transformer的機(jī)器翻譯模型的基本操作，在源語(yǔ)言的編碼和目標(biāo)語(yǔ)言的生成中頻繁地被使用，以建模源語(yǔ)言、目標(biāo)語(yǔ)言任意兩個(gè)單詞之間的依賴(lài)關(guān)系。使用多頭注意力機(jī)制整合上下文語(yǔ)義，它使得序列中任意兩個(gè)單詞之間的依賴(lài)關(guān)系可以直接被建模而不基于傳統(tǒng)的循環(huán)結(jié)構(gòu)，從而更好地解決文本的長(zhǎng)程依賴(lài)問(wèn)題。2.3.3

Transformer模塊（2）位置感知前饋網(wǎng)絡(luò)層：前饋層接收自注意力子層的輸出作為輸入，并通過(guò)一個(gè)帶有ReLU激活函數(shù)的兩層全連接網(wǎng)絡(luò)對(duì)輸入文本序列中的每個(gè)單詞表示進(jìn)行更復(fù)雜的非線性變換。2.3.3

Transformer模塊由Transformer結(jié)構(gòu)組成的網(wǎng)絡(luò)結(jié)構(gòu)通常都非常龐大。編碼器和解碼器均由很多層基本的Transformer塊組成，每一層中都包含復(fù)雜的非線性映射，這就導(dǎo)致模型的訓(xùn)練比較困難。因此，研究人員在Transformer塊中進(jìn)一步引入了殘差連接與層歸一化技術(shù)，以進(jìn)一步提升訓(xùn)練的穩(wěn)定性。具體來(lái)說(shuō)，殘差連接主要是指使用一條直連通道將對(duì)應(yīng)子層的輸入連接到輸出，避免在優(yōu)化過(guò)程中因網(wǎng)絡(luò)過(guò)深而產(chǎn)生潛在的梯度消失問(wèn)題。2.3.3

Transformer模塊（3）殘差連接：對(duì)應(yīng)圖中的Add部分。它是一條分別作用在上述兩個(gè)子層中的直連通路，被用于連接兩個(gè)子層的輸入與輸出，使信息流動(dòng)更高效，有利于模型的優(yōu)化。（4）層歸一化：對(duì)應(yīng)圖中的Norm部分。它作用于上述兩個(gè)子層的輸出表示序列，對(duì)表示序列進(jìn)行層歸一化操作，同樣起到穩(wěn)定優(yōu)化的作用。2.3.3

Transformer模塊PART04生成式人工智能隨著互聯(lián)網(wǎng)、移動(dòng)設(shè)備和云計(jì)算的興起，生成式AI代表了技術(shù)的重大進(jìn)步。其直接的實(shí)際效益特別是在提高生產(chǎn)力和效率方面。生成式AI模型廣泛應(yīng)用于許多領(lǐng)域，這些系統(tǒng)的顯著示例和應(yīng)用體現(xiàn)在寫(xiě)作、藝術(shù)、音樂(lè)和其他創(chuàng)新領(lǐng)域。生成式AI是一項(xiàng)變革性技術(shù)，它利用神經(jīng)網(wǎng)絡(luò)來(lái)生成原始內(nèi)容，包括文本、圖像、視頻等。ChatGPT、Bard、DALL-E2、Midjourney和GitHubCopilot等知名應(yīng)用程序展示了這一突破的早期前景和潛力。2.4生成式人工智能深入了解生成式AI，探索其機(jī)制、現(xiàn)實(shí)世界的例子、市場(chǎng)動(dòng)態(tài)以及其多個(gè)“層”的復(fù)雜性，了解這項(xiàng)技術(shù)的潛力，它如何塑造行業(yè)，以及對(duì)最終用戶發(fā)揮作用和變革的各個(gè)層面。2.4生成式人工智能生成式AI是AI的一個(gè)子集，它利用算法來(lái)創(chuàng)建新內(nèi)容，例如文本、圖像、視頻、音頻、代碼、設(shè)計(jì)或其他形式。生成式AI模型的工作原理是利用神經(jīng)網(wǎng)絡(luò)來(lái)分析和識(shí)別所訓(xùn)練的數(shù)據(jù)中的模式和結(jié)構(gòu)。利用這種理解，生成了新的內(nèi)容，既模仿類(lèi)人的創(chuàng)作，又?jǐn)U展了訓(xùn)練數(shù)據(jù)的模式。這些神經(jīng)網(wǎng)絡(luò)的功能根據(jù)所使用的具體技術(shù)或架構(gòu)而有所不同，包括Transformer、生成對(duì)抗網(wǎng)絡(luò)（GAN）、變分自動(dòng)編碼器（VAE）和擴(kuò)散模型。2.4.1生成式AI定義（1）Transformer。它利用自注意機(jī)制來(lái)處理和分析數(shù)據(jù)序列，比傳統(tǒng)方法更高效。與僅關(guān)注單個(gè)句子的傳統(tǒng)AI模型不同，Transformer可以識(shí)別整個(gè)頁(yè)面、章節(jié)或書(shū)籍中單詞之間的聯(lián)系。這使得它們非常適合在大規(guī)模、未標(biāo)記的數(shù)據(jù)集上進(jìn)行訓(xùn)練。（2）生成對(duì)抗網(wǎng)絡(luò)（GAN）。由兩部分組成：創(chuàng)建新數(shù)據(jù)的生成器和區(qū)分真實(shí)數(shù)據(jù)和計(jì)算機(jī)生成數(shù)據(jù)的鑒別器。兩個(gè)組件同時(shí)訓(xùn)練。如果生成器產(chǎn)生不切實(shí)際的樣本，則生成器會(huì)受到懲罰，而鑒別器如果錯(cuò)誤地識(shí)別計(jì)算機(jī)生成的示例，則會(huì)受到懲罰。2.4.1生成式AI定義（3）變分自動(dòng)編碼器（VAE）。通過(guò)一組潛在變量連接的編碼器和解碼器組成。這些無(wú)監(jiān)督學(xué)習(xí)模型致力于通過(guò)將數(shù)據(jù)集壓縮為簡(jiǎn)化形式來(lái)使輸入和輸出盡可能相同。潛在變量允許通過(guò)將隨機(jī)集輸入解碼器來(lái)生成新數(shù)據(jù)，從而促進(jìn)輸出的創(chuàng)造力和多樣性。（4）擴(kuò)散模型。這些模型是經(jīng)過(guò)訓(xùn)練的算法，通過(guò)添加隨機(jī)噪聲然后巧妙地刪除來(lái)操縱數(shù)據(jù)。它們學(xué)習(xí)如何從噪聲失真的版本中檢索原始數(shù)據(jù)，這在圖像生成應(yīng)用程序中特別有用。通過(guò)剖析照片和藝術(shù)品的組成部分，擴(kuò)散模型能夠?qū)㈦S機(jī)噪聲轉(zhuǎn)換為特定且連貫的圖像。2.4.1生成式AI定義Transformer已成為自然語(yǔ)言處理的基石，也是目前最流行的生成式AI模型架構(gòu)。此外還有GAN（廣泛用于圖像合成和增強(qiáng)）、VAE（通常用于數(shù)據(jù)生成和重建）以及擴(kuò)散模型（因其有效生成圖像和文本的能力而受到關(guān)注）。2.4.1生成式AI定義為了更全面地了解生成式AI領(lǐng)域，我們分析該技術(shù)的價(jià)值鏈，將其分為四個(gè)相互關(guān)聯(lián)的層，即應(yīng)用層、平臺(tái)層、模型層和基礎(chǔ)設(shè)施層，這些層共同創(chuàng)造新內(nèi)容。其中每一層在整個(gè)過(guò)程中都發(fā)揮著獨(dú)特作用，增強(qiáng)了生成式AI的強(qiáng)大能力。2.4.2生成式AI層次1.應(yīng)用層生成式AI的應(yīng)用層通過(guò)允許動(dòng)態(tài)創(chuàng)建內(nèi)容來(lái)簡(jiǎn)化人類(lèi)與人工智能的交互。這是通過(guò)專(zhuān)門(mén)算法實(shí)現(xiàn)的，這些算法提供了定制和自動(dòng)化的企業(yè)對(duì)企業(yè)（B2B）和企業(yè)對(duì)消費(fèi)者（B2C）應(yīng)用程序和服務(wù)，而用戶無(wú)需直接訪問(wèn)底層基礎(chǔ)模型。這些應(yīng)用程序的開(kāi)發(fā)可以由基礎(chǔ)模型的所有者（例如ChatGPT的OpenAI）和包含生成式AI模型的第三方軟件公司（例如JasperAI）來(lái)承擔(dān)。2.4.2生成式AI層次生成式AI的應(yīng)用層由通用應(yīng)用程序、特定領(lǐng)域應(yīng)用程序和集成應(yīng)用程序三個(gè)不同子組組成。（1）通用應(yīng)用程序：包括旨在執(zhí)行廣泛任務(wù)的軟件，以各種形式生成新內(nèi)容，如文本、圖像、視頻、音頻、代碼和設(shè)計(jì)。此類(lèi)別的示例包括ChatGPT、DALL-E2、GitHubCopilot、Character.ai（一種聊天機(jī)器人服務(wù)，允許用戶創(chuàng)建AI角色并與之交談）和JasperAI（一種AI驅(qū)動(dòng)的寫(xiě)作工具）。2.4.2生成式AI層次（2）特定領(lǐng)域的應(yīng)用程序：這些是為滿足特定行業(yè)（如金融、醫(yī)療保健、制造和教育）的特定需求和要求而量身定制的軟件解決方案。這些應(yīng)用程序在各自的領(lǐng)域更加專(zhuān)業(yè)化和響應(yīng)更快，特別是當(dāng)公司對(duì)它們進(jìn)行高質(zhì)量、獨(dú)特和專(zhuān)有數(shù)據(jù)的培訓(xùn)時(shí)。例子包括金融數(shù)據(jù)分析的BloombergGPT以及谷歌的接受醫(yī)療數(shù)據(jù)訓(xùn)練以回答醫(yī)療查詢(xún)的Med-PaLM2。2.4.2生成式AI層次（3）集成應(yīng)用程序：該子組由現(xiàn)有軟件解決方案組成，其中融入了生成式AI功能以增強(qiáng)其主流產(chǎn)品。主要示例包括Microsoft365Copilot（適用于各種微軟產(chǎn)品的AI驅(qū)動(dòng)助手）、Salesforce的EinsteinGPT（生成式AICRM技術(shù)）以及Adobe與Photoshop的生成式AI集成。2.4.2生成式AI層次2.平臺(tái)層生成式AI的平臺(tái)層主要致力于通過(guò)托管服務(wù)提供對(duì)大模型的訪問(wèn)。這項(xiàng)服務(wù)簡(jiǎn)化了通用預(yù)訓(xùn)練基礎(chǔ)模型（如OpenAI的GPT）的微調(diào)和定制過(guò)程。盡管領(lǐng)先的大模型，如GPT-4，可以?xún)H使用其經(jīng)過(guò)訓(xùn)練的鎖定數(shù)據(jù)集立即回答大多數(shù)問(wèn)題，但通過(guò)微調(diào)，可以顯著提升這些大模型在特定內(nèi)容領(lǐng)域的能力。微調(diào)涉及解鎖現(xiàn)有大模型的神經(jīng)網(wǎng)絡(luò)，使用新數(shù)據(jù)進(jìn)行額外的訓(xùn)練。最終用戶或公司可以將其專(zhuān)有或客戶特定的數(shù)據(jù)無(wú)縫集成到這些模型中，以用于定向應(yīng)用。2.4.2生成式AI層次平臺(tái)層的最終目標(biāo)是簡(jiǎn)化大模型的使用，降低最終用戶或公司的相關(guān)成本。這種方法消除了獨(dú)立從零開(kāi)始開(kāi)發(fā)這些模型的必要性，而無(wú)需投資數(shù)十億美元和數(shù)年的努力。相反，用戶可以支付月度訂閱費(fèi)用或?qū)⑵淅壍交A(chǔ)設(shè)施即服務(wù)（IaaS）的提供中。與此同時(shí)，用戶還可以訪問(wèn)諸如安全性、隱私性和各種平臺(tái)工具等有價(jià)值的功能，所有這些都以一種簡(jiǎn)化的方式進(jìn)行管理。2.4.2生成式AI層次3.模型層生成式AI的模型層啟動(dòng)基礎(chǔ)模型。這種大規(guī)模機(jī)器學(xué)習(xí)模型通常通過(guò)使用Transformer算法對(duì)未標(biāo)記數(shù)據(jù)進(jìn)行訓(xùn)練。訓(xùn)練和微調(diào)過(guò)程使基礎(chǔ)模型能夠發(fā)展成為一種多功能工具，可以適應(yīng)各種任務(wù)，以支持各種生成式AI應(yīng)用程序的功能。2.4.2生成式AI層次基礎(chǔ)模型可以大致分為兩大類(lèi)：閉源（或?qū)Ｓ校┠Ｐ秃烷_(kāi)源模型。（1）閉源基礎(chǔ)模型。這些模型由OpenAI等特定組織擁有和控制，底層源代碼、算法、訓(xùn)練數(shù)據(jù)和參數(shù)均保密。閉源（或?qū)Ｓ校┗A(chǔ)模型可通過(guò)應(yīng)用程序編程接口（API）向公眾開(kāi)放。第三方可以在其應(yīng)用程序中使用此API，查詢(xún)和呈現(xiàn)基礎(chǔ)模型中的信息，而無(wú)需在訓(xùn)練、微調(diào)或運(yùn)行模型上花費(fèi)額外的資源。2.4.2生成式AI層次這些模型通?？梢栽L問(wèn)專(zhuān)有的訓(xùn)練數(shù)據(jù)，并可以?xún)?yōu)先訪問(wèn)云計(jì)算資源。大型云計(jì)算公司通常會(huì)創(chuàng)建閉源基礎(chǔ)模型，因?yàn)橛?xùn)練這些模型需要大量投資。閉源模型通過(guò)向客戶收取API使用或基于訂閱的訪問(wèn)費(fèi)用來(lái)產(chǎn)生收入。OpenAI的GPT-4和谷歌的PaLM2等大模型是專(zhuān)注于自然語(yǔ)言處理的特定閉源基礎(chǔ)模型。它們針對(duì)聊天機(jī)器人等應(yīng)用程序進(jìn)行了微調(diào)，例如ChatGPT和Gemini。一個(gè)非語(yǔ)言的例子是OpenAI的DALL-E2，這是一種識(shí)別和生成圖像的視覺(jué)模型。2.4.2生成式AI層次（2）開(kāi)源基礎(chǔ)模型。相比之下，每個(gè)人都可以不受限制地訪問(wèn)開(kāi)源模型。他們鼓勵(lì)社區(qū)協(xié)作和開(kāi)發(fā)，允許透明地檢查和修改代碼。開(kāi)源基礎(chǔ)模型是協(xié)作開(kāi)發(fā)的。它們可以免費(fèi)重新分發(fā)和修改，從而提供訓(xùn)練數(shù)據(jù)和模型構(gòu)建過(guò)程的完全透明度。許多甚至是免費(fèi)分發(fā)的，具體取決于許可證和數(shù)據(jù)。2.4.2生成式AI層次使用開(kāi)源模型的好處包括：（1）對(duì)數(shù)據(jù)的完全控制和隱私；與OpenAI的GPT等閉源模型共享不同。（2）通過(guò)特定提示、微調(diào)和過(guò)濾改進(jìn)定制，以針對(duì)各個(gè)行業(yè)進(jìn)行優(yōu)化。（3）具有成本效益的特定領(lǐng)域模型的訓(xùn)練和推理（較小的模型需要較少的計(jì)算）。開(kāi)源模型的例子例如Meta的Llama2、Databricks的Dolly2.0、StabilityAI的StableDiffusionXL以及Cerebras-GPT。2.4.2生成式AI層次4.基礎(chǔ)設(shè)施層生成式AI的基礎(chǔ)設(shè)施層包含大規(guī)模基礎(chǔ)模型的重要組成部分。這一過(guò)程涉及的關(guān)鍵資源是半導(dǎo)體、網(wǎng)絡(luò)、存儲(chǔ)、數(shù)據(jù)庫(kù)和云服務(wù)，所有這些