GPT的原理及ChatGPT的技術架構解析

WordChatGPT/GPT的原理及ChatGPT的技術架構解析每一代GPT模型的參數(shù)量都爆炸式增長，堪稱“越大越好”。2021年2月發(fā)布的GPT-2參數(shù)量為15億，而2021年5月的GPT-3，參數(shù)量達到了1750億。

還是有很多讀者對于ChatGPT充滿期待（幻想？夢想），今天給大家分享技術層面的（拆解），讀完之后是否是會理性一點呢？enjoy～

文末（推薦）幾篇直接采訪ChatGPT創(chuàng)始人視角的文章，共賞enjoy～

去年12月1日，Open（AI）推出（人工智能）聊天原型ChatGPT，再次賺足眼球，為AI界引發(fā)了類似AIGC讓藝術家失業(yè)的大討論。

ChatGPT是一種專注于對話生成的語言模型。它能夠根據(jù)用戶的文本輸入，產生相應的（智能）回答。這個回答可以是簡短的詞語，也可以是長篇大論。其中GPT是Genera（ti）vePre-trainedTransformer（生成型預訓練變換模型）的縮寫。通過學習大量現(xiàn)成文本和對話集合（例如Wiki），ChatGPT能夠像人類那樣即時對話，流暢的回答各種問題。（當然回答速度比人還是慢一些）無論是英文還是其他語言（例如中文、韓語等），從回答歷史問題，到寫故事，甚至是撰寫商業(yè)計劃書和行業(yè)分析，“幾乎”無所不能。甚至有（程序員）貼出了ChatGPT進行程序修改的對話。

ChatGPT和AIGC的聯(lián)合使用

ChatGPT也可以與其他AIGC模型聯(lián)合使用，獲得更加炫酷實用的功能。

例如上面通過對話生成客廳設計圖。這極大加強了AI應用與客戶對話的能力，使我們看到了AI大規(guī)模落地的曙光。

一、ChatGPT的傳承與特點

▌1.1OpenAI家族

我們首先了解下OpenAI是哪路大神。OpenAI總部位于舊金山，由（特斯拉）的馬斯克、SamAltman及其他投資者在2021年共同創(chuàng)立，目標是開發(fā)造福全人類的（AI技術）。而馬斯克則在2021年時因公司發(fā)展方向分歧而離開。此前，OpenAI因推出GPT系列自然語言處理模型而聞名。從2021年起，OpenAI就開始發(fā)布生成式預訓練語言模型GPT（GenerativePre-trainedTransformer），可用于生成文章、代碼、機器翻譯、問答等各類內容。每一代GPT模型的參數(shù)量都爆炸式增長，堪稱“越大越好”。2021年2月發(fā)布的GPT-2參數(shù)量為15億，而2021年5月的GPT-3，參數(shù)量達到了1750億。

GPT家族主要模型對比

▌1.2ChatGPT的主要特點

ChatGPT是基于GPT-3.5（GenerativePre-trainedTransformer3.5）架構開發(fā)的對話AI模型，是InstructGPT的兄弟模型。ChatGPT很可能是OpenAI在GPT-4正式推出之前的演練，或用于收集大量對話數(shù)據(jù)。

ChatGPT的主要特點

OpenAI使用RLHF（ReinforcementLearningfromHumanFeedbac，人類反饋強化學習）技術對ChatGPT進行了訓練，且加入了更多人工監(jiān)督進行微調。此外，ChatGPT還具有以下特征：1）可以主動承認自身錯誤。若用戶指出其錯誤，模型會聽取意見并優(yōu)化答案。2）ChatGPT可以質疑不正確的問題。例如被詢問“哥倫布2021年來到美國的情景”的問題時，（機器人）會說明哥倫布不屬于這一時代并調整輸出結果。3）ChatGPT可以承認自身的無知，承認對專業(yè)技術的不了解。4）支持連續(xù)多輪對話。與大家在生活中用到的各類（智能音箱）和“人工智障“不同，ChatGPT在對話過程中會記憶先前使用者的對話訊息，即上下文理解，以回答某些假設性的問題。ChatGPT可實現(xiàn)連續(xù)對話，極大的提升了對話交互模式下的用戶體驗。對于準確翻譯來說（尤其是中文與人名音譯），ChatGPT離完美還有一段距離，不過在文字流暢度以及辨別特定人名來說，與其他（網(wǎng)絡）翻譯工具相近。由于ChatGPT是一個大型語言模型，目前還并不具備網(wǎng)絡搜索功能，因此它只能基于2021年所擁有的數(shù)據(jù)集進行回答。例如它不知道2022年世界杯的情況，也不會像蘋果的Siri那樣回答今天天氣如何、或幫你搜索信息。如果ChatGPT能上網(wǎng)自己尋找學習語料和搜索知識，估計又會有更大的突破。即便學習的知識有限，ChatGPT還是能回答腦洞大開的人類的許多奇葩問題。為了避免ChatGPT染上惡習，ChatGPT通過（算法）屏蔽，減少有害和欺騙性的訓練輸入。

查詢通過適度A（PI）進行過濾，并駁回潛在的種族主義或性別歧視提示。

二、ChatGPT/GPT的原理

▌2.1NLP

NLP/NLU領域已知局限包括對重復文本、對高度專業(yè)的主題的誤解，以及對上下文短語的誤解。對于人類或AI，通常需接受多年的訓練才能正常對話。NLP類模型不僅要理解單詞的含義，還要理解如何造句和給出上下文有意義的回答，甚至使用合適的俚語和專業(yè)詞匯。

NLP技術的應用領域本質上，作為ChatGPT基礎的GPT-3或GPT-3.5是一個超大的統(tǒng)計語言模型或順序文本預測模型。

▌2.2GPTv.s.BERT

與BERT模型類似，ChatGPT或GPT-3.5都是根據(jù)輸入語句，根據(jù)語言/語料概率來自動生成回答的每一個字（詞語）。從數(shù)學或從（機器學習）的角度來看，語言模型是對詞語序列的概率相關性分布的建模，即利用已經說過的語句（語句可以視為數(shù)學中的向量）作為輸入條件，預測下一個時刻不同語句甚至語言集合出現(xiàn)的概率分布。ChatGPT使用來自人類反饋的強化學習進行訓練，這種方法通過人類干預來增強機器學習