解讀 ChatGPT 背后的技術(shù)重點(diǎn)：RLHF、IFT、CoT、紅藍(lán)對(duì)抗

解讀ChatGPT背后的技術(shù)重點(diǎn)：RLHF、IFT、CoT、紅藍(lán)對(duì)抗 寫開始出現(xiàn)在普羅大眾的討論中。這些晦澀的首字母縮略詞究竟是什么意思？為什么它們?nèi)绱酥匾?？我們調(diào)查了相關(guān)的所有重要論文，以對(duì)這些工作進(jìn)行分類，總結(jié)迄今為止的工作，并對(duì)后續(xù)LaMDADeepMindSparrowAnthropicAssistant(Anthropic的Claude就是部分Assistant續(xù)開發(fā)而得的)。隊(duì)還公布了他們構(gòu)建開源聊天機(jī)器人的計(jì)劃，并公開分享了路線圖(比如LAION團(tuán)根據(jù)是否能公開訪問、訓(xùn)練數(shù)據(jù)、模型架構(gòu)和評(píng)估方向的詳細(xì)信息對(duì)這些AI聊天機(jī)器人進(jìn)BotAssistantAnthropic開否能否限否模型練語(yǔ)大TB是否絡(luò)?????督調(diào)?????BotAssistant調(diào)據(jù)大小K到M20LPtGPT的數(shù)據(jù)?????定規(guī)則?????準(zhǔn)、具體趣味性)1、質(zhì)量(參與度、知識(shí)運(yùn)用)2、安全性(毒性、偏見)1、校直(有幫助，無(wú)害，正確)2、證據(jù)(來(lái)自網(wǎng)絡(luò))則印象害、真實(shí))害、誠(chéng)的眾臺(tái)應(yīng)商IAmazon我們觀察到，盡管在訓(xùn)練數(shù)據(jù)、模型和微調(diào)方面存在許多差異，但也存在一些共性。上述所有聊指令依從(instructionfollowing)」，即遵循用戶指定的指令。例GPT從預(yù)測(cè)文本到遵循指令通常，基礎(chǔ)模型的語(yǔ)言建模目標(biāo)不足以讓模型學(xué)會(huì)以有用的方式遵循用戶的指令。模型創(chuàng)建者使文本分類、摘要等經(jīng)典NLP任務(wù)來(lái)微調(diào)模型外，還在非常多樣化的任務(wù)集上向基礎(chǔ)模型示范各種書面指令及其輸出，從而實(shí)現(xiàn)對(duì)基礎(chǔ)模型的微調(diào)。這些指令示范由三個(gè)主要部分組成——指令、輸入和輸出。輸入是可選的，一些任務(wù)只需要指令，如上文使用ChatGPT做開放式文本生成的示例。當(dāng)存在輸入時(shí)，輸入和輸出組成一個(gè)「實(shí)例(instance)」。給定指令可以有多個(gè)輸入和實(shí)例示例微調(diào)模型IFT語(yǔ)言模型自舉(bootstrap)生成的實(shí)例的集合。在自用少樣本技術(shù)輸入一些樣本給LM用于提示它(如上圖所示)，隨后要求LM生成新的指令、輸入和輸出。每一輪都會(huì)從人工編寫的樣本和模型生成的樣本中各選擇一些送給模型。人者之間的工作是使用一小組高質(zhì)量的種子數(shù)據(jù)集，然后進(jìn)行自舉生成最終數(shù)據(jù)集，如Self-高質(zhì)量眾包NLP數(shù)據(jù)集使用統(tǒng)一模式或不同模板轉(zhuǎn)換為指令。這一系列工作包括T0(Sanh安全地遵循指令SupervisedFinetuning，SFT人類標(biāo)注數(shù)據(jù)上微調(diào)基礎(chǔ)語(yǔ)言模型，以提高有用性和無(wú)害性。例如，請(qǐng)參閱下面的表格(摘自Sparrow論文的附錄F)。階段經(jīng)常被用于提高響應(yīng)的安全性，而不是接在IFT后面提高指令相應(yīng)的具體性。將來(lái)，這種分安全規(guī)則LaMDA據(jù)一組規(guī)則(論文附錄A)在帶有安全標(biāo)注的對(duì)話數(shù)據(jù)集上進(jìn)行微調(diào)。這些規(guī)型，該方法使用基于人類偏好的標(biāo)注數(shù)據(jù)。在RLHF中，根據(jù)人類反饋來(lái)對(duì)模型的響應(yīng)進(jìn)行排(如，根據(jù)人類偏好選擇文本簡(jiǎn)介)。然后，用這些帶標(biāo)注的響應(yīng)來(lái)訓(xùn)練偏好模型，該模型用于返回RL優(yōu)化器的標(biāo)量獎(jiǎng)勵(lì)。最后，通過強(qiáng)化學(xué)習(xí)訓(xùn)練對(duì)話代理來(lái)模擬偏好模型。有關(guān)更多詳細(xì)信息，請(qǐng)參閱我們之前關(guān)于RLHF的文章:ChatGPT背后的“功臣”——RLHF技術(shù)詳解。對(duì)話代理的逐步推理來(lái)生成輸出。使用CoT微調(diào)的模型使用帶有逐步推理的人工標(biāo)注的指令數(shù)ungoT且對(duì)敏感提示，模型不會(huì)回避并生成“抱歉，我無(wú)法回答這個(gè)問題”這樣的回答。更多示例，請(qǐng)的附錄D。RLHF要點(diǎn)需要非常小的一部分?jǐn)?shù)據(jù)來(lái)進(jìn)行指令微調(diào)(幾百個(gè)數(shù)量級(jí))；CoT題上不那么回避。對(duì)話代理的進(jìn)一步工作這個(gè)博客總結(jié)了許多關(guān)于使對(duì)話代理有用的現(xiàn)有工作。但仍有許多懸而未決的問題有待探索。我RL重要？我們能否通過在IFT或SFT中使用更高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)獲得T3.鑒于我們有IFT、SFT、CoT和RLHF，預(yù)訓(xùn)練有多大的必要性？如何折衷？人們應(yīng)該使用的最佳基礎(chǔ)模型是什么(公開的和非公開的)？4.本文中引用的許多模型都經(jīng)過紅藍(lán)對(duì)抗(red-teaming)的精心設(shè)計(jì)，工程師特地搜尋故障模式并基于已被揭示的問題改進(jìn)后續(xù)的訓(xùn)練(提示和方法)。我們?nèi)绾蜗到y(tǒng)地記錄這些方法的效果并重現(xiàn)它們？Rajanietal.,"WhatMakesaDialogAgentUseful?",HuggingFaceBlog,2023.articlerajani2023ift,author{Rajani,NazneenandLambert,NathanandSanh,VictorandWolf,Thomas},titleWhatMakesaDialogAgentUseful?},alHuggingFaceBlogyear{2023},note{https://huggingface.co/blog/