大模型原理與技術(shù)-課件 chap7 大模型提示工程

大模型提示工程魏明強、宮麗娜計算機科學(xué)與技術(shù)學(xué)院智周萬物?道濟天下o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

目錄23

目錄o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程o

提示工程（PromptEngineering）作為數(shù)據(jù)、技術(shù)、業(yè)務(wù)之間的橋梁，可以幫助大模型更好地理解和回答用戶的請求，是大模型場景落地的關(guān)鍵所在。o

大模型提示工程就是設(shè)計、改進、完善提示的技術(shù)，通過巧妙設(shè)計的提示詞（prompt），引導(dǎo)模型生成更豐富、智能的表示，使模型能夠更準(zhǔn)確、可靠地回答問題、執(zhí)行任務(wù)以及提供更有價值的信息。o

本章將介紹大模型提示工程技術(shù)的原理、不同提示策略的細(xì)節(jié)，以及實際應(yīng)用中的挑戰(zhàn)與解決方案。掌握這一技術(shù)將使讀者更好地理解大模型運作機制，更靈活地設(shè)計和調(diào)整提示，實現(xiàn)更卓越的性能和創(chuàng)造力。學(xué)習(xí)目標(biāo)：掌握大模型提示工程的基本原理和了解多樣的提示技術(shù)；

提示工程簡介49

目錄o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

零樣本提示10o

零樣本指的是模型能夠在沒有樣本的情況下學(xué)習(xí)數(shù)據(jù)的特征。研究者們最初在深度學(xué)習(xí)領(lǐng)域提出了這兩種概念，然而在提示工程領(lǐng)域，零樣本這個概念被引申，即無需為模型提供任何背景知識，只需通過直接的輸入指令執(zhí)行任務(wù)。

零樣本提示的優(yōu)勢在于其適用于各種領(lǐng)域和任務(wù)，無需昂貴的微調(diào)。因此，在快速構(gòu)建原型、測試新想法或在新領(lǐng)域中使用大模型時非常有用。在設(shè)計零樣本提示詞的時候，除了描述具體的需求或任務(wù)，還可以將其他隱藏的信息輸送給模型。一條標(biāo)準(zhǔn)的零樣本提示詞應(yīng)該針對以下4點做出具體的描述：背景角色指令輸出

零樣本提示10o

和與人類溝通工作任務(wù)一樣，提示詞需要清楚交代大模型任務(wù)的上下文背景，使傳達(dá)的信息精準(zhǔn)（Precise）和簡潔（Concise）。為了確保提示詞的背景清晰精準(zhǔn)，需要避免歧義。

零樣本提示10o

在提示詞中設(shè)定一個角色，是最常用的提示詞技巧，可以幫助LLM更精確地理解到它·166·第7章大模型提示工程在任務(wù)中所需承擔(dān)的職責(zé)，以提升回答的質(zhì)量。

零樣本提示10o

指令即為希望LLM完成的任務(wù)，指令需要做到具體（Concrete）和完備（Complete）。提示詞的指令要足夠具體。

零樣本提示10o

在零樣本提示詞設(shè)計中，可以對輸出形式提出要求，讓LLM的輸出更加可控，提示詞中可提出的要求包括但不限于字?jǐn)?shù)要求、輸出格式（如表格式、對話式）、回答風(fēng)格（如嚴(yán)謹(jǐn)·170·第7章大模型提示工程的、口語化的）等。14

目錄o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

少樣本提示10o

少樣本提示(Few-shotPrompting)

通過給予模型一些有限的樣本示例或者其余關(guān)鍵信息，指導(dǎo)模型理解和生成特定任務(wù)下的文本。通過學(xué)習(xí)給定的樣本中的回答模式以及內(nèi)在邏輯，模型可以在類似需求的任務(wù)上進行推理。o

少樣本提示強調(diào)在已有數(shù)據(jù)的基礎(chǔ)上進行任務(wù)指導(dǎo)，這與零樣本提示有著本質(zhì)上的不同。o

少樣本提示不僅可以幫助大模型生成高質(zhì)量的回答，在大型圖像生成模型中也起到強大的指導(dǎo)作用。o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

目錄2

鏈?zhǔn)剿伎继崾?0o

面對復(fù)雜提問場景時，人們往往希望得到有條理的思考過程，并逐步深入考慮各個方面，最終得到復(fù)雜問題的解答。然而大模型在這類推理能力方面的表現(xiàn)始終不佳，容易出現(xiàn)回答不連貫、缺乏邏輯推理或信息斷層等問題。o

部分研究者們認(rèn)為，之前的大語言模型的推理模式單純依賴全局提示詞并直接輸出結(jié)果，而忽略了其中的思考過程，人類在面對復(fù)雜問題時，常常會將問題拆分為若干個中間問題，通過逐步追問并解決中間問題來進行推理。o

受人類的這種思維模式啟發(fā)，研究者們提出直接通過人工干預(yù)模型輸出中間推理步驟，迫使模型學(xué)習(xí)中間推理過程，也就是鏈?zhǔn)剿伎继崾?。S思維鏈拓展10o

自一致性（Self-Consistency）：旨在改進“思維鏈提示中的樸素貪婪算法”。具體來說，當(dāng)模型在處理復(fù)雜文本時，為了提高結(jié)果的準(zhǔn)確性，通過少量樣本的思維鏈抽樣出多個不同的推理路徑，選擇最一致的答案。換句話說，即通過CoT的方式，模型輸出多個不同的推理過程和答案，最終通過投票方式選擇最佳答案。o

思維樹（TreeofThoughts：ToT）:以樹的形式展開思維鏈，允許回溯，基于中心任務(wù)產(chǎn)生多個推理分支。ToT在具體執(zhí)行時回答四個問題：思維分解、思維生成、狀態(tài)計算以及搜索算法。確保每個階段都得到系統(tǒng)的解決。o

思維圖譜（GraphofThoughts：GoT）：GoT無縫地將CoT和GoT推廣到更復(fù)雜的思維模式，而無需依賴于任何模型更新。具體來說，GoT將LLM生成的信息建模為任意圖，其中信息單元（即“Thought”）是圖的頂點，邊對應(yīng)于這些頂點的依賴關(guān)系。o

思維算法（AlgorithmofThoughts：AoT）:一種通過算法推理路徑推動LLM的新策略，開創(chuàng)上下文學(xué)習(xí)新模式，其改進了ToT和GoT計算效率低的缺陷，消除了冗余查詢的需求。具體來說，AoT通過不斷演化和改進思考過程，維持一個不斷發(fā)展的思維上下文鏈，靈活適應(yīng)不同的問題和情景，并且能夠根據(jù)需要自動調(diào)整和優(yōu)化。o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

目錄2

思維樹提示10o

受思維鏈的啟發(fā)，研究人員進一步提出了思維樹（TreeofThought：ToT）框架，通過將復(fù)雜問題分解為容易解決的具體問題，為大模型推理提供了一個更完備的提示框架。o

思維樹提示的主要應(yīng)用場景是在需要更為有組織和分步執(zhí)行的任務(wù)中：系統(tǒng)會將一個問題分解，并生成潛在的推理步驟或“思維”候選者的列表。對這些“思維”進行評估，根據(jù)實施難度，預(yù)期結(jié)果分配成功率。深入挖掘每個想法，完善其在現(xiàn)實世界中的意義，其中包括：潛在實施場景、實施策略、潛在障礙等。進行最終決策。這種技術(shù)有助于大語言模型實現(xiàn)更加有條理的思考和文本生成，特別適用于面對復(fù)雜問題或任務(wù)的情境。o

提示工程簡介o

零樣本提示o

少樣本提示o

鏈?zhǔn)剿伎继崾緊

思維樹提示o

自動提示工程

目錄2

自動提示工程10o

為了減少創(chuàng)建和驗證指令有效性時所耗費的成本，研究人員試圖搭建一個自動生成和選擇提示的框架。目前，已有研究者提出了自動提示工程（AutomaticPromptEngineer：APE）o

APE的工作流程,通常包括以下幾個步驟：數(shù)據(jù)收集：APE需要收集與目標(biāo)領(lǐng)域或任務(wù)相關(guān)的大規(guī)模數(shù)據(jù)集。這些數(shù)據(jù)集可以是文本、圖像、甚至是多模態(tài)的數(shù)據(jù)。模型訓(xùn)練：在數(shù)據(jù)收集階段之后，使用這些數(shù)據(jù)集來訓(xùn)練大規(guī)模的語言模型，如GPT。訓(xùn)練過程通常采用無監(jiān)督學(xué)習(xí)，其中模型通過對大量文本數(shù)據(jù)的自我預(yù)測來學(xué)習(xí)語言的潛在規(guī)律和語義表示。提示生成：一旦訓(xùn)練完畢，APE可以利用已訓(xùn)練的模型生成提示。提示可以是針對特定任務(wù)的問題回答、文本摘要