大學信息技術基礎教程課件 6.3利用大模型生成代碼

6.3利用大模型生成代碼目錄頁contents6.3.1大規(guī)模預訓練模型概述6.3.2使用大模型進行代碼生成6.3.3應用場景123選題背景及意義ONE6.3.1大規(guī)模預訓練模型概述6.3.1大規(guī)模預訓練模型概述1.大模型發(fā)展歷程(1)早期探索(1950s-1980s)1950年：圖靈測試艾倫·圖靈提出圖靈測試，為人工智能的發(fā)展奠定了基礎。1956年：達特茅斯會議人工智能正式成為一門學科，開啟了人工智能研究的序幕。1960s-1970s：感知機和專家系統(tǒng)感知機模型的提出引發(fā)了第一次神經網絡熱潮。專家系統(tǒng)在特定領域取得了一定成功，但局限性明顯。6.3.1大規(guī)模預訓練模型概述1.大模型發(fā)展歷程(2)神經網絡復興(1980s-1990s)1986年：反向傳播算法反向傳播算法的提出解決了多層神經網絡訓練難題，推動了神經網絡的發(fā)展。1989年：卷積神經網絡(CNN)YannLeCun提出卷積神經網絡，為圖像識別領域帶來了突破。1997年：長短期記憶網絡(LSTM)LSTM的提出解決了傳統(tǒng)RNN的梯度消失問題，為序列建模奠定了基礎。6.3.1大規(guī)模預訓練模型概述1.大模型發(fā)展歷程(3)深度學習崛起(2000s-2010s)2006年：深度學習GeoffreyHinton提出深度學習概念，開啟了深度學習的新時代。2012年：AlexNetAlexNet在ImageNet圖像識別挑戰(zhàn)賽中取得突破性成績，深度學習引起廣泛關注。2014年：生成對抗網絡(GAN)IanGoodfellow提出生成對抗網絡，為圖像生成和風格遷移等領域帶來了新的可能性。2017年：TransformerTransformer模型的提出徹底改變了自然語言處理領域，為后續(xù)大模型的發(fā)展奠定了基礎。6.3.1大規(guī)模預訓練模型概述1.大模型發(fā)展歷程(4)大模型時代(2018年-至今)2018年：GPTOpenAI發(fā)布GPT模型，開啟了大規(guī)模預訓練語言模型的時代。2019年：GPT-2GPT-2展現出強大的文本生成能力，引發(fā)了對大模型潛在風險的討論。2020年：GPT-3GPT-3擁有1750億參數，在多種自然語言處理任務上取得了令人驚嘆的成績。2022年：ChatGPTChatGPT的出現標志著大模型在對話式AI領域取得了重大突破，引發(fā)了全球范圍內的關注和討論。2023年：GPT-4GPT-4在性能和應用范圍上進一步提升，推動了大模型在各行各業(yè)的應用。2024年：DeepSeek-V2DeepSeek-V2在保持高效訓練和推理的同時，實現性能的進一步提升，推動大模型技術的實際應用落地。2.模型架構模型核心架構核心機制優(yōu)勢典型應用Transformer編碼器-解碼器堆疊結構

（多頭自注意力+前饋網絡）自注意力機制

并行處理長序列全局依賴捕捉

高效并行計算機器翻譯、文本生成BERTTransformer編碼器堆疊雙向上下文編碼

（MLM掩碼語言模型+NSP下一句預測）深層語義理解

適應多種NLP任務文本分類、問答、實體識別ERNIEBERT改進+知識增強知識驅動的掩碼策略

（實體/短語級掩碼+多任務持續(xù)學習）融合外部知識

提升語義推理能力知識問答、搜索、跨語言任務6.3.1大規(guī)模預訓練模型概述(1)預訓練（Pre-training）在預訓練階段，模型通過大量的未標注數據學習通用的語言規(guī)律和知識。例如，模型可能會學習到詞匯的語義、句法結構以及上下文關系等。這一階段的目標是讓模型具備廣泛的語言理解能力，為后續(xù)的特定任務奠定基礎。(2)微調（Fine-tuning）微調階段，模型在預訓練的基礎上，使用特定任務的標注數據進行進一步訓練。這使得模型能夠適應特定的應用場景，如情感分析、機器翻譯等。微調的過程通常需要較少的計算資源和時間，因為模型已經在預訓練階段積累了豐富的通用知識。3.訓練過程6.3.1大規(guī)模預訓練模型概述選題背景及意義TWO6.3.2使用大模型進行代碼生成（1）輸入指令內容示例：請編寫一個冒泡排序算法，確保排序后的數值按照升序排序，要求：1.使用Python編程語言實現冒泡排序算法。2.算法應包含對數組的初始化、冒泡排序邏輯以及最終數組的輸出。3.請確保代碼簡潔、易讀，并包含必要的注釋。1.文心一言使用步驟6.3.2使用大模型進行代碼生成（2）模型生成代碼文心一言將按照提示詞的要求輸出符合要求的代碼，以及對代碼中關鍵處作出解釋說明。將文心一言輸出的代碼復制到Python運行環(huán)境中。6.3.2使用大模型進行代碼生成2.調試運行代碼6.3.2使用大模型進行代碼生成選題背景及意義THREE6.3.3大模型的應用場景大模型的應用場景教育領域對話