




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
報(bào)告題目:AI大模型技術(shù)在電力系統(tǒng)中的應(yīng)用及發(fā)展趨勢(shì)報(bào)告人:趙俊華單位:香港中文大學(xué)(深圳)時(shí)間:2025年6月10日香港中文大學(xué)(深圳)01大語言模型與智能體技術(shù)簡(jiǎn)介人工智能A近代史:從早期的邏輯程序到神經(jīng)網(wǎng)絡(luò)的興起決策式AI 生成式AI決策+認(rèn)知 感知 +學(xué)習(xí) 執(zhí)行+社會(huì)協(xié)作小規(guī)模專家知識(shí) 淺層機(jī)器學(xué)習(xí)算法 深度機(jī)器學(xué)習(xí)算法 大規(guī)模預(yù)訓(xùn)練模型1956年 1986年歷史上第一次人工智能 GeoffreyHinton等人提出了一種名為
2011年IBM的Watson計(jì)算機(jī)在美國電視節(jié)目
2017年Transformer架構(gòu)提出,為研討會(huì)召開,標(biāo)志著人 Backpropagation的神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法 Jeopardy中戰(zhàn)勝了兩位前冠軍 大模型發(fā)展打下基工智能的誕生 被認(rèn)為是神經(jīng)網(wǎng)絡(luò)技術(shù)的一次重大突破 2013年 2018年1965年
1997年 習(xí)模型國際蒙棋世界冠軍Kasparov在與IBM開
GPT與BERT模型推出:開啟“大模型時(shí)代Herbert Simon和Allen
發(fā)的DeepBlue計(jì)算機(jī)的比賽中失利,標(biāo) 2014年 2022年GAN可生成圖像但分辨率有限Newel開發(fā)了一個(gè)名為 志著人工智能開始在一些傳統(tǒng)的思維活 ChatGPT推出GAN可生成圖像但分辨率有限LogicTheorist的程序,它可以用邏輯推理的方式解決數(shù)學(xué)證明問題,這被認(rèn)為是人工智能領(lǐng)域的一次
劫上超越人類2006年
2015年 2024年Google的AlphaGo程序在圍棋比賽中戰(zhàn)勝 Sora推出重大突破 深度學(xué)習(xí)技術(shù)發(fā)明帶來了革命性突破 了世界冠軍季世石標(biāo)志著人工智能開始在更復(fù)雜的思維活動(dòng)上超越人類軍期萌芽階段 技術(shù)積淀階段 快速發(fā)展階段 爆發(fā)階段(1950s-1980s) (1980s~2010年) (2011年~2016年) 2017年艾瑞2023年AI店C場(chǎng)量虛用展望研究報(bào)告什么是語言模型
你好。一個(gè)前綴輸入 你也好。你好。V我50。**人類 真實(shí)分布你好。你也好。 建模V我50。給定相同前綴,語言模 語言模型 預(yù)測(cè)分布型是輸出能近似人類語言分布的模型。LLM架構(gòu)與訓(xùn)練:預(yù)訓(xùn)練階段 PreferenceUntrained Base tuned LLM LLMFigure12-3.Thethreestepsofcreatingahigh-qualityLLM.學(xué)習(xí)文字接龍(prefixLM),無需標(biāo)注,自監(jiān)督(self-supervised)“你好美麗?!闭撐臅?一個(gè)不完整的句子論文
GPT
接一個(gè)可能的字你好 你好 網(wǎng)絡(luò)爬蟲私有知識(shí)庫
你好美 麗開源數(shù)據(jù)集(數(shù)學(xué)、推理) 你好美麗LLM架構(gòu)與訓(xùn)練:預(yù)訓(xùn)練階段預(yù)訓(xùn)練模型三要素 以及更多錢,大數(shù)據(jù),知識(shí)的來源,包含各種語言現(xiàn)象及語義知識(shí),直接決定了模型的學(xué)習(xí)范圍·大模型,容納大數(shù)據(jù)的載體,通常由深度神經(jīng)網(wǎng)絡(luò)構(gòu)成,學(xué)習(xí)大數(shù)據(jù)中的統(tǒng)計(jì)信息與抽象知識(shí)·大算力:處理大數(shù)據(jù)和大模型的并行計(jì)算集群,通常包含GPU、TPU等高性能運(yùn)算設(shè)備DeepTransformers(>12layers)InputSeguene大數(shù)據(jù)大模型大算力(無標(biāo)注文本)(深度神經(jīng)網(wǎng)絡(luò))(并行計(jì)算集群)如何訓(xùn)練自己的LLM?微調(diào)訓(xùn)練Forwardpasswith Forwardpasswithupdatedmodel updatedmodelEmbeddingh直接全量參數(shù)微調(diào)問題 EmbeddinghEmbeddingh>LLM參數(shù)量巨大,7b=70億參數(shù)
etrained Weight>耗費(fèi)GPU資源多,通常需要A100*8以上(百萬RMB) weights update>訓(xùn)練時(shí)間長,需要數(shù)周時(shí)間 AWInputsxInputs.xModel&Method #Trainable E2ENLGChalleBLEL NIST MET ROLGE-L CIDEr解決方案:LoRA(Low-RankAdaptationofLargeLanguageModels)核心優(yōu)勢(shì)>微調(diào)效果好,LoRA效果不差于全參數(shù)微調(diào),優(yōu)于其他微調(diào)方式GPT2MTAdax0.37M>微調(diào)效果好,LoRA效果不差于全參數(shù)微調(diào),優(yōu)于其他微調(diào)方式GPT2MTAdax0.37MGPT2MTH.09MGPE2M(AGPT2MFGpT2M(PreLayer*0.35MGPT-2M(LORA)0.35M70.445.069.82.404±2.4146.17142.4946.8±71.8±2.53±840.069.92.45
CSFSE
8.62 462
710
2.47GPT-2L(PT)) 774.03M 8.78J88MGPT-2L(Ada >GPU要求低,3090*4即可微調(diào)7b模型 46.8 72.0從人類反饋中學(xué)習(xí)-強(qiáng)化學(xué)習(xí)(RLHF)語言模型的社會(huì)化在web-scale的 加入代碼數(shù)據(jù) 量化人類喜好,訓(xùn)練打分模型 基于強(qiáng)化學(xué)習(xí),迭代最終模數(shù)據(jù)上,訓(xùn)練大 重新訓(xùn)練。語言模型 加入指令數(shù)據(jù)調(diào)優(yōu)。 選擇問題 世界最高的山峰是? 重新選擇問題 總結(jié)下面文章重復(fù)生成 PPO模
PPO幾個(gè)答案 A:珠穆朗瑪峰 B:喜馬拉雅山 生成回答 文章的大意是。。。C:我也不知道 D:你打我呀 生成分?jǐn)?shù) 打分模人工排序 A>B>C>DGPT3 GPT3.5 排序結(jié)果 打分模訓(xùn)練獎(jiǎng)勵(lì) (Reward模型 Model) Reward自監(jiān)督學(xué)習(xí) 監(jiān)督學(xué)習(xí) 強(qiáng)化學(xué)習(xí)LLM架構(gòu)與訓(xùn)練:各個(gè)訓(xùn)練階段綜合來看.tan預(yù)訓(xùn)練 有監(jiān)督微調(diào) 強(qiáng)化學(xué)習(xí)原始數(shù)據(jù) 標(biāo)注用戶指令 用戶指令百科、網(wǎng)頁等語言模型訓(xùn)練的答案語言模型訓(xùn)練百科、網(wǎng)頁等語言模型訓(xùn)練的答案語言模型訓(xùn)練強(qiáng)化學(xué)習(xí)方法基礎(chǔ)模型SFT模型RL模型1000+GPU1-100GPU1-100GPU月級(jí)別訓(xùn)練時(shí)間關(guān)級(jí)別訓(xùn)練時(shí)間天級(jí)別訓(xùn)練時(shí)間
Pasinaos帶著芙臉的修 f由/anthrupad提供Agent(自主智能體)考古學(xué):通用定義自主智能體 DeepMindLab,2016Observations Actions典型實(shí)例能夠自動(dòng)感知環(huán)境能夠在環(huán)境中自主行動(dòng)能夠通過環(huán)境反饋?zhàn)灾鲗W(xué)習(xí)--Maes(1995) WIKIPEDIA
EmbodiedOA.FAIR.2018LLMAgent:關(guān)鍵能力一使用工具TellTwitterTrending
常用工具:Instruction Tool APIHumanAnswer
Foundation CallAPIModel
搜索引擎爬蟲代碼Result 繪圖TwitterTrendingis1.HotWeather2.NBAPLAYOFFS31.HotWeather2.NBAPLAYOFFS3LLMAgent:關(guān)鍵能力一任務(wù)分解與試錯(cuò)TrialandErrorDescribe,Explain,PlanandSelect:EnablesOpen-WorldMulti-TaskAgentsMINECRHFT任務(wù) 搭建一張床子目標(biāo) 子目標(biāo) 子目標(biāo) 子目標(biāo)LLMAgent:關(guān)鍵能力一Long-termMemoryLong-termMemory與RAG區(qū)別:Write Action 可讀寫性Read Observation 與HumanBrainMapping:Along-termmemory:ReadandwriteHWOW!
Typebycontent Definition Examples:Storesexperience,
Instruction.... Episodicmemory Storesexperience Generativeagents[Parketal.,2023]Thought:knowledge,skills,.. Semanticmemory Storesknowledge.Persistovernew Action:.experience
WAIT. Proceduralmemory Storesskills Voyager[WangetObs:.. WNHATWASIThought:.THINKINGABOUT?感覓訊息(視/腰/喉/味/)造忘(sensoryinput)造忘
al.,2023]THETRAGEDYOFATHREESECONDMEMORY
短期記境/工作記境(shorttermmemoryworkingmemory)編碼(encoding)催存(storage)
提取(retrieval)長期記鏡(longtermmemory)LLMAgent:關(guān)鍵能力一自主學(xué)習(xí)Fine-tuningmodelweights(themostobvious)FireActOptimizingpromptsacrosstasks-LLMareHuman-levelPromptengineersImprovetheagent'sowncodebase-SWE-agentWritedownexamples/eventstoretrievelaterGenerativeAgentAppendself-reflectiontoprompttotryagain-ReflextionCombinemultipleapproachesSWE-agent Agent-Computerintertace CElcomputerLM-friendlycommaPNevigaterepoSearchh
TerminalFine-TuningandPromptOptimization:LMAgentEEFlesystemssklearnyBsexamples/READMEISETwoGreatStepsthatWorkBetterTogetherDilaraSoyluChristopherPottsOmarKhattah SWE-agent,2024StanfordUniversity
Generativeagents,2023LLMAgent:新的模型能力獲取范式參數(shù)學(xué)習(xí) 參數(shù)學(xué)習(xí) 參數(shù)學(xué)習(xí)數(shù)據(jù)集
輸出 模型提示工程模型
模型提示工程智能體相關(guān)的提示詞 輸出輸出 機(jī)制工輸出 機(jī)制工負(fù)面或正面。文本我覺得食物還可以。輸入 情感:
中立 試錯(cuò) 000 眾智000模型參數(shù) 能力 提示詞 能力
機(jī)制 能力機(jī)器學(xué)習(xí)時(shí)代 大模型時(shí)代 智能體時(shí)代智能體時(shí)代模型能力獲取的新范式香港中文大學(xué)(深圳)02LLMAgents在電力系統(tǒng)研究中的應(yīng)用思考16大模型的核心能力101010 Hi!100101 Hello!NLP自然語言與常識(shí)理解 邏輯推理MathematicalModeling數(shù)學(xué)建模與公式推導(dǎo) 代碼生成LLMAgent在新型電力系統(tǒng)中的應(yīng)用思考LLMAgent的潛在應(yīng)用領(lǐng)域·機(jī)器代人(機(jī)巡、客服、公文寫作等)工作流重構(gòu)(調(diào)度運(yùn)行規(guī)劃)·信息-物理-社會(huì)系統(tǒng)(CPSSE)仿真·多模態(tài)數(shù)據(jù)融合(數(shù)字化服務(wù))·電力系統(tǒng)機(jī)理研究(AI4S)在調(diào)度運(yùn)行等核心領(lǐng)域,大模型的推理可靠性與“幻覺“問題,決定了大模型尚不能完全替代人工。已經(jīng)應(yīng)用良好的各種基于因果模型的工具無需替代可以考慮采取因果模型+大模型+符號(hào)串模型(SPT)+小模型融合的技術(shù)路線薛禹勝,新型能源體系(CPSS-EEE)的多日標(biāo)協(xié)調(diào)規(guī)劃httpst///s/fodienZxB24i9MRX6gFa9w趙俊華,文福拴,黃建偉,等基于大語言模型的電力系統(tǒng)通用人工智能展望理論與應(yīng)用門電力系統(tǒng)自動(dòng)化202448(6)13-28在Agen的框架下實(shí)現(xiàn)多類模型的融合業(yè)務(wù)數(shù)據(jù) 文本數(shù)據(jù) 業(yè)務(wù)數(shù)據(jù) 圖像數(shù)據(jù)微調(diào)/訓(xùn)練 微調(diào) 訓(xùn)練 微調(diào)大模型/領(lǐng)域小模型 大模型 領(lǐng)域小模型 大視頻模型多模態(tài)融合場(chǎng)景; 決策代價(jià)較小的場(chǎng)景;·不適用于需要對(duì)電力系統(tǒng)精確量化的場(chǎng)景;在Agent的框架下實(shí)現(xiàn)多類模型的融合文本數(shù)據(jù) 業(yè)務(wù)數(shù)據(jù)微調(diào) 訓(xùn)練大語言模型 PINN深度融合/聯(lián)合推理·實(shí)現(xiàn)推理與計(jì)算的統(tǒng)一;·較好的模擬因果模型背后的物理機(jī)理;神經(jīng)網(wǎng)絡(luò)架構(gòu)尚有待探素·可解釋性不足;在Agen的框架下實(shí)現(xiàn)多類模型的融合推理大模型反饋/自學(xué)習(xí) 問題規(guī)劃/任務(wù)分解/高層次推理文本數(shù)據(jù) 業(yè)務(wù)數(shù)據(jù) 符號(hào)數(shù)據(jù)微調(diào)/RL 訓(xùn)練 訓(xùn)練大語言模型 PINN 因果模型 符號(hào)模型(SPT)知識(shí)表示 快速數(shù)值 因果分析/ 符號(hào)推理計(jì)算 可靠數(shù)值計(jì)算知識(shí)融合/決策推理大模型作為大腦“主要負(fù)責(zé)問題的規(guī)劃、任務(wù)的分解與高層次推理PINN可在盡量保留因果模準(zhǔn)確性的前提下,大幅提高計(jì)算速度,因果模型可在部分必要場(chǎng)景下,保證決策結(jié)果的可靠性·符號(hào)模型可以在推理中提取形式化知識(shí),保證智能體整體框架的可解釋性:在Agent的框架下實(shí)現(xiàn)多類模型的融合推理大模型反饋/自學(xué)習(xí) 問題規(guī)劃/任務(wù)分解/高層次推理文本數(shù)據(jù) 業(yè)務(wù)數(shù)據(jù) 符號(hào)數(shù)據(jù)微調(diào)/RL 訓(xùn)練 訓(xùn)練大語言模型 PINN 因果模型 符號(hào)模型(SPT)知識(shí)表示 快速數(shù)值 因果分析/ 符號(hào)推計(jì)算 可靠數(shù)值計(jì)算知識(shí)融合/決策
人機(jī)協(xié)同必要的場(chǎng)景中,可以將人引入多智能體框架中:人可以向智能體提供反饋,并作為最終決策者判定決策質(zhì)量;決定人什么時(shí)候介入是一個(gè)待解決的課題;YCao,HZhao,YCheng.TShu,YChen,GLiu,GLiang,JZhao,JYanSurveyonlargelanguagemodelenhancedreinforcementlearning:Concepttaxonomy.andmethods.JEEETransactionsonNeuralNetworksandLearningSystems,2024信息物理社會(huì)系統(tǒng)仿真大模型的“智能涌現(xiàn)”現(xiàn)象,再次表明復(fù)雜系統(tǒng)的研究問題無法完全在還原論的框架下解決受薛禹勝院土的整體還原論(WRT)方法論的啟發(fā),我們?cè)谒伎既绾螌⒋竽P蛻?yīng)用于解決復(fù)雜的信息物理社會(huì)系統(tǒng)(CPSSE)的仿真問題WRT以CPSSE框架刻畫復(fù)雜系統(tǒng),以混合動(dòng)態(tài)仿真來提取對(duì)象系統(tǒng)的高維仿真軌跡,基于軌跡動(dòng)力學(xué)的時(shí)空保滴映射,將復(fù)雜系統(tǒng)的研究從線性的“局部還原”提升為非線性的整體保炳還原大語言模型可以基于仿真或?qū)崪y(cè)軌跡數(shù)據(jù),基于其內(nèi)化的理論常識(shí),以一爛概率在局部自主進(jìn)行邏輯推理實(shí)現(xiàn)對(duì)復(fù)雜系統(tǒng)局部的可解釋性基于大模型內(nèi)化的理論常識(shí),大模型也可以用作嚴(yán)格因巢模型與近似模型的選擇器在CPSSE中社會(huì)行為的建模是研究難點(diǎn)我們的初步研究表明,大語言模型已具有模仿人進(jìn)行系統(tǒng)性邏輯思維的能力。因此,可以在CPSSE仿真中,結(jié)合真人因果模型和大語言模型實(shí)現(xiàn)更精確的人機(jī)混合仿真大模型的推理可靠性與“幻覺問題,自前尚無法完全解決。現(xiàn)階段, 人機(jī)混合智能“可能是最符合電力系統(tǒng)實(shí)際的解決方案CPSSE仿真問題解決通過CPSSE對(duì)實(shí)際系統(tǒng)進(jìn)行反饋構(gòu)建大模型驅(qū)區(qū)動(dòng)的數(shù)字李生,是研究的終極目標(biāo)。香港中文大學(xué)(深圳)03LLMAgents的應(yīng)用初探24基于大語言模型實(shí)現(xiàn)高適應(yīng)性負(fù)荷預(yù)測(cè)(多模態(tài)數(shù)據(jù)融合)范圍的新場(chǎng)景3無法基于文本數(shù)據(jù)(新聞事件)進(jìn)行預(yù)測(cè)推理。提出lntelligentText-AnalyticLoadForecasting(ITA-LF):LLM能夠基于語言有效處理、整合非結(jié)構(gòu)化及海量多源數(shù)據(jù),通過Age比t篩選實(shí)時(shí)相關(guān)新聞并理解文本邏輯顯著提升預(yù)測(cè)的適應(yīng)性和精確度。NewsCategorles?BreakiligNewsPohtical&CrmeCoufts&LaweatinieSupplyApplyInitialReasoningLLMs擅長解析和理解非結(jié)構(gòu)化數(shù)據(jù)IV LifestyleTechnology RankingFinanceWeatherVTE. PablicHealthTstie
Select
SelectionReflection FlexibilityInputInpstValidafior
ITA-LFInpnt:predictthiedalyloadconsumptionmhienextday.HistoricalloaddataisrhacnmeerlesyComprehenHistoricalDatacoverstdieaandthedatafrequencyis3b Intelligencemduj tntintperpoint sivenessTheregionisNSHCLDStTVCt預(yù)訓(xùn)練模型能夠整合廣泛 LLMAgent智能優(yōu)化用于ishotidaunamenotaholtayl 的社會(huì),經(jīng)濟(jì)和技術(shù)知識(shí) 負(fù)荷預(yù)測(cè)相關(guān)新聞的選擇Theweather.ofpredictondate:nfiatanmrtepertueavm
feperanme:humichnhnpidpouier,caidjpressipeiNewsbeforetheptedichonNensiriebriefstanmepyypupubiicmionninefcaregoyfultanticle/Outputrmtyarierofacruniloodinthepradueromante!ITA-LF框架圖
Predici基于大語言模型實(shí)現(xiàn)高適應(yīng)性負(fù)荷預(yù)測(cè)新聞事件相關(guān)的文本數(shù)據(jù)的引入, 有效提升在特定事件發(fā)生時(shí)負(fù)荷預(yù)測(cè)精確度Load News Saney'slockdowepectedtodecrsaseska ENens.
increasingnsideuialelechicitytsetoaaingto Loafr Newsc Apoveronitageisenpectedtaaffectelecnicityloatkwh) Temcomercialdddusptaleergyuage (wh Ligherpowgrloadaningpeakkioun (cWh) wthaaopsconmpton.Anlie 1200012000
500
DNew11000WiNea1100011000WiNea11000100001000090009001380008000400070007000(a)20 40 60(b)20 60 80(C)疫情封城商業(yè)活動(dòng)帶來居民用電量上升測(cè)精確度:nCroundTrutheCare4TexniarPronptWiFitereaNers區(qū)域大停電基于新聞和負(fù)荷數(shù)據(jù)的TA-LF預(yù)測(cè)效果普遍優(yōu)于現(xiàn)有方法TABLETPERFORMANCEMETRICSOFDIFFERENTMODELS7000iseiTextnalPrtmpiwithNon.tuteredNews(Canse2TexhnlPrompewihourNewCaseHCulyNumenePromptModel MSE RMSE MAE 161LSTMA481.006.30SARIMA475200.06ReFormer161LSTMA481.006.30SARIMA475200.06ReFormer169355.11Informet216422.275689.35 421.82Accuracy82.08%89.93%6500SUOY
411.53 283.97 11.26% 89.93%465.21 331.17 11.01% 88.656AutoFormer 224497.31 473.81 323.89 1.93% 89.20%ITA-LF(CaseI)154388.74392892216.566.71%93.92%ITALE(Case3)107780.74328.30182.546.09%94.70%ITA-LE(Case2)89334.67298.89166.275.42%95.06%TTA-LF(Case4) 66818.94 258.49 144.68 4.65% 95.616基于大語言模型實(shí)現(xiàn)高適應(yīng)性負(fù)荷預(yù)測(cè)預(yù)測(cè)效果普遍優(yōu)于現(xiàn)有方法,在不同時(shí)間和地理維度的適應(yīng)性強(qiáng),顯著提升預(yù)測(cè)的適應(yīng)性和精確度澳大利亞不同地區(qū)日前負(fù)荷預(yù)測(cè) 澳大利亞不同典型天日前負(fù)荷預(yù)測(cè)基于LLM的負(fù)荷預(yù)測(cè)顯著提升準(zhǔn)確性和可靠性,優(yōu)化對(duì)突發(fā)變化的應(yīng)對(duì), 突出了語言處理在整合非結(jié)構(gòu)化信息中的作用標(biāo)志負(fù)荷預(yù)測(cè)及時(shí)序決策研究范式的轉(zhuǎn)變XaWangMFeng,JQiu,JGuJZhad,Eromnewstoforecastlntegratingeventanalvsismlmbasedtimeseriesforecastingwithreflection.ThethityEighthAnhuaContefence:onNeuralformatianProcessingSystems(NeuriPs12024.調(diào)度大模型研究背景基于前期研究,我們發(fā)現(xiàn)可以將調(diào)度、市場(chǎng)行為以大語言模型的形式建模(語言模型化)解決傳統(tǒng)調(diào)度支撐體系中調(diào)度行為沒有有效建模工具的問題我們希望實(shí)現(xiàn)調(diào)度行為數(shù)據(jù)(包含語音拓?fù)浣Y(jié)構(gòu)文本等多模態(tài)數(shù)據(jù))隨調(diào)度規(guī)程及系統(tǒng)工況等數(shù)據(jù)的統(tǒng)表示,基大語言模型多智能體實(shí)現(xiàn)調(diào)度行為的理解推理,操作序列生成,智能博奔策略生成,市場(chǎng)波動(dòng)響應(yīng)及決策優(yōu)化等自標(biāo)提高調(diào)度安全性與效率。更適應(yīng)雜開放場(chǎng)帶 更安全生成操作序列 更可靠在線決家人類調(diào)度與 建模 室動(dòng)學(xué)習(xí)和處理復(fù)雜調(diào)控任務(wù) 調(diào)度操作序列生成系統(tǒng) 實(shí)現(xiàn)調(diào)度與市場(chǎng)決策推市場(chǎng)行為 工具調(diào)用優(yōu)化 理與智能生成能力電力調(diào)度與市場(chǎng) 目標(biāo)調(diào)度多模態(tài)數(shù)據(jù) 行為大語言模型(百志,語音)解決X目標(biāo)X成效調(diào)度及市場(chǎng)行為缺少有效建模工具
建立基于大模型智能體的調(diào)瘋行方語言模型化與調(diào)度決策智能生成的技術(shù)框架
支撐復(fù)雜開放場(chǎng)景下的調(diào)度決策推理與智能生成調(diào)度大模型數(shù)據(jù)處理初版領(lǐng)域數(shù)據(jù)集教材,論文集,章程等 M調(diào)度場(chǎng)景數(shù)據(jù)等
調(diào)度大模型交互頁面DispatchLLM-70bPapers,Textbooks,Regulations DispatchPrograminstruction";"pescribethenainreasonforwinding.failureinelectricaltransformers."input":"<noinput>"大模型訓(xùn)練數(shù)據(jù)集清除歷更對(duì)活 配發(fā)送大模型訓(xùn)練數(shù)據(jù)集領(lǐng)域?qū)υ拞柎饠?shù)據(jù)集input":"cnoinput>"領(lǐng)域?qū)υ拞柎饠?shù)據(jù)集
業(yè)務(wù)場(chǎng)景支持rideanexanpleofa-statistic.relatedto.transformerfaults." 經(jīng)濟(jì)調(diào)度output','statisticsshowthatwindingfailu quentlycau taults."操作監(jiān)護(hù)stressdurirgfaultscanbeimplemented."
黑啟動(dòng)調(diào)度大模型評(píng)價(jià)指標(biāo)用調(diào)表達(dá)
測(cè)試集評(píng)測(cè)體系多樣性準(zhǔn)確性創(chuàng)造性表達(dá)性
評(píng)測(cè)圍繞調(diào)度大模型在事實(shí)性邏輯性、穩(wěn)定性、公平性、安全性、事實(shí)性 表達(dá)能力六大類二十四個(gè)子維度展開評(píng)估。E 公平性
電力大模型評(píng)測(cè)體系
測(cè)試集題型設(shè)定客觀題:判斷題、選擇題、問答題主觀題:?jiǎn)柎痤}穩(wěn)定性 評(píng)測(cè)方法文法 數(shù)據(jù)
穩(wěn)定性
客觀題:GPT-4+評(píng)測(cè)腳本穩(wěn)定性
穩(wěn)定性 主觀題:GPT-4+人T評(píng)測(cè)General.Meeting.2024(BestPaperSession).傳統(tǒng)經(jīng)濟(jì)學(xué)仿真面臨的困難
傳統(tǒng)方法大多依賴于數(shù)學(xué)模型。當(dāng)仿真涉及多個(gè)參與者和復(fù)雜策略時(shí),傳統(tǒng)方法往往難以應(yīng)用,因?yàn)橛?jì)算和分析的復(fù)雜度極高。動(dòng)態(tài)博奔求解難度大:在動(dòng)態(tài)和不完全信息的博奔情境中,傳統(tǒng)方法很難求得收斂解。泛化性較差:對(duì)于那些需要快速適應(yīng)新信息和變化的實(shí)際應(yīng)用場(chǎng)景,傳統(tǒng)的數(shù)學(xué)方法缺之靈活性。大模型經(jīng)濟(jì)學(xué)仿真的潛力推理能力:LLMs擁有處理復(fù)雜問題和理解和分析復(fù)雜的博奔策略。泛化能力:得益于LLM出色的zero-shot能力, 快速適應(yīng)市場(chǎng)的動(dòng)態(tài)變化結(jié)合大量歷史案例,提高仿真的準(zhǔn)確性和效率。代理模擬:將LLM與多代理仿真結(jié)合通過模擬市場(chǎng)中player行為或策略,為市場(chǎng)仿真提供了—種新的思路研究進(jìn)展背景回顧 基于大語育模型的市場(chǎng)仿真般性結(jié)構(gòu)框圖市場(chǎng)仿真基礎(chǔ)單元:市場(chǎng)主體市場(chǎng)環(huán)境和規(guī)則市場(chǎng)外部性在電力市場(chǎng)中,分別對(duì)應(yīng):”網(wǎng)源荷儲(chǔ)“主體和監(jiān)管主體電力系統(tǒng)和市場(chǎng)規(guī)則、系統(tǒng)和市場(chǎng)外部擾動(dòng)。大模型技術(shù)應(yīng)用:直接交易決策建模新市場(chǎng)規(guī)則輔助建模、外部擾動(dòng)參數(shù)生成決策干擾 交易者 大模型決策技術(shù) SBD 交易決初始資本,生產(chǎn)計(jì)劃 模型輸入 提示語工程 模型輸出 交易量
交易前風(fēng)險(xiǎn)價(jià)值情緒偏好 大模型微調(diào) 交易價(jià)格 決外部干擾 市場(chǎng)知識(shí)、博奔預(yù)判 COTRAG/MOE 交易時(shí)點(diǎn)擾動(dòng)參數(shù)生成
決策干擾 組織
大模型輔助
規(guī)則設(shè)計(jì)間接影響
直接決定
決策集中決策數(shù)據(jù)采集大模型生成
知識(shí)。預(yù)判更新
機(jī)制設(shè)計(jì)
交易市場(chǎng)信息公示 ? 輸入 寬易出國際形勢(shì)
匹配出清
清機(jī)制經(jīng)濟(jì)形勢(shì) 交易價(jià)值意識(shí)形態(tài) 損益結(jié)算、計(jì)劃調(diào)整 交易影響 輸出市場(chǎng)內(nèi)部
資本損益 市場(chǎng)出清結(jié)果33研究進(jìn)展背景回顧 提示詞工程和檢索增強(qiáng)生成技術(shù)提樂詞工程(PromptEngineering):模 檢索增強(qiáng)生成(Retrieval-Augmented擬電力交易員工作環(huán)境,給出機(jī)組加況斷Generation,RAG)可適配、理解現(xiàn)貨和備用面阻塞、燃料成本、碳成本,系統(tǒng)運(yùn)行情況市場(chǎng)相關(guān)論文、政策文件國內(nèi)外市場(chǎng)研報(bào)等模式化提示語.引導(dǎo)LLM思考方向做更深 仿真模型數(shù)據(jù)、市場(chǎng)運(yùn)行數(shù)據(jù)、系統(tǒng)工況數(shù)據(jù)度逐步推理: 等多場(chǎng)景多模態(tài)數(shù)據(jù),LLM無需增量訓(xùn)練即可初步理解應(yīng)用領(lǐng)域知識(shí)標(biāo)準(zhǔn)Prompt思維鏈(CoT)) 思維樹(ToT) 提取Input npu input 各類型文檔 文本 文本塊提示詞工程 記憶 同量存儲(chǔ)知識(shí)尚答罐結(jié)果Output indhinoStandardProripting ChainofThoughis TreeofThoughts
大語言模型提示詞工程框架對(duì)比 檢索增強(qiáng)生成技術(shù)框架34基于大語言模型的碳市場(chǎng)均衡分析均衡的重要性企業(yè)確定供需平衡點(diǎn),幫助企業(yè)制定合理的碳排放策略政策制定者提高市場(chǎng)效率優(yōu)化政策設(shè)計(jì),促進(jìn)碳排放權(quán)的有效配置
香港中文大琴(深圳)TheChineseUniyersityofHongKong,Sherzher大語言模型優(yōu)勢(shì)
現(xiàn)有軒究周限械依賴數(shù)學(xué)模型:傳統(tǒng)方法大多依賴數(shù)學(xué)模型計(jì)算和分析復(fù)雜度高復(fù)雜環(huán)境求解本難仕動(dòng)態(tài)和不元全信惠的情境中,傳統(tǒng)方法難以構(gòu)建數(shù)值解2泛化性較差:傳統(tǒng)方法在應(yīng)對(duì)新信息和變化時(shí)缺之靈活性難以捕捉復(fù)雜市場(chǎng)動(dòng)態(tài):隨著數(shù)據(jù)和復(fù)雜性增加傳統(tǒng)方法難以全面精確地捕捉市場(chǎng)動(dòng)態(tài)精確理解與分析市場(chǎng)動(dòng)態(tài):大語言模型在處理復(fù)雜數(shù)據(jù)和市場(chǎng)動(dòng)態(tài)方面表現(xiàn)出色,能夠深入理解市場(chǎng)機(jī)制,提供精確分析。強(qiáng)大的推理與適應(yīng)能力:大語言模型具備卓越的推理能力和泛化能力能夠迅速適應(yīng)場(chǎng)的動(dòng)態(tài)變化提供高精度的碩結(jié)果多主體策略模擬與優(yōu)化:將大語言模型與代理模型結(jié)合,能有效模擬多主體行為和策略,顯著提升數(shù)值解的求解效率和準(zhǔn)確性基于大語言模型的碳市場(chǎng)均衡分析求解框架 多代理求解策略 均衡求解 模型提示詞 工具
香港中文大學(xué)(深圳)TheChineseUniversityofHongKongShenzher均衡求解否碳市場(chǎng)設(shè)定 構(gòu)建均衡求解否
多代理判斷策略 均衡判斷 模提示詞 工具
均衡判斷
碳市場(chǎng)均衡解是核心技術(shù)指令工程 工具調(diào)用 多代理模型定義設(shè)計(jì)和優(yōu)化提示詞定義:動(dòng)態(tài)調(diào)用外部工具或定義:由多個(gè)自主決策的代引導(dǎo)大語言模型生成所需輸出函數(shù)完成特定任務(wù) 理組成,模擬市場(chǎng)參與者行為應(yīng)用:構(gòu)建求解策略和判斷應(yīng)用:利用求解工具和判斷應(yīng)用:各代理執(zhí)行特定任務(wù)策略提示詞 工具,特別是通過Python進(jìn) 如生成、評(píng)估和調(diào)整策略,最優(yōu)勢(shì):提高模型響應(yīng)的準(zhǔn)確行均衡求解 終求解市場(chǎng)均衡。性和效率 優(yōu)勢(shì):提高求解精度和效率優(yōu)勢(shì):提供更準(zhǔn)確的市場(chǎng)預(yù)測(cè)和均衡解。基于大語言模型的碳市場(chǎng)均衡分析碳市場(chǎng)模型構(gòu)建
香港中文大學(xué)(深圳)TheChinesiUnivsityofHongKonghezh控排企業(yè) 碳市場(chǎng)Q 企業(yè)行為:可自行選擇買入 價(jià)格決定機(jī)制:供賣家 或賣出碳配額(決策變量) 平衡量,企業(yè)價(jià)格彈性系數(shù)Q. 企業(yè)屬性:初始富余碳配額 機(jī)會(huì)收益:最后一期量,企業(yè)價(jià)格彈性系數(shù)P 企業(yè)目標(biāo):在滿足履約的同買家Qa 收益之和買家
Q1+Q42
碳價(jià)格*(1+預(yù)期上漲率)*(1—配額折算率)*剩余的碳配額量數(shù)據(jù)來源與處理A B 碳市場(chǎng)交易 求解所需周期各2 幸度凈交易額加權(quán)價(jià)格企業(yè) 仿真數(shù)據(jù)3202101 9148.83824170Xingtopo
企業(yè)的凈交易配 可供實(shí)驗(yàn)的碳202102 Bos51J6421u7Xingtalpou212103 5352.48660377Xintoipox
碳市場(chǎng)企業(yè) 額量和加權(quán)價(jià)格 市場(chǎng)企業(yè)5202104 5554157(91Xingtaiprn (富余碳配額6202201 5156.24271605Xiogtoipoe機(jī)組信息 回歸分機(jī)組信息 回歸分20220 565948357141Xingtuipom
碳市場(chǎng)企業(yè)
系數(shù)顯著 量,價(jià)格彈性)9202204 2317681342164133Xingtaipov 配額與排放數(shù)據(jù) 國舊系款電:3.160367029089367162023Q 16964.884y593Xingtaipou 電話:電:825152265417496948基于大語言模型的碳市場(chǎng)均衡分析
香港中文大學(xué)(深圳)TheChineseUniversityofHongKong,Shenzher結(jié)果示例:指令工程 結(jié)果示例:工具調(diào)用 代碼示例:多代理模型KKT方程并求解綜上,基于碳市場(chǎng)的設(shè)定,寫一下四個(gè)玩家的 評(píng)估模型回應(yīng)生成質(zhì)量KKT方程并求解好的,我們將這些具體的值代入方程,并使用SymPy來求解,以下是完款的代實(shí)現(xiàn) mpt.eualuationprompt.gen(strategy,finalresponse)為了求解四個(gè)玩家在破市場(chǎng)中的KKT方程并找到最優(yōu)的好和好,的表 evaluation_output,evaluation_cost達(dá)式,我們需費(fèi)聯(lián)立方我并求解。讓我們?cè)敿?xì)推導(dǎo)并實(shí)現(xiàn)代碼。 chatgpt.agent(evaluationprompt)syhpyjsspKKT條件 seore_mateh.re.search(rCandinouotaenienarit我們需要滿足以下KKT禁件1.Stationarity,拉格朗日菌數(shù)對(duì)b,的偏導(dǎo)數(shù)應(yīng)為零。
b21/b22.b23,h24sp.symbo1st/t//2hbi0 if.score_natch:b31b32.b33.b34ssp.synbolsl3152tis/b57 score-score b41b42b43b442PrimalFeasiblity約束條件A+二f-Qu0應(yīng)滿足。
tanbda2anbdasTantdaaasn.stlse
rst(store)3.DualFeasibility:拉格朗白乘子入≥04.ComplementarySlackness:A.(AS)=0 a1val.az.val.evata4valscoreeAIValA2Va1UA3VaTA4VaU pritebyeidscorsfoundnithe定義變量和參數(shù) valeval我們假設(shè)奇?zhèn)€公司的碳配額需求函數(shù)為;Qu-ap+hu me 評(píng)估模型生成解是否為均衡解價(jià)格P為:w-=de.sso.Eqtsp.d defeuuiltelmjidge(game_setting;sr-response):w-=dprompt-equilibriunprompt(gamesetting,拉格朗日函數(shù) srresponserequiltbriumresponsechatgpt_agent(prompt)拉格朗日函數(shù)可以寫為:
Cteaned.pythoncodeC=2PQ(+nO-)P(AS)+MA clean_markdovn.code(equilibriumresponse)S.)其S-Q.
returt.execute.python_code(cleaned_python,code)清晰用網(wǎng)頁端的效果代替?;诖笳Z言模型的碳市場(chǎng)均衡分析
香港中文大學(xué)(深圳)TheChineseUniversityofHongKong,Shenzhe各類型機(jī)組占比情況 企業(yè)富余碳配額情況 企業(yè)季度價(jià)格彈性系數(shù)情況機(jī)2196600 64500300MW煙煤機(jī)
組 30057%$300MW燃
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 【正版授權(quán)】 ISO 16383-1:2025 EN Geotechnical investigation and testing - Laboratory testing of rock - Part 1: Determination of water content
- 先進(jìn)技術(shù)參觀保密協(xié)議書范本
- 海外市場(chǎng)推廣與品牌合作合同
- 國際人才引進(jìn)擔(dān)保與培訓(xùn)協(xié)議
- 稅務(wù)代理補(bǔ)充協(xié)議
- 拆遷補(bǔ)償款支付居間服務(wù)協(xié)議
- 車輛維修企業(yè)品牌授權(quán)與加盟合同
- 出口貨物貿(mào)易代理傭金合同范本
- 餐飲企業(yè)旗下特色餐廳品牌及店面打包轉(zhuǎn)讓合同
- 股東退股與公司財(cái)務(wù)管理制度協(xié)議
- 星載終端抗輻照設(shè)計(jì)-洞察及研究
- 2025年湖南省中考生物試卷真題(含標(biāo)準(zhǔn)答案)
- 2025年河北省物流產(chǎn)業(yè)集團(tuán)招聘筆試參考題庫含答案解析
- 2025年煤礦從業(yè)人員安全培訓(xùn)考試題庫
- 機(jī)械制圖-形成性任務(wù)2-國開(ZJ)-參考資料
- 吉林省長春市東北師范大附屬中學(xué)2024屆中考生物押題試卷含解析
- 通風(fēng)與空調(diào)工程施工工藝流程圖
- 協(xié)議回款承諾書
- 賀州學(xué)院專業(yè)實(shí)習(xí)鑒定表
- 商業(yè)發(fā)票模板(INVOICE)
- 青島金鼎順餐飲服務(wù)有限公司滅火和應(yīng)急疏散預(yù)案
評(píng)論
0/150
提交評(píng)論