基于強化學(xué)習(xí)的多無人機 智能對抗博弈

基于強化學(xué)習(xí)的多無人機基于強化學(xué)習(xí)的多無人機智能對抗博弈答辯人：楊博8 ONTENTS ONTENTS0204研究背景多無人機協(xié)同特點低成本和無人操作等特點；多無人機協(xié)同作戰(zhàn)可以更高效的進(jìn)行信息收集、完成目標(biāo)。 環(huán)境的不確定性多無人機在動態(tài)環(huán)境中進(jìn)行博弈強化學(xué)習(xí)的交互學(xué)習(xí)最優(yōu)策略的方法。它具以應(yīng)對環(huán)境變化和多智能體間交互研究意義>通過應(yīng)用強化學(xué)習(xí)技術(shù)，可以使無人機在博弈對抗中能>研究多無人機智能博弈對抗還可以為無人機應(yīng)用開拓新研究現(xiàn)狀阿爾法AI：拒止環(huán)境協(xié)同作戰(zhàn)項目：2016年，美國辛辛那提大學(xué)開發(fā)的2019年已交付美軍，主要研究的是2020年，美國蒼鷺系統(tǒng)公司的人工人工智能系統(tǒng)在空戰(zhàn)模擬器中擊敗在拒止環(huán)境下（如在通信中斷與智能系統(tǒng)“阿爾法AI”在美國了有著豐富經(jīng)驗的退役美國空軍上GPS拒止環(huán)境中）無人機的集群協(xié)DARPAAlphaDogfight挑戰(zhàn)賽中擊同控制算法。敗了擊敗了人類飛行員。目前，多無人機智能博弈對抗的研究還處于初級階段，大多數(shù)研究使用強化學(xué)習(xí)中的DQN、MADDPG、QMIX等來訓(xùn)練無人機，使其能夠在不同場景下做出智能決策。但的那個環(huán)境復(fù)雜，無人機數(shù)量增多時，算法訓(xùn)練速度慢，且對環(huán)境中的變化不能及時進(jìn)行策略變化，多無人機之間的協(xié)同也會因數(shù)量增多被影響。研究目標(biāo)研究目標(biāo)01有效解決維度爆炸問題02解決稀疏獎勵問題03快速提高無人機編隊通訊效率創(chuàng)意內(nèi)容創(chuàng)意內(nèi)容深度強化學(xué)習(xí)的多智能體即時策略對抗技術(shù)新型模型架構(gòu)擬開發(fā)新的模型架構(gòu)，通過引入適當(dāng)?shù)木W(wǎng)絡(luò)結(jié)構(gòu)和信息傳遞機制，以降低智能體狀態(tài)空間和動作空間的維數(shù)，優(yōu)化算法的學(xué)習(xí)效率，提高算法的通用性。高效的多智能體強化學(xué)習(xí)算法方案結(jié)合策略搜索、價值優(yōu)化函數(shù)和經(jīng)驗回放等技術(shù)實現(xiàn)對抗策略的學(xué)習(xí)與優(yōu)化。仿真實驗通過在軍事作戰(zhàn)仿真平臺上設(shè)計不同的作戰(zhàn)想定對算法進(jìn)行模擬驗證。研究方案研究方案問題建模與環(huán)境設(shè)計確定無人機的狀態(tài)空間和問題建模與環(huán)境設(shè)計確定無人機的狀態(tài)空間和動作空間采用部分可觀測馬爾科夫決策過程，引入隱藏狀態(tài)處理環(huán)境的不確定性算法選擇與模型訓(xùn)練選擇適當(dāng)?shù)膫鹘y(tǒng)強化學(xué)習(xí)算法，對其進(jìn)行改進(jìn)實驗評估與迭代優(yōu)化多智能體協(xié)同優(yōu)化在模型訓(xùn)練后在模型訓(xùn)練后，通過仿真或?qū)嶋H場景驗證模型性能，并根據(jù)實驗數(shù)據(jù)進(jìn)行迭代優(yōu)化智能體之間進(jìn)行高效通信仿真平臺使用基于物理仿真引擎的多無人機仿真平臺想定設(shè)計構(gòu)建適于多無人機對抗的作戰(zhàn)場景，例如城市景觀、森林地形等智能體建?；诙嘀悄荏w強化學(xué)習(xí)算法設(shè)計無人機集群的聯(lián)合狀態(tài)空間和動作空間。獎勵函數(shù)設(shè)計基于作戰(zhàn)任務(wù)定義合適的獎勵函數(shù)來引導(dǎo)無人機通過強化學(xué)習(xí)訓(xùn)練達(dá)到作對抗訓(xùn)練應(yīng)用對抗訓(xùn)練的方法，使得多個無人機智能體相互博弈、學(xué)習(xí)和適應(yīng)對手的策略實驗評估使用多種性能指標(biāo)進(jìn)行實驗評估，如勝率、收斂速度、學(xué)習(xí)曲線等，來評估智能體之間的競爭和博弈1122經(jīng)濟(jì)可行性3344++保障