3.4博弈決策教學(xué)設(shè)計(jì)人教-中圖版高中信息技術(shù)選擇性必修4

第3章人工智能領(lǐng)域應(yīng)用3.4博弈決策教學(xué)設(shè)計(jì)教學(xué)背景信息科技是現(xiàn)代科學(xué)技術(shù)領(lǐng)域的重要部分，主要研究以數(shù)字形式表達(dá)的信息及其應(yīng)用中的科學(xué)原理、思維方法、處理過(guò)程和工程實(shí)現(xiàn)。當(dāng)代高速發(fā)展的信息科技對(duì)全球經(jīng)濟(jì)、社會(huì)和文化發(fā)展起著越來(lái)越重要的作用。義務(wù)教育信息科技課程具有基礎(chǔ)性、實(shí)踐性和綜合性，為高中階段信息技術(shù)課程的學(xué)習(xí)奠定基礎(chǔ)。信息科技課程旨在培養(yǎng)科學(xué)精神和科技倫理，提升自主可控意識(shí)，培育社會(huì)主義核心價(jià)值觀，樹(shù)立總體國(guó)家安全觀，提升數(shù)字素養(yǎng)與技能。教材分析本節(jié)課的教學(xué)內(nèi)容選自人教/地圖出版社選擇性必修4人工智能初步第3章人工智能領(lǐng)域應(yīng)用3.4博弈決策。人工智能的發(fā)展是以各種算法為基礎(chǔ)的，而飛速發(fā)展的大數(shù)據(jù)和云計(jì)算使人工智能的算法在多個(gè)領(lǐng)域發(fā)揮了重要的作用，也改變著我們的生活。里有語(yǔ)音助理、智能搜索、人臉識(shí)別，汽車能自動(dòng)駕駛......不知不覺(jué)中，生活中的常用設(shè)備變得越來(lái)越智能。人工智能并不是讓機(jī)器模擬人的形態(tài)和人的行為，而是讓機(jī)器對(duì)人的思維意識(shí)和處理信息的過(guò)程進(jìn)行模擬，像人一樣處理事情。這一目標(biāo)是以計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器理解與推理、博弈決策與智能機(jī)器人等基礎(chǔ)技術(shù)的研究為基礎(chǔ)來(lái)實(shí)現(xiàn)的。在本章的學(xué)習(xí)中，我們將借助各領(lǐng)域現(xiàn)有的人工智能開(kāi)發(fā)工具與平臺(tái)，以“智能陪伴巧實(shí)踐”為主題，開(kāi)展項(xiàng)目活動(dòng)，定制智能陪伴機(jī)器人，掌握簡(jiǎn)單人工智能應(yīng)用模塊的搭建方法，體驗(yàn)人工智能應(yīng)用的實(shí)現(xiàn)過(guò)程。教學(xué)目標(biāo)1.了解博弈決策的發(fā)展歷程、典型應(yīng)用。2.通過(guò)剖析具體案例，了解強(qiáng)化學(xué)習(xí)的基本模型與實(shí)現(xiàn)原理。3.利用開(kāi)源庫(kù)和人工智能開(kāi)發(fā)平臺(tái)，搭建簡(jiǎn)單的博弈決策應(yīng)用模塊。教學(xué)重點(diǎn)與難點(diǎn)教學(xué)重點(diǎn):通過(guò)剖析具體案例，了解強(qiáng)化學(xué)習(xí)的基本模型與實(shí)現(xiàn)原理。教學(xué)難點(diǎn):利用開(kāi)源庫(kù)和人工智能開(kāi)發(fā)平臺(tái)，搭建簡(jiǎn)單的博弈決策應(yīng)用模塊。教學(xué)方法與教學(xué)手段案例分析法、講授法、任務(wù)驅(qū)動(dòng)法。教學(xué)過(guò)程問(wèn)題導(dǎo)入體驗(yàn)探索圍棋人工智能：絕藝絕藝是一款由我國(guó)科研團(tuán)隊(duì)自主研發(fā)的圍棋程序（圖3.4.1）（參見(jiàn)教材P121），名稱取自唐朝詩(shī)人杜牧的詩(shī)句“絕藝如君天下少，閑人似我世間無(wú)”。絕藝圍棋程序采用蒙特卡羅樹(shù)搜索算法作為基礎(chǔ)的搜索框架，使用深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)訓(xùn)練策略網(wǎng)絡(luò)，再通過(guò)與機(jī)器自我對(duì)弈形成價(jià)值網(wǎng)絡(luò)，快速提高棋力。絕藝戰(zhàn)勝過(guò)柯潔、古力和樸廷桓等100多位職業(yè)棋手，在第10屆UEC杯世界計(jì)算機(jī)圍棋大會(huì)上，以11戰(zhàn)全勝的戰(zhàn)績(jī)奪得冠軍。目前，絕藝成為中國(guó)國(guó)家圍棋隊(duì)專用訓(xùn)練工具。思考：比較中國(guó)象棋、五子棋、四子棋、跳棋、井字棋、圍棋和國(guó)際象棋等棋類游戲的人工智能程序?qū)崿F(xiàn)難度，并按照難易程度排序。博弈決策的發(fā)展歷程智力游戲被公認(rèn)為智能的一種具體表現(xiàn)，而人工智能的終極目標(biāo)就是使機(jī)器具有人類的（部分）智能。人工智能誕生元年，即1956年，阿瑟·薩繆爾（ArthurSamuel）編寫(xiě)了一個(gè)國(guó)際跳棋程序；1959年，這個(gè)程序戰(zhàn)勝了薩繆爾本人；1962年，它又擊敗了美國(guó)某個(gè)州的國(guó)際跳棋冠軍；1994年，另一款國(guó)際跳棋程序Chinook戰(zhàn)勝了世界冠軍；1997年，國(guó)際商業(yè)機(jī)器公司（IBM）開(kāi)發(fā)的超級(jí)計(jì)算機(jī)“深藍(lán)”（DeepBlue）擊敗了國(guó)際象棋世界冠軍卡斯帕羅夫。事實(shí)證明，機(jī)器下國(guó)際跳棋和國(guó)際象棋比人類厲害，那為什么還要研發(fā)其他棋類比賽機(jī)器人（如圍棋弈棋程序）來(lái)挑戰(zhàn)人類的智力呢？這是因?yàn)閲甯訌?fù)雜，大家熟知的所有棋類智力游戲中，圍棋的搜索空間最大，所需計(jì)算量也最大。因此，研究人機(jī)圍棋對(duì)弈更具有挑戰(zhàn)性。1997年超級(jí)計(jì)算機(jī)“深藍(lán)”利用已知的開(kāi)局棋譜和收官棋譜，采用窮盡所有可能性的簡(jiǎn)單方法算出最佳走棋法而獲勝?！吧钏{(lán)”的勝利證明了計(jì)算機(jī)具有強(qiáng)大的計(jì)算能力，但這不能證明計(jì)算機(jī)可以通過(guò)學(xué)習(xí)使自己變聰明。從四子棋、黑白棋、跳棋、國(guó)際象棋，到走棋法更為復(fù)雜的圍棋，人工智能已經(jīng)在對(duì)弈游戲上做得比人更好。圍棋棋局的搜索空間越大，對(duì)弈難度也就越大，需要大量的學(xué)習(xí)和訓(xùn)練。本節(jié)從引爆第三次人工智能浪潮的阿爾法圍棋智能程序的核心要素出發(fā)，介紹兩個(gè)重要的算法：蒙特卡羅樹(shù)搜索與強(qiáng)化學(xué)習(xí)。阿爾法圍棋通過(guò)結(jié)合蒙特卡羅樹(shù)搜索算法和兩個(gè)深度神經(jīng)網(wǎng)絡(luò)來(lái)完成弈棋。開(kāi)發(fā)者首先用人類對(duì)弈的近3000萬(wàn)種走法來(lái)訓(xùn)練阿爾法圍棋的神經(jīng)網(wǎng)絡(luò)，讓它學(xué)會(huì)預(yù)測(cè)人類專業(yè)棋手的落子；然后讓阿爾法圍棋跟自己對(duì)弈，進(jìn)一步產(chǎn)生規(guī)模龐大的全新棋譜；最后利用蒙特卡羅樹(shù)搜索算法分析未來(lái)一定步數(shù)的落子情況，并判斷在哪里落子贏的概率更高。阿爾法圍棋的基本原理如圖3.4.2（參見(jiàn)教材P123）所示，其學(xué)習(xí)方式分為離線學(xué)習(xí)（訓(xùn)練階段）和在線學(xué)習(xí)（在真正的比賽中學(xué)習(xí)）。離線學(xué)習(xí)一方面基于現(xiàn)有的海量歷史棋譜，另一方面通過(guò)自我對(duì)弈不斷強(qiáng)化學(xué)習(xí)，在學(xué)習(xí)中進(jìn)步?；趪迤灞P(pán)結(jié)構(gòu)固定以及數(shù)據(jù)海量等特性，上述兩個(gè)方面的實(shí)現(xiàn)都使用了深度學(xué)習(xí)方法，即從大量數(shù)據(jù)中提取特征并解決問(wèn)題。在線學(xué)習(xí)主要是在實(shí)際對(duì)弈中，可能的走法太多，無(wú)法直接窮舉，因此需要一個(gè)高效的求近似解的方法。蒙特卡羅樹(shù)搜索算法正是通過(guò)隨機(jī)采樣達(dá)到近似結(jié)果的方法來(lái)構(gòu)建搜索樹(shù)的，因此能夠從近乎無(wú)數(shù)個(gè)策略中選出最優(yōu)策略。強(qiáng)化學(xué)習(xí)及其應(yīng)用阿爾法圍棋系列的圍棋機(jī)器人戰(zhàn)勝世界冠軍的事件，讓人類認(rèn)識(shí)到強(qiáng)化學(xué)習(xí)的威力。強(qiáng)化學(xué)習(xí)屬于機(jī)器學(xué)習(xí)，它本身是決策科學(xué)，也是多學(xué)科交叉的產(chǎn)物，因此在許多學(xué)科分支中得到了廣泛的運(yùn)用，如計(jì)算機(jī)科學(xué)、神經(jīng)科學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)、數(shù)學(xué)和工程學(xué)等。強(qiáng)化學(xué)習(xí)的思想與建模無(wú)論是成年人學(xué)習(xí)開(kāi)車，還是嬰兒學(xué)習(xí)走路，整個(gè)過(guò)程都是通過(guò)人與環(huán)境的互動(dòng)來(lái)完成的。從互動(dòng)中學(xué)習(xí)是所有關(guān)于學(xué)習(xí)和智力理論的一個(gè)基本思路。例如嬰兒學(xué)習(xí)走路，學(xué)習(xí)的核心是試錯(cuò)，即嘗試—出錯(cuò)—改進(jìn)，這與心理認(rèn)知有密切關(guān)系。嬰兒作為一個(gè)智能體，試圖通過(guò)采取動(dòng)作（行走），來(lái)與環(huán)境（路面）互動(dòng)，他（她）試圖從一個(gè)狀態(tài)（位置）走到另一個(gè)狀態(tài)（位置）。當(dāng)他（她）完成一個(gè)任務(wù)的子模塊（比如走兩步）時(shí)，就會(huì)得到獎(jiǎng)勵(lì)（巧克力）；當(dāng)他（她）出錯(cuò)（不能走路或跌倒）時(shí)，就不會(huì)得到獎(jiǎng)勵(lì)。這就是對(duì)學(xué)習(xí)走路這一問(wèn)題的簡(jiǎn)化描述。智能體在環(huán)境給予的獎(jiǎng)勵(lì)或懲罰的刺激下，逐步形成對(duì)刺激的預(yù)期，逐漸產(chǎn)生能獲得最大利益的習(xí)慣性行為，這個(gè)過(guò)程便是強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)因具有普適性而應(yīng)用于很多領(lǐng)域，例如自動(dòng)駕駛、博弈論、控制論、運(yùn)籌學(xué)、信息論、仿真優(yōu)化、多主體系統(tǒng)學(xué)習(xí)、群體智能、統(tǒng)計(jì)學(xué)以及遺傳算法等。圖3.4.3（參見(jiàn)教材P124）為強(qiáng)化學(xué)習(xí)用于決策問(wèn)題的通用模型。其中：強(qiáng)化學(xué)習(xí)適用于一個(gè)具有行動(dòng)能力的“智能體”，每一個(gè)“動(dòng)作”都影響該“智能體”未來(lái)的“狀態(tài)”，成功是由“獎(jiǎng)勵(lì)”信號(hào)來(lái)衡量的，目標(biāo)是選擇最大化未來(lái)回報(bào)的“動(dòng)作”。“智能體”與“環(huán)境”的互動(dòng)情況是：“智能體”獲取“狀態(tài)”和“獎(jiǎng)勵(lì)”，觀察“環(huán)境”選擇“動(dòng)作”，“環(huán)境”接收到“動(dòng)作”，更新“狀態(tài)”和“獎(jiǎng)勵(lì)”。Q學(xué)習(xí)算法強(qiáng)化學(xué)習(xí)是一大類算法，包括環(huán)境模型已知的算法和環(huán)境模型未知的算法兩類。其中Q學(xué)習(xí)算法是環(huán)境模型未知算法中的一個(gè)典型算法。前面“實(shí)踐活動(dòng)”的FlappyBird游戲中，環(huán)境是變化的（水管的位置和高度），而且沒(méi)有針對(duì)這個(gè)環(huán)境的已知模型。Q學(xué)習(xí)算法就適用于解決這樣的問(wèn)題。Q學(xué)習(xí)算法的核心是通過(guò)Q函數(shù)最大值選擇具有最大Q值的“動(dòng)作”，即選擇最大化未來(lái)回報(bào)的“動(dòng)作”得到解決問(wèn)題的策略。深度Q網(wǎng)絡(luò)強(qiáng)化學(xué)習(xí)面臨的挑戰(zhàn)是狀態(tài)空間太龐大。以“打磚塊”游戲的狀態(tài)空間分析為例：84×84像素的視頻分辨率，取連續(xù)4幀作為當(dāng)前狀態(tài)輸入，每個(gè)圖像像素的顏色值為0～255，那么總的狀態(tài)空間為25684×84×4≈1067970。這個(gè)數(shù)量比宇宙中所有原子的總量都要多，根本無(wú)法遍歷所有“狀態(tài)—?jiǎng)幼鳌彼a(chǎn)生的未來(lái)回報(bào)，因而無(wú)法確定下一步動(dòng)作。Q學(xué)習(xí)算法的傳統(tǒng)求解方法是通過(guò)列出Q表格進(jìn)行表示和求解，但是對(duì)于像視頻游戲這種輸入量巨大的情況，Q學(xué)習(xí)算法中Q值的選擇空間太大，無(wú)法運(yùn)用傳統(tǒng)的方法。而深度學(xué)習(xí)對(duì)于海量結(jié)構(gòu)化數(shù)據(jù)具有很好的處理能力，能夠?qū)W習(xí)到特征并高效求解。因此，深度Q網(wǎng)絡(luò)是深度學(xué)習(xí)加Q學(xué)習(xí)算法的創(chuàng)新組合。這種組合利用了深度學(xué)習(xí)在海量數(shù)據(jù)支持下的優(yōu)勢(shì)，解決了視頻游戲輸入數(shù)據(jù)量巨大、Q學(xué)習(xí)算法中Q值的選擇空間維度過(guò)高等難題。技術(shù)支持深度Q網(wǎng)絡(luò)的具體實(shí)例對(duì)弈視頻游戲中的深度Q網(wǎng)絡(luò)建模主要有四個(gè)要素：一是問(wèn)題定義，從輸入（游戲屏幕對(duì)應(yīng)的像素p）到Q(s,a)的端到端學(xué)習(xí)；二是輸入狀態(tài)，輸入狀態(tài)s是從當(dāng)前狀態(tài)向前共4幀圖像組成的像素堆；三是輸出結(jié)果，對(duì)應(yīng)游戲手柄或按鈕所表示的不同動(dòng)作的Q(s,a)；四是獎(jiǎng)勵(lì)定義，涉及動(dòng)作的分?jǐn)?shù)變化。圖3.4.5（參見(jiàn)教材P125）所示的網(wǎng)絡(luò)結(jié)構(gòu)適用于各種傳統(tǒng)像素級(jí)電子游戲。與典型卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)重要區(qū)別是，該網(wǎng)絡(luò)沒(méi)有通過(guò)降采樣（池化層）減小圖像矩陣。這是由于在游戲?qū)闹?，位置是至關(guān)重要的特征信息。因此在深度學(xué)習(xí)網(wǎng)絡(luò)中不能使用降采樣。實(shí)踐活動(dòng)增強(qiáng)學(xué)習(xí)體驗(yàn)——吃瓜游戲訪問(wèn)教學(xué)資源平臺(tái)，運(yùn)行一個(gè)名為“吃瓜”的游戲程序。如圖3.4.6（參見(jiàn)教材P126）所示，粉色圓點(diǎn)為西瓜，綠色圓點(diǎn)為毒藥，游戲玩家需要吃到盡可能多的瓜，還要避免吃到毒藥?！俺怨稀庇螒蛑杏幸粋€(gè)智能體，它有9個(gè)不同角度的探測(cè)方向，每個(gè)方向可以感知3個(gè)值：到墻壁的距離、到西瓜的距離和到毒藥的距離。顯然，這個(gè)智能體總共有27個(gè)輸入狀態(tài)。整個(gè)過(guò)程中，智能體有3種“動(dòng)作”模式：直走、轉(zhuǎn)較小角度后前進(jìn)較長(zhǎng)距離或轉(zhuǎn)較大角度后前進(jìn)較短距離。1.體會(huì)該游戲具有的“嘗試—出錯(cuò)—改進(jìn)”的類人學(xué)習(xí)機(jī)制。對(duì)照強(qiáng)化學(xué)習(xí)用于決策問(wèn)題的通用模型，對(duì)游戲進(jìn)行建模。2.按以下要求操作，觀察智能體行為的變化：西瓜獎(jiǎng)勵(lì)值改為0；西瓜獎(jiǎng)勵(lì)值改為0，同時(shí)將前進(jìn)獎(jiǎng)勵(lì)值改為0；互換吃西瓜與吃毒藥的獎(jiǎng)勵(lì)；改變環(huán)境中西瓜與毒藥的數(shù)量。強(qiáng)化學(xué)習(xí)及其與深度學(xué)習(xí)的結(jié)合，是阿爾法圍棋的一個(gè)重要算法。接下來(lái)介紹阿爾法圍棋用來(lái)快速評(píng)估棋面位置價(jià)值的蒙特卡羅樹(shù)搜索算法，該算法結(jié)合了隨機(jī)模擬的一般性和樹(shù)搜索的準(zhǔn)確性兩個(gè)特點(diǎn)。蒙特卡羅樹(shù)搜索算法非常簡(jiǎn)單：根據(jù)模擬的輸出結(jié)果，按照節(jié)點(diǎn)構(gòu)造搜索樹(shù)。其過(guò)程可以分為以下步驟，如圖3.4.7（參見(jiàn)教材P126）所示。1.選擇：從根節(jié)點(diǎn)R開(kāi)始，遞歸選擇最優(yōu)的子節(jié)點(diǎn)，直到達(dá)到葉子節(jié)點(diǎn)L。2.擴(kuò)展：如果節(jié)點(diǎn)L不是一個(gè)終止節(jié)點(diǎn)（也就是不會(huì)導(dǎo)致對(duì)弈游戲終止），那么創(chuàng)建一個(gè)或者更多的子節(jié)點(diǎn)，選擇其中一個(gè)節(jié)點(diǎn)C。3.模擬：從節(jié)點(diǎn)C開(kāi)始運(yùn)行一個(gè)模擬的輸出，直到對(duì)弈游戲結(jié)束。4.反向傳播：用模擬的結(jié)果，更新從C到R的路徑上的節(jié)點(diǎn)信息。項(xiàng)目實(shí)施DeepTraffic項(xiàng)目實(shí)踐DeepTraffic（一款在線的自動(dòng)駕駛模擬程序）模擬典型的公路環(huán)境，可讓用戶使用深度學(xué)習(xí)技術(shù)來(lái)控制自己的汽車。在游戲中，用戶通過(guò)神經(jīng)網(wǎng)絡(luò)控制紅色的汽車在擁擠的高速公路上行駛，如圖3.4.9（參見(jiàn)教材P128）所示，目標(biāo)是使紅色汽車盡可能快地通過(guò)該路段?？梢栽跒g覽器中使用JavaScript（一種解釋執(zhí)行的編程語(yǔ)言）來(lái)控制參數(shù)并改變汽車的行駛狀態(tài)，也可以使用OpenAIGym（一款用于研發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包）訪問(wèn)DeepTraffic，并可通過(guò)OpenAIGym提供的任意Python接口對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。一、項(xiàng)目活動(dòng)1.從教學(xué)資源平臺(tái)本節(jié)對(duì)應(yīng)的模擬程序DeepTraffic，并按照說(shuō)明進(jìn)行配置、安裝，在瀏覽器中體驗(yàn)自動(dòng)駕駛汽車模擬程序。2.針對(duì)該問(wèn)題建立強(qiáng)化學(xué)習(xí)的基本模型。3.使用JavaScript操縱強(qiáng)化學(xué)習(xí)的相關(guān)參數(shù)，觀察并分析駕駛行為的變化。（有五種駕駛行為：左變道、右變道、減速、加速、保持不變。）4.調(diào)整深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)，觀察并分析駕駛行為的變化。二、項(xiàng)目檢查1.各小組學(xué)習(xí)DeepTraffic模擬程序的基本使用方法，能夠進(jìn)行簡(jiǎn)單的訓(xùn)練和測(cè)試。2.分別調(diào)整強(qiáng)化學(xué)習(xí)相關(guān)參數(shù)和深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)，觀察并分析駕駛行為的變化，進(jìn)行小組討論和匯報(bào)展示。3.構(gòu)建自己的自動(dòng)駕駛汽車深度強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)，作為智能陪伴機(jī)器人的模擬學(xué)習(xí)平臺(tái)，供學(xué)習(xí)和使用，同時(shí)為智能陪伴機(jī)器人的自主運(yùn)動(dòng)提供一種思路。課后作業(yè)1.初學(xué)者在瀏覽器中使用JavaScript操縱參數(shù)并改變汽車的駕駛行為。希望深入學(xué)習(xí)的同學(xué)可以通過(guò)OpenAIGym進(jìn)入Dee