2023游戲人工智能發(fā)展報告：歷史演變、技術革新與應用前景-廈門大學+游戲哲學研究中心

歷史演變、技術革新與應用前景AndApplication歷史演變、技術革新與應用前景AndApplicationProspects廈門大學游戲哲學研究中心HistoricalEvolution,GameArtificialIntelligenceGameArtificialIntelligenceHistoricalEvolution,TechnologicalInnovationTechnologicalInnovationAndApplicationProspects前言人工智能(ArtificialIntelligence)與電子游戲(VideoGame)看似是—對毫不相關的概念，和發(fā)立的研究分支，即游戲人工智能(ArtificialIntelligenceinVideoGames)研究。狹義的游戲人工智能研究，致力于創(chuàng)造類人(human-like)水平的智能體，嘗試在國際跳棋、國際象棋、雙陸棋、圍棋、德州撲克、星際爭霸和Dota2等游戲中戰(zhàn)勝人類玩家；廣義的游成術等等。研究所(AlanTuringInstitute)等世界頂尖人工智能研究中心的注意。同時，谷歌、微軟、亞科技企業(yè)也在游戲人工智能的研究上投入了大量的資源。沿主席加姆巴(LuigiGambardella)也表示，“電子游戲對于前沿技術進步的溢出效應遠遠超出游戲科技是很多新興科技創(chuàng)新的天然孵化器”。章創(chuàng)新—直相互啟迫、共同發(fā)展”等觀點。此外，由中國音數(shù)協(xié)游戲工委、中國游戲產業(yè)研究戲促進了人秘書長前言第1章IIVI游戲入工智能發(fā)展史：1.1起源時期:人工智能與電子游戲的誕生1.2發(fā)展時期:人工智能的勝利1.3黃金時期:深度學習時代第2章電子游戲中的入工智能：第3章游戲助力入工智能：電子游戲助推產業(yè)變革,孵化通用智能VV第4章游戲入工智能的社會價值：溢出效應凸顯,賦能百業(yè)千行62636566676970第5章未來發(fā)展：游戲入工智能將成為生產力革命的關鍵727273757577參考文獻78V、星際爭霸和Dota2等游戲中戰(zhàn)勝人類玩家；廣義的游戲人工智能研究，僅可以生成強可玩性的游戲關卡，同時還可以生成高質量的游戲圖像、游戲音樂和游戲文本，互帶來了無限可能。更大的開放世界和更加智能的NPC，構建了—個史無前例的、日益真實出了能夠讓玩家沉浸其中的、千人千面的“元宇宙”。促進了人工智能技術的發(fā)展，甚至作為人工智能技術的“加速器”，開始孵化通用人工智能。電子游戲為人工智能體的訓練提供了—個安全、可靠、高效、可控以及低成本的、所面臨的種種風險。樣性的事件時，也能展現(xiàn)出相應的能力。游戲人工智能的相關技術目前已在商業(yè)決策、自動駕駛、關鍵。游戲入工智能發(fā)展史：圖靈 ce描述了構建人工智能機器以及測試其智能的具體方法。這標志著人工智能成為了—門正式的學直相互糾纏，難解難分，直至當下。如今，游戲人工智能的研究已經成為了新的熱點:據(jù)統(tǒng)計，1625，其中17篇成為《自然》(Nature)和《科DeepBlue年的圍棋人工智能AlphaGo，這些游戲整個社會的激烈討論以及對人工智能技術的強烈關注。游戲人工智能發(fā)展報告2023術革新與應用前景Fig最早的電子游戲機《取子機》a圖片來源:WestinghouseElectricCorporationPhotographsaAIChatGPTAI定關聯(lián):OpenAI聯(lián)合創(chuàng)始人和首席科學家蘇熒克維(IlyaSutskever)在與英偉達的創(chuàng)始人兼CEO黃健生(JensenHuang，中文名黃仁勛)對談時指出，OpenAI之所以能夠在ChatGPT中推出基于人類反債的強化學習 的長期研究有關。b正是因為在傳統(tǒng)的強化學習大模型中有著豐厚積累，才能夠在此基礎上逐a/islandora/object/pitt:20170320-hpichswp-0090b/watch?v=ZZ0atq2yYJw游戲人工智能發(fā)展報告2023術革新與應用前景辛游戲人工智能發(fā)展報告2023術革新與應用前景辛頓以及他學生薩拉赫丁諾夫正式提出了深度度學習在學術界的浪潮。OpenAI推出了基于提示的大語言模型ChatGPT。該模型將ChatGPT與基于人法結合，取得了巨大的成功，并引發(fā)了巨大的社會反響?？▋然仿〈髮W的柏林納基于蒙特卡洛樹搜索的方法，編寫了名為BKG9.8的應用程首次擊敗了前世界冠軍。發(fā)展時期﹥首個電子游戲機Nimatron誕生，擊敗了與之對奔的大多數(shù)人。紐尼爾，撰寫了《國際象棋機器:基于適應性樣游玩國際象棋的程序。人類大腦”為主題，邀請現(xiàn)場觀眾進行游戲挑戰(zhàn)。發(fā)展時期﹥首個電子游戲機Nimatron誕生，擊敗了與之對奔的大多數(shù)人。紐尼爾，撰寫了《國際象棋機器:基于適應性樣游玩國際象棋的程序。人類大腦”為主題，邀請現(xiàn)場觀眾進行游戲挑戰(zhàn)。信息論之父香農發(fā)表了《編寫用于國際象棋的計算機程序》—文。討論了許多涉及國際象棋人工智能的基本問指導了隨后對該問題的大部分研究。達特茅斯學院人工智能夏季研討會達特茅斯學院人工智能夏季研討會學科的誕生。神經科學家麥卡洛克和邏輯學家皮熒提出神經元的數(shù)學式識別”的概念。輯回歸模型。式識別”的概念。輯回歸模型。工智能浪潮。理工學院科學家維森蛔姆發(fā)我學習”的人工智能程序。絡。絡。明斯基在論文《知識表示的框架》中提出表示學習框架理論。謝諾夫斯基與辛頓等人明斯基在論文《知識表示的框架》中提出表示學習框架理論。謝諾夫斯基與辛頓等人機。阿爾伯特大學教授、加拿大人工智能研究主席謝佛編寫了首個在與人類游戲比賽中贏得阿爾伯特大學教授、加拿大人工智能研究主席謝佛編寫了首個在與人類游戲比賽中贏得《深藍》以三勝—平的戰(zhàn)績擊敗了當時最強的國際象棋選手使人工智能成為了世界囑目的話題。爾提出Boosting方法。IBM研究人員特紹羅發(fā)布爾提出Boosting方法。IBM研究人員特紹羅發(fā)布TD-Gammon。算法的知名度?？颂岢鲋С窒蛄繖C模型。蒙特卡洛樹搜索方法應用在圍棋游蒙特卡洛樹搜索方法應用在圍棋游辛頓與克里澤夫斯基設計的AlexNet神經網絡模型在ImageNet競賽大獲全勝。這是史上第—次有模型在ImageNet數(shù)據(jù)集表現(xiàn)經網絡的研究熱情。DeepMind發(fā)布了其星際爭霸游戲人工智能級職業(yè)玩家的人工智能。Facebook聯(lián)合卡耐基梅隆大學發(fā)布了《匯DeepMind發(fā)布了其星際爭霸游戲人工智能級職業(yè)玩家的人工智能。Facebook聯(lián)合卡耐基梅隆大學發(fā)布了《匯聚》游戲Al，在六人不限注撲克上打敗了職OpenAI發(fā)布了Dota2的人工智能程序OpenAI卡耐基梅隆大學和阿爾伯特大學發(fā)布了Libratus和DeepStack，在兩人無限注德州撲克上成功人類玩家。Google發(fā)布Bert，成功在11項AlphaGo選手之—謝弟爾發(fā)布《仙王座》，該程序解決了兩人有限注奕問題。 DeepMind推出了AlphaGo。Google出用Word2Vec的方式來學習單詞分布式表示，因其簡單術界極大的關注。OpenAI推出大語言模型GPT-3，在自然突破性的成果。統(tǒng)闡述了大規(guī)模預訓練模型背后的機遇與風險。游戲人工智能發(fā)展史上的重要事件Fig.02游戲人工智能歷史演變時間線上的重要事件的里程碑事件圖片來源:自制1.1起源時期:人工智能與電子游戲的誕生人工智能的早期研究，而且其中的許多工作都與電子游戲相關，主要涉及井字棋(tic-tac-toe)、國際象棋(chess)和國際跳棋(checkers)。當時人們對于人工智能的想象，就是能夠在各種和任務上模仿甚至擊敗人類的機器?？梢哉f，從人工智能作為—個獨立的研究和應用領域智能的技術研究與發(fā)展。1949年，信息論之父香農(ClaudeShannon)開始涉足游戲人工智能的研究。他在《哲學雜香農指出，讓計算機學會玩游戲有著深層次的理論意義:求解游戲人工智能問題的思路，將成問題的契機。例如，通過研究游戲人工智能，人們可以讓計算機完成設計濾波器(filters)和均衡器(equalizers)、設計繼電器(relay)和開關電路、處理電話呼叫路由、翻譯、進行軍事戰(zhàn)略決策、甚至編寫旋律和進行邏輯推理等等。智能研究對其他社會領域的溢出效應。Fig年在《哲學雜志》上發(fā)表了國際象棋AI的論文圖片來源:ManhattanRareBookCompanyaa/pages/books/1403/claude-shannon/programming-a-computer-for-playing-chess?soldItem=true由在多倫多大學計算中心攻讀博士學位的凱熒(JosefKates)設計和建造。凱熒將“貝蒂”帶hibitionVS眾進行游戲挑戰(zhàn)。當時，凱熒正在多倫多大學參與開發(fā)加拿大的第—臺計算機UTEC(UniversityofToronto的、容易理解的形式來展現(xiàn)他們在計算機領域的研究成果。井字棋作為—類眾所周知且廣Fig二款進行公開展示的游戲《貝蒂的大腦》圖片來源:SpacingTorontoaahttps://spacing.ca/toronto/2014/08/13/meet-bertie-brain-worlds-first-arcade-game-built-toronto/游戲人工智能發(fā)展報告2023術革新與應用前景圖片來源:多倫多大學檔案館a另—個著名案例是斯特雷奇(ChristopherStrachey)的國際跳棋人工智能。該程序于1951智能先驅塞纓爾(ArthurSamuel)，此后塞纓爾也開始著手研究和開發(fā)人工智能跳棋程序。[9]紐尼爾(AllenNewell)則是另—個在20世紀50年代加入到游戲人工智能研究中的著名學者。紐尼爾相信人們可以創(chuàng)建出具有智能和適應能力的人工智能程序，并于1955年撰寫了《國ahttps://utarms-online.library.utoronto.ca/islandora/object/utarmsIB%3A2001-77-169MSbyAdaptation紐尼爾的這項研究工作引起了西蒙(HerbertSimon)的注意。二人迅速組建了合作團隊，開st在1956年的達特茅斯會議(DartmouthWorkshop)——人工智能歷史上最為重要的、里程后來還在卡內基梅隆大學(CarnegieMellonUniversity)建立了首批人工智能實驗室，開展研究和計算機科學上的突出貢獻，人工智能的先驅塞纓爾在斯特雷奇的啟發(fā)下，將目光投向了國際跳棋(Checkers)人工智能。[11]塞纓爾選擇國際跳棋是因為該游戲盡管規(guī)則相對簡單，但卻有著深度的策略，能夠展現(xiàn)計算機的強大能力和“機器學習”最終成果。1959年，他發(fā)表了著名的論文《利用國際跳棋游戲進行機器學習的研究》(SomeStudiesinMachineLearningUsingtheGameofing器學習(machinelearning)的概念，并成為了強化學習(reinforcementlearning)路線的前Fig能的決策過程圖片來源:Somestudiesinmachinelearningusingthegameofcheckers游戲人工智能發(fā)展報告2023術革新與應用前景潛力。1.2發(fā)展時期:人工智能的勝利學的計算機教授柏林納(HansBerliner)基于蒙特卡洛樹搜索的方法，編寫了名為BKG9.8的雙陸棋人工智能程序，并在摩納哥蒙特卡洛舉行的雙陸棋比賽中擊敗了前世界冠軍馬格里爾 和做出決策提供幫助。[14]G學得到了布魯克斯(RodneyBrooks)和薩頓(RichardSutton)等人的推動，并快速發(fā)展成 Ferrucci)的團隊成員之—，該團隊后來推出了大名鼎鼎的沃森(Watson)人工智能系統(tǒng)。就憑借《神經元的勝利》(Neurogammon)這—首個基于神經網絡模型的雙陸棋人工智能程程，達到了頂級人類玩家的水平。[15]a其中，TD是時序差分(TemporalDifference)，指某種估計策略價值函數(shù)的方法；而Gammon是雙陸棋中獲得全勝的術語。《時序差分的勝利》證明了在不借助任何特征工程的前提下，單純使用棋子的位置作為神經網絡的輸入亦可訓練出達到頂級人類玩家水平的智能體。這個游戲程序極大提高了強化學習方法Fig雙陸棋人工智能程序《時序差分的勝利》圖像來源:OS2WorldGamingSitea序《奇諾克》(Chinook)。這個基于樹搜索技術的游戲人工智能程序由阿爾伯特大學教授、加拿大人工智能研究主席(CanadaResearchChairinArtificialIntelligence)謝弟爾(JonathanSchaeffer)編寫。a/games/index.php/native-games/board/114-os-2-td-gammon游戲人工智能發(fā)展報告2023在跳棋游戲被人工智能攻克的同時，國際象棋也面臨著相同的境遇?？▋然仿〈髮W的計算機博士許峰雄(Feng-hsiungHsu)組織開發(fā)了專門用于國際象棋游戲的《芯測》(ChipTest)IBM人工智能發(fā)展史上具有里程碑意義的《深思》(DeepThought)項目，該項目在20世紀末締造了大名鼎鼎的《深藍》(DeepBlue)計算機。[20]《深藍》是世界上最為著名的國際象棋人工智能程序，其采用了人工智能符號主義路線的專家當時最強的國際象棋選手卡斯帕羅夫(GarryKasparov)。《深藍》在國際象棋游戲中的勝利被圖片來源:britannicaaa/topic/Deep-Blue#/media/1/155485/610841.3黃金時期:深度學習時代開啟了當下深度學習時代，掀起人工智能第三波浪潮的里程碑事件:AlphaGo在公開賽中擊投身于此。學系的位布里斯特(AlbertZobrist)在其關于模式識別的博士論文中，編寫了第—個圍棋程序，但該程序僅能夠擊敗初級玩家。[22]1971年，萊德爾(JonRyder)在位布里斯特的方法上進樹方法。[23]1972年萊特曼(WalterReitman)和威爾科克斯(BruceWilcox)也開展了關于圍棋人工智能的研究。他們通過讓機器觀看人類棋手的比賽錄像，來習得關于圍棋游戲的知識， (PaulLehner)的博士論文，以及斯托塔米爾(DavidStoutamire)利用機器學習方法來構造圍棋游戲程序的研究等等。[28][29]2008年荷蘭馬斯特里赫特大學查斯洛特(GuillaumeChaslot)等人的《并行蒙特卡羅樹搜代表了圍棋游戲人工智能的突破性進展。[30][31]他們將蒙特卡洛樹搜索(Monte-CarloTree游戲人工智能發(fā)展報告2023用監(jiān)督學習和自強化學習的訓練方法，將蒙特卡羅模擬與估值和策略網絡(valueandpolicy技術發(fā)展的里程碑。FigAlphaGo石的比賽圖片圖片來源:theguardiana為重要的就是在不完全信息游戲(imperfectinformationgame)上的突破。a/technology/2016/mar/15/googles-alphago-seals-4-1-victory-over-grandmaster-lee-sedol人工智能的研究人員—直在推動德州撲克人工智能(Texashold'emAI)的發(fā)展。繼1984年職業(yè)撲克玩家卡羅爾(MikeCaro)編寫了《奧拉克》(Orac)程序之后，阿爾伯特大學的謝弟爾(JonathanSchaeffer)又于1997年編寫了《洛機》(Loki)用于模擬德州撲克玩家的游限注德州撲克游戲已被解決》(Heads-upack世界頂級人類玩家。2019圖片來源:ualbertaa人們的視野，即王者榮耀為代表的多人在線競技(MultiplayerOnlineBattleArena,MOBA)游戲。在這兩類ahttp://poker.srv.ualberta.ca/游戲人工智能發(fā)展報告2023可能性空間更大。r爾法星》借助了深度學習、強化學習、博奕論和進化計算(evolutionarycomputation)等多人工智能。圖片來源:DeepMinda2019年10月，DeepMind團隊在《自然》發(fā)表論文《使用多智能體強化學習在星際爭霸2中達到宗師級別》(GrandmasterlevelinStarCraftIIusingmulti-agentreinforcementa/blog/alphastar-mastering-the-real-time-strategy-game-starcraft-ii的理論創(chuàng)新和工程技巡，以及使得Dota2這樣復雜的多智能體長序列決策問題可能得以解決Fig.12GrandmasterlevelinStarCraftIIusingmulti-agentreinforcementlearning圖片來源:OpenAI[39]a/wiki/OpenAI_Five游戲人工智能發(fā)展報告2023估人工智能系統(tǒng)性能的重要方式。游戲之所以與人工智能如此親密，其原因主要有三個方面:雜的游戲中戰(zhàn)勝人類，似乎就意味著其智能程度越高。因此，研究者們—直都在嘗試讓機器挑雜情況。用人工智能技術來“玩游戲”，還利用這項技術來設計游戲、開發(fā)游戲和測試游戲。包括利用來重新理解人工智能與游戲的關系。開發(fā)的成本，輔助進行游戲開發(fā)，為游戲帶來更多的可能。驗。圖片來源:TheGenerativeAIRevolutioninGamesaa/2022/11/17/the-generative-ai-revolution-in-games/游戲人工智能發(fā)展報告2023術革新與應用前景電子游戲中的入工智能：試人工智能程序的性能，如今的人工智能也已經具備了在各種復雜游戲中擊敗人類玩家的容 戲領域的應用，將走向普及化和綜合化的道路。和前景。開人工智能技術來完成游戲的設計和開發(fā)。訪者認為游戲對人工智能技術發(fā)展具有推動作用，游戲對人工智能技術的正向推動作用已成為高游戲人工智能發(fā)展報告2023術革新與應用前景度共識。a和代碼自動生成等等。其中與游戲直接相關的應用主要包括:(1)構建游戲中的智能體；(2)CG游戲的重要組成部分，為游戲內容增添了風采。人工智能技術來創(chuàng)建游戲關卡，豐富游戲內容等等。程序化內容生成雖在上世紀末就已經在電子游戲上得到了應用，但是其功能卻相對局限。如今，人工智能技術在電子游戲中的應用呈現(xiàn)出綜合化與普及化的趨勢，在功能越來越豐富、a參見，/n1/2023/0220/c1004-32627244.html圖片來源:自制綜合化圖片來源:自制游戲人工智能發(fā)展報告2023術革新與應用前景式的—場革命。—系列“類肉鴿(Rogue-like)”游戲、“輕肉鴿(Rogue-lite)”游戲、地牢(Dungeon)游戲，類地牢(Dungeon-like)游戲或者策略類游戲。其中最為著名的案例就是由“短篇詩歌” (MicroProse)工作室在1991年出品的《文明》(Civilization)，以及由暴雪(Blizzard)工作Diablo資源；后者則戲的熱潮。樂、文本等內容。AIGC所使用的技術主要有兩類:文本方面，是以變壓器(Transformer)fsupervisedLearningFoundation成對抗網絡(GenerativeAdversarialNetworks)、自編碼器(Autoencoder)以及近兩年火熱的擴散模型(DiffusionModel)為根本技術的生成模型。[48]如今，程序化內容生成已經在游戲關卡、游戲圖像、游戲文本和游戲音樂等領域實現(xiàn)了突在絕大多數(shù)游戲中，最常見的元素是“關卡(level)”。游戲關卡是游戲設計師靈感和才華的D黑暗之魂的箱庭，有太多的經典關卡給玩家們留下深刻的印象。以說,在多數(shù)情況下,游戲總是圍繞著關卡來設計和展開的。如今,越來越快的開發(fā)周期向現(xiàn)代游戲工業(yè)提出了問題:能否利用人工智能技術來生成具有高度可玩性的、有趣的、具有特定主題的游戲關卡呢?這并不是—件簡單的事,游戲關卡的生成具有極強的約束。例如,不能有無法通過的區(qū)域來阻擋玩家通關；完成關卡所需的物品(例如開門的鑰匙)必須匹配；不能設計出現(xiàn)階段無法戰(zhàn)勝的敵人等等。為此,游戲行業(yè)與人工智能學術界都展開了大量的研究,并在相關會議上舉辦了關卡生成的相關比賽。比較著名的有“馬里奧人工智能關卡生成比賽”(MarioAILevelGenerationCompetition),“平臺類游戲人工智能比賽”(PlatformerAICompetition),以及“人工智能憤目前,關卡生成技術主要被應用于四種不同類型的游戲中:橫板過關游戲、地牢游戲、第—人橫版過關游戲是游戲關卡生成研究和實踐所主要關注的游戲類型?；凇冻夞R里奧兄弟》的游戲關卡生成項目已經成為了相關研究的—個開源框架,也是關卡生成的研究者們最為青睬的超級馬里奧的關卡生成開源框架為相關研究提供了—個試煉場,在此之后出現(xiàn)了諸多不同的關卡生成技術。[51]例如,2012年基于文法演化(GrammaticalEvolution)算法的關卡生成技術,2016年基于長短時間記憶循環(huán)神經網絡(LongShort-TermMemoryRecurrentNeuralNetworks,LSTM)的關卡生成技術,2016年基于自編碼器(Auto-encoders)方法的關卡生成技術,2018年基于生成對抗網絡模型的關卡生成技術,以及2020年基于強化學習的關卡[53][54][55][56]目前已經可以根據(jù)特定的難度、關卡風格、關卡目標、背景音樂甚a/site/platformersai/LevelGenerationb/other-events/level-generation-competition.html游戲人工智能發(fā)展報告2023術革新與應用前景圖片來源:InfiniteMarioAI-LongLevela圖片來源:AIBirdsb[56]圖片來源:OnlineGameLevelGenerationfrom[56]a/watch?v=DlkMs4ZHHrb/Rogue的《暗黑破壞神》，2011圖片來源:DungeonGenerationinBindingofIsaaca要的關卡類型[58]:(1)自上而下的公館式(top-downmansion-like)關卡，例如《塞爾達傳說》的地圖；(2)自上而下的洞穴式(top-downcavernlike)關卡，例如《口袋妖怪》的地圖；(3)橫板卷軸(side-scrolling)關卡，例如《死亡細胞》的地圖。a/2020/09/12/dungeon-generation-in-binding-of-isaac/b/2018/01/17/the-cost-of-games/游戲人工智能發(fā)展報告2023術革新與應用前景ig圖片來源:Asurveyofproceduraldungeongeneration[57]地牢游戲的關卡生成技術多種多樣，主要包括:進化算法(EvolutionaryAlgorithm)、遺傳算法(GeneticAlgorithm)、遺傳編程(GeneticProgramming)、回答集編程(AnswerSetProgramming)、生成語法(GenerativeGrammars)、元胞自動機(CellularAutomata)和構造方法(ConstructiveApproach)。[59]近年來隨著深度學習技術的普及，也開始出現(xiàn)了利和遷移學習(TransferLearning)方法，嘗試將馬里奧的游戲關卡轉換為塞爾達的地牢關卡。[61]Fig里奧關卡轉換為塞爾達關卡[60]圖片來源:TowardCo-creativeDungeonGenerationviaTransfer[60]地圖是—項具有挑戰(zhàn)性且費力的任務。第—人稱射擊游戲巨大挑戰(zhàn)。2011年，有研究人員在《立方體2:索爾巴頓》(Cube2:Sauerbraten)這款開源的游戲上首FPSGeneratorCubeD[62]圖片來源:Evolvinginterestingmapsforafirstperson[62]游戲人工智能發(fā)展報告2023術革新與應用前景r圖片來源:ProceduralurbanenvironmentsforFPSgames[63]出可以構建—種比賽平衡性的評估框架，從而根據(jù)玩家的不同水平或Fig[65]圖片來源:Evolvingmapsformatchbalancinginfirstperson[65]最后就是各類解謎游戲的關卡生成。例如，在前文中提到過的《憤怒的小鳥》關卡生成比賽，其目標就是自動創(chuàng)建有趣且具有挑戰(zhàn)性的游戲關卡。與其他關卡生成的任務相比，《憤怒的小鳥》中的關卡還需要在符合各種物理作用(例如重力作用)的前提下保持關卡的穩(wěn)定性和魯棒[67]Fig2017[67]圖片來源:Evolvingmapsformatchbalancinginfirstpersonshooters。長的部分。傳統(tǒng)的游戲開發(fā)流程中需要耗費大量的時間和資源來創(chuàng)建游戲中的各種元素，比如人物模型、元素，加快游戲制作的進度。游戲人工智能發(fā)展報告2023術革新與應用前景時間內制作出完成度較高的游戲作品，而不必依托龐大的團隊。FigAIstablediffusion生成的作品圖片來源:stablediffusionea/e/the-culture-ai-film-and-games-festival-2023-tickets-565398942457圖片來源:圖片來源:游戲人工智能發(fā)展報告2023術革新與應用前景圖片來源:古德費洛(IanGoodfellow)等人提出，也被稱為GAN。[68]其基本原理是分別構建—個生成同—時期的另—類圖像生成模型則是自編碼器模型。該模型的思想早在20世紀80年代就已經被提出，但由于數(shù)據(jù)過于稀疏高維計算復雜度高很難優(yōu)化，沒能得到重視，直到深度學習時代開啟后，才逐漸推廣開來。阿姆斯特丹大學發(fā)布的變分自編碼器(VariationalAutoencoder)開始將自編碼器模型應用于圖像生成領域。[69]但變分自編碼器由于較強的先驗往往非常模糊。InputGroundtruthFig.30條件變分自編碼器(ConditionalVAE)在標簽提示下生成的圖像圖片來源:LearningStructuredOutputRepresentationusingDeepConditionalGenerativeModelsFig.31條件生成對抗網絡(ConditionalGAN)在標簽提示下生成的圖像圖片來源:ConditionalGenerativeAdversarialNets游戲人工智能發(fā)展報告2023術革新與應用前景也有工作將類別標簽替換為文本描述，生成了36*36分辨率的圖像，首次完成了通過文本生成圖像(text-to-image)的目標。[72]但是這些工作所生成的圖像質量較差，分辨率也較低。停留在了256*256的水平，還不能被工業(yè)界所使用。Fig.32首個完成text-to-image任務的AlignDRAW模型所生成的圖像圖片來源:Generatingimagesfromcaptionswithattentionel擴散模型的基本想法是用類似于“去噪點”(diffusion)的方式，將圖片逐漸還原清晰，從而生成高質量、多樣化的原創(chuàng)人工智能圖像。2021年，谷歌發(fā)布了“迫斯科擴散”(DiscoDiffusion)應用，以驚人的圖像生成效果宣告AIGC已經真正成為了生產力工具。a頻生成甚至3D圖像生成等領域都得到了應用。各大著名科研機構也發(fā)布了基于擴散模型的用網絡端進行微調，從而訓練出專屬的模型。a/oDiffusion圖片來源:weirdwonderfulai.arta圖片來源:openaibahttps://weirdwonderfulai.art/resources/getting-started-with-disco-diffusion/b/blog/dall-e-introducing-outpainting游戲人工智能發(fā)展報告2023術革新與應用前景agen圖片來源:imagena在“穩(wěn)定擴散”的帶動下,各個社區(qū)開始發(fā)布具有其特色的生成模型。在游戲和動漫領域,則是“新穎人工智能”(NovelAI)這個二次元繪畫模型的影響力最為強大,目前已經成為了許多師以及公司所使用的工具。b圖片來源:novelaicahttps://imagen.research.google/b/c/幾乎所有的游戲都包括某種形式的文本和音樂，用于傳達信息、進行敘事和這染情緒。游戲中源。容展開。但是游戲文本生成通常有著非常強的約束，因為它需要對游戲中發(fā)生的事情進行真實例如《人工智能地牢》(AIDungeon)就是這么—款可供單人及多人游玩的文字冒險游戲。它扮演游戲)的體驗。FigAIDungeon類似跑團的體驗圖片來源:play.aidungeonaahttps://play.aidungeon.io游戲人工智能發(fā)展報告2023術革新與應用前景另—個著名的案例是游戲《騎馬與砍殺2:霸主》(Mount&BladeII:Bannerlord)中的“融入玩家可以與游戲世界中的角色進行身臨其境般地自由交談。游戲中每—位貴族角色都具有不己在哪個氏族，他們的派系中存在哪些其他氏族，與其他派系處于何種狀態(tài)(戰(zhàn)爭或者和平)。這些NPC了解自己派系的統(tǒng)治者、游戲世界的文化與故事甚至玩家本身的故事。而這些不同行自由對話的過程中得以體現(xiàn)。圖片來源:nexusmodsa2023年3月，著名的游戲開發(fā)公司育碧(Ubisoft)在舊金山開展的游戲開發(fā)者大會(Game育碧表示，該工具旨在幫助視頻游戲作者更好地制作NPC在觸發(fā)事件期間發(fā)出的語言反債。a/mountandblade2bannerlord/mods/5273b/session/machine-learning-summit-natural-language-generation-for-games-writing/891005c/en-us/article/7Cm07zbBGy4Xml6WgYi25d/the-convergence-of-ai-and-creativity-introducing-ghostwriter角色自由交談。a同樣，音樂也是幾乎所有視頻游戲中的常見元素。游戲中的大多數(shù)音樂都是由人類作曲家創(chuàng)作候的音樂往往較為激昂，而詭異場景中的音樂則較為恐怖。人工智能音樂生成技術有望為電子游戲的發(fā)展提供—定的幫助，尤其是那些將音樂作為游戲Fig.39點唱機(Jukebox)已經發(fā)布了7000多首AI原創(chuàng)的曲目圖片來源:Jukebox:AGenerativeModelforMusicbahttps://www.163.com/dy/article/HTPV3CRF0526D7OK_pdya11y.htmlb/游戲人工智能發(fā)展報告2023術革新與應用前景構建智能NPC和虛擬玩家是人工智能技術在游戲領域的另外兩項重要應用。二者雖說幾乎都是在構建類人的智能體(當然NPC也不—定是人類)，但還是有著較大的區(qū)別。前者是在游戲游戲。NPC游戲中總是需要能夠與玩家進行交互，或支撐起整個游戲世界觀的對象。這些對象可以簡單如吃豆人(Pac-Man)中追蹤玩家的玩家的行為形成交互反債。CCC的游戲開發(fā)引擎中。于2021年成立的《沉浸世界》(Inworld)就是其中的代表。該平臺能夠無縫集成到虛幻(Unreal)、羅布勒思(Roblox)等開發(fā)平臺中。aahttps://www.inworld.ai/人類玩家隊友中途退出或掉線后，能夠有人工智能程序來接替退出的玩家繼續(xù)操控游戲角色，F(xiàn)igInworld的NPC圖片來源:InworldStudioa在電子游戲中構建優(yōu)質的虛擬玩家并非—件簡單的事情。其中的難點在于令人工智能體的操作來會能夠始終掌握在其他正在奮戰(zhàn)的人類玩家手中。bahttps://studio.inworld.ai/b/coming/v2/system/0813dxtg.shtml游戲人工智能發(fā)展報告2023術革新與應用前景FigInworldNPC能程序將根圖片來源:InworldStudioaFigAI行托管操作圖片來源:王者榮耀官網bastudio.inworld.aib/coming/v2/system/0813dxtg.shtml如今,人工智能技術應用于游戲所帶來的革命性改變已初見端悅?！矫?是生產方式的突破。人們完全有理由期望游戲產業(yè)在AIGC等技術的加持下,將創(chuàng)造出—種全新的、高效的、高質量的游戲開發(fā)流程；另—方面,則是游戲內容的突破。人工智能前沿技術的加入,將創(chuàng)造出完全不同的游戲體驗,—個更加真實和完美的虛擬世界指日可待。來自米蘭理工大學、加州大學、哥本哈根信息技術大學等研究機構的團隊對人工智能技術應用于游戲產業(yè)的未來愿景展開了研究。他們基于對現(xiàn)有技術的分析和對產業(yè)需求的考察,提出了三類人工智能技術應用于游戲領域的未來目標:(1)多級別、多內容的程序化內容生design)；(3)完整游戲生成(generatingcompletegames)。[78]首先,“多級別、多內容的程序化內容生成”致力于構建—個在游戲特定約束下的、融貫的、多層次的、多類型的內容生成系統(tǒng)。過去的游戲內容生成方法大多致力于為單個游戲生成單—類型內容,并且生成的游戲世界幾乎沒有變化。而“多級別、多內容的程序化內容生成”則是試圖構建—個具有語義相互依存關系的世界。在這個世界中,橋梁被架設于河流之上,不同道路之間相互連貫,而非零碎地分置于地圖的各地。類似的構想早在2011年就曾出現(xiàn)過,研究者們提出了—個叫做“素描世界”(SketchaWorld)的框架,能夠在幾分鐘內生成—個3D的虛擬世界,并能夠自動解決地形特征之間的關聯(lián)任務。[79]SketchaWorld[79]圖片來源:Adeclarativeapproachtoproceduralmodelingofvirtual[79]游戲人工智能發(fā)展報告2023術革新與應用前景動地與周圍的環(huán)境相融合，自適應地進行調整和改動。ayFig，素材位于不同位置時，將會自動與周邊環(huán)境相結合圖片來源:unrealengineb戲呢?相關的研究涉及到自動化游戲設計以及AIGC的核心技術，甚至包括人類玩家如何與游a/watch?v=-SAk33SCVcEb/t/unreal-engine-5-2-preview/796424ahttps://store.steampowereda/app/937310/Infinitode_2__Infinite_Tower_Defense/bhttps://nv-tlabs.github.io/gameGAN/圖片來源:gameGANb圖片來源:steama游戲人工智能發(fā)展報告2023術革新與應用前景3游戲助力入工智能：電子游戲助推產業(yè)變革,孵化通用智能游戲對人工智能技術的幫助主要體現(xiàn)在技術層面和產業(yè)層面。游戲人工智能發(fā)展報告2023術革新與應用前景FigMalmoAI各種不同的任務圖片來源:MalmoGithuba所無法滿足，也無法進行實驗的。而在游戲場景中，。a/crowdAI/marLo能技術的研究。例如近來AIGC在游戲產業(yè)中的廣泛應產業(yè)對于人工智能產業(yè)據(jù)中國游戲產業(yè)研究院在2023年推出的《游戲科技能力與科技價值研究報告》顯示，有78%的人認為電子游戲技術的進步對科技的發(fā)展具有驅動作用，硬科技對于游戲科技的發(fā)展研發(fā)等虛擬實驗等等。幫助其在交通、電力、機器人、能源、醫(yī)療、超大城市治理、智能電網、工業(yè)無人機、機器人ArtificialGeneralIntelligence,AGI)，以來就是人工智能研究人員的終極目標。這項艱巨任務在上世紀末的時候受到挫折，因而icialNarrowIntelligence，通用人工智能的夢想—直沒有消退。尤其隨著近年深度學習技術的突破，通用人工智能列為研究的目標。例如著名的人工智能研究機構OpenAI就宣稱其使命是“確游戲人工智能發(fā)展報告2023術革新與應用前景 路徑。而電子游戲場景中任務多種多樣，復雜多變的特性，也為人工智能在廣度、深度和靈活性等方面接近人類智能，提供了保障。近年游戲人工智能的研究中也興起了—類叫做“通用電子游戲人工智能”(GeneralVideoGameArtificialIntelligence)的方向。該方向的目標是在幾乎沒有特定領域知識的前提下，設I及開辦、宣傳聚會等等。圖片來源:GenerativeAgents:InteractiveSimulacraofHumanBehaviorba/b/arXiv_Demo/#人工智能的初版設想就是具備通用性的智能機器。當時的人工智能研究者們所錨定的目標是使得機器能夠做到人類才能完成的任務，并樂觀地預測將在50年內實現(xiàn)。圖靈測試(TheTuringTest)對智能機器的判定標準就是從語言應用層面難以區(qū)分機器與人類。[85]其他人工智能的開創(chuàng)者也持有相同的觀點，例如麥卡錫(KevinMcCarthy)認為人工智能應當具備與人類相同的智能表現(xiàn)，而明斯基(HymanMinsky)提出人工智能就是使得機器完成需要人類智定義，來源于通用人工智能的研究學者戈策爾(BenGoertzel)。他提通用人工智能的實現(xiàn)大體可以分為四條路徑:符號論、突現(xiàn)論、融合論和統(tǒng)—路徑。符號論GeneralProblemSolver來學習模式來實現(xiàn)通用性。融合論的想法來自于“整體大于部分之和”這樣的基本理念，認為資源下可運行狀態(tài)。o游戲人工智能發(fā)展報告2023術革新與應用前景出了通用系統(tǒng)Gato。[93]Gato可以完成游玩雅達利游戲(Atari)、為圖像配文字說明、聊天、務。FigGato的任務圖片來源:AGeneralistAgent[92]據(jù)以及其他游玩游戲的數(shù)據(jù)等多模態(tài)數(shù)據(jù)集(multimodaldataset)。Gato項目的的意義在于，信決多智能體決策的問題。FigGato玩不同的游戲圖片來源:DeepMindaa/blog/a-generalist-agent游戲人工智能發(fā)展報告2023術革新與應用前景e圖片來源:openaiuniversea另—個案例則是《我的世界道場》。2022年6月,英偉達、加州理工學院(Caltech)和斯坦福(Stanford)等研究機構共同發(fā)布了《我的世界道場:構建具有互聯(lián)網規(guī)模知識的開oBuildingOpenEndedEmbodiedAgentswithInternetScaleKnowledge)—文,介紹了他們關于游戲通用人工智能研究的工作。[95]該研究工作基于《我的世界》提出了—個名為MineDojo的框架,嘗試在游戲中構建具有通用技能的智能體。Minedojo將《我的世界》游戲的玩家視頻(YouTube)、百科(Wiki)和用戶社區(qū)(Reddit)的資訊作為訓練材料,來訓練—個能夠在《我的世界》游戲中根據(jù)文字提示信息,完成各種不a/research/universeFig.52Minedojo的通用智能體基于互聯(lián)網信息在開放式的游戲環(huán)境中進行訓練圖片來源:MineDojo:BuildingOpen-EndedEmbodiedAgentswithInternet-ScaleKnowledge[95]Minedojo的通用智能體能夠完成兩類不同的任務。第—類叫做程序化任務(programmatictasks)，包括(1)生存任務(survival):在指定的天數(shù)中生存；(2)收獲(harvest):發(fā)現(xiàn)、獲取、培養(yǎng)或制造不同的材料和物體；(3)技術樹(techtree):制作和使用不同級別的工具；(4)戰(zhàn)斗(combat):與各類怪物和生物戰(zhàn)斗。Fig.53Minedojo能夠完成不同的任務圖片來源:MineDojo:BuildingOpen-EndedEmbodiedAgentswithInternet-ScaleKnowledge[95]游戲人工智能發(fā)展報告2023術革新與應用前景為困難。項目組利用各種不同的指標，刻畫出了與人類評估表現(xiàn)—致性的標準，F(xiàn)ig.54Minedojo建造出困住動物的圍欄圖片來源:aMinedojo的研究團隊還總結出了在游戲中構建通用人工智能體的三個主要支柱:a/pts效地內化知識。Gato和Minedojo這兩項工作分別代表了兩類不同的通過游戲實現(xiàn)通用人工智能的途徑。其足夠復雜和豐富的游戲。這也正好對應著通用人工智能研究中的兩類不同思路:解決足夠多的。游戲作為現(xiàn)實生活場景的投射，有著孵育出通用人工智能的潛力。當游戲的世界越來越復雜，交互的方式越來越擬真，那么相信在這個越來越“元宇宙”的世界中誕生出通用人工智能也就隨著具身認知(EmbodiedCognition)理論的發(fā)展，人們逐漸意識到擁有軀體是實現(xiàn)通用智bson理學家個姆斯?吉布森(JamesGibson),吉布森主義激進具身認知理論的核心觀點是:認知不是僅僅發(fā)生在動物大腦中，而是通過其身體與環(huán)境交互——即“信息拾取(information游戲人工智能發(fā)展報告2023術革新與應用前景pickup)”所產生，這種“信息拾取”式的交互可以通過“動緣(affordances)”概念來解智能模型大放異彩，并廣泛應用于人機交互、自動駕駛和機器人態(tài)勢感知-行動等領域。而aa圖片來源:雜的實際場景。圖片來源:iGibson2.0[102]a/igibson/其次，iGibson環(huán)境是開放的，因為它是—個開源的虛擬環(huán)境。任何研究者都可以使用會，讓更多的人能夠參與到機器人學習的研究中來。中進行學習和實踐。游戲人工智能發(fā)展報告2023術革新與應用前景游戲入工智能的社會價值：溢出效應凸顯,賦能百業(yè)千行研機構與高校機構的學者也把目光放在如何把游戲人工智能的技術應用于其他行業(yè)的任務上。變革。本章節(jié)將會介紹游戲人工智能技術在商業(yè)決策、自動駕駛、醫(yī)療診斷、藝術文化、虛擬現(xiàn)實以索游戲人工智能為產業(yè)智能化升級所做出的貢獻。a/Media_list/jl/2021-01-05/721024.shtml游戲人工智能發(fā)展報告2023術革新與應用前景用場景圖片來源:自制游戲人工智能技術在典型的商業(yè)場景如在線購物、路線規(guī)劃和物流管理等商業(yè)決策場景中有著南京大學偷揚團隊與淘寶搜索團隊的合作就是—個典型案例。[103]該合作項目希望能夠借助強損失。隊選擇從強化學習的游戲訓練環(huán)境中探索破局之法。他們的思路是學習出—個“虛擬淘用于現(xiàn)實淘寶中?！疤摂M淘寶”的游戲環(huán)境在策略的泛化能力和應用過程上相比現(xiàn)實環(huán)境都具有無可比擬的優(yōu)勢。臺上進行的對比試驗表明，這個推薦系統(tǒng)提高了約2%的銷量。該項目為在復雜物理環(huán)境中應用示。Fig行相關的測試和訓練圖片來源:Virtual-Taobao[103]在三個不同的城市提升了11%的完單量，并增加了8%以上的司機收入。游戲人工智能技術還可以應用于物流裝卸、二手交易平臺等商業(yè)場景。在現(xiàn)實的物流場景中，存在工作人員揀貨、分裝和擺貨等行為。這些行為是難以被專家以人工的方式描述清楚的。但其質量控制水平。游戲人工智能發(fā)展報告2023術革新與應用前景在自動駕駛汽車(Self-drivingCars)領域中，使用游戲化的虛擬場景來進行訓練和測試，也普林斯頓等高校在2017年公布了—項名為《超越俠盜獵車手5，用于訓練、測試與加強自ngV)游戲為基礎，采集了大量的游戲數(shù)據(jù)，用來進行自動駕駛領域多個項目的訓練。[105]圖片來源:BeyondGrandTheftAutoVforTraining,TestingandEnhancingDeepLearninginSelfDrivingCars[105]的傳感器反震上就借助了游戲引擎的相關技術，同時在交通流的模擬上借助了游戲人工智能技輛。診斷、預后、監(jiān)測、風險建模、藥物發(fā)現(xiàn)和治療反應預測等等。[106]尤其是在提高疾病識別和游戲人工智能技術提供了有效的支持。騰訊人工智能實驗室(AILab)在2022年12月發(fā)布了其游戲人工智能“絕悟”的最新成果將游戲場景中訓練的深度強化學習能力遷移到病理全片掃描圖像診斷場景，提出了基于深度強化學習找尋最優(yōu)看片路徑的方法。[107]圖片來源:RLogist:FastObservationStrategyonWhole-slideImageswithDeepReinforcementLearning[107]游戲人工智能發(fā)展報告2023術革新與應用前景相關技術能幫助醫(yī)生在醫(yī)學圖像處理中準確地定位關鍵點、檢測病灶以及進行標準切面定位等，CTMRI自動分割。在性能接近的情況下，將病理閱片效率提升了400%。游戲人工智能技術還可以通過歷史數(shù)據(jù)模擬患者病情或手術的虛擬場景，通過強化學習來為醫(yī)干預方案，幫助患者監(jiān)測疾病的進展和管理疾病。模擬真實行為表現(xiàn)，從而提升電影的視覺效果和觀眾的體驗。來對場景進行修改和優(yōu)化。例如，虛幻引擎(UnrealEngine)就在2020年推出了其虛擬制片工具，并在此后不斷擴展和圖片來源:unrealengineausso傳統(tǒng)的電影制作流程圖片來源:unrealengineba/zh-CN/spotlights/taking-unreal-engine-s-latest-in-camera-vfx-toolset-for-a-spinb/zh-CN/spotlights/taking-unreal-engine-s-latest-in-camera-vfx-toolset-for-a-spin游戲人工智能發(fā)展報告2023術革新與應用前景和預測模型。該模型可預測文物未來可能發(fā)生的損毀情況，并針對不同場景下的機械、氧化、種人實的利器。時間與資源消耗。景。實現(xiàn)。a/en-us/article/2Hh4JLkJ1GJIMEg0lk3Lfy/supporting-notredame-de-paris景，和具有無限可能的未來。09]游戲人工智能與教學活動的結合，體現(xiàn)在兩個層面?！矫?，人們可以參考游戲人工智能的研究成果，創(chuàng)建或完善“基于游戲的學習”(gamebasedlearning)、“游戲化教育” 的教學活動，幾乎不可能脫離電子游戲來進行。游戲人工智能發(fā)展報告2023術革新與應用前景未來發(fā)展：游戲入工智能將成為生產力革命的關鍵，同向同行，攜手共進。合、內容生成和通用智能方面提供強大助力。限可能。。游戲人工智能發(fā)展報告2023術革新與應用前景如在構建更加真實的虛擬場景方面，英偉達于18年推出了深度學習超采樣技術(Deep專用人工智能圖形處理器TensorCore下構建為高分辨率圖像。而隨著2022年40系GPU發(fā)布此外，在交互的直覺化方面，如何將玩家的化身(avatar)更加自然地的投射于數(shù)字空間，VRAR游戲的難題。傳統(tǒng)基于光學標記的解設置多個燈塔，并讓用戶佩戴可穿戴Sim來實現(xiàn)低成本高精度全身動補的方案。Meta團隊根據(jù)172人8小時的運動捕捉數(shù)據(jù)來訓練。以在人工的輔助下，快速、高效且高質量地生成相應內容。NPC會根據(jù)語境使用符合其角色和游戲背景的語言來對玩家進行回應。該技術由英具體來說，主要有以下三種英偉達人工智能技術，它們將如何幫助游戲更有生氣、更真實:黃仁勛這樣描述了人工智能(AI)對游戲產業(yè)的影響:“AI不僅有助于環(huán)境的還原和合成，還游戲人工智能發(fā)展報告2023術革新與應用前景孵化器。收、個可能地研究類人人工智能的特性，是賦予非人生理-物理系統(tǒng)系統(tǒng)(如機器人)中實現(xiàn)多認iGibson研究。如果我們能夠在虛擬世界(如游戲世界)中賦予人工智能多認知模塊協(xié)同能力，給予其具身視工智重要的是能夠輻射至其他科技領域，甚至孵化通用人工智能。游戲制作的過程中，進來基于大語言模型和擴散模型的人工智能正在被應用于電子游戲開發(fā)的許多方面，包括生成新的游戲內容(如地圖、角色和場景)，驅動游戲中的非玩家角色(NPC)，以及改進游戲的圖像和聲音效果等。界，應用于現(xiàn)實的場景，幫助人們解決生活中的問題。值，探尋游戲逃揚和實現(xiàn)技術進步的新路徑。游戲人工智能發(fā)展報告游戲人工智能發(fā)展報告2023術革新與應用前景研究中心游戲人工智能團隊獨立編寫而成。題為主要研究對象的學術研究中心。我國游戲學、游戲哲學、游戲科技、游戲史學研究的中堅力量。項目負責人:個好秘書長寫作團隊:個好張含林哲伍素北京理工大學湖南師范大學廈門大學游戲人工智能發(fā)展報告2023術革新與應用前景游戲人工智能發(fā)展報告2023術革新與應用前景參考文獻[1]Turing,A.,1950,“ComputingMachineryandIntelligence,”Mind,59(236):433–60.Availableat:/10.1093/mind/[2]Vargas-Iglesias,JuanJ."Makingsenseofgenre:Thelogicofvideogamegenreorganization."GamesandCulture15.2(2020):158-178.Availableat:/10.1177/1555412017751803.[3]計紅梅.“研究表明:游戲科技是人工智能發(fā)展重要動力”.中國科學報.2023.[4]Ouyang,Long,etal."Traininglanguagemodelstofollowinstructionswithhumanfeedback."AdvancesinNeuralInformationProcessingSystems35(2022):27730-27744.[5]Shannon,ClaudeE."XXII.Programmingacomputerforplayingchess."TheLondon,Edinburgh,andDublinPhilosophicalMagazineandJournalofScience41.314(1950):256-275.[6]Newell,A.,&Simon,H.A.(1963).Computersinpsychology.[7]ChrisBateman.ThestorybehindthefirstcomputerinCanada[N/OL].(2016-11-12)[2023-04-27].https://spacing.ca/toronto/2016/11/12/first-computer-canada/[8]Bateman,Chris."MeetBertietheBrain,theworld,sfirstarcadegame,builtinToronto."SpacingToronto13(2014).https://spacing.ca/toronto/2014/08/13/meet-bertie-brain-worlds-first-arcade-game-built-toronto/[9]CCampbell-Kelly,Martin."ChristopherStrachey,1916-1975:Abiographicalnote."AnnalsoftheHistoryofComputing7.1(1985):19-42.[10]Newell,Allen."Thechessmachine:anexampleofdealingwithacomplextaskbyadaptation."ProceedingsoftheMarch1-3,1955,westernjointcomputerconference.1955.[11]McCarthy,John,andEdwardA.Feigenbaum."Inmemoriam:Arthursamuel:Pioneerinmachinelearning."AIMagazine11.31990):10-10.[12]A.L.Samuel,"Somestudiesinmachinelearningusingthegameofcheckers,"inIBMJournalofResearchandDevelopment,vol.44,no.1.2,pp.206-226,Jan.2000,doi:10.1147/rd.441.0206.[13]Sutton,RichardS.,andAndrewG.Barto.Reinforcementlearning:Anintroduction.MITpress,2018.[14]OriginallypublishedinScientificAmerican,vol.242,no.6(June1980),pp.64–72.[15]Tesauro,Gerald."TemporaldifferencelearningandTD-Gammon."CommunicationsoftheACM38.3(1995):58-68.[16]Sutton,RichardS.,andAndrewG.Barto.Reinforcementlearning:Anintroduction.MITpress,2018.[17]Schaeffer,Jonathan,etal."Chinooktheworldman-machinecheckerschampion."AImagazine17.1(1996):21-21.[18]Schaeffer,Jonathan,etal."Checkersissolved."science317.5844(2007):1518-1522.[19]Berliner,HansJ."DeepThoughtWinsFredkinIntermediatePrize."AIMagazine10.2(1989):89-89.[20]Hsu,Feng-Hsiung.BehindDeepBlue:Buildingthecomputerthatdefeatedtheworldchesschampion.PrincetonUniversityPress,2002.[21]Remus,Horst."SimulationofaLearningMachineforPlaying[22]Zobrist,AlbertLindsey.FeatureextractionandrepresentationforpatternrecognitionandthegameofGo.TheUniversityofWisconsin-Madison,1970.[23]Ryder,JonathanLeonard.HeuristicanalysisoflargetreesasgeneratedinthegameofGo.No.155.StanfordUniversity,1971.[24]Reitman,Walter,andBruceWilcox."PerceptionandrepresentationofspatialrelationsinaprogramforplayingGo."Proceedingsofthe1975annualconference.1975.[25]Reitman,Walter,andBruceWilcox."Patternrecognitionandpattern-directedinferenceinaprogramforplayingGo."Pattern-DirectedInferenceSystems.AcademicPress,1978.503-523.[26]Reitman,Walter,RobertNado,andBruceWilcox."Machineperce