用深度神經(jīng)網(wǎng)絡(luò)和樹(shù)搜索征服圍棋ppt課件

1、Mastering the game of Go with deep neural networks and tree search用深度神經(jīng)網(wǎng)絡(luò)和樹(shù)搜索征服圍棋,給定棋盤當(dāng)前狀態(tài)，預(yù)測(cè)下一子落在何處,如何決定下一步最優(yōu)：對(duì)每一步可能的落子進(jìn)行推演，直到每盤棋分出勝負(fù)為 止。統(tǒng)計(jì)每一步可能落子后續(xù)的推演贏的比率，選取贏的最多的落子,搜索空間將如宇宙星空一般,1、構(gòu)造一個(gè)落子預(yù)測(cè)器，去掉臭棋，敲定最有可能的落子候選,2、構(gòu)造棋局價(jià)值評(píng)估器，告訴我們當(dāng)前棋局的“贏面”，就不需要“那么深了,落子預(yù)測(cè)器與棋局價(jià)值評(píng)估器使用深度學(xué)習(xí)技術(shù)，論文上稱為政策網(wǎng)絡(luò)（policy network）與價(jià)值網(wǎng)絡(luò)（va

2、lue network,Alphago采用：蒙特卡洛搜索樹(shù)政策網(wǎng)絡(luò)價(jià)值網(wǎng)絡(luò)共同作用,蒙特卡羅樹(shù)搜索（Monte Carlo Tree Search，MCTS)，把這兩個(gè)部分連起來(lái)，形成一個(gè)完整的系統(tǒng),通用人工智能（General Artificial Intelligence），是指能通過(guò)自我學(xué)習(xí)解決各種問(wèn)題的智能算法。人類的大腦就是一種通用智能，因?yàn)槿思瓤梢詫W(xué)游泳，也可以學(xué)下棋。開(kāi)發(fā)AlphaGo的DeepMind就是這么一家公司，以實(shí)現(xiàn)通用人工智能為目標(biāo)。 通用人工智能并不是等價(jià)于類人智能。但解決了通用人工智能，類人智能也必然能夠達(dá)到。 AlphaGo的算法就是典型的通用人工智能算法，核心

3、使用了深度學(xué)習(xí)（Deep Learning），增強(qiáng)學(xué)習(xí)（Reinforcement Learning）。而深度增強(qiáng)學(xué)習(xí)（Deep Reinforcement Learning），就是通用人工智能算法的具體表現(xiàn)形式。什么叫通用？就是這個(gè)算法既可以訓(xùn)練用來(lái)下圍棋，也可以訓(xùn)練用來(lái)開(kāi)車，還可以訓(xùn)練用來(lái)股票交易,DeepMind和OpenAI研究的方向： 1 Deep Reinforcement Learning深度增強(qiáng)學(xué)習(xí)，用于構(gòu)造學(xué)習(xí)機(jī)制 2 Deep Generative Model深度生成模型，用于理解信息，可以用于預(yù)測(cè)規(guī)劃 3 Neural Memory神經(jīng)網(wǎng)絡(luò)記憶，用于存儲(chǔ)信息和推理 4 One Shot Learning 一眼學(xué)習(xí)，用于快速學(xué)習(xí) 5 Deep Transfer Learning 深度遷移學(xué)習(xí)，用于移植知識(shí) 以上多點(diǎn)的綜合運(yùn)用