類腦計算神經(jīng)形態(tài)計算深度產(chǎn)業(yè)報告

Brain,in5DiredC0mDUting.NeUr0m0rDhiCC0mDUting類腦計算.神經(jīng)形態(tài)計算Qbitai1ndU5try1n5ight5ReD0rt深度產(chǎn)業(yè)報告1量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算近年來深度神經(jīng)網(wǎng)絡(luò)(DNN)取得了令人矚目的進(jìn)步,但與人腦相比,DNN在信息處理的效率(速度和功耗)上表現(xiàn)仍不夠好o在人腦中,信息以連續(xù)的方式快速處理,而DNN系統(tǒng)中所處理的是一幅幅靜態(tài)圖像,而且計算密在傳統(tǒng)DNN中,計算、存取數(shù)據(jù)時的"內(nèi)存墻"問題,導(dǎo)致大量數(shù)據(jù)搬運(yùn)中產(chǎn)生額外功耗以及延遲o此外,精確計算也是DNN的另一特征一一即便是無價值的輸入,也會全部參與計算,導(dǎo)致計算資源浪費(fèi)且計算效率低o相反,人腦中神經(jīng)元以脈沖的形式進(jìn)行信息傳遞o每當(dāng)神經(jīng)元發(fā)出脈沖信號時(被激活),脈沖信號會傳輸?shù)剿B接的神經(jīng)元進(jìn)行處理o若未能達(dá)到觸發(fā)閾值,神經(jīng)元則處于非激活狀態(tài),并且存儲對過去輸入的記憶,因此人人腦作為一個極度優(yōu)化的系統(tǒng),在高并行工作時功耗僅為20W左右一一大腦中約870億個神經(jīng)元高度非線性地工作,每個神經(jīng)元在外部和內(nèi)部都與其他神經(jīng)元有多達(dá)10十000個連接,在內(nèi)部承載著數(shù)十萬個協(xié)調(diào)的并行過程o這樣龐大的網(wǎng)絡(luò)卻有如此低的能耗,使得人類大腦在處理復(fù)雜問題時具有絕對優(yōu)勢o如今,人工智能的發(fā)展主要依靠龐大的數(shù)據(jù)量和精確計算o在馮諾依曼架構(gòu)下,龐大的數(shù)據(jù)量意味著計算機(jī)承擔(dān)著頻繁且大規(guī)模的運(yùn)算,隨之而來的就是功耗極速上升o隨著各國碳中和腳步加快,高能耗甚至需要企業(yè)付出額外成本o盡管我國沒有明確碳排放超標(biāo)的懲罰措施,但龐大計算量產(chǎn)生的用電成本、維護(hù)成本就不是一般人工智能企業(yè)可以支付起的o因此,人工智能的"可持續(xù)發(fā)展"一定是建立在功耗成本可控的基礎(chǔ)上o如何將計算機(jī)的功耗控制在合理范圍內(nèi)呢?借鑒人腦特性自然成為研究人員共同關(guān)注的方向o相比于當(dāng)前最先進(jìn)的系統(tǒng),模仿大腦運(yùn)行機(jī)制的硬件系統(tǒng)具有高效和低功耗特點(diǎn)o模仿大腦行為的神經(jīng)網(wǎng)絡(luò)被稱為神經(jīng)形態(tài)網(wǎng)絡(luò),其代表為脈沖神經(jīng)網(wǎng)絡(luò)(SNN),也是目前類腦研究的核心o這種被稱為"第三代神經(jīng)網(wǎng)絡(luò)"的出現(xiàn),可以彌合神經(jīng)科學(xué)與機(jī)器學(xué)習(xí)之間的鴻溝,使用神經(jīng)元模型進(jìn)行信息編碼和計算,借鑒生物腦稀疏的、空時域信息處理機(jī)制,充分發(fā)揮神經(jīng)網(wǎng)絡(luò)的效率o模仿大腦神經(jīng)結(jié)構(gòu)和工作原理而創(chuàng)新出來的神經(jīng)形態(tài)計算被稱為類腦計算o歐洲的HBP(人腦計劃)曾指出,"未來10,20年內(nèi),誰要引領(lǐng)世界經(jīng)濟(jì),誰就必須在這個領(lǐng)域領(lǐng)先"o量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算技術(shù)篇價值篇產(chǎn)業(yè)篇4量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算技術(shù)篇述人工智能的發(fā)展途徑當(dāng)前,人工智能的發(fā)展有兩個主要路徑,一個是沿計算機(jī)科學(xué)發(fā)展而來的深度學(xué)習(xí)途徑,另一個是沿著模仿人腦發(fā)深度學(xué)習(xí)途徑要通過FPGA或AS1C方式設(shè)計芯片模塊,或采用分布式存儲的整體架構(gòu)來提高計算的能效比和速架構(gòu)設(shè)計主要以高效支持當(dāng)前的深度學(xué)習(xí)為優(yōu)化目標(biāo),通過大規(guī)模的并行計算提升計算密度,從而獲得性能提升o這類芯片通常面向特定領(lǐng)域的專門應(yīng)用,需要大量的數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò),其較長的設(shè)計迭代周期也增加了芯片的開?類腦計算途徑這個方向是以模擬人腦神經(jīng)網(wǎng)絡(luò)計算為基礎(chǔ)而發(fā)展出的一種新型芯片,通過模擬神經(jīng)元和突觸的典型特征,如存算一體、脈沖編碼、異步計算、動力學(xué)模型等特點(diǎn),希望通過這些模擬從而達(dá)到更高的智能水平o典型代表包括1BMRMSDiNNakero義總體來說,類腦計算可分為狹義和廣義兩類:狹義的類腦計算是模仿大腦神經(jīng)結(jié)構(gòu)和工作原理而創(chuàng)新出來的神經(jīng)形態(tài)計算(如SNN芯片設(shè)計)、SNN類腦模型、腦仿真、STDP學(xué)習(xí)方法和類腦智能應(yīng)用,學(xué)術(shù)界稱其為Brain,likeC0mDUting(也稱做NeUr0m0rDhiCC0mDUting)o廣義的類腦計算是借鑒腦的結(jié)構(gòu)和工作原理,但又不局限對腦的模擬(SNN),還包括融合傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)(ANN)等具有更多類腦特征的異構(gòu)神經(jīng)網(wǎng)絡(luò),是一種融合當(dāng)前計算機(jī)科學(xué)和神經(jīng)科學(xué)的計算發(fā)展途徑,學(xué)術(shù)界稱其為Brain,in5DiredC0mDUtingo?人腦特性結(jié)構(gòu):人腦由大量神經(jīng)元通過突觸連接在一起,每個神經(jīng)元通過接受發(fā)送脈沖、建立新的突觸,從而構(gòu)建起一個龐工作機(jī)制:生物神經(jīng)元主要由樹突、軸突和胞體組成o樹突負(fù)責(zé)收集其他神經(jīng)元傳來的信息并通過電流的形式將其傳來的電流引起胞體膜電位變化,當(dāng)膜電位超過一定閾值時,神經(jīng)元將發(fā)出一個脈沖信號,通過軸突傳給其他神經(jīng)元o只有當(dāng)膜電位達(dá)到放電閾值才會激發(fā)神經(jīng)脈沖傳遞信息,大部分的神經(jīng)元在活動周期中都處于靜息狀態(tài),從而實(shí)現(xiàn)大腦的超低功耗高效運(yùn)轉(zhuǎn)o5量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算類腦計算如何模仿大腦的計算機(jī)制與傳統(tǒng)馮諾依曼架構(gòu)下的計算機(jī)相比,人腦無法高效地進(jìn)行精確的數(shù)值計算,但人腦的優(yōu)勢在于智能和高效o例如,自動忽略非必要信息,從而減少能耗j在處理信息的同時能夠?qū)ζ溥M(jìn)行加工、理解、抽象和歸納o此類功能在識別物體,對視頻、音頻數(shù)據(jù)的理解等場景中均有體現(xiàn)o類腦計算就是以人腦為藍(lán)本,實(shí)現(xiàn)新一代計算體系結(jié)構(gòu),主要思路是以事件觸發(fā)(EVent,driVen)為運(yùn)算機(jī)制,基于脈沖神經(jīng)網(wǎng)絡(luò)來仿真人腦,從而構(gòu)造新型計算系統(tǒng)o脈沖神經(jīng)網(wǎng)絡(luò)(SNN)脈沖神經(jīng)網(wǎng)絡(luò)是受生物啟發(fā)的新一代人工神經(jīng)網(wǎng)絡(luò),以腦科學(xué)為導(dǎo)向,沿著腦模擬方向發(fā)展,以0.1脈沖序列表達(dá)信息流,編碼里包含了時間信息j另外,神經(jīng)元內(nèi)部具有動力學(xué)特征,具有事件驅(qū)動、稀疏發(fā)放等特點(diǎn)o主要特征通過脈沖編碼將輸入信息轉(zhuǎn)換成脈沖序列信號,并在信息傳遞過程中維持脈沖之間的時間關(guān)系o因此,神經(jīng)元具有?事件驅(qū)動(事件驅(qū)動是實(shí)現(xiàn)稀疏計算的根本基礎(chǔ))SNN中的神經(jīng)元不會在每個信息傳遞的周期都被激活,只有當(dāng)神經(jīng)元膜電壓積累到特定的電壓閾值時才會放電(發(fā)放脈沖)o神經(jīng)元激活后,會發(fā)放一個脈沖信號傳遞給其他神經(jīng)元,其他神經(jīng)元會根據(jù)這個脈沖信號增加或減少膜關(guān)鍵要素任何脈沖神經(jīng)元的設(shè)計都要考慮三個問題:神經(jīng)元模型,更新連接權(quán)值的機(jī)制和神經(jīng)元互聯(lián)結(jié)構(gòu)o?大腦中神經(jīng)元模型與網(wǎng)絡(luò)結(jié)構(gòu)在人出生之時已基本形成,且在人的成長過程中幾乎不會發(fā)生大的變化o變化主要體現(xiàn)在成長過程中與外界環(huán)境不斷交互,獲取新知識并與已有知識建立聯(lián)系,從而提升問題解決和環(huán)境自適應(yīng)能?基于脈沖神經(jīng)網(wǎng)絡(luò)的仿腦特性,其學(xué)習(xí)規(guī)則的構(gòu)建處于次要位置,而對學(xué)習(xí)機(jī)制的模仿是脈沖神經(jīng)網(wǎng)絡(luò)發(fā)展和應(yīng)?如何找到一個兼具生物合理性和計算效率的脈沖神經(jīng)元模型,以及如何建立脈沖神經(jīng)元模型與A1任務(wù)之間的關(guān)系,目前學(xué)術(shù)界和產(chǎn)業(yè)界對于類腦計算的探索及前沿應(yīng)用主要圍繞SNN及其擴(kuò)展的神經(jīng)網(wǎng)絡(luò)展開,因此我們將關(guān)注聚焦在近10年內(nèi),深度學(xué)習(xí)在圖像識別、自然語言處理、語音識別和專家系統(tǒng)等方面取得可以匹敵人腦、甚至超越人腦的成果o但另一方面,當(dāng)前的深度學(xué)習(xí)也面臨諸多挑戰(zhàn),如需要充足的數(shù)據(jù)、完整的知識、確定的靜態(tài)問題、容錯性比較差等o而脈沖神經(jīng)網(wǎng)絡(luò)通過融合受生物啟發(fā)的、高效的神經(jīng)信息處理機(jī)制,有望實(shí)現(xiàn)更穩(wěn)定魯棒的信息深度學(xué)習(xí)網(wǎng)絡(luò)模型和脈沖神經(jīng)網(wǎng)絡(luò)模型能夠彼此形成互補(bǔ)o深度學(xué)習(xí)模型的計算準(zhǔn)確率高,研究生態(tài)較完善j脈沖神經(jīng)網(wǎng)絡(luò)的魯棒性較好,計算能效比較優(yōu)o但脈沖神經(jīng)網(wǎng)絡(luò)處于剛起步階段,算法模型還不成熟oANNSNN信息流神經(jīng)元狀態(tài)(連續(xù)狀態(tài)值)脈沖序列(01脈沖序列)計算方式逐層、精確計算稀疏計算,事件驅(qū)動,時序性6量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算N特點(diǎn)?大量手工標(biāo)記的輸入數(shù)據(jù)?靜態(tài)數(shù)據(jù)處理?不具備可解釋性?持續(xù)學(xué)習(xí)?動態(tài)數(shù)據(jù)處理?具備生物可解釋性適用場景?語音識別?圖像識別……?交互式機(jī)器人?各類對于低功耗和實(shí)時性有需求的A10T場景?高速動態(tài)視覺場景……優(yōu)勢?可模擬復(fù)雜模型,完成大規(guī)模運(yùn)算?準(zhǔn)確率高?生物合理性強(qiáng)?能耗極低?具備自主學(xué)習(xí)能力?成本低不足?高能耗、高成本?訓(xùn)練效率低,數(shù)據(jù)依賴?僅適用單一場景?計算復(fù)雜度高?目前能夠模擬的神經(jīng)元數(shù)量有限,目前僅適用小規(guī)模計算場景技術(shù)生態(tài)技術(shù)生態(tài)概述類腦計算的技術(shù)生態(tài)由軟件和硬件兩部分構(gòu)成o其中軟件主要包括:神經(jīng)元模型、訓(xùn)練算法、仿真框架、數(shù)據(jù)集o?在軟件方面,如何提升圍繞SNN的生態(tài)是未來發(fā)展的必經(jīng)之路,重要的方向包括完整且易操作的工具鏈開發(fā)、?硬件方面?zhèn)戎赜诮⒛X仿真平臺,參照人腦神經(jīng)元模型及其組織結(jié)構(gòu)、神經(jīng)突觸特性來設(shè)計芯片o神經(jīng)元模型脈沖神經(jīng)網(wǎng)絡(luò)是類腦計算的核心,對其結(jié)構(gòu)基礎(chǔ)、功能優(yōu)化等方面的探索,有助于科研人員更好地認(rèn)識大腦、理解脈沖神經(jīng)網(wǎng)絡(luò)模型最大的特點(diǎn)是:以具有精確放電時間和事件驅(qū)動特性的脈沖作為信息計算的載體o以下是在業(yè)內(nèi)影響較大的模型:神經(jīng)元模型原理定位.特點(diǎn)H,H(H0dgkin,HUXley)模型通過研究烏賊神經(jīng)元細(xì)胞膜上的離子電流和電導(dǎo),用等效電路模擬神經(jīng)元的形成和膜電壓的變化?目前最接近生物神經(jīng)元的模型?模型復(fù)雜,難以在硬件上實(shí)現(xiàn)對網(wǎng)絡(luò)的實(shí)時仿真?計算成本高昂從生物電子學(xué)的角度對生物神經(jīng)元進(jìn)行模擬,使用電子轉(zhuǎn)移模擬生物神經(jīng)系統(tǒng)中的離子轉(zhuǎn)移目前使用最廣泛的神經(jīng)元模型之一使用二階微分方程描述細(xì)胞膜的動態(tài)特性,在受到刺激后,膜電位由靜息電位轉(zhuǎn)變到激發(fā)脈沖狀態(tài),通過分岔機(jī)制使神經(jīng)元產(chǎn)生興奮?目前最簡單的模型,且兼具H,H模型的生物真實(shí)性與L1F模型的計算效率?能夠仿真生物神經(jīng)元最突出的20種脈沖發(fā)放模式SRM模型實(shí)質(zhì)是對L1F模型的泛化,該模型也是根據(jù)神經(jīng)元電壓閾值來判斷是否產(chǎn)生脈沖o不同的是L1F模型中的參數(shù)依賴于電壓,SRM模型中的參數(shù)依賴于上一次輸出脈沖的時間?包含對于不應(yīng)期的模擬?更具通用性注:不應(yīng)期是指在興奮發(fā)生后的最初一段時間內(nèi),不論施加多強(qiáng)的刺激也不能使細(xì)胞再次興奮o量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算?訓(xùn)練算法類腦計算的算法核心是借鑒和學(xué)習(xí)人腦的多尺度、多類型的可塑性及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),來完善人工智能算法o當(dāng)前脈沖神經(jīng)網(wǎng)絡(luò)領(lǐng)域尚不存在公認(rèn)的核心訓(xùn)練算法o在生物合理性及任務(wù)表現(xiàn)之間的權(quán)衡,以及采用不同的神經(jīng)元模型和編碼方式,均會造成訓(xùn)練算法多樣化o現(xiàn)階段瓶頸:脈沖神經(jīng)網(wǎng)絡(luò)所具有的離散脈沖發(fā)放機(jī)制所帶來的的優(yōu)勢是低功耗和低延遲j然而正是由于離散的發(fā)放機(jī)制導(dǎo)致其無法滿足連續(xù)可微的條件,也因此使得傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法無法直接用到脈沖神經(jīng)網(wǎng)絡(luò)中o解決途徑:2-基于傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練和轉(zhuǎn)換的脈沖神經(jīng)網(wǎng)絡(luò)構(gòu)建方法(間接學(xué)習(xí))j3-其它方案:串聯(lián)學(xué)習(xí)、以及最新的代理訓(xùn)練o依據(jù)訓(xùn)練過程中是否使用標(biāo)簽信息,可將脈沖神經(jīng)網(wǎng)絡(luò)算法概括地劃分為有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí),有監(jiān)督學(xué)習(xí)又分為間接有監(jiān)督學(xué)習(xí)和直接有監(jiān)督學(xué)習(xí)o在模型算法提升上,研究人員通過提供增加神經(jīng)元復(fù)雜程度的技術(shù)能力,脈沖神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法描述特征無監(jiān)督STDP算法STDP學(xué)習(xí)規(guī)則根據(jù)神經(jīng)元發(fā)放脈沖的先后順序,調(diào)整神經(jīng)元之間連接的強(qiáng)弱?通過局部調(diào)整規(guī)則學(xué)習(xí),容易在神經(jīng)形態(tài)芯片上進(jìn)行分布式實(shí)現(xiàn),并具備在線學(xué)習(xí)功能j?難以獲得高性能網(wǎng)絡(luò),無法在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)中使用基于ANN的間接有監(jiān)督學(xué)習(xí)?將ANN中訓(xùn)練好的參數(shù)轉(zhuǎn)化到相同結(jié)構(gòu)的SNN中j?為實(shí)現(xiàn)近無損的ANN,SNN轉(zhuǎn)換,需要對原始ANN模型進(jìn)行約束,例如對網(wǎng)絡(luò)的不同層進(jìn)行歸一化?可擴(kuò)展性強(qiáng),容易將新出現(xiàn)的或大規(guī)模的ANN網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)換為相應(yīng)的SNN版本j?間接訓(xùn)練算法的特征提取步驟在ANN中完成,很難提取輸入信息在時間維度上的特征,不適用于時空數(shù)據(jù)的分類j?對ANN采取約束會造成SNN性能下降,而且轉(zhuǎn)化SNN訓(xùn)練時需要長時間的步長模擬,效率遠(yuǎn)低于直接訓(xùn)練的方式直接有監(jiān)督學(xué)習(xí)采用反向傳播思想,將脈沖神經(jīng)元的微分方程形式轉(zhuǎn)化為便于計算機(jī)模擬的差分方程形式,使其變成可微的函數(shù)表達(dá)式j(luò)同時沿空間和時間維度擴(kuò)展信息,應(yīng)用梯度下降算法進(jìn)行參數(shù)更新?可解決SNN的不可微性問題?仿真框架脈沖神經(jīng)網(wǎng)絡(luò)編程工具是幫助脈沖神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)快速仿真,網(wǎng)絡(luò)建模及學(xué)習(xí)訓(xùn)練的軟件平臺o在SNN領(lǐng)域,目前Bind5NET、SDyket0rCh等少數(shù)平臺可以支持大規(guī)模SNN的構(gòu)建與訓(xùn)練o此外,部分公司和研究機(jī)構(gòu)也開發(fā)了自己的軟件框架,如英特爾的LaVa、時識科技的Sinab5o搭建一個大型SNN網(wǎng)絡(luò)對于編程者的編程能力有非常高的要求o因此,開發(fā)用戶友好的編程工具對于部署大規(guī)模SNN至關(guān)重要o?數(shù)據(jù)集在類腦數(shù)據(jù)方面,如何構(gòu)建具備稀疏事件特征、具備豐富的時間尺度.空間尺度特征的大規(guī)模多模態(tài)混合數(shù)據(jù)集十分類腦數(shù)據(jù)集目前相對匱乏,按照數(shù)據(jù)集構(gòu)建方式的不同,可分為三類:第一類:實(shí)際場景采集而得的數(shù)據(jù)集通過事件相機(jī)直接拍攝,通過神經(jīng)形態(tài)傳感器直接捕捉而生成的無標(biāo)簽數(shù)據(jù)o78量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算第二類:轉(zhuǎn)換數(shù)據(jù)集由帶標(biāo)簽的靜態(tài)圖像數(shù)據(jù)集通過事件相機(jī)實(shí)拍生成,此類數(shù)據(jù)集主要由已被廣泛研究的、用于傳統(tǒng)非脈沖任務(wù)的數(shù)據(jù)集轉(zhuǎn)換得到,通過轉(zhuǎn)換算法將ANN數(shù)據(jù)集轉(zhuǎn)換為事件信號數(shù)據(jù)集o第三類:生成數(shù)據(jù)集利用帶標(biāo)簽的視頻或圖像數(shù)據(jù)集,通過算法模擬動態(tài)視覺傳感器特性生成數(shù)據(jù)集o件?類腦芯片借鑒神經(jīng)元信息處理機(jī)制發(fā)展類腦芯片與計算平臺,能夠在硬件層面將類腦計算的優(yōu)勢充分釋放,也是各國類腦研硬件平臺的研發(fā)依托全球頂尖的研究機(jī)構(gòu),更多聚焦于創(chuàng)新突破,目前尚未實(shí)現(xiàn)大規(guī)模商業(yè)化o在過往的硬件平臺研發(fā)中,從功能上可以按照是否支持學(xué)習(xí)功能分為離線學(xué)習(xí)平臺和在線學(xué)習(xí)平臺j從電路設(shè)計上則可分為數(shù)模混合電路平臺和全數(shù)字電路平臺,各有優(yōu)缺點(diǎn)o來源:脈沖神經(jīng)網(wǎng)絡(luò)研究進(jìn)展綜述,量子位智庫整理基于脈沖神經(jīng)網(wǎng)絡(luò)的計算模型在基于馮諾依曼架構(gòu)下的硬件中很難展現(xiàn)其優(yōu)勢,只能對SNN進(jìn)行仿真o因此,研究按照芯片所實(shí)現(xiàn)的功能,我們將類腦芯片大致分為三類:rUeNrthLihi企業(yè).機(jī)構(gòu)名稱硬件特點(diǎn)性能斯坦福大學(xué)?模擬電路主導(dǎo)?利用硅晶體管的亞閾值模擬電特性實(shí)時仿真神經(jīng)元離子通道的動力學(xué)行為?采用事件驅(qū)動的異步數(shù)字電路進(jìn)行信息傳輸?2009年:每塊板有16顆NeUr0C0re芯片,能夠支持100萬個神經(jīng)元和60億個突觸聯(lián)結(jié)十能耗僅5Wj?2017年:開發(fā)新一代神經(jīng)形態(tài)芯片BrainSt0rm,最終成果為嵌入式應(yīng)用和集群服務(wù)器上的計算芯片十可以運(yùn)行全腦模型9量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算企業(yè).機(jī)構(gòu)名稱硬件特點(diǎn)性能蘇黎世大學(xué)亞閾值模擬+異步電路,實(shí)現(xiàn)復(fù)雜生物神經(jīng)元、突觸模型以及脈沖神經(jīng)網(wǎng)絡(luò)j采用異構(gòu)路由拓?fù)?兼具樹形拓?fù)涞牡脱舆t和網(wǎng)絡(luò)拓?fù)涞牡蛶捫枨髥伟搴?塊芯片,單芯片含4個計算核,單核含256個神經(jīng)元TrUeN0rth?數(shù)字電路主導(dǎo)?將存儲單元作為突觸,計算單元作為神經(jīng)元,傳輸單元作為軸突搭建神經(jīng)芯片的原型?借鑒神經(jīng)元工作原理及其信息傳遞機(jī)制,實(shí)現(xiàn)了存儲與計算的融合?單芯片含有4096個計算核,每個計算核包括256個神經(jīng)元和6-4萬個突觸j?實(shí)驗(yàn)數(shù)據(jù)顯示視覺識別準(zhǔn)確率達(dá)到80%j一臺筆記本完成相同任務(wù)速度比TrUthN0rth芯片慢100倍,但功耗是其1萬倍清華大學(xué)TianjiC采用神經(jīng)形態(tài)眾核架構(gòu),計算核的軸突與胞體具有脈沖和非脈沖兩種工作模式包含156個計算核,單核包含256個神經(jīng)元浙江大學(xué)達(dá)爾文芯片類腦計算機(jī)(DarWinM0U5e)將792顆中國自主產(chǎn)權(quán)的達(dá)爾文2代類腦計算芯片集成在3臺1-6米高的標(biāo)準(zhǔn)服務(wù)器機(jī)箱中,形成了一臺機(jī)架式類腦計算機(jī)達(dá)爾文2采用55nmCM0S工藝,單芯片支持的神經(jīng)元規(guī)模達(dá)15萬個,單芯片由576個內(nèi)核組成,每個內(nèi)核支持256個神經(jīng)元,神經(jīng)突觸超過1千萬,通過系統(tǒng)級擴(kuò)展,可構(gòu)建千萬級神經(jīng)元類腦計算系統(tǒng)海德堡大學(xué)BrainSCaleS?數(shù)模混合電路?采用超閾值模擬電特性進(jìn)行神經(jīng)元動力學(xué)仿真?在晶圓上集成超大規(guī)模突觸,以降低通信代價,提高計算性能2016年完成了20塊晶圓、400萬神經(jīng)元和10億突觸的神經(jīng)形態(tài)計算系統(tǒng),速度比生物系統(tǒng)快1萬倍o英特爾L0ihiL0ihi2?數(shù)字電路?異步數(shù)字實(shí)現(xiàn),具有層次化連接、樹突計算、突觸延遲、可編程可塑性規(guī)則等特性單個芯片包含128個計算核,單核包含最多1024個神經(jīng)元曼徹斯特大學(xué)SDiNNaker?數(shù)字電路?支持多種神經(jīng)元動力學(xué)模型?借鑒神經(jīng)元放電模式,以較少的物理連接快速傳遞尖峰脈沖?模擬大腦中大量并行架構(gòu),同時把數(shù)十億小量信息發(fā)送到成千上萬不同的目的地2016年,這套系統(tǒng)有50萬核,用ARM處理器搭建了一套系統(tǒng),可以實(shí)時仿真4億神經(jīng)元和4000億神經(jīng)突觸的神經(jīng)網(wǎng)絡(luò)新型存儲器件不同于基于傳統(tǒng)CM0S的類腦芯片,基于新型存儲器件的類腦芯片從仿生的角度出發(fā),在器件層面模擬生物的基本信息處理單元一一神經(jīng)元和突觸,在功耗、成本等方面具有顯著優(yōu)勢,目前仍處在探索階段o傳統(tǒng)器件的問題:基于硅基材料的類腦芯片相較于傳統(tǒng)的A1加速器芯片在功耗上有了很大提升,但其效能依然遠(yuǎn)不及人腦一一1BM的TrUeN0rth芯片中,平均需要5000個晶體管才能模擬一個神經(jīng)元,而1ntel的L0ihi芯片更是需要1-6萬個晶體管才能模擬一個神經(jīng)元,這大大增加了類腦芯片的設(shè)計難度o解決途徑:研發(fā)新型材料一一憶阻器o憶阻器在電信號的刺激下,器件電阻可以動態(tài)地發(fā)生變化,并且這種變化在電信號撤去后依然存在(非易失性)o憶阻器的阻變物理機(jī)制可以模仿神經(jīng)元生物突觸和神經(jīng)元的神經(jīng)動力學(xué)特性,因此基于憶阻陣列的神經(jīng)形態(tài)計算極量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算憶阻器憶阻器結(jié)構(gòu)簡單、集成密度高,理論上一個憶阻器就可以實(shí)現(xiàn)一個神經(jīng)突觸的功能,可極大的提升突觸密度,是從對于憶阻材料,由于其可以仿真神經(jīng)突觸之間的突觸強(qiáng)度,可一定程度簡化神經(jīng)元網(wǎng)絡(luò)設(shè)計,但在算法層面上要研目前,熱門的研究方向集中在RRAM和MRAM,其中已有公司在做RRAM的商業(yè)落地o基于此,分析師認(rèn)為RRAM有望率先走向技術(shù)成熟,并實(shí)現(xiàn)商業(yè)化轉(zhuǎn)變o研究進(jìn)展(部分展示)?國內(nèi)類腦計算清華大學(xué)類腦研究中心在2014年開始探索脈沖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的融合,清華大學(xué)研究團(tuán)隊(duì)認(rèn)為將這兩類模型融合實(shí)現(xiàn)優(yōu)勢互補(bǔ),能夠發(fā)展出更好更優(yōu)的算法模型o在此背景下,清華大學(xué)于2019,2020和2021年連續(xù)在NatUre上發(fā)表文章,分別從架構(gòu)、軟件編譯和算法模型三個首篇論文講述的是異構(gòu)融合架構(gòu)的類腦芯片設(shè)計(天機(jī)芯),如何在架構(gòu)層面支持ANN和SNN的融合j第二篇論文講述的是類腦編譯軟件系統(tǒng)架構(gòu),提出了類腦計算完備性j第三篇論文是在自然通訊發(fā)表的類腦算法文章,首次融合了全局學(xué)習(xí)和本地學(xué)習(xí)的融合算法,為類腦融合算法模型新型憶阻器錢鶴、吳華強(qiáng)團(tuán)隊(duì)從新型阻變機(jī)理出發(fā),首次提出了具有優(yōu)良模擬阻變特性的新一代神經(jīng)形態(tài)器件一一拓?fù)湎嘧儜涀杵?TPT,RAM),該器件獨(dú)特的擴(kuò)散,非易失雙模態(tài)工作特性模擬人腦中突觸發(fā)育的過程,并在訓(xùn)練中演示神經(jīng)網(wǎng)絡(luò)剪枝,實(shí)驗(yàn)結(jié)果表明減少了約84-2%的冗余突觸,同時將手寫數(shù)字圖像識別準(zhǔn)確率提高到99%o中科院成立了中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心,由神經(jīng)科學(xué)研究所、自動化研究所等機(jī)構(gòu)共建,深入融對于類腦智能的規(guī)劃,從基礎(chǔ)的神經(jīng)形態(tài)器件到類腦智能的各個層次展開工作,從最底層的神經(jīng)形態(tài)器件平臺,到利用神經(jīng)形態(tài)器件構(gòu)造的類腦處理器,到在類腦處理器的基礎(chǔ)上構(gòu)建類腦計算系統(tǒng),以及在計算機(jī)上開展類腦智能研究,實(shí)現(xiàn)視聽感知、自主學(xué)習(xí)、自然會話等o來源:北京市科委專項(xiàng)規(guī)劃圖,量子位智庫整理量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算?國外特點(diǎn):對照人類大腦皮層構(gòu)建電子系統(tǒng),這個電子系統(tǒng)無論從神經(jīng)元、神經(jīng)突觸,還是在規(guī)模、密度上都要與人類大腦皮層相當(dāng)o唯一不同的是功耗,人類大腦的功耗在20W左右,而1BM的電子系統(tǒng)初期設(shè)計目標(biāo)是1000Wo為了實(shí)現(xiàn)這個目標(biāo),1BM最初使用超級計算機(jī)做模擬,但超算的結(jié)構(gòu)體系和人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不匹配,如果想要達(dá)到同等功能會消耗巨大的能量o因此,用超算來做類腦計算可以用于實(shí)驗(yàn)研究,但不適合做最終的落地平臺o基于此,研究人員開始研發(fā)專門的類腦芯片o德國海德堡大學(xué)BrainSCale5得到了歐洲HBP(人類大腦計劃)的支持o這套系統(tǒng)計劃將在2022年實(shí)現(xiàn)由5000個晶圓,模擬50億神經(jīng)元和1300億神經(jīng)突觸功能組層的硬件系統(tǒng)o特點(diǎn):比生物系統(tǒng)快一萬倍,直接利用類似集成電路的方法實(shí)現(xiàn)硬件o和1200塊互連電路板,有能力同時執(zhí)行200萬億次運(yùn)算o特點(diǎn):神經(jīng)元、神經(jīng)突觸的互連結(jié)構(gòu),并提出一種新的結(jié)構(gòu)模型o此外,由于其神經(jīng)元的計算是在ARM處理器上完成,所以它是可編程的,能夠根據(jù)不同的需要實(shí)現(xiàn)復(fù)雜度不同的神經(jīng)網(wǎng)絡(luò)oPh0ikiSDring5是一個數(shù)據(jù)中心機(jī)架式系統(tǒng),是英特爾迄今為止開發(fā)的最大的神經(jīng)形態(tài)計算系統(tǒng)o特點(diǎn):在五個機(jī)箱內(nèi)集成了768個L0ihi神經(jīng)形態(tài)芯片oP0h0ikiSDring5擁有1億個神經(jīng)元,將L0ihi的神經(jīng)容量提此外,英特爾最小的神經(jīng)形態(tài)系統(tǒng)KaD0h0Bay包含兩個具有262十000個神經(jīng)元的L0ihi芯片,支持各種實(shí)時邊緣工科研環(huán)境對比在類腦智能研究上,歐美國家具備先發(fā)優(yōu)勢o?歐洲瑞士蘇黎世聯(lián)邦理工學(xué)院和蘇黎世大學(xué)在1995年聯(lián)合成立的神經(jīng)信息研究所(1N1),覆蓋了從動物行為學(xué),腦解剖三維模型,到類腦算法,再到類腦芯片設(shè)計,以及應(yīng)用側(cè)無人機(jī)、機(jī)器人等的研究,具備從基礎(chǔ)科學(xué)到應(yīng)用科?美國麻省理工學(xué)院的腦、機(jī)器人中心和斯坦福大學(xué)的心智、腦與計算研究中心,前者主要研究方向?yàn)楦兄獙W(xué)習(xí)、推理、神經(jīng)計算j后者集成理論、計算和實(shí)驗(yàn)研究的方法,致力于研究感知、理解、思維、感受、決策的腦神經(jīng)信息處?中國相比于歐美國家在交叉學(xué)科上成熟、完整的科研體系,我國的類腦研究發(fā)展時間較晚(2014年左右),但隨著中科院類腦智能研究中心、清華大學(xué)類腦計算研究中心、北京大學(xué)腦科學(xué)與類腦研究中心等一批科研院所的成立,目標(biāo):繪制和模擬動物大腦結(jié)構(gòu)和子結(jié)構(gòu)目標(biāo):繪制和模擬動物大腦結(jié)構(gòu)和子結(jié)構(gòu)基于嚙齒動物(大鼠、蝙蝠)和昆蟲(蜜蜂)的大腦以及海馬和內(nèi)嗅皮層(昆蟲的導(dǎo)航復(fù)合體)形成神經(jīng)元架構(gòu)j幫助研究人員理解、建模和編寫實(shí)際可用的算法j新興的神經(jīng)形態(tài)技術(shù)成熟,如受嗅覺啟發(fā)的應(yīng)用方向:傳感器可以部署在小型自主家用目標(biāo):掌握學(xué)習(xí)和記憶的元素如何使用受生物啟發(fā)的局部學(xué)技術(shù)難點(diǎn)?神經(jīng)科學(xué)與人工智能的融合有待進(jìn)一步突破在人工智能的技術(shù)實(shí)現(xiàn)上,分析師基于四個主要技術(shù)難點(diǎn)進(jìn)行解釋,并結(jié)合學(xué)術(shù)界(日內(nèi)瓦大學(xué))的發(fā)展給出了四類技神經(jīng)網(wǎng)絡(luò)架構(gòu)是類腦研發(fā)的基礎(chǔ)o當(dāng)前遇到的問題是網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、大小和確切性差異很大,尚不清楚網(wǎng)絡(luò)應(yīng)該建多大,以及必須有多少互連才能展示出更好的生物特性o為了更好地進(jìn)行類腦研究,需要更扎實(shí)的理論基礎(chǔ)、計算神經(jīng)科學(xué)的概念改進(jìn)以及更好的大腦運(yùn)作機(jī)制模型o目標(biāo):類腦計算提供有用的技術(shù)望形成一個基于類腦技術(shù)的完整解決方案,具體場景如下:1)基于對人類和動物伸手及抓握的理解,機(jī)器人可以在日常環(huán)境中對物體進(jìn)行定向動作,如抓握和操縱物體的機(jī)械臂,看護(hù)老人和病人,幫助家庭和工廠車間做維護(hù)工作j2)支持機(jī)器人在復(fù)雜的室內(nèi)和室外環(huán)境中靈活移動,在危險.復(fù)雜環(huán)境中執(zhí)行檢查任務(wù)jD人類進(jìn)行基于手勢和注視的基于硬件的類腦計算過程模擬,在類腦器件、芯片和體系結(jié)構(gòu)方面仍面臨重要挑戰(zhàn)o新型納米器件尚存在工藝穩(wěn)定性差、規(guī)?；y度高等問題,類腦器件和材料需要新的技術(shù)突破o此外,類腦系統(tǒng)需要數(shù)以百億的神經(jīng)元協(xié)同工作,而現(xiàn)有類腦芯片硬件資源有限,難以實(shí)現(xiàn)大規(guī)模神經(jīng)元互連集成和神經(jīng)元脈沖信息高效實(shí)時傳輸o如何突破現(xiàn)有計算系統(tǒng)架構(gòu),建立類腦的新型體系結(jié)構(gòu)和計算方式,仍需探索o目標(biāo):類動物腦學(xué)習(xí)成為可能創(chuàng)建人工神經(jīng)元和突觸網(wǎng)絡(luò),允許通過基于預(yù)測模型的強(qiáng)化和自我監(jiān)督學(xué)習(xí)相結(jié)合的自主學(xué)習(xí),由片上的神經(jīng)元網(wǎng)絡(luò)支持o自主系統(tǒng)形成自己的行為,并能夠根據(jù)行為做出大腦的結(jié)構(gòu)與其執(zhí)行的算法密不可分,這對于類腦計算研究有兩方面影響:1)由于算法在神經(jīng)形態(tài)的計算機(jī)網(wǎng)絡(luò)結(jié)構(gòu)中實(shí)現(xiàn),順序編程的思想不適用,需要以一種新的范式進(jìn)行計算j2)架構(gòu)(硬件)的選擇會影響在每個實(shí)例上運(yùn)行的算法范圍o在底層,越接近硅計算,機(jī)器就越靈活且可編程j模擬和物理信息越多,架構(gòu)所固定的算法就越多o神經(jīng)形態(tài)計算的硬件特異性限制了算法的靈活性,因此需要標(biāo)準(zhǔn)化算法的實(shí)現(xiàn)方式o目標(biāo):神經(jīng)形態(tài)計算在邊緣設(shè)備中成為主流目標(biāo):神經(jīng)形態(tài)計算在邊緣設(shè)備中成為主流與感知信號和運(yùn)動控制協(xié)同工作,以及人機(jī)交互和物理世界中的計算,包括大規(guī)模仿真o傳統(tǒng)計算機(jī)將僅用于存儲和處理"老式"數(shù)據(jù)j計算將分布在超邊緣(智能設(shè)備)、邊緣(個人臺式機(jī))和云(服務(wù)器)之間,通過超高速和高性能的離目標(biāo):標(biāo)準(zhǔn)化的基準(zhǔn)測試出現(xiàn)屆時,研究人員能夠在模擬器和標(biāo)準(zhǔn)硬件平臺的使用目標(biāo):多感官處理得到強(qiáng)化集合了觸覺、嗅覺等多感官的智能信號,應(yīng)用可覆蓋:1)可拉伸、智能、大型電子皮膚j2)低功耗和低延遲的3D視覺、運(yùn)動檢測器j嗅覺傳感器和化學(xué)傳感器,用于電場和氣流的傳感器j3)通過增強(qiáng)智能信號處理,有效提取任務(wù)相關(guān)信息目前為止,尚未出現(xiàn)能夠展示類腦計算潛力的"殺手級應(yīng)用",也沒有公認(rèn)的通用標(biāo)準(zhǔn)來衡量該領(lǐng)域或單個設(shè)備的進(jìn)展情況o而通用標(biāo)準(zhǔn)往往是一個產(chǎn)業(yè)實(shí)現(xiàn)規(guī)?；l(fā)展的前提,因此建立基準(zhǔn)測試對于類腦的有序發(fā)展十分重要o對于類腦計算來講,實(shí)時性和低功耗是重要的判斷因素j同時,能夠避免與深度學(xué)習(xí)算法產(chǎn)生競爭o此外,類腦計算的另一個重要特征是進(jìn)行快速、實(shí)時且獨(dú)立的感官處理,而不是依賴基于云的數(shù)據(jù)中心o目標(biāo):基準(zhǔn)測試加速商業(yè)化現(xiàn)實(shí)世界的基準(zhǔn)測試加速商業(yè)化進(jìn)程,對于語音識別等任務(wù),逐漸開始優(yōu)于傳統(tǒng)算法o?目前觀測大腦的手段單一測與調(diào)控技術(shù)觀測信息局部、對腦功能認(rèn)知缺乏、腦調(diào)控與觀測無法同步等問題o建立兼具全腦認(rèn)知與局部反應(yīng)的信息獲取的新型大腦觀測手段和同步調(diào)控技術(shù),仍面臨重要挑戰(zhàn)o根據(jù)國內(nèi)學(xué)者預(yù)測,人腦神經(jīng)網(wǎng)絡(luò)精細(xì)圖譜有望在20年內(nèi)完成o量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算價值篇從產(chǎn)業(yè)落地的角度講,模仿人腦的價值在于解決目前人工智能在信息處理和計算模式上遇到的困境,為實(shí)現(xiàn)通用人工智能奠定基礎(chǔ)o因此,在這個層面,更多是以計算機(jī)科學(xué)為主導(dǎo),著眼于應(yīng)用側(cè)的實(shí)際需求,給到市場一個完整此外,類腦計算除替代市場中的同類解決方案,在行為意圖等檢測方面具備優(yōu)勢,可以使現(xiàn)有終端設(shè)備更加智能o從科研價值看,類腦計算技術(shù)最終是服務(wù)于人類健康,其深層的價值是推進(jìn)腦科學(xué),特別是腦疾病的研究和成果落綜上,產(chǎn)業(yè)側(cè)的價值因其直接作用于產(chǎn)品且服務(wù)對象為終端用戶,分析師將其歸納為直接價值o科研價值的直接體現(xiàn)是在腦科學(xué).醫(yī)學(xué)上的突破,類腦計算則作為一種工具賦能基礎(chǔ)研究j因此,分析師將其歸納為間接價值o根據(jù)業(yè)內(nèi)人士描述,類腦智能的發(fā)展將會經(jīng)歷運(yùn)算智能,感知智能,認(rèn)知智能,自主智能四個階段o最終實(shí)現(xiàn)的自主智能是指具有進(jìn)化能力的自主智能體,即擁有自主學(xué)習(xí)自主進(jìn)化、意識等高層次智能o當(dāng)前類腦智能處于運(yùn)算智能和分析師根據(jù)類腦智能的發(fā)展階段,分別列舉了不同階段中類腦智能所體現(xiàn)的應(yīng)用價值o運(yùn)算智運(yùn)算智能在移動終端設(shè)備中,智能軟件的使用占據(jù)其大部分計算資源,其中涉及大量圖像處理、文本處理、音頻處理等o多數(shù)應(yīng)用程序所需的處理能力要高于手機(jī)目前所具備的o因此,手機(jī)在信息處理中需要通過調(diào)用數(shù)據(jù)中心的處理能力來提供服務(wù)o這種方式存在以下幾個明顯的問題:處理能力容易受到網(wǎng)絡(luò)連接狀態(tài)的限制響應(yīng)速度取決于服務(wù)器的速度云端處理涉及隱私安全問題目前,終端設(shè)備中所使用的芯片可用來處理一些邊緣類A1應(yīng)用,如人臉識別、語音識別等j但對于較大規(guī)模、復(fù)雜的并行任務(wù),芯片的處理能力有限o此外,由于電池的限制,嵌入式設(shè)備所能提供的額外處理能力也有限o而類腦計算芯片憑借其實(shí)時、高效且低功耗的特點(diǎn),能夠在移動設(shè)備中發(fā)揮價值o應(yīng)用場景:?低功耗的常開(alWay5,0n)功能,保證移動設(shè)備和可穿戴設(shè)備長時間處于工作狀態(tài)而不用充電j?低功耗實(shí)時定位與地圖構(gòu)建(SLAM),賦能AR.VR設(shè)備j?快速變化的動態(tài)檢測,突出監(jiān)控場景中目標(biāo)區(qū)域的變化,進(jìn)一步減少分析所需的數(shù)據(jù)量,從而保證物聯(lián)網(wǎng)設(shè)備低維(一維)信息處理:直接在端側(cè)接入傳感器做信息處理,具有實(shí)時性和低功耗的特征o場景:語音識別,心電、腦電和肌電檢測,智慧樓宇中的玻璃破碎檢測代表公司:時識科技,A5Dinity感知感知智能量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算事件驅(qū)動視覺傳感(EVentba5edVi5i0n)目前市面上使用的多為基于幀的傳感技術(shù),傳統(tǒng)相機(jī)每秒拍攝一定數(shù)量的照片,通常為30幀.秒,所記錄的信息逐幀發(fā)送o盡管是相同的靜態(tài)背景,傳感器中的像素都會同步記錄o神經(jīng)擬態(tài)視覺傳感器(也稱事件驅(qū)動視覺傳感器),通過模擬人眼視網(wǎng)膜和大腦工作原理,重新設(shè)計像素,使其僅在動態(tài)場景中記錄,并通過連續(xù)的信息流捕獲信息o傳統(tǒng)基于幀的相機(jī)存在以下三個的問題:?視覺系統(tǒng)需要處理大量無用數(shù)據(jù),產(chǎn)生大量電力浪費(fèi)j?基于幀的成像方法會造成對于場景中移動部分的采樣不足,在某些場景中會因動態(tài)畫面捕捉不到位而產(chǎn)生問題o例如,在自動駕駛的目標(biāo)物檢測中,傳統(tǒng)相機(jī)在較遠(yuǎn)的距離下,可能將等紅綠燈的行人判斷為靜止物,進(jìn)而影響到駕駛決策j?傳統(tǒng)視覺傳感器在實(shí)驗(yàn)室和室外光照強(qiáng)烈兩種環(huán)境下,算法的表現(xiàn)差異非常大,在室外多變的環(huán)境中,算法的相比之下,神經(jīng)擬態(tài)視覺傳感器優(yōu)勢:摒棄靜態(tài)畫面重復(fù)處理以稀疏事件流的形式輸出視覺信號,事件流中不包含靜態(tài)背景中的任何信息o由于僅傳輸像素點(diǎn)的亮度變化不需要用于像素讀取的模數(shù)轉(zhuǎn)換器,從而避免大量冗余數(shù)據(jù)的傳輸o提升算法表現(xiàn)力基于事件驅(qū)動的視覺傳感器具有高動態(tài)范圍和場景的對數(shù)采樣特性,使其計算決策不受外界環(huán)境的影響o同樣是自動駕駛場景,基于事件的視覺傳感器的感知方式,不論在強(qiáng)光還是弱光環(huán)境中都不會發(fā)生變化,因此在高動態(tài)范圍細(xì)微動作捕捉基于事件的傳感器能夠獲取時間信息,意味著在高速動態(tài)的場景中,依舊能夠捕捉到細(xì)微的動作變化o其背后原理為:事件相機(jī)通過檢測像素點(diǎn)處的對比度.亮度變化時發(fā)出信號,且對亮度變化的響應(yīng)速度極快o因此,事件相機(jī)輸出的是在時間上連續(xù)的,以像素為單位的數(shù)據(jù)流,根據(jù)場景的變換相應(yīng)生成和輸出o事件相機(jī)僅記錄動態(tài)信息的特性使其非常適合捕捉細(xì)微的動態(tài)變化,而這恰恰是傳統(tǒng)相機(jī)無法做到的o?成本低針對視覺領(lǐng)域多個物體的識別、分類、跟蹤以及光流相關(guān)的任務(wù),都可以通過類腦處理器來實(shí)現(xiàn),但后者的功耗會比傳統(tǒng)的處理器降低幾百甚至上千倍(毫瓦級功耗),且成本也可以控制在幾美元以內(nèi)o場景:手勢識別,如智能家居和公共場合非接觸顯示器的交互汽車高速避障,如自主打輪系統(tǒng)或者自主避障系統(tǒng)相關(guān)的高速識別工業(yè)視覺,如高速運(yùn)轉(zhuǎn)平臺上的部件實(shí)時識別j安全監(jiān)測等e特點(diǎn):對于視覺來講,大部分時候依靠兩只眼睛感知,感知維度和感知源是有限的o相比之下,觸覺沒有特定的器官專門來感知,觸覺感知遍布在人體表皮,甚至身體內(nèi)部也有觸覺"傳感器"o量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算因此,觸覺涉及多維(接觸覺、壓覺、滑覺、溫濕覺、力矩覺等)和多模塊的協(xié)同感知,通常要考量7,10個物理變量和數(shù)以百計的傳感器模塊o僅模擬人手就需要近百個傳感器模塊才能實(shí)現(xiàn)人手所具備的類似功能o此外,不同于視覺、聽覺的集中式傳感,觸覺的分布式傳感需要多模塊組合的拼接式皮膚傳感器,不同模塊的芯片之間需要形成協(xié)同的分布式傳感網(wǎng)絡(luò)架構(gòu),而SNN算法具有異步事件驅(qū)動的特點(diǎn),非常適合處理分布式觸覺網(wǎng)絡(luò)的異步觸覺事件o因此,基于SNN的分布式類腦觸覺網(wǎng)絡(luò)架構(gòu)的支撐算法及硬件技術(shù),是觸覺傳感器走向產(chǎn)業(yè)化的關(guān)對于視覺和聽覺來講,信息傳導(dǎo)的過程為:接受到信號,首先通知大腦做計算,再進(jìn)行決策控制j觸覺感知有一部分信號和視覺聽覺是一樣的,但大部分觸覺的感知和執(zhí)行需要同步完成,決策過程則在傳感器前端通過神經(jīng)元完成o其難點(diǎn)在于需要觸覺傳感單元具備感知、計算和執(zhí)行的完整能力,并且有快速的前端決策能力o典型應(yīng)用:機(jī)器人靈巧手代表公司:他山科技神經(jīng)形態(tài)機(jī)器人遵循三個主要階段:?使用事件驅(qū)動傳感器開發(fā)機(jī)器人視覺感知,將感知與控制聯(lián)系起來做系統(tǒng)驗(yàn)證和SNN電機(jī)控制j?研究人員開始研發(fā)基于SNN的感知、認(rèn)知和行為模型,嘗試在神經(jīng)形態(tài)平臺上實(shí)現(xiàn)這些模型j?協(xié)調(diào)DNN與SNN,并直接開發(fā)用于運(yùn)動控制的脈沖神經(jīng)網(wǎng)絡(luò)模型,將來能夠在神經(jīng)形態(tài)硬件上實(shí)現(xiàn)o自適應(yīng)機(jī)器人是很多類腦公司想要實(shí)現(xiàn)的長期目標(biāo),但目前距離商業(yè)化較遠(yuǎn),主要由于其對于硬件的極高要求,如需要多模態(tài)感知融合j此外還涉及大量機(jī)械原理和材料上的創(chuàng)新o由此可見,單靠類腦公司目前的技術(shù)無法完成整個自適應(yīng)機(jī)器人研發(fā)o分析師認(rèn)為,未來類腦公司更有可能作為解決方案提供商,在計算或感知部分為0EM提供更具實(shí)時性和低功耗的解決方案,加速自主智能機(jī)器人的規(guī)?；瘧?yīng)用:工業(yè)機(jī)器人、服務(wù)機(jī)器人、特種機(jī)器人等各類智能機(jī)器人領(lǐng)域困境腦科學(xué)領(lǐng)域的研究,經(jīng)常會使用動物進(jìn)行實(shí)體實(shí)驗(yàn),單純通過醫(yī)學(xué)途徑去了解大腦中的神經(jīng)元、神經(jīng)脈沖等功能結(jié)構(gòu)和信息傳遞機(jī)制等o盡管結(jié)果直觀,但也存在著弊端:倫理層面上,需要平衡動物保護(hù)與動物實(shí)驗(yàn)之間的關(guān)系j技術(shù)層面上,由于動物個體的差異性等因素,存在實(shí)驗(yàn)成現(xiàn)借助由類腦計算芯片構(gòu)建的類腦服務(wù)器以及類腦計算集群,未來有望模擬十億、百億甚至千億級神經(jīng)元規(guī)模的生物通過類腦計算實(shí)現(xiàn)的大規(guī)模腦仿真,能夠大幅降低腦科學(xué)領(lǐng)域?qū)嶒?yàn)成本,提升大規(guī)模生物腦仿真的速度,同時其可應(yīng)用領(lǐng)域:腦機(jī)接口,腦疾病病理探究,藥物測試量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算產(chǎn)業(yè)篇在產(chǎn)業(yè)側(cè),我們發(fā)現(xiàn)類腦相關(guān)公司的核心是找到可落地的技術(shù),而可落地技術(shù)的首要目標(biāo)是解決應(yīng)用場景中所面臨的緊迫問題,同時類腦的價值又能夠通過賦能應(yīng)用得以充分展現(xiàn)o具體來講,類腦企業(yè)首先考慮的是模仿哪些大腦功能可以在應(yīng)用側(cè)給出優(yōu)于當(dāng)前產(chǎn)品性能且研發(fā)成本可控的優(yōu)勢點(diǎn)o首先借鑒大腦的部分需要是腦科學(xué)研究中已經(jīng)明確的發(fā)現(xiàn),且經(jīng)過實(shí)驗(yàn)驗(yàn)證j其次利用這項(xiàng)技術(shù)需要在工業(yè)界證明而在學(xué)術(shù)界,類腦的研究空間非常大,涉及神經(jīng)科學(xué)、計算機(jī)科學(xué)、醫(yī)學(xué)等一系列交叉學(xué)科融合j主要通過與政府或大型企業(yè)主導(dǎo)的類腦項(xiàng)目合作,重點(diǎn)聚焦搭建大規(guī)模腦仿真平臺o行業(yè)現(xiàn)狀目前,類腦智能的發(fā)展處在商業(yè)化前期o根據(jù)我們的調(diào)研,在前期階段,商業(yè)化公司瞄準(zhǔn)的均是端側(cè).邊緣類市場,其中主要有兩個方向:感知類芯片和計算類芯片o整體來看,做類腦計算(處理器)的公司要多于類腦感知(傳感器)的公司,國內(nèi)專注類腦研究的公司和創(chuàng)新轉(zhuǎn)化平臺3,5家左右,其中靈汐科技已在去年實(shí)現(xiàn)量產(chǎn),時識科技也將在今年年底或明年實(shí)現(xiàn)量產(chǎn)出貨o海外的類腦公司集中在歐洲和美國,公司數(shù)量略多于中國o在商業(yè)化進(jìn)程上,國內(nèi)外都處在探索階段o從融資輪次看,類腦公司集中在A輪前后o值得注意的是,BrainChiD是類腦領(lǐng)域唯一的上市公司,其商業(yè)化發(fā)展依舊伴隨較強(qiáng)的不確定性o其余商業(yè)化公司目前以產(chǎn)品銷售作為主要盈利來源,產(chǎn)品包含硬件和配套軟件工具oBrainChiD股價長期低迷,側(cè)面反應(yīng)出類腦的商業(yè)價值在二級市場上受到爭議,當(dāng)下最迫切的是在市場中證明自身BrainChiD作為一家初步實(shí)現(xiàn)量產(chǎn)的公司,在商業(yè)化道路上并不順利,外界對于公司的擔(dān)憂主要在于產(chǎn)品是否能夠規(guī)?；剡M(jìn)入市場,從而在營收方面有質(zhì)的飛躍o據(jù)外媒報道,BrainChiD一直難以有可觀的營業(yè)收入(BrainChiD去年?duì)I收僅160萬美元),這可能與BrainChiD的產(chǎn)品在性能上并沒有呈現(xiàn)出明顯優(yōu)勢有關(guān)o據(jù)悉,BrainChiD的市值為12億美元,去年研發(fā)費(fèi)用為910萬美元(較前一年上漲43%),占公司市值的1-2%j2021財年公司虧損2100萬美元o在生態(tài)建設(shè)方面,業(yè)內(nèi)的主力是大型半導(dǎo)體企業(yè)o英特爾在去年發(fā)布第二代類腦計算芯片L0ihi2,以及與之配套的英特爾目前并不急于商業(yè)化,更多是面向研究機(jī)構(gòu)建立開放平臺o例如,英特爾與高校合作,以類腦研究人員為主要目標(biāo)群體建立生態(tài),提供硬件和軟件框架(有資料顯示硬件和軟件均免費(fèi)),旨在將研究人員納入到生態(tài)分布商業(yè)化伙伴o其中,我們觀察到國內(nèi)的類腦公司選擇的多為國產(chǎn)芯片制造商o分析師將中游劃分為類腦研發(fā)機(jī)構(gòu)與商業(yè)化公司j下游則是類腦當(dāng)前已經(jīng)展開合作與布局的應(yīng)用領(lǐng)域o新型憶阻器研發(fā) 進(jìn)行技術(shù)融合)傳新型憶阻器研發(fā) 進(jìn)行技術(shù)融合)傳統(tǒng)芯片制造商商業(yè)化商業(yè)化伙伴其他:類腦公司之間相互合作研究機(jī)構(gòu)研究機(jī)構(gòu)類類腦感知公司大型半導(dǎo)體公司創(chuàng)業(yè)公司大型半導(dǎo)體公司類類腦計算公司創(chuàng)業(yè)公司創(chuàng)業(yè)公司智能安防康無人機(jī)汽車電子智能安防康無人機(jī)汽車電子智智能家居.家電量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算玩家分析公司成立時間融資輪次核心技術(shù).研發(fā)優(yōu)勢產(chǎn)品.服務(wù)應(yīng)用場景合作方靈汐科技2018采用存算一體、眾核并行的架構(gòu),支持深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)、脈沖神經(jīng)網(wǎng)絡(luò)和大規(guī)模腦仿真領(lǐng)啟KA200(類腦芯片處理器):眾核并行、存算一體HM100(類腦計算模組):一款基于KA200開發(fā)的高度集成化模組,適用于嵌入式系統(tǒng)和邊緣系統(tǒng)HP300(類腦計算加速卡):為云端.邊緣端的推理提供算力支撐,搭載3顆類腦芯片領(lǐng)啟KA200類腦計算服務(wù)器(SL800)Lyn0S:自主研發(fā)的端云一體類腦軟件開發(fā)平臺,包括軟件工具鏈、驅(qū)動、SDK、集群支持軟件、debUg工具箱等腦仿真和腦科學(xué)j類腦計算一一空時信息處理j深度學(xué)習(xí)網(wǎng)絡(luò)處理新氦類腦科技、東方中科、鵬城實(shí)驗(yàn)時識科技2017PreB感算一體,采用DYNAP,CNN類腦處理器內(nèi)核,集成33萬脈沖神經(jīng)元,神經(jīng)元集成度提升30,40倍,支持復(fù)雜深度脈沖神經(jīng)網(wǎng)絡(luò),系統(tǒng)感算功耗低于1mW"感算一體"動態(tài)視覺智能S0CSDeCk:基于異步邏輯范式的大規(guī)模脈沖卷積神經(jīng)網(wǎng)絡(luò) (5CNN)芯片架構(gòu)DYNAP:動態(tài)視覺專用處理器XYL0:基于脈沖神經(jīng)網(wǎng)絡(luò)、超低功耗(~0-1mW)、alWay5,0n低維度信號專用A1處理器物聯(lián)網(wǎng)設(shè)備、邊緣計算設(shè)備、生理信號監(jiān)測、智能玩具、智能家具設(shè)備、智能駕艙、自動駕駛、工業(yè)設(shè)備異常檢測、機(jī)器人、無人機(jī)、可穿戴設(shè)備、智能Pr0Dhe5ee、索尼、寶馬、能斯達(dá)電子、鴻雁、中電海他山科技2017re分布式類腦觸感芯片架構(gòu)j分區(qū)分級的脈沖神經(jīng)網(wǎng)絡(luò)算法架構(gòu)分布式類觸感芯片:基于SNN的數(shù)?；旌螦1觸感芯片以及產(chǎn)業(yè)化應(yīng)用解決方案智能座艙、自動駕駛的人機(jī)交互j3C家電j機(jī)器人電子皮膚奔馳、寶馬、方太、特斯聯(lián)、好孩芯盟科技2018A輪H1T0C技術(shù):混合鍵合集成電路制造工藝超高性能異構(gòu)類腦A1芯片類人感知與決策應(yīng)用場景愛普科技優(yōu)智創(chuàng)芯2021天使+非完美信息環(huán)境下的普適性場景提取算法j基于因果關(guān)系的脈沖神經(jīng)網(wǎng)絡(luò)"結(jié)構(gòu)生長算法"j非完美信息決策的強(qiáng)化學(xué)習(xí)算法框架思辨1號通用類腦推理芯片:8核"友替"處理器+A1加速+CLAS因果學(xué)習(xí)算法,功耗不高于2瓦,同時可計算100萬個神經(jīng)元"硅腦"全自主無人系統(tǒng)平臺:內(nèi)嵌自主研發(fā)的CLAS因果學(xué)習(xí)算法系統(tǒng)和類腦芯片,利用小樣本識別算法、全自主實(shí)時路徑規(guī)劃算法和全自主決策算法,實(shí)現(xiàn)環(huán)境感知、環(huán)境認(rèn)知、類腦決策等功能,目前推出全自主無人飛行類腦計算盒子K50.K51汽車電子j工業(yè)控制j無人駕駛、無人機(jī)、機(jī)器人j流馬銳馳、鯤鵬智匯中科類腦2017A+輪小樣本學(xué)習(xí)、電力3D場景仿真、基于學(xué)習(xí)的分割算法等類腦智能嗅覺傳感器:由基于MEMS技術(shù)的8種微型傳感器組合而成類腦視頻分析主機(jī):集成電力場景的類腦識別算法,提供A1分析服務(wù)變電.輸電運(yùn)維.量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算公司成立時間融資輪次核心技術(shù).研發(fā)優(yōu)勢產(chǎn)品.服務(wù)應(yīng)用場景合作方新氦類腦智能7A輪脈沖神經(jīng)網(wǎng)絡(luò)算法研發(fā)非馮諾依曼芯片架構(gòu)及1P脈沖神經(jīng)網(wǎng)絡(luò)芯片架構(gòu)及1P技術(shù)轉(zhuǎn)化服務(wù):前沿1P庫資源、產(chǎn)業(yè)鏈資源壁仞科技、默沙東靈譯腦科9.擁有原創(chuàng)性的腦科學(xué)基礎(chǔ)理論、大腦破譯技術(shù)及研究平臺與實(shí)驗(yàn)基地類腦芯片系統(tǒng):打造從類視網(wǎng)膜到類腦芯片的類腦軟硬件融合系統(tǒng)大腦破譯技術(shù):深入研究大腦神經(jīng)網(wǎng)絡(luò)與脈沖編碼機(jī)理,為類腦認(rèn)知與意識提供統(tǒng)一的理論框架自動駕駛.深思創(chuàng)芯7A輪稀疏量化共享技術(shù):利用參數(shù)的稀疏性進(jìn)行量化和共享處理DeeDBrainSS3301:神經(jīng)形態(tài)芯片NeUr0idXSS3201:異構(gòu)神經(jīng)形態(tài)芯片NeUr0idXSS3101:多核神經(jīng)形態(tài)芯片,仿照人腦神經(jīng)系統(tǒng)的功能與拓?fù)湓O(shè)計NeUr0idXSS3100:單核神經(jīng)形態(tài)芯片,仿照人腦神經(jīng)元設(shè)計的功能設(shè)計多模態(tài)感知與信息處理j構(gòu)建類腦計算系統(tǒng)j人腦研究.深聰智能8A輪開發(fā)了專門為語音功能定制的智A片第三代芯片將是1bit類腦芯片、存算一體化智能家居智能辦公智能車載美的公司成立時間融資技術(shù)特點(diǎn)產(chǎn)品.服務(wù)應(yīng)用場景合作8種子輪神經(jīng)形態(tài)模式識別:專有數(shù)模混合架構(gòu)處理器:大規(guī)模并行的神經(jīng)突觸陣列、脈沖編碼和解碼器語音識別生命體征監(jiān)測消費(fèi).物聯(lián)網(wǎng).BrainChiD4澳股上市分布式計算:每個NPU都有專用計算和內(nèi)存,減少數(shù)據(jù)移動基于事件處理:NPU基于事件驅(qū)動基于事件的通信:通過me5h網(wǎng)絡(luò)發(fā)送事件,無需CPU介入基于事件的學(xué)習(xí):片上學(xué)習(xí)算法Akida(神經(jīng)擬態(tài)處理器):具有同時處理多傳感器模式、片上一次性學(xué)習(xí)、基于事件的學(xué)習(xí)、云獨(dú)立等功能MetaTF:用于神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練和測試,支持在BrainChiD的Akida上開發(fā)智能汽車智能家居工業(yè)物聯(lián)網(wǎng)奔馳.上市公司?支持橫向擴(kuò)展和縱向擴(kuò)展?端到端立體視覺系統(tǒng),使用脈神經(jīng)沖網(wǎng)絡(luò)計算……TrUeN0rth:采用三星28nm技術(shù),芯片具有100萬個神經(jīng)元和2-56億個突觸手勢識別j情緒識別j光流j圖像分類和目標(biāo)跟蹤j實(shí)時時空感覺信息處理……美國陸軍研究實(shí)驗(yàn)室、美國空軍研究實(shí)驗(yàn)室、勞倫斯利弗莫爾國家實(shí)驗(yàn)室、三星量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算公司成立時間融資技術(shù)特點(diǎn)產(chǎn)品.服務(wù)應(yīng)用場景合作英特爾.上市公司?可編程性?可通過深度學(xué)習(xí)進(jìn)行訓(xùn)練的新型神經(jīng)網(wǎng)絡(luò)?與現(xiàn)實(shí)世界的機(jī)器人系統(tǒng)、傳統(tǒng)處理器和新型傳感器無縫集成……L0ihi2(第二代神經(jīng)形態(tài)研究芯片):架構(gòu)能夠支持新類別的神經(jīng)啟發(fā)算法和應(yīng)用程序,同時提供高達(dá)10倍的處理速度,高達(dá)15倍的資源密度LaVa軟件框架:滿足了神經(jīng)擬態(tài)研究社區(qū)對通用軟件框架的需求oLaVa能夠在跨越傳統(tǒng)和神經(jīng)擬態(tài)處理器的異構(gòu)架構(gòu)上無縫運(yùn)行機(jī)械臂神經(jīng)形態(tài)皮膚嗅覺感知系統(tǒng)首批企業(yè)成員:埃森哲、空客、通用電氣、日立2020年新加入:聯(lián)想、羅技、奔馳、Pr0Dhe5eeGrA1MatterLab52016A+輪高精度(16位浮點(diǎn))處理以提供高質(zhì)量內(nèi)容j動態(tài)數(shù)據(jù)流以利用數(shù)據(jù)的稀疏性j神經(jīng)形態(tài)設(shè)計思路以提高效率j存內(nèi)計算以降低功耗和延遲NeUr0nFl0W:稀疏處理j高精度數(shù)據(jù)流架構(gòu),可實(shí)現(xiàn)高效的細(xì)顆粒度并行計算GrA1V1P:一種S0C,集成了神經(jīng)元GraiFl0WSDK:兼容常用的ML框架、Ten50rFl0W和PyT0rCh,以實(shí)現(xiàn)自定義模型j同時提供預(yù)訓(xùn)練模型的數(shù)據(jù)庫工業(yè)機(jī)器人無人機(jī).PRPHESEE2014基于事件的動態(tài)視覺信息采集METAV1S10N視覺傳感器:第四代動態(tài)視覺傳感器由Pr0Dhe5ee與索尼合作開發(fā),結(jié)合索尼的CM0S圖像傳感器技術(shù)與Pr0Dhe5ee獨(dú)特的基于事件的MetaVi5i0nλ傳感技術(shù)METAV1S10N智能套件:包含95種算法、67個代碼示例和11個即用型應(yīng)用程序j開源軟件充分挖掘硬件潛力,體現(xiàn)性能優(yōu)勢移動終端AR.VR設(shè)備機(jī)器人無人機(jī)智能座艙智能駕駛智能家居工業(yè)物聯(lián)網(wǎng)S0NY、1ntel、時識BrainChiD、iCatCh……GeneralVi5i0n1987.NeUr0Mem1P:是一種認(rèn)知記憶架構(gòu),可對輸入模式做出反應(yīng),并且具備仿腦特性NM500神經(jīng)形態(tài)芯片:每個神經(jīng)元都與邏輯硬件連接以實(shí)現(xiàn)應(yīng)用程序NeUr0Pi:用于評估NM500上的應(yīng)用程序NeDe5Edge:基于Ra5DberryPi的人工智能開發(fā)平臺,可以在不需要網(wǎng)絡(luò)環(huán)境的設(shè)備上進(jìn)行實(shí)時訓(xùn)練和推斷工廠監(jiān)控物體識別缺陷檢測MaChineryA5Dinity2015A輪對Anal0gML進(jìn)行編程:允許工程師在anal0gML內(nèi)核上構(gòu)建、編譯和加載特定于應(yīng)用程序的模擬機(jī)器學(xué)習(xí)模型oRAMP:全球首個可編程模擬神經(jīng)形態(tài)處理器AML100:完全在模擬域內(nèi)運(yùn)行的微型機(jī)器學(xué)習(xí)(ML)解決方案AML評估套件端到端硬件.軟件套件,用于評估AML100的功率和檢測精度聲學(xué)事件檢測套件(EVK1):適用于電池供電的智能家居設(shè)備語音檢測聲學(xué)事件檢測震動監(jiān)測意法半導(dǎo)體、英飛凌量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算公司成立時間融資技術(shù)特點(diǎn)產(chǎn)品應(yīng)用場景合作ADDliedBrain2014股權(quán)融資Neng0:神經(jīng)形態(tài)編譯器,用于構(gòu)建和模擬用于人工智能、機(jī)器人和神經(jīng)科學(xué)用途的大規(guī)模神經(jīng)模型LegendreMem0ryUnit(LMU):專有循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu),可實(shí)現(xiàn)對時變信號更低功耗和更準(zhǔn)確的處理邊緣時間序列處理器(TSP):在邊緣側(cè)處理時間序列數(shù)據(jù)Neng0Edge:使用Legendre內(nèi)存單元,提供可證明的時間序列數(shù)據(jù)o此外,Neng0Edge使用一種稱為硬件感知訓(xùn)練的技術(shù)來微調(diào)模型以適應(yīng)不同的邊緣硬件平臺語音識別、自然語言理解j異常檢測j模式識別j機(jī)器磨損檢測英特爾、應(yīng)用趨勢根據(jù)對現(xiàn)有玩家的分析,我們認(rèn)為類腦解決方案首先從低維度信息處理和高速視覺處理開始,主要面向端側(cè)可穿戴在此基礎(chǔ)上,將加入在復(fù)雜環(huán)境中的實(shí)時決策能力,對應(yīng)場景為無人機(jī)和自動駕駛o隨著類腦技術(shù)(大規(guī)模并行計算、自主學(xué)習(xí)等)和類腦產(chǎn)業(yè)的成熟,在更長的維度上,類腦的應(yīng)用場景將覆蓋數(shù)據(jù)中心以及自主機(jī)器人o此外,類腦芯片由于其低功耗的特征,非常適合人體植入(可植入式疾病治療)、腦機(jī)接口等應(yīng)腦機(jī)接口腦機(jī)接口玩家分類目前,類腦計算領(lǐng)域的競爭主要集中在神經(jīng)形態(tài)計算系統(tǒng)及軟件框架的開發(fā)上o根據(jù)我們的調(diào)研,同時具備神經(jīng)形態(tài)硬件和軟件開發(fā)能力的公司.機(jī)構(gòu)主要有三類:第一類:由政府組織的"腦計劃"項(xiàng)目案例:歐盟的HBP中包含神經(jīng)形態(tài)硬件以及軟件工具,這類項(xiàng)目的目標(biāo)群要研究學(xué)者和開發(fā)人員o量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算第二類:大型半導(dǎo)體公司案例:英特爾同時具備開發(fā)硬件和軟件的能力,并能夠基于此建立起自己的神經(jīng)形態(tài)研究社區(qū)1NRCo1-加速研究:借助英特爾的神經(jīng)擬態(tài)計算系統(tǒng),1NRC成員擁有開發(fā)和測試概念驗(yàn)證的工具,以協(xié)作推進(jìn)神經(jīng)擬態(tài)計NRC3-開放式基準(zhǔn)測試:隨著神經(jīng)形態(tài)計算向商業(yè)化方向發(fā)展,英特爾1NRC致力于設(shè)定基準(zhǔn),以開放、協(xié)作的方式衡量第三類:類腦領(lǐng)域的頭部創(chuàng)業(yè)公司案例:時識科技、Pr0Dhe5eeo該類企業(yè)都是各自細(xì)分領(lǐng)域的頭部玩家,通過硬件+軟件的模式,且部分公司對軟件部分進(jìn)行開源及免費(fèi)下載,以此來吸引細(xì)分領(lǐng)域的開發(fā)者和研究人員o當(dāng)用戶習(xí)慣和用戶基數(shù)培養(yǎng)起后,便能以此玩家特征據(jù)業(yè)內(nèi)人士表示,類腦智能目前正處在從運(yùn)算智能到感知智能的階段o反應(yīng)在市場上的表現(xiàn)為,類腦領(lǐng)域的創(chuàng)業(yè)公司多數(shù)在做與感知相關(guān)的落地產(chǎn)品,如動態(tài)視覺傳感器和觸覺傳感器o在處理器方面,創(chuàng)業(yè)公司多數(shù)選擇做基于動整體來看,神經(jīng)形態(tài)視覺傳感器(基于事件驅(qū)動的視覺傳感器)和神經(jīng)形態(tài)處理器可以很好地形成互補(bǔ)o因此,這兩類企業(yè)目前可以形成良好的合作關(guān)系,如時識科技與Pr0Dhe5eeo(時識科技的處理器是專門為大多數(shù)基于事件的在觸覺傳感器領(lǐng)域,國內(nèi)的他山科技基于SNN做分布式類腦觸感芯片j國外新加坡國立大學(xué)團(tuán)隊(duì)利用英特爾的L0ihi國內(nèi)外對比按照地域分布,類腦智能公司主要分布在北美、歐洲及中國三大地區(qū)o其中,歐洲和美國的類腦玩家有兩類,一類是以大型公司或政府大型項(xiàng)目主導(dǎo)的類腦硬件設(shè)備提供商(包含了配套軟件),以研究和建立生態(tài)為首要目的j另一類是前文所述的創(chuàng)業(yè)型公司,以商業(yè)化為首要目的o在中國,未出現(xiàn)大型公司主導(dǎo)類腦計算研究的情況,但靈汐科技在戰(zhàn)略目標(biāo)上與英特爾、SDiNNaker(ARM架構(gòu))一致,希望成為新一代算力基礎(chǔ)設(shè)施提供商o不同于國外的是,靈汐科技成立于2018年,在成立年限上屬于創(chuàng)業(yè)公司范疇,但其研發(fā)早在2013年清華大學(xué)成立類腦研究中心時便開始o(jì)其余的類腦公司則與國外的類腦創(chuàng)業(yè)公司在技潛在商業(yè)化路徑分析師基于目前市場上正在嘗試或未來打算商業(yè)化的產(chǎn)品和解決方案,總結(jié)出兩種商業(yè)化方向:基于事件驅(qū)動特性的產(chǎn)品(傳感類)量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算利用事件驅(qū)動特性做技術(shù)開發(fā)的主要是創(chuàng)業(yè)公司,分析師認(rèn)為基于事件驅(qū)動的產(chǎn)品最有可能率先實(shí)現(xiàn)商業(yè)化落地o一方面因?yàn)槭录?qū)動特性能夠解決A1細(xì)分市場當(dāng)前面臨的迫切問題一一能耗高j另一方面,事件驅(qū)動的技術(shù)成熟度更高,已有公司開發(fā)出完整的解決方案o?挑戰(zhàn)應(yīng)用場景局限:在復(fù)雜場景中還存在工程問題,如完善的硬件架構(gòu)等o?如何解決要想充分發(fā)揮類腦的優(yōu)勢,要通過類腦芯片來支撐算法,所以需要去實(shí)現(xiàn)一個可硬件友好的算法一一從應(yīng)用出發(fā),件的適配度o對于創(chuàng)業(yè)公司來講,在最終產(chǎn)品里,不僅需要將類腦的優(yōu)勢發(fā)揮出來,更重要的是將類腦技術(shù)與其他技術(shù)進(jìn)行融合,基于此,我們發(fā)現(xiàn)目前市面上的頭部玩家均提供軟件+硬件的全棧式解決方案,包括可滿足特定應(yīng)用需求的定制硬件和軟件配置o此外,軟件部分能夠兼容目前的編程語言o例如,時識科技的Samna,核心邏輯全部為C++編寫,對于創(chuàng)業(yè)公司來講,短期內(nèi)做出成熟硬件的難度非常大,因此有公司選擇與面向同類市場的傳統(tǒng)大型企業(yè)合作開發(fā)硬件產(chǎn)品,如Pr0Dhe5ee與索尼合作開發(fā)的第四代視覺傳感器o這樣以來,既保證了產(chǎn)品的可靠性,又能夠與業(yè)內(nèi)大規(guī)模并行計算硬件平臺(計算類)?目標(biāo)用少量甚至單個電子器件模仿單個神經(jīng)元的功能,將數(shù)量巨大的電子"神經(jīng)元"以類腦的方式形成大規(guī)模并行處理?挑戰(zhàn)大規(guī)模并行計算涉及電路層面的重新設(shè)計,以及新型器件的研發(fā)o電路設(shè)計中,需要實(shí)現(xiàn)存算一體架構(gòu)設(shè)計j器件層面,更優(yōu)的選擇是憶阻器(因其更符合生物特性),而憶阻器目前尚未達(dá)到商用標(biāo)準(zhǔn),仍處在攻克技術(shù)難題的階段,如解決材料不穩(wěn)定的問題o?如何解決在底層的基礎(chǔ)研究上,目前全世界都在試圖對大腦運(yùn)作機(jī)理做深入還原o在腦科學(xué)的基礎(chǔ)研究中,主要由各國政府根據(jù)我們的調(diào)研,歐盟政府發(fā)起的HBP已將歐洲最大的兩個具備大規(guī)模計算能力的硬件平臺一一SDiNNaker和BrainSCale5,納入到類腦研究實(shí)驗(yàn)室中,并以此建立起類腦的研究生態(tài),鼓勵學(xué)者和研究機(jī)構(gòu)基于兩大硬件平臺以及其搭建的軟件平臺來做類腦相關(guān)開發(fā)o企業(yè)層面,英特爾的L0ihi和1BM的TrUeN0rth也主要圍繞大規(guī)模計算平存算一體架構(gòu)目前大型半導(dǎo)體廠商都有所布局,如臺積電、三星o初創(chuàng)企業(yè)中,國內(nèi)外也都有實(shí)現(xiàn)量產(chǎn)的公司o基于存算一體架構(gòu)的芯片發(fā)展成熟后,能夠進(jìn)一步推動類腦計算的發(fā)展oMD東芝、富士通、夏普,三星、SK海力士,德州儀器(T1)、華邦電子等o國內(nèi)憶阻器的探索目前主要集中于理論層面和計算機(jī)仿真,主要研究機(jī)構(gòu)有清華大學(xué)、華中科技大學(xué)、中科院微電子所等o商業(yè)化阻礙?對于創(chuàng)業(yè)公司客戶替換成本高量子位硬科技深度產(chǎn)業(yè)報告一一類腦計算.神經(jīng)形態(tài)計算芯片行業(yè)的發(fā)展是圍繞產(chǎn)品建立龐大生態(tài)的過程,努力將需求方都匯聚到自身生態(tài)中,在生態(tài)內(nèi)進(jìn)行產(chǎn)品的不斷迭代o對于芯片領(lǐng)域的客戶,一旦對某個生態(tài)形成依賴,其他廠家想要做替代的成本.難度將會非常高(僅從技術(shù)和市場角度出發(fā))o類腦在產(chǎn)品化過程中,由于其底層邏輯(高度仿腦)與現(xiàn)有計算機(jī)的邏輯存在根本差異,導(dǎo)致其融類腦的商業(yè)化依靠多領(lǐng)域的創(chuàng)新對于類腦芯片公司來講,類腦的價值能夠充分發(fā)揮,建立在多項(xiàng)基礎(chǔ)科學(xué)的突破和交叉融合之上,如新型器件需要材料的創(chuàng)新,算法的有效性建立在神經(jīng)科學(xué)的突破上o而初創(chuàng)公司缺乏相應(yīng)的資源和資金進(jìn)行多領(lǐng)域的交叉融合o對于大型半導(dǎo)體公司與主營業(yè)務(wù)沖突(部分)大型企業(yè)如英特爾的主營業(yè)務(wù)為CPU,類腦計算平臺從功能的角度看,一定程度與其現(xiàn)有核心業(yè)務(wù)之間存在競爭關(guān)系o大型企業(yè)在創(chuàng)新技術(shù)的戰(zhàn)略上,往往會采用提前布局研發(fā),但不急于商業(yè)轉(zhuǎn)化,等到前沿技術(shù)在市場上得到充分驗(yàn)證后,再進(jìn)行商業(yè)化o研發(fā)支持來源不同大型企業(yè)不選擇進(jìn)行商業(yè)化也可能與研發(fā)這項(xiàng)技術(shù)的目的有關(guān)o典型案例是1BM的TrUeN0rth項(xiàng)目,其主要服務(wù)于美國軍方部門,研發(fā)投入來自政府資金,而不是靠商業(yè)化盈利o在這種情況下其研發(fā)資金有充足保障,在投資方撤資前,這項(xiàng)技術(shù)通常不會將商業(yè)化納入考慮范圍o行業(yè)關(guān)鍵驅(qū)動因素?fù)?jù)我們的調(diào)研,目前類腦領(lǐng)域的發(fā)展主要有