特斯拉AI日自動(dòng)駕駛Dojo高性能計(jì)算人形機(jī)器人

1、1資料來源：Tesla AI Day資料來源：Tesla AI Day特斯拉自動(dòng)駕駛系統(tǒng)采用視覺方案特斯拉車輛上配備8個(gè)攝像頭特斯拉自動(dòng)駕駛解決方案：以視覺為主特斯拉在最初設(shè)計(jì)汽車視覺方案時(shí)，即是按照眼睛感知生物視覺的方式進(jìn)行建模。特斯拉依托8個(gè)攝像頭，積極打造AI視覺組件。每個(gè)攝像頭所采集的信號(hào)均被輸入到“3維矢量空間”中。特斯拉的AI視覺組建HydraNets具有多任務(wù)學(xué)習(xí)能力。2視覺方案：不同攝像頭采集信息的分辨率、用途均有所不同資料來源：realspacsTesla 的相機(jī)從每個(gè)相機(jī)獲取原始輸入并創(chuàng)建各種分辨率，用于各種功能和目的。這些信號(hào)都被輸入自動(dòng)駕駛的神經(jīng)網(wǎng)絡(luò)中，以生成對(duì)自動(dòng)駕駛

2、套件有用的附加信息。特斯拉攝像頭信號(hào)處理過程資料來源：騰訊科技特斯拉依托視覺方案可同時(shí)識(shí)別多種物體特斯拉視覺方案面臨多種任務(wù)并行3視覺方案：多任務(wù)并行處理是重要挑戰(zhàn)之一以左下圖的常用場(chǎng)景為例，Autopilot 需要同時(shí)處理 100個(gè)不同類別的任務(wù)：不同物體對(duì)其進(jìn)行不同的標(biāo)記；為了并行處理100多個(gè)并行任務(wù)，特斯拉采用了“類 ResNet-50”的骨干網(wǎng)絡(luò)。特斯拉視覺方案：依托HydraNets處理多任務(wù)線資料來源：Tesla AI DAY特斯拉HydraNets架構(gòu)及工作原理4特斯拉的“HydraNets”，它具有多任務(wù)學(xué)習(xí)能力。特斯拉從其主干中獲取數(shù)據(jù)并將有用的信息提供給不同的任務(wù)（即：物

3、體檢測(cè)、交通燈和 車道預(yù)測(cè)），而不會(huì)影響其他所有任務(wù)，否則會(huì)浪費(fèi)處理。學(xué)習(xí)從哪實(shí)現(xiàn)端到端資料來源：Tesla AI DAY特征隊(duì)列恢復(fù)為普通虛擬攝像頭何時(shí)推送隊(duì)列5特斯拉視覺方案：進(jìn)一步優(yōu)化視覺神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)為了解決過去幾年在使用前一個(gè)套件時(shí)遇到的幾個(gè)問題，特斯拉從頭開始重新設(shè)計(jì)了他們的神經(jīng)網(wǎng) 絡(luò)學(xué)習(xí)，并利用多頭路線、相機(jī)校準(zhǔn)、緩存、隊(duì)列和優(yōu)化來簡化所有任務(wù)。資料來源：特斯拉AI Day資料來源：快科技咨詢特斯拉目前可支持實(shí)時(shí)生成地圖特斯拉依托攝像頭繪制地圖數(shù)據(jù)特斯拉純視覺方案：可實(shí)時(shí)生成地圖與行業(yè)中其他競爭對(duì)手相比，特斯拉感知方案采用純視覺方案，并未搭載高精度地圖：盡管未搭載高精地圖，特斯拉車

4、輛可依托攝像頭感知、繪制周邊的路況。同時(shí)，重新設(shè)計(jì)迭代了他們的神經(jīng)網(wǎng)絡(luò)，從頭開始學(xué)習(xí)，并利用了多頭路徑。具體 包括攝像機(jī)校準(zhǔn)、緩存、隊(duì)列和優(yōu)化以簡化所有任務(wù)。這使得特斯拉可以在行駛時(shí) 有效地實(shí)時(shí)繪制地圖。通過道路上行駛車輛的攝像頭采集相關(guān)信息，并傳到“高精度地圖”信息數(shù)據(jù)庫后， 可為全球特斯拉車輛實(shí)時(shí)提供高精度地圖信息。6資料來源：Tesla AI Day特斯拉自動(dòng)駕駛理念：在安全性、舒適性、效率之間找到平衡點(diǎn)7自動(dòng)駕駛：需要滿足安全性、舒適性、效率之間的平衡以停車為例：從停車場(chǎng)召喚汽車時(shí)，使用40萬張照片進(jìn)行路線規(guī)劃后得到的系統(tǒng)，后續(xù)仍需改進(jìn)自動(dòng)駕駛：交通行為極其復(fù)雜資料來源：Subscri

5、be8特斯拉自動(dòng)駕駛系統(tǒng)：采用混合規(guī)劃資料來源：Tesla AI Day狹隘場(chǎng)景下，自動(dòng)駕駛系統(tǒng)需要考慮其他駕駛員行為，以保證自動(dòng)駕駛的安全性當(dāng)與其他汽車一起駕駛時(shí)，自動(dòng)駕駛系統(tǒng)不僅必須考慮它們將如何駕駛，還必須考慮其他 汽車將如何操作。特斯拉是采用混合規(guī)劃方案以實(shí)現(xiàn)高級(jí)別自動(dòng)駕駛功能。9特斯拉全自動(dòng)駕駛系統(tǒng)最終架構(gòu)資料來源：Tesla AI DAY10特斯拉自動(dòng)駕駛系統(tǒng)：架構(gòu)11自建數(shù)據(jù)標(biāo)記團(tuán)隊(duì)資料來源：Tesla AI DAY2021 CVPR 會(huì)議上，Andrej 表示特斯拉轉(zhuǎn)向純視覺深度學(xué)習(xí)之后，已經(jīng)積累了超過 60 億個(gè)物體標(biāo)簽， 超過 1.5PB 的數(shù)據(jù)量為了更好地實(shí)現(xiàn)自動(dòng)駕駛功能

6、以及數(shù)據(jù)分類，數(shù)據(jù)標(biāo)記的工作較為重要：本著垂直整合精神，特斯拉建立了自己的1000人數(shù)據(jù)標(biāo)記團(tuán)隊(duì)（并未外包給第三方）。除此之外，特斯拉目前已經(jīng)發(fā)展出了自動(dòng)標(biāo)記技術(shù)。特斯拉數(shù)據(jù)標(biāo)記團(tuán)隊(duì)增長資料來源：Tesla AI Day資料來源：Tesla AI Day2D圖像標(biāo)記4D圖像標(biāo)記數(shù)據(jù)標(biāo)記：未來將由2D向4D發(fā)展目前在使用2D畫面進(jìn)行標(biāo)記，未來將轉(zhuǎn)向4D標(biāo)記。12數(shù)據(jù)標(biāo)記：自研自動(dòng)標(biāo)記技術(shù)特斯拉自動(dòng)標(biāo)記技術(shù)，在一定程度上擺脫了對(duì)雷達(dá)套件的依賴在行駛道路上，被標(biāo)記的物體較多。特斯拉通過自研自動(dòng)標(biāo)記技術(shù)，可“重組”道路上的各種應(yīng)用場(chǎng)景，使得標(biāo)記技術(shù)更快。 可以幫助車輛更好地實(shí)現(xiàn)安全形式。這項(xiàng)技術(shù)，在一

7、定程度上幫助公司FSD擺脫了雷達(dá)套件。資料來源：Tesla AI DAY13Autopilot仿真系統(tǒng)特斯拉Autopilot仿真系統(tǒng)，在很大程度上能夠加快數(shù)據(jù)的處理自動(dòng)駕駛仿真系統(tǒng)，在一定程度上能夠解決“數(shù)據(jù)來源難”“數(shù)據(jù)分類難”“數(shù)據(jù)閉環(huán)” 等領(lǐng)域中的問題。資料來源：Tesla AI DAY14提供準(zhǔn)確的傳感器感知數(shù)據(jù)、提供逼真的渲染環(huán)境、提供不同的環(huán)境&位置、提供可擴(kuò)展 的應(yīng)用場(chǎng)景、提供場(chǎng)景重建功能。Autopilot仿真系統(tǒng)：提供5個(gè)重要的功能特斯拉Autopilot仿真系統(tǒng)，可提供5個(gè)重要的功能資料來源：Tesla AI DAY15已取得的成果：基于3.71億張圖像、4.8億立體時(shí)空

8、點(diǎn)的學(xué)習(xí)，可實(shí)現(xiàn)行人、自行車、車 輛的檢測(cè)與運(yùn)動(dòng)；未來規(guī)劃：通過“通用靜態(tài)世界道路”拓展更多的車輛和行人學(xué)習(xí)。480 Million CuboidsAutopilot仿真系統(tǒng)：取得的成果特斯拉Autopilot仿真系統(tǒng)：已取得的成果，以及未來的規(guī)劃資料來源： notateslaapp16特斯拉：AI評(píng)估特斯拉AI評(píng)估特斯拉還在用FSD 3.0芯片做 AI 評(píng)估：超過 3000 塊 HW3.0 主板組成的3 個(gè)數(shù)據(jù)中心；該數(shù)據(jù)中心每周可以運(yùn)行 100 萬次循環(huán)。資料來源：Tesla AI DAY17特斯拉：AI訓(xùn)練計(jì)算機(jī)的核心訴求為帶寬和延遲資料來源：Tesla AI Day特斯拉AI訓(xùn)練計(jì)算機(jī)

9、核心訴求：并非是高算力，而是寬帶寬和低延遲18考慮到自動(dòng)駕駛數(shù)據(jù)量較大，特斯拉對(duì)于 AI 訓(xùn)練計(jì)算機(jī)的核心訴求，并不是算力，而是帶寬和延遲。自動(dòng)駕駛運(yùn)算需要極高的帶寬，起碼要達(dá)到 1TB 每秒，F(xiàn)SD 芯片（內(nèi)部）可以達(dá)到 2TB 每秒。資料來源：Tesla AI DAY特斯拉訓(xùn)練神經(jīng)網(wǎng)絡(luò)的硬件：算力在過去兩年實(shí)現(xiàn)了翻倍增長19特斯拉：公司的硬件算力在過去兩年幾乎翻倍資料來源：ibtimesDojo AI訓(xùn)練電腦采用臺(tái)積電Info-SoW工藝Dojo AI訓(xùn)練電腦：由25個(gè)D1芯片構(gòu)成特斯拉：新發(fā)布人工智能訓(xùn)練計(jì)算機(jī)DojoDojo項(xiàng)目成立背景：公司希望有更好的AI訓(xùn)練計(jì)算器來訓(xùn)練Autopi

10、lot。Dojo設(shè)計(jì)原命題，就是帶寬和延遲，這也是決定特斯拉能否達(dá)到“最佳 AI 訓(xùn)練性能、 更大更復(fù)雜神經(jīng)網(wǎng)絡(luò)、能耗成本優(yōu)化”目標(biāo)的關(guān)鍵。Dojo計(jì)算模組是由25個(gè)D1芯片構(gòu)成：InFO-25個(gè)D1芯片并非是簡單的在PCB版進(jìn)行排列，而是采用臺(tái)積電首次量產(chǎn)的 SoW工藝，直接從晶圓上刻出一個(gè)個(gè)芯片，然后整塊晶圓摁在基板上。25 個(gè)D1芯片組成的Dojo計(jì)算模塊算力達(dá)9PFLOPS。20資料來源：Tesla AI Day、OKTeslaD1芯片大小D1芯片D1芯片與競爭對(duì)手參數(shù)對(duì)比特斯拉：新發(fā)布D1芯片D1芯片是特斯拉Dojo超級(jí)計(jì)算機(jī)系統(tǒng)的一部分，采 用7nm工藝制備，21面積645平方毫米

11、；內(nèi)置 500 億個(gè)晶體 管；得益于臺(tái)積電先進(jìn)的封裝技術(shù)（芯片 之間距離極短），D1芯片的內(nèi)部線束長度為 18公里（11英里）。算力大?。?62TFLOPS（BF16/CF8 精度 算力）； 362TFLOPS（FP32精度）。內(nèi)部帶寬為10TB/s，外帶寬為4TB/s。特斯拉：新發(fā)布計(jì)算機(jī)柜DOJO Pod特斯拉Exa Pod資料來源：Tesla AI Day22基于D1芯片、Dojo計(jì)算機(jī)，特斯拉還發(fā)布了Dojo Pod計(jì)算機(jī)柜：Dojo Pod計(jì)算機(jī)柜由120個(gè)Dojo計(jì)算模組組成（約3000個(gè)D1芯片）；總算力超過 1.1EFLOPS（BF16 精度）；超越全球超算排行榜第 5 名的 FP32 精度算力。特斯拉Dojo Roadmap：目前正在研發(fā)與Dojo相關(guān)的軟件工具，預(yù)計(jì)下代產(chǎn)品性能擬提升10倍資料來源：Tesla AI Day23特斯拉：開發(fā)與Dojo相關(guān)的軟件工具Tesla Bot原型Tesla Bot關(guān)鍵部件構(gòu)成資料來源： electrek24預(yù)計(jì)2022年推出TeslaBot機(jī)器人原型特斯拉CEO 埃隆馬斯克稱，預(yù)計(jì)將在2022年推出人形機(jī)器原型Tesla Bot 。機(jī)器人身高 1.72 米，體重56.6 千克，臉上有一個(gè)屏幕，以顯示有用的信息。四肢使用 40 個(gè)機(jī)電 推桿進(jìn)行操作；有兩只腳，并有力反饋感應(yīng)