地瓜機器人RDK系列部署生成式AI模型

地瓜機器人RDK系列部署生成式AI模型RDK系列產(chǎn)品介紹RDK上的模型部署RDK上LLM的技術選型RDK上LLM的實際效果演示01RDK系列產(chǎn)品介紹嵌入式嵌入式系統(tǒng)是一種專門設計用于特定任務的計算機系統(tǒng)。它通常被嵌入在另一個設備中，以控制、監(jiān)測或執(zhí)行某些特定功能。嵌入式系統(tǒng)通常包含一個或多個微處理器或微控制器，以及與其配套的硬件和軟件。嵌入式系統(tǒng)可以用于各種不同的應用領域，例如汽車、家電、醫(yī)療設備、電子玩具、軍事設備等等。嵌入式系統(tǒng)通常需要滿足以下特定要求：實時性：嵌入式系統(tǒng)通常需要能夠在嚴格的時間限制下運行。可靠性：由于嵌入式系統(tǒng)通常被嵌入到其他設備中，因此其穩(wěn)定性和可靠性非常重要。低功耗：嵌入式系統(tǒng)通常需要在低功耗模式下運行，以便延長其電池壽命或降低功耗成本。低成本：嵌入式系統(tǒng)通常需要在成本可控的情況下設計和制造。智能音箱邊緣計算盒機器人智能會議智慧教育智能家居AIoT與通用機器人算法芯片工具鏈服務嵌入式產(chǎn)品介紹2022.6Compute：5TopsCPU：4×Cortex

A53

1.2GDDR：2/4

GBWi-Fi：2.4GRDK

X3Compute：5TopsCPU：4×Cortex

A53

1.5GDDR：2/4GBeMMC：16/32/64

GBWi-Fi：2.4G/5GRDKX3

ModuleCompute：10TopsCPU：8×Cortex

A55

1.5GGPU：32GflopsDDR：4/8

GBWi-Fi：2.4G/5G2023.5RDK

X5Compute：5TopsCPU：4×Cortex

A53

1.8GDDR：2/4

GBWi-Fi：2.4G/5GCertification：CE/FCC/MIC/KCRDKX3

v2.020252026Compute：>20

TopsRDK

？2023.7 2024.9RDK：RoboticsDeveloper

KitRDKX5

ModuleCompute：？CPU：？GPU+Audio

？DDR：？eMMC:

？Wi-Fi：？RDK系列RDK全稱為

Robotics

Developer

Kits，即地瓜機器人開發(fā)套件（RDK）是基于地瓜智能芯片打造的機器人開發(fā)者套件，包括RDK

X3、RDK

X3

Module、RDK

X5、RDK

X5

Module等。

搭配TogetheROS.Bot機器人中間件，RDK套件可以幫助開發(fā)者快速搭建機器人原型，開展評測和驗證工作。40PIN最大化復用拓展4G/8G

RAM靈活選擇CAN

FD靈活連接機器人底盤和電機雙頻wifi

6

+

藍牙

5.4極速通信多標準兼容耳機

多模應用天線模塊媲美棒狀天線TypeC供電

5V/5ARDK

X5RTC精準時間同步TypeC閃連極速開發(fā)雙MIPI4-Lane雙目千兆網(wǎng)口支持POE供電Debug串口便捷調(diào)試HDMI更好兼容常見數(shù)據(jù)線

USB3*

4全高速通信公版模型尺寸類別數(shù)參數(shù)量BPU延遲BPU吞吐量后處理時間Yolov8n640x640803.2

M5.6

ms263.6

FPS5

msYolov8s640x6408011.2

M12.4

ms194.9

FPS5

msYolov8m640x6408025.9

M29.9

ms35.7

FPS5

msYolov8x640x6408068.2

M90

ms11.2

FPS5

msYolov10n640x640806.7

G9.3

ms132.7

FPS4.5

msYolov10s640x6408021.6

G15.8

ms71.0

FPS4.5

msYolov10m640x6408059.1

G30.8

ms34.5

FPS4.5

msRDK

X502RDK上的模型部署人工智能演變史自然語言處理自然語言處理是一種人工智能領域，旨在使計算機能夠像人類一樣理解和生成自然語言文本。自然語言處理的研究主要關注如何使計算機理解和處理人類語言，并從中提取有用的信息或生成符合語境的語言輸出。自然語言處理涉及到很多不同的任務，包括文本分類、情感分析、機器翻譯、自動摘要、問答系統(tǒng)、命名實體識別、語言生成等。大語言模型（LLM）傳統(tǒng)語言模型的劣勢在于：局限于某一領域的知識

、泛化能力差難以遷移、上下問理解有限基于transformer的大語言模型：基于海量（基本全互聯(lián)網(wǎng)）數(shù)據(jù)進行預訓練。對于特定場景的任務，只需微調(diào)適應常見：ChatGPT、文心一言、Llama、Baichuan2、同義千問等地瓜工具鏈問題定義數(shù)據(jù)準備模型選擇/開發(fā)模型訓練與調(diào)優(yōu)模型量化部署分析現(xiàn)實問題影響算法的選擇、模型的評估、投入的成本選用合適的模型尋找或編寫對應的模型代碼減少訓練好的模型計算和儲存需要的技術定義數(shù)據(jù)范圍：適配任務需求數(shù)據(jù)獲?。合螺d，清洗數(shù)據(jù)預處理：預處理、增強數(shù)據(jù)集定義和切分：訓練、評估、測試使用數(shù)據(jù)集在模型中訓練圍繞業(yè)務需求對模型目標調(diào)優(yōu)模型存儲、導出、推理服務的部署系統(tǒng)對接、指標監(jiān)控地瓜工具鏈地瓜工具鏈Model

Zoo以圖搜圖目標檢測/D-Robotics/rdk_model_zoo/tree/main實例分割圖像分類03RDK上LLM技術選型LLM類別大語言模型（Large

Language

Model,

LLM）主要分為兩類：基于transformer的模型和基于循環(huán)神經(jīng)網(wǎng)絡RNN的模型。Transformer是近年來非常流行的一種神經(jīng)網(wǎng)絡架構(gòu)，它在自然語言處理（NLP）任務中取得了巨大的成功。Transformer依賴于“注意力機制”（Attention

Mechanism）來處理輸入數(shù)據(jù)，從而更好地理解句子中各個詞之間的關系。RNN（循環(huán)神經(jīng)網(wǎng)絡）是一類適用于處理序列數(shù)據(jù)的神經(jīng)網(wǎng)絡架構(gòu)。RNN通過“循環(huán)”的方式在時間步之間共享信息，因此非常適合處理像文本和語音這類序列數(shù)據(jù)。早期的語言模型大多基于RNN及其改進版本（如LSTM和GRU）。RWKV語言模型RWKV模型在架構(gòu)上繼承了Transformer的思想，但在具體的實現(xiàn)上做了一些重要的改進，這些改進主要體現(xiàn)在Time

Mixing和Channel

Mixing兩個方面Time

Mixing:

與Transformer中的自注意力機制不同，rwkv模型引入了時間混合（TimeMixing）機制。這種機制關注序列數(shù)據(jù)中時間步之間的依賴關系，通過時間混合層來捕捉時間序列中的長期依賴性。Time

Mixing通過加權平均和非線性變換的方式，將不同時間步的信息進行整合，確保模型能夠有效捕捉序列的全局和局部信息。Channel

Mixing:

Channel

Mixing則是對序列中不同特征通道的處理。在Transformer中，特征通道的混合主要通過多頭自注意力和前饋神經(jīng)網(wǎng)絡來完成，而在rwkv模型中，Channel

Mixing采用了一種更加高效的方式。通過一系列的線性變換和激活函數(shù)來對通道信息進行融合。這種方法不僅減少了計算復雜度，還保持了模型的表達能力，使其能夠在處理大規(guī)模數(shù)據(jù)時更加高效。RWKV語言模型可解釋性強類似RNN，每次推理內(nèi)部有固定大小的state，即上下文信息向量高效訓練高效并行訓練，訓練速度與上下文長度無關O(T)推理速度線性時間復雜度O(T)，即與RNN