AI+Agent在邊緣云的探索與實(shí)踐-火山引擎+謝皓

連接物聯(lián)世界，讓AI觸手可及邊緣云在智能方向的演進(jìn)之路智能體在邊緣云落地的問題與挑戰(zhàn)邊緣智能助力智能體落地邊緣云智能體在火山引擎邊緣云的實(shí)踐用戶現(xiàn)場(chǎng)區(qū)域城市區(qū)域中心城市1-5ms5-20ms物聯(lián)網(wǎng)平臺(tái)數(shù)字孿生規(guī)則引擎數(shù)據(jù)平臺(tái)現(xiàn)場(chǎng)邊緣物聯(lián)網(wǎng)關(guān)消息中間件基礎(chǔ)設(shè)施非直連設(shè)備存儲(chǔ)資源數(shù)據(jù)分析數(shù)據(jù)倉庫計(jì)算資源設(shè)備接入設(shè)備影子設(shè)備協(xié)議設(shè)備管理消息通信直連設(shè)備網(wǎng)絡(luò)資源拿物模型設(shè)備管理模型管理aPaaS生態(tài)驅(qū)動(dòng)管理容器管理監(jiān)控預(yù)警遠(yuǎn)程運(yùn)維邊緣云計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源彈性協(xié)同拿設(shè)備管理模型管理aPaaS生態(tài)驅(qū)動(dòng)管理容器管理監(jiān)控預(yù)警遠(yuǎn)程運(yùn)維邊緣云計(jì)算資源存儲(chǔ)資源網(wǎng)絡(luò)資源彈性協(xié)同拿API調(diào)用三方平臺(tái)原始想法原始想法AIAI1.0現(xiàn)有能力AIAI2.0不足背景思考6699JetsonOrin…JetsonOrin…JetsonOrin…JetsonOrin…JetsonAGX…JetsonAGXJetsonOrin…JetsonOrin…JetsonOrin…JetsonOrin…JetsonAGX…JetsonAGX…JetsonAGX…典型邊緣設(shè)備算力&內(nèi)存TOPSMemory0算力臨界點(diǎn)0G）背景思考思考挑戰(zhàn)挑戰(zhàn)來自數(shù)據(jù)&知識(shí)的幻覺agent幻覺來自訓(xùn)練&推理幻覺輸入性對(duì)抗攻擊對(duì)齊后門攻擊提示詞黑客攻擊數(shù)據(jù)毒藥攻擊 設(shè)備一廠 加速端側(cè)智能體開發(fā)的OneSDK大模型網(wǎng)關(guān)大模型智能體ASRTTS大模型網(wǎng)關(guān)大模型智能體ASRTTS邊緣云基礎(chǔ)邊緣云基礎(chǔ)設(shè)備管理證書PKI邊緣安全物聯(lián)網(wǎng)平臺(tái)設(shè)備管理證書PKI邊緣安全端智能實(shí)例一機(jī)一密流量調(diào)度鏈路選優(yōu)一型一密一機(jī)一密流量調(diào)度鏈路選優(yōu)一型一密設(shè)備側(cè)設(shè)備側(cè)OneSDKOneSDKssh設(shè)備秘鑰智ssh設(shè)備秘鑰智能體調(diào)用OneCredential事件設(shè)備證書大模型調(diào)用機(jī)型功耗溫度機(jī)型功耗溫度LocalLocalEdgeLLM覆蓋全球多地域邊緣節(jié)點(diǎn)邊緣節(jié)點(diǎn)邊緣節(jié)點(diǎn)邊緣節(jié)點(diǎn)邊緣節(jié)點(diǎn)…邊緣節(jié)點(diǎn)大模型/智能體一緩存查詢智能調(diào)度 域名->IP邊緣大模型網(wǎng)關(guān)模型適配請(qǐng)求鑒權(quán)推理請(qǐng)求推理請(qǐng)求策略控制大模型傳輸優(yōu)化邊緣安全智能調(diào)度擇優(yōu)回源設(shè)備終端HTTP/HTTPSWebSocket加權(quán)輪詢傳輸優(yōu)化邊緣安全智能調(diào)度擇優(yōu)回源設(shè)備終端HTTP/HTTPSWebSocket加權(quán)輪詢智能路由語音助手智能玩具陪伴公仔語音助手智能玩具用量監(jiān)控模型配置調(diào)用量監(jiān)控模型配置調(diào)用分析調(diào)用策略就近就近調(diào)用 邊緣緩存記憶記憶技能編排 知識(shí)邊緣大模型網(wǎng)關(guān)邊緣大模型網(wǎng)關(guān)邊緣大模型網(wǎng)關(guān)被集成至ROS系統(tǒng)ApplicationLayer