蔚來(lái)座艙多模態(tài)大模型的應(yīng)用實(shí)踐-蔚來(lái)汽車(chē)+牛建偉

蔚來(lái)多模態(tài)大模型的價(jià)值定位聽(tīng)覺(jué)模態(tài)模型的技術(shù)實(shí)踐聽(tīng)覺(jué)模態(tài)模型的技術(shù)實(shí)踐MLLM在蔚來(lái)座艙中的定位n多模態(tài)大模型是智能座艙3.0的底層核OMV3.0iOMV3.0i①小屏-GUI交互■③基礎(chǔ)語(yǔ)音交互上車(chē)礎(chǔ)艙內(nèi)視覺(jué)感知能力上車(chē)S/DMS/手勢(shì)/守衛(wèi)模式V2.0MLLM在蔚來(lái)座艙中的定位DMS/OMS/DMS/OMS/守衛(wèi)構(gòu)建有關(guān)懷的智能座艙空間蔚來(lái)MLLM的技術(shù)路徑蔚來(lái)MLLM的功能展示帚簸箕在愛(ài)車(chē)前方打掃衛(wèi)生。?多模交互--語(yǔ)音手勢(shì)互動(dòng)?情景智能--自適應(yīng)閱讀燈視覺(jué)模態(tài)模型的技術(shù)實(shí)踐--模型方案?通用視覺(jué)編碼器--理解通用視覺(jué)概念、進(jìn)行高維語(yǔ)義抽象?OCR視覺(jué)編碼器--理解視覺(jué)文本內(nèi)容、增強(qiáng)細(xì)小物體特征?多尺度特征融合--引入視覺(jué)先驗(yàn)知識(shí)、多維特征自適應(yīng)增強(qiáng)?動(dòng)態(tài)Token壓縮--冗余視覺(jué)信息消除、挖掘有效視覺(jué)上下文?大語(yǔ)言模型--充分利用LLM的理解、推理和涌現(xiàn)能力Step1:預(yù)訓(xùn)練階段對(duì)齊視覺(jué)語(yǔ)言模態(tài)的隱特征空間。Step2:監(jiān)督微調(diào)階段利用LLM增強(qiáng)視覺(jué)概念的理解和視覺(jué)語(yǔ)義的推理。Step3:偏好對(duì)齊階段針對(duì)特定場(chǎng)景的輸出對(duì)齊并消除視覺(jué)模態(tài)的幻覺(jué)。視覺(jué)模態(tài)模型的技術(shù)實(shí)踐--數(shù)據(jù)構(gòu)建關(guān)系矯正四個(gè)步驟。?動(dòng)態(tài)分辨率視覺(jué)編碼器，可以同時(shí)提取任意分辨率圖像?OCR-SensitiveViT在以文本為中心的視覺(jué)任務(wù)上表現(xiàn)出優(yōu)越的效果，但在通用視覺(jué)內(nèi)容理解上處于劣勢(shì)；?通過(guò)融合2個(gè)ViT的視覺(jué)特征，可以較好地均衡不同ViT的心的視覺(jué)任務(wù)上均達(dá)到最優(yōu)效果；語(yǔ)音數(shù)據(jù)，基于W2V-BERT2.0算法方案訓(xùn)練語(yǔ)音編碼多語(yǔ)種ASR結(jié)果語(yǔ)語(yǔ)語(yǔ)子端側(cè)部署方案介紹---系統(tǒng)交互NIO-MLLMArch懂我問(wèn)候魔法氛圍燈人車(chē)互動(dòng)手勢(shì)互動(dòng)懂我問(wèn)候魔法氛圍燈人車(chē)互動(dòng)手勢(shì)互動(dòng)兒童陪伴chip>50token/s>90token/s端側(cè)部署方案介紹---現(xiàn)狀與挑戰(zhàn)?內(nèi)存：僅有幾個(gè)～幾十個(gè)GB的有效內(nèi)存度度文字建議字體中文字體：微軟雅黑文字建議字體中文字體：微軟雅黑為保證文件兼容性，如無(wú)特殊情況，請(qǐng)勿使用其他藝術(shù)字體英文&數(shù)字字體Arial使用專(zhuān)有的英文字體可以使版面更加美觀，可以讓強(qiáng)調(diào)的英文&數(shù)字細(xì)節(jié)顯示更優(yōu)美，經(jīng)得起放大細(xì)看考慮到工作效率，非重要的文件無(wú)需考慮此項(xiàng)，而對(duì)文本中的英文數(shù)字單獨(dú)設(shè)置字體。字號(hào)標(biāo)題字號(hào)：28*可以多使用8為尾數(shù)的字號(hào)，如：18、28、48、68，方便記憶，統(tǒng)一字號(hào)正文字號(hào)：12通常演示文稿業(yè)務(wù)匯報(bào)文件中的文本較多，12號(hào)的字體可以展現(xiàn)更多的內(nèi)容；且演示文稿的使用場(chǎng)景為桌面端、受眾年齡適中，為呈現(xiàn)更好的閱讀體驗(yàn)，正文應(yīng)慎重使用更大字號(hào)TIPS：善用格式刷，快速出