人工智能行業(yè)：評(píng)估設(shè)備上的人工 智能 (AI) 機(jī)會(huì) 適用于企業(yè)和消費(fèi)者

.將推理工作負(fù)載移動(dòng)到設(shè)備將幫助企業(yè)和消費(fèi)者通過解決基礎(chǔ)商業(yè)和技術(shù)挑戰(zhàn)來AI模型可能會(huì)放大訓(xùn)練/微調(diào)數(shù)據(jù)集中存在的偏見。數(shù)據(jù)隱私對(duì)數(shù)據(jù)如何存儲(chǔ)、利用和可能泄露。知識(shí)產(chǎn)權(quán)(IP)不清楚誰擁有第三方擁有的公共模型生成的內(nèi)容。AI模型可能會(huì)放大訓(xùn)練/微調(diào)數(shù)據(jù)集中存在的偏見。數(shù)據(jù)隱私對(duì)數(shù)據(jù)如何存儲(chǔ)、利用和可能泄露。知識(shí)產(chǎn)權(quán)(IP)不清楚誰擁有第三方擁有的公共模型生成的內(nèi)容。?設(shè)備上生成AI商業(yè)成功的最大障礙將是軟件不成熟和針對(duì)體驗(yàn)的應(yīng)用程序，而不是生產(chǎn)力。要超越設(shè)備硬件，并開發(fā)基于小型優(yōu)化模型的殺手級(jí)生產(chǎn)力AI應(yīng)用程序。像高圖1:生成的AI風(fēng)險(xiǎn)幻覺和不可靠性限制了可部署的用例。22自然語言處理(NLP)：使機(jī)器能夠理解，解釋和生成人類語言。例如自然語言處理(NLP)：使機(jī)器能夠理解，解釋和生成人類語言。例如，文本分類或文本分析。自動(dòng)語音識(shí)別(ASR)：處理、理解人類語音并將其轉(zhuǎn)換為文本。例如，移動(dòng)數(shù)預(yù)測性預(yù)測性AI或基于圖形的模型：利用歷史數(shù)據(jù)和機(jī)器學(xué)習(xí)算法來預(yù)測未來結(jié)果。例如，推薦系統(tǒng)。機(jī)器或計(jì)算機(jī)視覺機(jī)器或計(jì)算機(jī)視覺：使計(jì)算機(jī)能夠解釋，理解和分析圖像和視頻。例如，對(duì)象識(shí)別或質(zhì)量控制。33技術(shù)數(shù)據(jù)隱私和個(gè)人AI模型：用戶提示，個(gè)人數(shù)據(jù)，攝取的傳感器數(shù)據(jù)都保留在設(shè)備上，從而消除了數(shù)據(jù)隱私挑戰(zhàn)。降低網(wǎng)絡(luò)、云訂閱和處理成本：隨著AI模型的擴(kuò)展，網(wǎng)絡(luò)和計(jì)算成技術(shù)數(shù)據(jù)隱私和個(gè)人AI模型：用戶提示，個(gè)人數(shù)據(jù)，攝取的傳感器數(shù)據(jù)都保留在設(shè)備上，從而消除了數(shù)據(jù)隱私挑戰(zhàn)。降低網(wǎng)絡(luò)、云訂閱和處理成本：隨著AI模型的擴(kuò)展，網(wǎng)絡(luò)和計(jì)算成嵌入基于AI的安全性：AI模型可以以非常低的延遲提供增強(qiáng)的威脅檢測和其他網(wǎng)絡(luò)安全功能。例如，語音/面部識(shí)別和惡意軟件檢測。圖3：設(shè)備上的AI價(jià)值主張經(jīng)驗(yàn)經(jīng)驗(yàn)通過消除網(wǎng)絡(luò)延遲來增強(qiáng)體驗(yàn)：提高應(yīng)用程序性能并啟用離線應(yīng)用程序。通過確保更自然和高效的交互，這對(duì)于數(shù)字助理等實(shí)時(shí)交互式用例尤其重要。在不損害數(shù)據(jù)隱私的情況下開發(fā)個(gè)人AI雙胞胎設(shè)備傳感器和內(nèi)存可以利用個(gè)人數(shù)據(jù)在本地微調(diào)模型，使模型能夠隨著時(shí)間的推移而適應(yīng)，并為用戶提供個(gè)性化的見解。從無縫的多設(shè)備體驗(yàn)中獲益：AI工作負(fù)載可以跨設(shè)備和位置的生態(tài)系統(tǒng)移動(dòng)，以自動(dòng)優(yōu)化最終用戶的性能，功耗和體驗(yàn)44移動(dòng)游戲：通過低延遲和離線AI改善用戶體驗(yàn)語言翻譯：使經(jīng)驗(yàn)更真實(shí)，更符合人的需求。數(shù)字助理：始終在線的AI，通過移動(dòng)游戲：通過低延遲和離線AI改善用戶體驗(yàn)語言翻譯：使經(jīng)驗(yàn)更真實(shí)，更符合人的需求。數(shù)字助理：始終在線的AI，通過本地存儲(chǔ)實(shí)現(xiàn)自然交互和數(shù)據(jù)隱私的低延遲?？梢詢?yōu)化部署在設(shè)備上的AI加速器，以支持新的生成AI模型和應(yīng)用程序。數(shù)據(jù)隱私用于提示/微調(diào)的傳入傳感器數(shù)據(jù)和用戶數(shù)據(jù)仍然是本地的，限制了主權(quán)和IP泄漏風(fēng)險(xiǎn)。保護(hù)您的投資可靠性消除網(wǎng)絡(luò)延遲波動(dòng)風(fēng)險(xiǎn)并提高推理可靠性，實(shí)現(xiàn)關(guān)鍵任務(wù)用例?？焖僮兓腁I功能需要能夠確保有效性能的面向未來的硬件。分布式勞動(dòng)力通過離線功能消除對(duì)工作人員的連接需求，為所有人提供生產(chǎn)力用例確保與跨設(shè)備本地同步和實(shí)施預(yù)測模型的一致性，以了解用戶模式。網(wǎng)絡(luò)成本將隨著集中部署而迅速擴(kuò)大，但本地處理消除了這些成本。它還降低了與以云為中心的模型相關(guān)的提示和輸出費(fèi)用。個(gè)性化利用傳入的非結(jié)構(gòu)化數(shù)據(jù)，經(jīng)濟(jì)高效地微調(diào)本地模型，以優(yōu)化最終用戶的輸出。圖4：設(shè)備上AI消費(fèi)者使用案例示例健康與健身健康與健身：個(gè)人數(shù)據(jù)保持本地,模型適應(yīng)攝取的用戶數(shù)據(jù)以提高圖5：設(shè)備上的AI企業(yè)價(jià)值主張CommercialCommercial技術(shù)55設(shè)備成本設(shè)備價(jià)格繼續(xù)增長快于通貨膨脹；隨著供應(yīng)商將AI芯片創(chuàng)新成本轉(zhuǎn)嫁給消費(fèi)者，這可能會(huì)進(jìn)一步增加。然而，有效部署設(shè)備上的人工智能將增加客戶價(jià)值，可能抵消不斷增加的設(shè)備成本。應(yīng)用生態(tài)系統(tǒng)企業(yè)與消費(fèi)者不會(huì)購買具有AI功能的新設(shè)備，除非設(shè)備成本設(shè)備價(jià)格繼續(xù)增長快于通貨膨脹；隨著供應(yīng)商將AI芯片創(chuàng)新成本轉(zhuǎn)嫁給消費(fèi)者，這可能會(huì)進(jìn)一步增加。然而，有效部署設(shè)備上的人工智能將增加客戶價(jià)值，可能抵消不斷增加的設(shè)備成本。應(yīng)用生態(tài)系統(tǒng)企業(yè)與消費(fèi)者不會(huì)購買具有AI功能的新設(shè)備，除非“生產(chǎn)力”應(yīng)用程序需要本地處理，從而獲得明確的投資回報(bào)率(規(guī)模化管理機(jī)器學(xué)習(xí)操作(MLOps)挑戰(zhàn)隨著分布式設(shè)備部署而增加.監(jiān)控模型漂移、降級(jí)、再訓(xùn)練、數(shù)據(jù)質(zhì)量和漂移、法規(guī)遵從性跨區(qū)域使用離線設(shè)備將帶來運(yùn)營挑例AI將部署在?圖6：企業(yè)設(shè)備上AI的感知挑戰(zhàn)功耗功耗在標(biāo)準(zhǔn)CPU硬件上運(yùn)行的未優(yōu)化AI模型可能會(huì)增加設(shè)備的功耗然而，在AI加速器上運(yùn)行的優(yōu)化模型尚未顯著影響功耗。6677無AI無AI0.80.60.40.20.0圖表1：有和沒有設(shè)備上生成AI世界市場的智能手機(jī)市場規(guī)模：2011年至2027年88350300250200500圖表2：有和沒有設(shè)備上生成AI世界市場的PC市場規(guī)模：2011年至2029年無AI 汽車99圖7：汽車設(shè)備上的AI使用案例功能娛樂功能車載車載Chatbot/數(shù)字助理互動(dòng)更自然。不會(huì)與云中的公共模型共享。防撞和巡航控制?實(shí)現(xiàn)車對(duì)車智能通信和低延遲傳感器處理。?消除云連接要求，以始終在用例上支持關(guān)鍵任務(wù)。智能路線規(guī)劃&預(yù)測據(jù)。供脫機(jī)功能。動(dòng)程序健康數(shù)而無需云連接。高級(jí)駕駛輔助系統(tǒng)(ADAS)?確保可靠性和超低延遲。?降低數(shù)據(jù)傳輸成駕駛員監(jiān)控圖8：XR中驅(qū)動(dòng)設(shè)備上生成AI的因素體驗(yàn)個(gè)性化體驗(yàn)個(gè)性化游戲中對(duì)新的超個(gè)性化體驗(yàn)的需求，其中生成的內(nèi)容反映了最終用戶的情緒、偏好和體驗(yàn)，啟用生成模型以有效地個(gè)性化客戶用戶。連接不良和成本連接不良和成本堅(jiān)固的企業(yè)環(huán)境遭受不良和不可靠的連接，例如，采礦，物流。而傳感器云數(shù)據(jù)流將壓倒網(wǎng)絡(luò)和驅(qū)動(dòng)成本.消除可變延遲并降低網(wǎng)絡(luò)成本用戶體驗(yàn)用戶體驗(yàn)云處理/運(yùn)動(dòng)到光子延遲阻礙體驗(yàn)質(zhì)量。對(duì)于游戲等消費(fèi)者用途至關(guān)重要。減少網(wǎng)絡(luò)延遲部署硬件優(yōu)化的AI模型，以降低推理滯后并實(shí)現(xiàn)離線游戲。數(shù)據(jù)主權(quán)數(shù)據(jù)主權(quán)分布式勞動(dòng)力可能難以遵守?cái)?shù)據(jù)主權(quán)法規(guī)或承擔(dān)高昂的成本。確保數(shù)據(jù)存儲(chǔ)在本地并偶爾與云共享。.數(shù)十億的數(shù)據(jù)點(diǎn)將阻塞網(wǎng)絡(luò)并提高相關(guān)成本。.通常在低/無連接位置部署，這意味著不可靠的云連接。.無法依賴可變網(wǎng)絡(luò)連接的對(duì)延遲敏感的應(yīng)用程序。。圖9：設(shè)備上生成的AI利益相關(guān)者伙伴關(guān)系獨(dú)立軟件開發(fā)在芯片上運(yùn)行并針對(duì)芯片進(jìn)行優(yōu)化的模型、應(yīng)用程序和工具構(gòu)建芯片組以在設(shè)備上運(yùn)行AI并開發(fā)SDK以優(yōu)化芯片供應(yīng)商芯片供應(yīng)商構(gòu)建通用“進(jìn)入市場”戰(zhàn)略使應(yīng)用程序與客戶的棘手問題和硬件保持一致原始設(shè)備制造商(OEM)將組件集成到一個(gè)設(shè)備中，以便消費(fèi)者和企業(yè)圖10：混合AI連續(xù)體公共模型云企業(yè)模型On-Premises更低的延遲、更高的可靠性、更低成本的網(wǎng)絡(luò)、數(shù)據(jù)安全性、對(duì)低功耗芯片的依賴更可擴(kuò)展的計(jì)算資源、訪問電源、優(yōu)化的計(jì)算資源（如GPU）多云互連優(yōu)化工作負(fù)載的價(jià)格/性能需要多云互連優(yōu)化工作負(fù)載的價(jià)格/性能需要訪問多個(gè)云位置。圖11：混合AI的構(gòu)建模塊明確定義的規(guī)則明確定義的規(guī)則優(yōu)化AI應(yīng)用程序需要最終用戶制定明確的政策具有位置的工作負(fù)載。集成模型體系結(jié)構(gòu)集成模型體系結(jié)構(gòu)需要在不同位置部署不同大小和特定于用例的模型，以支持和優(yōu)化所有AI工作負(fù)載?，F(xiàn)有的AI現(xiàn)有的AI部署以及他們的投資回報(bào)率