2024年AI手機(jī)行業(yè)專題報(bào)告：AI手機(jī)走向AIOS-系統(tǒng)級(jí)AI定位端側(cè)智能助理

2024年AI手機(jī)行業(yè)專題報(bào)告：AI手機(jī)走向AIOS_系統(tǒng)級(jí)AI定位端側(cè)智能助理1.云端協(xié)同是AI手機(jī)未來，端側(cè)AI成本、隱私安全多方面占優(yōu)AI手機(jī)是基于大模型的高智能化手機(jī)終端。根據(jù)IDC定義，AI手機(jī)是NPU算力大于30TOPS（INT8）、搭載支持生成式AI的SoC并支持端側(cè)大模型的手機(jī)?！禔I手機(jī)白皮書》認(rèn)為基于大模型的AI手機(jī)需具備強(qiáng)大的計(jì)算能力、復(fù)雜信息感知能力、自學(xué)習(xí)能力與創(chuàng)作能力。通過重構(gòu)手機(jī)現(xiàn)有服務(wù)生態(tài)與操作系統(tǒng)，賦予用戶全新AI體驗(yàn)。云端大模型協(xié)同滿足AI手機(jī)不同場(chǎng)景需求。云側(cè)：（1）具備高算力，適宜進(jìn)行模型訓(xùn)練。可支持參數(shù)量千億以上的大模型，推理與多模態(tài)交互能力強(qiáng)；（2）知識(shí)儲(chǔ)備豐富，如GPT-4-Turbo外部文檔和數(shù)據(jù)庫(kù)截止日期更新至2023年4月；（3）泛化能力強(qiáng)，可作為AI應(yīng)用開發(fā)基座。端側(cè)：（1）成本低，避免數(shù)據(jù)中心高昂的運(yùn)營(yíng)、網(wǎng)絡(luò)傳輸、能耗成本；（2）隱私安全性高，用戶隱私信息存儲(chǔ)及處理均在終端進(jìn)行；（3）低延時(shí)，僅為單一用戶服務(wù)，避免需求高峰時(shí)任務(wù)處理?yè)頂D；（4）支持離線使用?；谠苽?cè)及端側(cè)大模型特點(diǎn)，我們認(rèn)為云側(cè)大模型適用于復(fù)雜度高、專業(yè)性強(qiáng)、涉及多模態(tài)交互的任務(wù)處理，端側(cè)大模型適用于復(fù)雜度低、隱私敏感度高的任務(wù)以及離線任務(wù)處理。針對(duì)復(fù)雜度高且涉及用戶隱私的復(fù)合任務(wù)場(chǎng)景，可首先在端側(cè)進(jìn)行信息脫敏，再上傳至云側(cè)進(jìn)行處理；并且端側(cè)大模型可通過學(xué)習(xí)用戶個(gè)人信息，在復(fù)雜任務(wù)處理中給予云側(cè)大模型更佳提示，賦予用戶更佳服務(wù)體驗(yàn)?；谠苽?cè)、端側(cè)大模型協(xié)同的AI手機(jī)可滿足用戶不同場(chǎng)景需求，更高效地利用資源并提供更佳服務(wù)體驗(yàn)。端側(cè)模型推理成本是云側(cè)模型1/100以下。根據(jù)高通《混合AI是AI未來》，生成式AI單次搜索查詢成本是傳統(tǒng)搜索方法的10倍，目前每天搜索查詢次數(shù)超過100億次，每年增量成本可能達(dá)到數(shù)十億美元。并且由于大模型的推理成本與終端用戶數(shù)量正相關(guān)，云側(cè)大模型推理成本將伴隨日活用戶數(shù)量及使用頻率快速增長(zhǎng)，規(guī)?；卣闺y以持續(xù)。根據(jù)面壁智能CEO李大海測(cè)算，以搭載驍龍855的OPPO手機(jī)為例，假定搭載參數(shù)量2B、每秒處理量7.5Tokens的MiniCPM端側(cè)模型，運(yùn)行5年后報(bào)廢，推理成本約為600元，測(cè)算可得170萬Tokens推理成本僅1元，是Mistral的1/100，GPT-4的1/360。根據(jù)OpenAI，其在5月13日最新發(fā)布的GPT-4o可免費(fèi)向用戶提供服務(wù)，但仍在用量方面進(jìn)行限制。根據(jù)OpenAIDeveloperForum，免費(fèi)用戶在3小時(shí)內(nèi)僅允許向ChatGPT發(fā)送40條以內(nèi)的消息。ChatGPT能耗達(dá)50萬千瓦時(shí)/天，終端部署大模型降低數(shù)據(jù)傳輸能耗。根據(jù)紐約客報(bào)道，ChatGPT每天需處理約2億個(gè)用戶請(qǐng)求，消耗超過50萬千瓦時(shí)電力，相當(dāng)于1.7萬個(gè)美國(guó)家庭平均一天的用電量。根據(jù)《混合AI是AI未來》，手機(jī)終端能夠以很低的能耗運(yùn)行生成式AI模型，可有效避免數(shù)據(jù)傳輸至云服務(wù)器中導(dǎo)致的高能耗。端側(cè)AI保障用戶隱私安全，并可基于用戶信息提供個(gè)性化服務(wù)。生成式AI由于交互方式革新，不僅可收集用戶郵箱、手機(jī)號(hào)等可唯一標(biāo)識(shí)個(gè)人的信息，也會(huì)收集用戶語(yǔ)音聊天記錄，一旦泄露會(huì)嚴(yán)重影響用戶的個(gè)人隱私安全。2023年3月ChatGPT的API出現(xiàn)錯(cuò)誤，導(dǎo)致Redis內(nèi)存中的數(shù)據(jù)并未及時(shí)清除，用戶的聊天記錄片段，甚至信用卡的最后四位數(shù)字、到期日期、姓名、電子郵件地址和付款地址等信息可能泄露至其他ChatGPT使用者。根據(jù)OpenAI官方調(diào)查報(bào)告，約有1.2%的ChatGPTPlus用戶面臨數(shù)據(jù)泄露。與云側(cè)AI相比，端側(cè)AI模型將用戶個(gè)人信息儲(chǔ)存在本地，無需上傳至云服務(wù)器中，并且手機(jī)終端可通過安全芯片或操作系統(tǒng)進(jìn)一步保護(hù)用戶信息安全。同時(shí)端側(cè)AI可在不犧牲用戶隱私安全的前提下，利用儲(chǔ)存在終端的用戶信息以及用戶的表情、喜好和個(gè)性等進(jìn)行學(xué)習(xí)和演進(jìn)，增強(qiáng)和打造定制化的生成式AI提示，提供更個(gè)性化的服務(wù)體驗(yàn)。高推理需求可導(dǎo)致云側(cè)模型宕機(jī)，端側(cè)模型可靠性好且延時(shí)低。生成式AI查詢對(duì)云側(cè)模型需求達(dá)到高峰時(shí)可能會(huì)出現(xiàn)高時(shí)延甚至拒絕服務(wù)。2023年11月ChatGPT更新導(dǎo)致用戶需求火爆，ChatGPT及其API出現(xiàn)周期性中斷，OpenAI耗時(shí)3個(gè)多小時(shí)解決問題，期間收到用戶6614份中斷報(bào)告；2024年3月20日Kimi受系統(tǒng)流量持續(xù)異常升高影響，用戶無法正常使用。終端側(cè)AI模型針對(duì)單一用戶提供服務(wù)，可有效避免短期需求大幅提升，可靠性更佳。并且端側(cè)AI在無網(wǎng)絡(luò)連接情況下仍可正常使用，用戶可隨時(shí)隨地享受AI服務(wù)體驗(yàn)。2.AI手機(jī)仍處早期階段，AIOS賦予完整AI體驗(yàn)2.1.初級(jí)AI手機(jī)形態(tài)：基礎(chǔ)AI應(yīng)用+AI增強(qiáng)功能目前AI手機(jī)主要是在原有操作系統(tǒng)上集成AI功能或AI應(yīng)用。集成AI功能：以原有操作系統(tǒng)為基礎(chǔ)，通過搭載端側(cè)大模型增加或增強(qiáng)AI功能，如增加AI助理智能摘要生成、實(shí)時(shí)翻譯功能等；集成AI應(yīng)用：通過OpenAI發(fā)布的GPTStore下載定制化、個(gè)性化的AIAPP，如ChatGPTAPP等，可通過自然語(yǔ)言交互實(shí)現(xiàn)旅行規(guī)劃、智能問答、圖像識(shí)別生成等功能?；谏墒紸I的美圖秀秀APP可支持AI繪畫、AI修圖、AI美容等功能?；谠胁僮飨到y(tǒng)的AI手機(jī)通過集成AI應(yīng)用或AI功能，能夠以自然語(yǔ)言與用戶進(jìn)行交互并高效處理任務(wù)，但本質(zhì)仍是通過API接口調(diào)用生成式AI模型，未實(shí)現(xiàn)AI系統(tǒng)級(jí)應(yīng)用。GalaxyAI賦能多項(xiàng)應(yīng)用，GalaxyS24系列AI體驗(yàn)全面升級(jí)。GalaxyAI首創(chuàng)即圈即搜功能，用戶只需長(zhǎng)按Home鍵并在當(dāng)前文本、圖片或視頻界面圈選圖像即可獲得優(yōu)質(zhì)結(jié)果。GalaxyS24系列內(nèi)置筆記助手，可根據(jù)內(nèi)容智能排版、生成摘要和封面；內(nèi)置轉(zhuǎn)錄助手可識(shí)別多人講話并轉(zhuǎn)錄為支持編輯的文本，也可直接翻譯錄音并生成摘要；原生通話應(yīng)用程序引入通話實(shí)時(shí)翻譯功能，支持13種語(yǔ)言實(shí)時(shí)雙向和文本翻譯；圖像應(yīng)用具有智能修圖建議、生成式編輯等功能，可快速去除反光、改變?nèi)宋锘驅(qū)ο笪恢么笮〉?。谷歌Pixel8系列增強(qiáng)圖像編輯，個(gè)人助理Gemini智能提升。谷歌Pixel8系列內(nèi)置的MagicEditor可以通過生成式人工智能編輯照片，ZoomEnhance通過生成式AI預(yù)測(cè)照片細(xì)節(jié)，填充像素間間隙，增強(qiáng)變焦；個(gè)人助理Gemini支持文本、語(yǔ)音及圖片交互，可幫助朗讀和翻譯網(wǎng)頁(yè)并生成摘要；錄音機(jī)增加AI功能，可自動(dòng)總結(jié)對(duì)話并生成摘要；AudioMagicEraser通過AI識(shí)別聲音，可直接從視頻刪除不想要聲音。HarmonyOS4率先接入AI大模型，小藝同學(xué)增加多項(xiàng)AI功能。HarmonyOS4采用全新華為方舟引擎，與HarmonyOS3相比，滑動(dòng)流暢性提升約20%，續(xù)航增加約30分鐘；并且對(duì)超級(jí)中轉(zhuǎn)站等進(jìn)行優(yōu)化，支持手機(jī)、平板、PC等不同端口，具備跨端流轉(zhuǎn)能力。HarmonyOS4將AI大模型技術(shù)接入小藝，全新小藝增強(qiáng)自然語(yǔ)言理解能力，支持用戶更日常的表述方式；增加智能摘要和文案輔助創(chuàng)作功能；可依托多模態(tài)大模型技術(shù)，對(duì)已有圖像進(jìn)行個(gè)性化二次創(chuàng)作。小米14搭載底層重構(gòu)的澎湃OS，支持人車家全生態(tài)。小米澎湃OS重構(gòu)子系統(tǒng)，優(yōu)化內(nèi)存管理提高應(yīng)用啟動(dòng)速度。澎湃OS擁有AI大模型植入系統(tǒng)，基于端側(cè)大模型的小愛助手可智能創(chuàng)作文本、快速撰寫購(gòu)物評(píng)價(jià)、生成發(fā)言稿等。小米14內(nèi)嵌圖像應(yīng)用可實(shí)現(xiàn)AI妙畫、AI搜圖、AI寫真、AI擴(kuò)圖等功能。搭載的XiaomiHyperConnect可實(shí)現(xiàn)所有智能設(shè)備實(shí)時(shí)統(tǒng)一組網(wǎng)，可在手機(jī)、平板等設(shè)備的“融合設(shè)備中心”進(jìn)行快捷控制。搭載ColorOS14的OPPOFindX7實(shí)現(xiàn)AndesGPT模型端云協(xié)同。ColorOS14系統(tǒng)端側(cè)支持70億參數(shù)的AndesGPT·Tiny大模型，云端支持AndesGPT·Turbo/Titan大模型。OPPOFindX7搭載ColorOS14系統(tǒng)，內(nèi)置小布助手具有智能摘要、智能消除、內(nèi)容創(chuàng)作等AI功能，并且系統(tǒng)內(nèi)置的圖像軟件具有AIGC消除效果，可智能生成寫真照片。VivoOriginOS4搭載自研BlueLM，X100系列具備豐富AI功能?；?0億參數(shù)BlueLM的VivoX100系列，其內(nèi)置的AI助手“藍(lán)心小v”具備超能語(yǔ)義搜索、超能問答、超能寫作、超能創(chuàng)圖和超感智慧交互等功能，能夠?qū)崿F(xiàn)智能問答、文案撰寫、摘要生成、圖片編輯。攝影應(yīng)用基于生成式AI，通過人像識(shí)別、場(chǎng)景識(shí)別等功能可優(yōu)化拍攝效果。2.2.進(jìn)階版AI手機(jī)：基于意圖交互的AIOS意圖交互升華AI認(rèn)知，AIOS深度融合端側(cè)大模型。AIOS改變?cè)胁僮飨到y(tǒng)指令式的工作邏輯，通過集成智能感知技術(shù)實(shí)時(shí)獲取用戶行為、偏好等環(huán)境信息，實(shí)現(xiàn)意圖式人機(jī)交互，使AI或系統(tǒng)可更好地理解用戶當(dāng)下所處場(chǎng)景及基于自然語(yǔ)言的用戶指令；通過將端側(cè)大模型融入底層架構(gòu)，AIOS可持續(xù)從與用戶交互過程中學(xué)習(xí)并優(yōu)化自身性能，為用戶提供更個(gè)性化、精準(zhǔn)的服務(wù)；基于AIOS的AI助理可理解應(yīng)用界面及相應(yīng)功能，通過調(diào)用應(yīng)用APP，自動(dòng)完成用戶任務(wù)，簡(jiǎn)化重復(fù)枯燥的操作過程。榮耀MagicOS8.0首次實(shí)現(xiàn)意圖識(shí)別人機(jī)交互。與主要負(fù)責(zé)管理硬件資源的傳統(tǒng)OS內(nèi)核不同，MagicLive平臺(tái)級(jí)AI負(fù)責(zé)“管理”與人相關(guān)的因子，如個(gè)人知識(shí)庫(kù)、位置與狀態(tài)、習(xí)慣與畫像等，幫助OS精準(zhǔn)識(shí)別用戶意圖，高效調(diào)度系統(tǒng)服務(wù)?；贛agicLive平臺(tái)級(jí)AI的場(chǎng)景感知、意圖決策、用戶理解能力，MagicOS8.0支持自然語(yǔ)言、語(yǔ)音、圖片、手勢(shì)、眼動(dòng)等多模態(tài)交互方式，可智能識(shí)別用戶意圖，進(jìn)行快速推理決策，主動(dòng)提供個(gè)人化服務(wù)，提升交互效率。MagicOS8.0內(nèi)嵌的任意門功能可基于意圖識(shí)別讓服務(wù)實(shí)現(xiàn)跨應(yīng)用、跨設(shè)備一步直達(dá)、智慧流轉(zhuǎn)，支持100多款國(guó)內(nèi)主流應(yīng)用服務(wù)，覆蓋出行、辦公、社交、搜索、娛樂、購(gòu)物、美食等應(yīng)用場(chǎng)景。內(nèi)置的YOYO智能助理可理解用戶意圖，高效安全地連接云側(cè)大模型，分發(fā)、融合、調(diào)度原子化服務(wù)，完成復(fù)雜任務(wù)閉環(huán)。蘋果FerretUI模型增強(qiáng)iOS意圖識(shí)別，致力打造AIOS。FerretUI以Ferret模型為基礎(chǔ)，通過將手機(jī)UI界面分割為更小的子圖像捕捉UI界面細(xì)節(jié)特征，并將所有子圖像單獨(dú)編碼獲取圖像特征，最后將子圖像與全局圖像特征輸入端側(cè)大模型中，使端側(cè)大模型可更好地捕捉UI界面細(xì)節(jié)信息。并且FerretUI通過收集各種初級(jí)UI任務(wù)的訓(xùn)練數(shù)據(jù)，如圖標(biāo)識(shí)別、查找文本、組件列表等，以精準(zhǔn)定位和理解UI組件；通過收集與AI交互相關(guān)的高級(jí)任務(wù)數(shù)據(jù)集，如詳細(xì)描述、感知/交互對(duì)話和功能推理，以增強(qiáng)模型與UI相關(guān)的推理能力?；贔erretUI可顯著增強(qiáng)AIOS對(duì)手機(jī)UI界面的理解能力，并可根據(jù)用戶指令找到具體元素完成交互。iPhone環(huán)境下FerretUI性能接近或超過GPT-4V。FerretUI模型可完成簡(jiǎn)單的UI定位和查詢?nèi)蝿?wù)，在iPhone環(huán)境下130億參數(shù)的FerretUI模型在初級(jí)UI任務(wù)中超越GPT-4V。并且可根據(jù)UI與用戶進(jìn)行感知對(duì)話、交互對(duì)話，告訴用戶相應(yīng)位置具體的UI內(nèi)容，如何與UI進(jìn)行交互，根據(jù)UI元素推斷軟件功能，在高級(jí)任務(wù)中的表現(xiàn)與GPT-4V接近。若將FerretUI與AI助理進(jìn)行結(jié)合，AI助理可深入理解用戶意圖，并基于用戶自然語(yǔ)言指令與手機(jī)APP進(jìn)行交互，實(shí)現(xiàn)AI系統(tǒng)級(jí)應(yīng)用。Siri將迎來重大革新，iOS18預(yù)計(jì)搭載更多AI功能。根據(jù)彭博社，蘋果正在改進(jìn)Siri和消息應(yīng)用程序間的交互，使Siri更有效地自動(dòng)生成文本并回答復(fù)雜問題；根據(jù)Theinformation報(bào)道，Siri將與Shortcuts應(yīng)用程序進(jìn)行更深入的集成，進(jìn)而可自動(dòng)執(zhí)行復(fù)雜任務(wù)。2024年5月13日OpenAI發(fā)布GPT-4o，其具備強(qiáng)大的語(yǔ)音和視覺感知功能。用戶無需等待模型完成發(fā)言即可插話，回應(yīng)音頻輸入平均時(shí)間僅為320毫秒，較GPT-3.5/GPT-4下降88.6%/94.1%，并且可根據(jù)語(yǔ)氣判斷用戶情緒，針對(duì)用戶情緒改變自身語(yǔ)氣，擬人化程度大幅提升。根據(jù)OpenAI官網(wǎng)，GPT-4o在MMLU、GPQA、MATH、HumanEval等推理測(cè)試中超越GPT-4Turbo、Claude3Opusn、GeminiPro1.5等前沿模型，并且在MLS基準(zhǔn)測(cè)試中優(yōu)于Whisper-v3以及Meta、谷歌的語(yǔ)音模型。根據(jù)彭博社報(bào)道，蘋果已與OpenAI達(dá)成合作協(xié)議，計(jì)劃在6月11日WWDC全球開發(fā)者大會(huì)公布一系列全新人工智慧技術(shù)。OpenAI技術(shù)加持的Siri有望以低延遲進(jìn)行語(yǔ)音對(duì)話，提高人機(jī)語(yǔ)音交互的自然流暢度。并且有望增強(qiáng)用戶情緒感知，大幅提升擬人化水平。根據(jù)彭博社，蘋果與OpenAI雙方正確認(rèn)一項(xiàng)新協(xié)議，將ChatGPT技術(shù)應(yīng)用在iOS18中。根據(jù)macrumors，iOS18中多款應(yīng)用程序如Spotlight、AppleMusic、Keynote、Shortcuts等將具備生成式AI功能。2.3.高級(jí)版AI手機(jī)：全自主執(zhí)行能力的AIAgentAIOS的最終形態(tài)是具有全自主執(zhí)行能力的數(shù)字人格?！禤ERSONAL大模型AGENTS:INSIGHTSANDSURVEYABOUTTHECAPABILITY,EFFICIENCYANDSECURITY》基于AIAgent智能水平將其分為L(zhǎng)1-L5五個(gè)級(jí)別。具有意圖交互與自我學(xué)習(xí)能力的AIOS將幫助AI助理深入理解用戶需求，持續(xù)學(xué)習(xí)用戶個(gè)人習(xí)慣等信息。伴隨手機(jī)硬件配置升級(jí)以及端側(cè)大模型推理性能提升，基于AIOS的AI助理有望成長(zhǎng)為高度智能化的數(shù)字人格，可根據(jù)用戶指令自主生成任務(wù)規(guī)劃，完美執(zhí)行用戶任務(wù)并進(jìn)行反饋。AutoGPT具備長(zhǎng)期和短期記憶管理，可實(shí)現(xiàn)任務(wù)自主規(guī)劃及執(zhí)行。AutoGPT是基于GPT-3.5或GPT-4API接口開發(fā)的AIAgent，其可將用戶提出的復(fù)雜任務(wù)拆解為多項(xiàng)子任務(wù)，自動(dòng)生成相應(yīng)任務(wù)提示并執(zhí)行，無需用戶進(jìn)行干預(yù)和指導(dǎo)。并且可以基于互聯(lián)網(wǎng)搜索獲取最新數(shù)據(jù)、新聞等信息，實(shí)現(xiàn)知識(shí)庫(kù)實(shí)時(shí)更新。通過集成Pinecone數(shù)據(jù)庫(kù)，AutoGPT可保存與用戶的對(duì)話、文本和上下文信息，并在對(duì)話中快速檢索相關(guān)的內(nèi)容，回顧歷史對(duì)話，進(jìn)而更好地理解用戶需求，提供更個(gè)性化的服務(wù)。Mobile-agent打破APP界限，聯(lián)用多款應(yīng)用實(shí)現(xiàn)擬人化操作。Mobile-Agent基于視覺感知模塊可從設(shè)備屏幕截圖中準(zhǔn)確定位視覺和文本元素以及圖標(biāo)信息，并通過視覺信息將語(yǔ)言模型生成的操作指令映射到具體的屏幕位置執(zhí)行點(diǎn)擊等操作。其具備自主規(guī)劃能力，能夠根據(jù)操作歷史和系統(tǒng)提示自主規(guī)劃新的任務(wù)。并且引入自我反思機(jī)制，在執(zhí)行過程中若遇到錯(cuò)誤或無效操作，可根據(jù)屏幕截圖和操作歷史進(jìn)行反思，嘗試替代操作或修改當(dāng)前操作的參數(shù)。目前Mobile-agent已學(xué)會(huì)阿里巴巴、TikTok、Youtube等10項(xiàng)APP使用，并在部分跨應(yīng)用場(chǎng)景中取得出色的結(jié)果。2.4.具備豐富大模型技術(shù)儲(chǔ)備、出色AIOS與硬件開發(fā)能力的手機(jī)廠商將取得領(lǐng)先地位高性能端側(cè)大模型、AIOS與出色硬件配置是AI手機(jī)核心。端側(cè)大模型是AI手機(jī)智能核心，其性能將直接影響AI手機(jī)的使用體驗(yàn)；將端側(cè)大模型融入底層架構(gòu)的AIOS具備出色的意圖交互能力，深化AI手機(jī)對(duì)用戶需求的理解，并且可更好地調(diào)用硬件資源，充分發(fā)揮端側(cè)大模型性能；CPU、GPU和NPU等硬件滿足端側(cè)大模型運(yùn)算的算力需求，具有更高硬件配置的AI手機(jī)可率先搭載更強(qiáng)性能的端側(cè)大模型，為用戶提供更佳AI服務(wù)體驗(yàn)。蘋果AIOS系統(tǒng)開發(fā)領(lǐng)先，自研芯片性能強(qiáng)勁，端側(cè)大模型進(jìn)展順利，有望率先開發(fā)具備完整AI體驗(yàn)的AI手機(jī)。AIOS：蘋果開發(fā)的FerretUI模型增強(qiáng)AIOS對(duì)手機(jī)UI界面的理解能力，可根據(jù)用戶指令與手機(jī)應(yīng)用進(jìn)行交互。結(jié)合AI助理將賦予AI助理對(duì)手機(jī)應(yīng)用的深度理解，有望實(shí)現(xiàn)AI助理自主調(diào)用APP，完美執(zhí)行用戶指令。通過與OpenAI進(jìn)行合作，預(yù)計(jì)將實(shí)現(xiàn)Siri重大革新并且iOS18將增加多項(xiàng)AI功能；芯片：蘋果自研A系列芯片性能出眾，根據(jù)Geekbench6，最新的A17Pro單核性能較驍龍8Gen3高26%，NPU算力達(dá)35TOPS；端側(cè)大模型：2024年4月蘋果在HuggingFace發(fā)布4款OpenELM，參數(shù)量分別為2.7億、4.5億、11億和30億。其采用層級(jí)縮放策略，通過在Transformer模型的每一層有效分配參數(shù)，顯著提升模型的準(zhǔn)確率。根據(jù)《OpenELM:AnEfficientLanguageModelFamilywithOpenTrainingandInferenceFramework》，在使用1/2的預(yù)訓(xùn)練數(shù)據(jù)下，參數(shù)1B的OpenELM在零樣本訓(xùn)練、leaderbroad任務(wù)和大模型360任務(wù)中的準(zhǔn)確性較OLMo高1.28%/2.36%/1.72%。蘋果有望憑借出色的芯片研發(fā)能力以及對(duì)操作系統(tǒng)的深刻理解，在AI手機(jī)開發(fā)中取得領(lǐng)先地位。谷歌率先布局大模型，積極推進(jìn)Tensor處理器研發(fā)彌補(bǔ)硬件短板。端側(cè)大模型：2023年谷歌發(fā)布具備萬億參數(shù)的大模型，Gemini。并以Gemini為基座模型開發(fā)參數(shù)量1.8B/3.25B的GeminiNano，目前已應(yīng)用至谷歌Pixel8pro、三星GalaxyS24系列手機(jī)中。AIOS：谷歌發(fā)布的screenAI模型通過采用圖像編碼器和語(yǔ)言編碼器提取圖像與文本特征，可以識(shí)別UI元素的類型和位置，增強(qiáng)圖像理解等多模態(tài)任務(wù)能力，深化對(duì)手機(jī)界面的理解。最新推出的Android14系統(tǒng)搭載AI助理Gemini，增加生成式AI功能。AICore可調(diào)用管理GeminiNano等端側(cè)模型，便于開發(fā)者進(jìn)行大模型調(diào)整和創(chuàng)新，助力構(gòu)建AI應(yīng)用生態(tài)；處理器：TensorG3處理器CPU單核及多核性能分別為A17Pro的60.4%/61.7%。自研TPU芯片，可提高AI手機(jī)中AI消除、AI視頻強(qiáng)化等性能。根據(jù)9to5google，TensorG4將采用三星4nm制程工藝與更先進(jìn)的FOWLP封裝工藝，進(jìn)一步提高能效比以及散熱水平，為AI手機(jī)提供更佳性能支持。谷歌在大模型、操作系統(tǒng)領(lǐng)域具有豐富的技術(shù)積累，但自研處理器性能具有較大改進(jìn)空間，未來仍需增強(qiáng)處理器性能以將更高性能端側(cè)大模型搭載至AI手機(jī)。3.AIOS需搭載10B~100B端側(cè)大模型，高性能需求掀起硬件革新浪潮AIOS的端側(cè)大模型參數(shù)量應(yīng)在百億~千億水平。意圖交互能力是實(shí)現(xiàn)AIOS的前提，可使AI手機(jī)更懂用戶訴求，提供更優(yōu)質(zhì)的服務(wù)體驗(yàn)。通過進(jìn)一步增加端側(cè)大模型參數(shù)量、改進(jìn)端側(cè)大模型的自學(xué)習(xí)性能可提高AIAgent的智能化水平，實(shí)現(xiàn)AIAgent自主規(guī)劃并完美執(zhí)行用戶指令，無需用戶進(jìn)行干預(yù)。因此AI手機(jī)搭載的端側(cè)大模型，其參數(shù)量至少需達(dá)到意圖交互功能所需的參數(shù)量要求，然后通過硬件性能優(yōu)化等方式支撐更高性能端側(cè)大模型，逐步接近高智能AIAgent所需參數(shù)水平。根據(jù)榮耀官網(wǎng)，MagicOS8.0系統(tǒng)搭載的端側(cè)大模型模型參數(shù)量為7B，蘋果FerretUI模型的參數(shù)量為13B，意圖交互能力所需端側(cè)大模型參數(shù)在百億級(jí)別。可實(shí)現(xiàn)任務(wù)自主規(guī)劃及執(zhí)行的AutoGPT和具備出色視覺感知、可自主規(guī)劃并調(diào)用Tiktok、淘寶等應(yīng)用程序的Mobile-Agent分別依賴參數(shù)量175B的GPT-3.5及參數(shù)量萬億以上的GPT-4V?？紤]到手機(jī)終端算力性能有限，我們認(rèn)為手機(jī)搭載的AIAgent所需端側(cè)大模型參數(shù)量將顯著低于ChatGPT的175B，預(yù)計(jì)將通過模型壓縮等方法將模型參數(shù)量降低至千億以下。3.1.異構(gòu)計(jì)算突破算力瓶頸，驍龍、天璣、蘋果A更新迭代提供堅(jiān)實(shí)算力支撐百億參數(shù)端側(cè)大模型峰值算力需求達(dá)100TOPS以上。蘋果提出的具有意圖識(shí)別能力的FerretUI模型參數(shù)量達(dá)13B，我們基于此計(jì)算搭載AIOS的AI手機(jī)所需最低算力。假定用戶手機(jī)屏幕分辨率為1920*1080，用戶最大可允許屏幕推理時(shí)間為2s，硬件算力利用率為60%。根據(jù)OpenAI，1張高分辨率圖像=85+170*（圖像分辨率/512×512）tokens，經(jīng)測(cè)算模型所需峰值算力達(dá)99TOPS。因此搭載AIOS的AI手機(jī)，處理器算力需達(dá)到100TOPS以上。集成NPU的異構(gòu)計(jì)算具備最高能效比。生成式AI部署增加手機(jī)終端計(jì)算需求，主要可分為：（1）按需型需求，由用戶觸發(fā)需立即響應(yīng)，包括圖像生成、代碼和會(huì)議摘要生成等；（2）持續(xù)型需求，運(yùn)行時(shí)間較長(zhǎng)，包括語(yǔ)音識(shí)別、視頻優(yōu)化、實(shí)時(shí)翻譯等；（3）泛在型需求，在后臺(tái)持續(xù)運(yùn)行，包括始終開啟的預(yù)測(cè)性AI助手、基于情境感知的AI個(gè)性化和高級(jí)文本自動(dòng)填充。手機(jī)終端搭載的通用CPU和GPU難以滿足生成式AI嚴(yán)苛且多樣化的計(jì)算訴求。通過集成專為AI定制的NPU，以降低部分易編程性為代價(jià)可實(shí)現(xiàn)更高的峰值性能、能效和面積效率，進(jìn)而可運(yùn)行機(jī)器學(xué)習(xí)所需的大量乘法、加法和其他運(yùn)算。基于CPU+GPU+NPU異構(gòu)計(jì)算的處理器能夠?qū)崿F(xiàn)最佳手機(jī)應(yīng)用性能、能效和電池續(xù)航，賦予增強(qiáng)的生成式AI體驗(yàn)。驍龍8Gen3搭載全新HexagonNPU，AI算力大幅升級(jí)。驍龍8Gen3搭載HexagonNPU為持續(xù)型AI推理帶來98%性能提升和40%能效提升，處理器整體峰值算力達(dá)73TOPS，支持100億參數(shù)端側(cè)大模型。通過升級(jí)微切片推理降低內(nèi)存帶寬占用，并支持4.8GHzLPDDR5x，內(nèi)存帶寬可達(dá)77GB/s。CPU和GPU性能較前代提升30%/25%，能效提升20%/25%。高通在MWC2024宣布驍龍8Gen4將采用臺(tái)積電3nm工藝制程，放棄Arm公版架構(gòu)，采用高通自研Oryon內(nèi)核，并將集成Adreno830GPU，有望進(jìn)一步提升處理器算力。天璣9300+內(nèi)置硬件級(jí)生成式AI引擎，最高支持330億參數(shù)AI模型。天璣9300+是業(yè)界首款生成式AI端側(cè)雙LORA融合的芯片，Llama2-7B端側(cè)大模型運(yùn)行速度可達(dá)22tokens/秒，最高支持運(yùn)行330億參數(shù)模型。聯(lián)發(fā)科與百度、百川智能、阿里云、谷歌、Meta等國(guó)內(nèi)外大模型巨頭達(dá)成合作，支持阿里云通義千問、百川大模型、文心大模型、谷歌GeminiNano、零一萬物等AI大模型。根據(jù)CNMO，天璣9400預(yù)計(jì)將在2024Q4發(fā)布，采用臺(tái)積電3nm制程并沿用ARM內(nèi)核，CPU大核由Cortex-X4升級(jí)至Cortex-X5。蘋果A17Pro率先采用3nm制程工藝，NPU算力達(dá)35TOPS。A17Pro搭載16核神經(jīng)網(wǎng)絡(luò)引擎，NPU算力較A16Bionic提高100%。CPU和GPU均采用6核設(shè)計(jì)，性能核心提升最高可達(dá)10%/20%。根據(jù)9to5Mac，A18芯片具備更大的尺寸，并將大幅增加內(nèi)置AI計(jì)算核心數(shù)量，預(yù)計(jì)將搭載至iPhone16和iPhone16Pro。根據(jù)GIZMOCHINA，A18Pro在Geekbench6上的單核和多核跑分分別為3570/9310，較A17Pro高22%/28%。工藝制程升級(jí)+先進(jìn)封裝是處理器未來發(fā)展方向。根據(jù)臺(tái)積電，與5nm制程技術(shù)相比，3nm制程的邏輯密度增加約70%，可實(shí)現(xiàn)相同功耗下頻率提升10-15%，或相同頻率下功耗降低25-30%，進(jìn)一步提高芯片的運(yùn)算能力以及能效比。目前臺(tái)積電規(guī)劃的3nm制程包括N3B、N3E、N3P、N3X、N3AE，其中N3B已應(yīng)用至蘋果的A17Pro，預(yù)計(jì)驍龍8Gen4將使用成本優(yōu)化后的N3E。N3P性能將進(jìn)一步提升，預(yù)計(jì)2024年下半年投產(chǎn)；N3X聚焦高性能計(jì)算設(shè)備，預(yù)計(jì)2025年進(jìn)入量產(chǎn)階段。以Chiplet為代表的3D封裝技術(shù)，通過芯片封裝小型化、高密度化，可實(shí)現(xiàn)異質(zhì)異構(gòu)的系統(tǒng)集成以及高互聯(lián)密度與低信號(hào)傳輸延遲。并且先進(jìn)封裝有望延續(xù)摩爾定律，持續(xù)提升芯片性能并降低先進(jìn)制程工藝成本。AI手機(jī)處理器有望基于先進(jìn)封裝突破摩爾定律限制，持續(xù)增強(qiáng)AI算力。圖20：以Chiplet為代表的先進(jìn)封裝技術(shù)將持續(xù)提升處理器算3.2.內(nèi)存升級(jí)+模型優(yōu)化加速AI手機(jī)智能進(jìn)化端側(cè)大模型部署驅(qū)動(dòng)手機(jī)內(nèi)存升級(jí)，16GB是AI手機(jī)基本配置。根據(jù)智源社區(qū)，F(xiàn)P32全精度的llama213B模型推理所需最低內(nèi)存為52GB，經(jīng)過Int4量化后，其推理占用內(nèi)存仍有6.5GB，考慮到手機(jī)運(yùn)行安卓操作系統(tǒng)使用內(nèi)存為4GB左右，后臺(tái)運(yùn)行其他手機(jī)APP需要6GB左右內(nèi)存，累計(jì)內(nèi)存需求達(dá)16.5GB。根據(jù)IDC，16GB內(nèi)存將成為AI手機(jī)基礎(chǔ)配置。目前OPPO、vivo、小米、榮耀等安卓廠商AI手機(jī)的最大內(nèi)存達(dá)到16GB，可滿足百億參數(shù)端側(cè)大模型運(yùn)行的基本要求。蘋果手機(jī)受益于更高效的iOS系統(tǒng)，內(nèi)存占用需求更低，目前iPhone15Pro及iPhone15ProMax的最大內(nèi)存為8GB。伴隨具有更高智能水平與更多參數(shù)量的端側(cè)大模型部署至AI手機(jī)，AI手機(jī)內(nèi)存容量有望升級(jí)至24GB以上。基于模型壓縮可在有限內(nèi)存下部署更高性能端側(cè)大模型。目前模型壓縮方法主要包括數(shù)值量化、稀疏化處理、知識(shí)蒸餾等。數(shù)值量化通過簡(jiǎn)化數(shù)據(jù)或減少表示數(shù)值的比特?cái)?shù)壓縮模型大小。根據(jù)OPPO，F(xiàn)indX7部署的70億參數(shù)AndesGPT-Tiny模型，正常的內(nèi)存占用為28GB，無法搭載至AI手機(jī)中。經(jīng)過INT4對(duì)模型進(jìn)行壓縮后，內(nèi)存占用由28GB降低至3.9GB，實(shí)現(xiàn)AndesGPT-Tiny模型端側(cè)部署。稀疏化處理主要是去除模型中數(shù)值為0或接近0的權(quán)值。微軟提出的SliceGPT技術(shù)可在保持llama-270B模型99%零樣本任務(wù)性能的前提下，剪除25%模型參數(shù)。知識(shí)蒸餾則是基于參數(shù)多、結(jié)構(gòu)復(fù)雜的教師網(wǎng)絡(luò)訓(xùn)練小參數(shù)學(xué)生網(wǎng)絡(luò)，以期獲得相似或更好性能。通過模型壓縮可突破內(nèi)存限制，加速更高參數(shù)端側(cè)大模型部署，加快打造智能化AIOS。蘋果通過優(yōu)化閃存內(nèi)存交互和內(nèi)存管理，可加載較設(shè)備DRAM大兩倍的端側(cè)大模型。目前調(diào)用大模型的方法是將整個(gè)模型加載至DRAM中進(jìn)行推理，需占用較大內(nèi)存容量。蘋果提出將模型參數(shù)存儲(chǔ)在容量更高的閃存中，在推理過程中僅從閃存中加載所需參數(shù)。其通過滑動(dòng)窗口技術(shù)僅增量加載與之前不同的神經(jīng)元數(shù)據(jù)并釋放滑窗外token占用的內(nèi)存。同時(shí)以行列捆綁方式讀取更大數(shù)據(jù)塊，提高閃存數(shù)據(jù)吞吐量。通過及時(shí)刪除冗余神經(jīng)元、將新神經(jīng)元插入預(yù)先分配數(shù)據(jù)結(jié)構(gòu)消除DRAM重新分配內(nèi)存和復(fù)制現(xiàn)有數(shù)據(jù)的需要，減少推理延遲。基于該方法可加載較設(shè)備DRAM大兩倍的端側(cè)大模型，并且在CPU和GPU上加載速度分別比傳統(tǒng)方法提高4-5倍和20-25倍。內(nèi)存帶寬限制AI手機(jī)性能，LPDDR6預(yù)計(jì)將加速滲透。根據(jù)聯(lián)發(fā)科，運(yùn)行130億參數(shù)端側(cè)大模型所需內(nèi)存帶寬為130GB/s，目前已發(fā)布的AI手機(jī)搭載的最優(yōu)DRAM為L(zhǎng)PDDR5×，數(shù)據(jù)傳輸速度為