“云智一體”技術(shù)與應(yīng)用解析白皮書-全場景智能視頻篇-頁

目錄 CONTENS一、云智一體，促進(jìn)數(shù)字化轉(zhuǎn)型與智能化升級一步到位 02產(chǎn)業(yè)智能化，數(shù)字經(jīng)濟(jì)發(fā)展新階段 03百度智能云戰(zhàn)略升級 03云智一體的百度智能云架構(gòu)2.0，加速產(chǎn)業(yè)智能化 04二、云智技術(shù)大發(fā)展讓視頻應(yīng)用與體驗躍入新階段 06三、云智一體的全場景視頻技術(shù)解析 095G+AI驅(qū)動下的視頻行業(yè)發(fā)展趨勢 10消費(fèi)類視頻的云智一體化訴求 產(chǎn)業(yè)類視頻的云智一體化訴求 11智能視頻云3.0全景圖 智能視頻3.0的特點 14智能視頻3.0背后的端邊云一體化基礎(chǔ)架構(gòu) 14基于云智一體的雙平臺 15智能視頻云3.0中的“云”能力 17視頻分發(fā)基礎(chǔ)設(shè)施CDN 17智能編碼 18智感超清 19實時音視頻通訊 21低延時直播 23智能視頻SDK矩陣 24智能視頻3.0的“智”能力 25智能理解分析 25智能視頻生產(chǎn) 27視頻交互生成 27四、智能視頻云3.0的三大行業(yè)應(yīng)用場景 31云智一體的視頻技術(shù)推動泛媒體產(chǎn)業(yè)升級 32泛媒體產(chǎn)業(yè)格局：應(yīng)對新挑戰(zhàn)、把握新動能 32泛媒體產(chǎn)業(yè)演進(jìn)的三條增長曲線 33智能媒體解決方案全景圖 34泛媒體客戶案例解析 36云智一體的視頻技術(shù)推動泛互聯(lián)網(wǎng)產(chǎn)業(yè)升級 39智能小視頻解決方案：快速上線視頻業(yè)務(wù) 39全鏈路編解碼優(yōu)化方案：降低成本、提升畫質(zhì) 41新零售直播SaaS解決方案：助力商家裂變獲客、流量變現(xiàn) 42在線社交解決方案 43泛互聯(lián)網(wǎng)客戶案例解析 44云智一體的視頻技術(shù)推動泛產(chǎn)業(yè)的視頻場景升級 45產(chǎn)業(yè)類視頻與消費(fèi)類視頻的區(qū)別 45視聯(lián)網(wǎng)發(fā)展的三大階段 46百度智能云視聯(lián)網(wǎng)感知平臺 47視聯(lián)網(wǎng)感知平臺架構(gòu)的三大特點 48產(chǎn)業(yè)類客戶案例解析 52五更多行業(yè)案例參考 54六、關(guān)于本報告 55云智一體，>>產(chǎn)業(yè)智能化，數(shù)字經(jīng)濟(jì)發(fā)展新階段當(dāng)前，我們正處在科技創(chuàng)新和產(chǎn)業(yè)發(fā)展最好的時代，以人工智能、大數(shù)據(jù)、云計算、5G等為代表的新一代信息技術(shù)蓬勃發(fā)展，驅(qū)動新一輪科技革命和產(chǎn)業(yè)變革。在產(chǎn)業(yè)應(yīng)用新興技術(shù)和數(shù)據(jù)資源轉(zhuǎn)型升級的過程中，數(shù)字化是基礎(chǔ)；而隨著人工智能等新一代信息因此，數(shù)字經(jīng)濟(jì)既包括數(shù)字化轉(zhuǎn)型，也包括智能化升級，產(chǎn)業(yè)智能化是數(shù)字經(jīng)濟(jì)發(fā)展的新階段。百度智能云戰(zhàn)略升級百度是擁有強(qiáng)大互聯(lián)網(wǎng)基礎(chǔ)的領(lǐng)先AI據(jù)技術(shù)、深度學(xué)習(xí)算法及框架，到語音、視覺、自然語言處理等感知、認(rèn)知技術(shù)，以及飛槳深度學(xué)習(xí)開源開放平臺等，具備云智一體的獨(dú)特優(yōu)勢?；诎俣鹊募夹g(shù)優(yōu)勢和對產(chǎn)業(yè)發(fā)展的洞察，經(jīng)過跟合作伙伴的共同成長與產(chǎn)業(yè)實踐，百度智能云的云智一體“賦能千行百業(yè)”，促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展。“云智一體”技術(shù)與應(yīng)用解析系列白皮書智能視頻篇云智一體的“云”為數(shù)字化轉(zhuǎn)型提供安全、穩(wěn)定、靈活的數(shù)字化底座，“智能化引擎”為智能化升級提供領(lǐng)先的創(chuàng)新技術(shù)和平臺。我們推薦客戶數(shù)字化轉(zhuǎn)型與智能化升級一起做，一步到位，這樣效率更高，效果更好。我們的智能化引擎也可以助力智能化應(yīng)用。AIAIAIAIAIAIAI。云智一體的百度智能云架構(gòu)加速產(chǎn)業(yè)智能化2.0引擎和全場景應(yīng)用（如圖1.3-1所示）。數(shù)字化底座，包括基礎(chǔ)云、數(shù)據(jù)庫、物聯(lián)網(wǎng)、邊緣計算、區(qū)塊鏈等基礎(chǔ)平臺，以及視頻云、大數(shù)據(jù)、云原生開發(fā)和地圖服務(wù)等；同時還有安全模塊，為技術(shù)創(chuàng)新和產(chǎn)業(yè)轉(zhuǎn)型升級保駕護(hù)航。在數(shù)字化底座之上是智能化引擎，百度自主研發(fā)的飛槳深度學(xué)習(xí)平臺為核心，軟硬一體AI--AI己的智能化中臺，助力智能化升級。04基于數(shù)字化底座和智能化引擎，百度智能云深入行業(yè)場景，打造智能應(yīng)用，同時與生態(tài)伙伴一起，在制造、能源、城市、金融、醫(yī)療、媒體等領(lǐng)域，助力數(shù)字化轉(zhuǎn)型和智能化升級一步到位。（圖1.3-1百度智能云全新架構(gòu)2.0）AI加快人工智能融入傳統(tǒng)產(chǎn)業(yè)，幫助越來越多的行業(yè)大步快跑，加入產(chǎn)業(yè)智能化的大潮?！霸浦且惑w”技術(shù)與應(yīng)用解析系列白皮書智能視頻篇06“云智一體”技術(shù)與應(yīng)用解析系列白皮書智能視頻篇06云智技術(shù)大發(fā)展讓視頻應(yīng)用與體驗躍入新階段>>視頻作為人類最直接、最容易感知世界的一種方式，已廣泛應(yīng)用在日常生活和工作中。從整個視頻發(fā)展史來看，過去的很長一段時間，最喜聞樂見的視頻應(yīng)用場景，主要集中在傳媒業(yè)、娛樂業(yè)等大眾消費(fèi)領(lǐng)域。10多集中在消費(fèi)互聯(lián)網(wǎng)領(lǐng)域，屬于一種視頻化業(yè)務(wù)。但在最近兩三年，視頻應(yīng)用領(lǐng)域進(jìn)一步擴(kuò)大，進(jìn)入到越來越多的行業(yè)日常業(yè)務(wù)中，更多業(yè)務(wù)正在視頻化。例如在智慧城市領(lǐng)域，基于視頻數(shù)據(jù)進(jìn)行的污染治理、消防預(yù)警等；在電力領(lǐng)域，基于視頻信息進(jìn)行的線路自動巡檢、風(fēng)險預(yù)判；在交通領(lǐng)域，基于視頻信息進(jìn)行的擁堵治理和優(yōu)化；在教育領(lǐng)域，特別是疫情出現(xiàn)后，很多課程以線上視頻形式進(jìn)行，企業(yè)內(nèi)部溝通及知識分享培訓(xùn)也基于直播或在線視頻進(jìn)行。Y V ? 7 / ’y ? /^ |J?o;s `_ 0 ` ?Y5G+AI驅(qū)動下的視頻行業(yè)發(fā)展趨勢消費(fèi)類視頻的云智一體化訴求如今在消費(fèi)類視頻應(yīng)用領(lǐng)域，沉浸式視頻體驗和智能化數(shù)字孿生成為主流趨勢。在趨勢的裹挾下，消費(fèi)類視頻面臨著諸多挑戰(zhàn)：一是隨著超高清時代的來臨，4K/8K等超高清視頻的市場需求每年都在萬小時量級以上，而目前量級只有千小時級別，視頻內(nèi)容的數(shù)量和質(zhì)量都無法滿足超高清時代的需求。二是隨著視頻內(nèi)容的海量增長，傳統(tǒng)的人工編目效率根本無法跟上視頻增長速度，視頻內(nèi)容的生產(chǎn)、管控和播放等環(huán)節(jié)都迫切需要更智能化、自動化和更豐富的技術(shù)手段來支持。三是針對視頻內(nèi)容，需要解析更多的結(jié)構(gòu)化信息，才能實現(xiàn)更精準(zhǔn)的算法推薦。面對上述挑戰(zhàn)，只有依托云的大規(guī)模算力，用AI極應(yīng)對這些挑戰(zhàn)，但離成功依然遙遠(yuǎn)。（圖3.1.1-1消費(fèi)類視頻應(yīng)用的云智一體化訴求）3.1.2產(chǎn)業(yè)類視頻的云智一體化訴求視頻應(yīng)用在產(chǎn)業(yè)類服務(wù)場景的外延化趨勢明顯。早期在傳統(tǒng)產(chǎn)業(yè)里，“視頻+聯(lián)網(wǎng)”主要是在監(jiān)控場景中使用。如今，視頻應(yīng)用已經(jīng)深入到生產(chǎn)、工作、管理等產(chǎn)品場景的方方面面，工藝優(yōu)化、質(zhì)量檢測、安全巡檢等都是目前比較成熟的產(chǎn)品類視頻應(yīng)用場景。后續(xù)仍然需要由人來查看和判斷。而隨著“業(yè)務(wù)流程數(shù)字化與智能化”概念的提出，視頻正在逐漸成為一種對物理世界進(jìn)行智能化改造的手段：通過對設(shè)計、生產(chǎn)、運(yùn)維與分析決策等全場景進(jìn)行視覺感知，生成海量視頻圖片等多維度數(shù)據(jù)并接入邊云平臺，由云邊端算力來承載和調(diào)度，由人工智能技術(shù)處理視頻內(nèi)容的結(jié)構(gòu)化，對視頻語音語義進(jìn)行自動化理解，實現(xiàn)智能化決策。還需要端智能檢測、多模搜索、輔助分析與自動化決策的“智”來引領(lǐng)。（3.1.2-1產(chǎn)業(yè)類視頻應(yīng)用的云智一體化訴求）3.0隨著時代的發(fā)展，全面視頻化的時代線條越來越清晰，為了應(yīng)對海量數(shù)據(jù)接入并提升應(yīng)用效率，視頻數(shù)據(jù)的數(shù)字化與智能化成為必然趨勢。首先，從技術(shù)角度來看，數(shù)據(jù)密集型和人工智能密集型的工作場景已然大規(guī)模出現(xiàn)。但由于終端設(shè)備型號各異、數(shù)據(jù)采集規(guī)模異常巨大，故而要求設(shè)備接入、數(shù)據(jù)采集與解析等環(huán)節(jié)都需要更高的異構(gòu)融合性、算力高并發(fā)性以及自動化等能力，這對端邊云的承載和大規(guī)模算力都提出了嚴(yán)峻挑戰(zhàn)。而視頻數(shù)據(jù)要實現(xiàn)自動化解析、智能化建模與應(yīng)用，也需要強(qiáng)大的算力和傳輸能力做支撐。最終，這些雙向需求推動了端、邊、云、智的充分融合，端邊云逐漸一體化、云智逐漸一體化。其次，從業(yè)務(wù)流程來看，人工智能技術(shù)已經(jīng)可以作用到業(yè)務(wù)流程的各個階段。有了顆粒度更細(xì)的場景算力與人工智能算法做加持，問題的解決能力也會持續(xù)提升，逐漸由只能解決通用場景問題，發(fā)展到可以解決更細(xì)分、更個性化的場景問題?？梢哉f云智技術(shù)的發(fā)展，一方面擴(kuò)展了視頻應(yīng)用的外延范圍，另一方面也加深了視頻在傳統(tǒng)應(yīng)用領(lǐng)域的作用和價值。需要注意的是，雖然視頻領(lǐng)域有了更多的新技術(shù)，但企業(yè)卻面臨著如何低成本、高效率的利用這些技術(shù)去實現(xiàn)業(yè)務(wù)創(chuàng)新的問題。因為，視頻技術(shù)的種類非常多、復(fù)雜程度高，企業(yè)盲目創(chuàng)新會造成研發(fā)成本和資源投入的高企，普通企業(yè)從時間、成本、資源等方面都無法承受。那么，如何消除架在企業(yè)視頻創(chuàng)新需求與資源成本投入間的鴻溝呢？百度智能云給出了答案：智能視頻云3.0——云智一體的、端到端的、全場景的智能視頻平臺級解決方案。3.0.02.03.0視頻領(lǐng)域的、云智一體的、一站式平臺方案，推動企業(yè)視頻應(yīng)用的可持續(xù)創(chuàng)新。 （圖3.2-1智能視頻云3.0全景圖）3.2.1智能視頻3.0的特點10100API，以及視頻創(chuàng)作分發(fā)平臺與視聯(lián)網(wǎng)感知平臺等兩大場景平臺，希望借助全場景與平臺化的智能視頻技術(shù)，為企業(yè)提供更完整豐富、一站式的視頻平臺開發(fā)與應(yīng)用集成能力。10智能視頻3.0背后的端邊云一體化基礎(chǔ)架構(gòu)3.0構(gòu)提出了高要求。為滿足以上需求，百度智能云構(gòu)建了完整的端邊云一體化基礎(chǔ)架構(gòu)體系：端側(cè)，提供輕量級終端，如AIIME和邊緣產(chǎn)品AI這樣的一整套算力分布式基礎(chǔ)架構(gòu)，既可滿足端側(cè)預(yù)處理與邊緣側(cè)匯聚計算的需求，也可確保視頻數(shù)據(jù)在云中心的各種復(fù)雜運(yùn)算。（圖3.2.2-1端邊云一體的基礎(chǔ)架構(gòu)）基于云智一體的雙平臺3.0則以業(yè)界領(lǐng)先的AI3.0發(fā)平臺和視聯(lián)網(wǎng)感知平臺，為企業(yè)提供一站式和平臺化的技術(shù)服務(wù)。視頻創(chuàng)作分發(fā)平臺處理、審核分析和個性化推薦等全流程，實現(xiàn)媒資管理和工作流的智能化改造。通過媒資結(jié)構(gòu)化處40%，盤活媒資，最大化發(fā)揮內(nèi)容價值。相對于傳統(tǒng)采編發(fā)的管理軟件，視頻創(chuàng)作分發(fā)平臺利用AI能力對數(shù)據(jù)進(jìn)行深度理解分析，加快數(shù)據(jù)流動，盤活媒資數(shù)據(jù)利用率；并為業(yè)務(wù)流提供可視化控制臺，用戶可以通過簡單靈活的視頻編排配置流程，輕松應(yīng)對業(yè)務(wù)的個性化需求，適配移動化、多終端、多形態(tài)的業(yè)務(wù)場景。VidoWorksPaaS（圖3.2.3-1視頻創(chuàng)作分發(fā)平臺）視聯(lián)網(wǎng)感知平臺視聯(lián)網(wǎng)感知平臺面向傳統(tǒng)產(chǎn)業(yè)，核心價值是對泛視頻設(shè)備和數(shù)據(jù)流實現(xiàn)統(tǒng)一的連接、分析和管理，//治理場景的通用基礎(chǔ)平臺，為企業(yè)生產(chǎn)、園區(qū)管理、城市治理等場景提供平臺化支撐。該平臺特點如下：1020200+AI應(yīng)用融合，實現(xiàn)對感知內(nèi)容的知識化處理，提升視頻應(yīng)用的認(rèn)知能力。端邊云融合。融合邊緣，提供最優(yōu)的云智一體架構(gòu)，使資源、數(shù)據(jù)、感知能力在端邊云充分融合，提升管理便捷性和秒級告警能力，降低網(wǎng)絡(luò)成本。（圖3.2.3-2視聯(lián)網(wǎng)感知平臺）3.0視頻分發(fā)基礎(chǔ)設(shè)施CDN1000+大節(jié)點，100T+帶寬儲備3.0CDN1000+基礎(chǔ)上，資源的使用能力持續(xù)下沉，可以與邊緣計算的資源深度結(jié)合，做到流量和算力的雙加速，還將一些視頻編解碼能力下沉至邊緣節(jié)點。全球智能調(diào)度+低時延感知3.0CDN節(jié)點的內(nèi)容調(diào)度和快速觸達(dá)。同時，通過對中間協(xié)議和多級緩存的優(yōu)化，大大提升了視頻內(nèi)容在不同場景要求的訪問體驗水平。系統(tǒng)可編程與分場景協(xié)議調(diào)優(yōu)3.03.0（圖3.3.1-1視頻分發(fā)基礎(chǔ)設(shè)施CDN）智能編碼為幫助視頻生產(chǎn)者在低成本與視頻極致體驗間取得最優(yōu)解，百度智能云提出了BD265智能編碼方案。BD265智能編碼技術(shù)利用深度學(xué)習(xí)網(wǎng)絡(luò)提取視頻特征，生成自適應(yīng)編碼參數(shù)，降低碼率的同時提升視頻的主觀體驗。BD26560多種算法，在視頻質(zhì)量、編碼速度和編碼碼率間取得一SIMDWPP質(zhì)量方面，BD265采用自適應(yīng)量化、碼率分配、主觀優(yōu)化來提升視頻質(zhì)量。相比于業(yè)界通用的開源編解碼技術(shù)X265，BD265在視頻編碼速度上提升了2-4倍，碼率節(jié)省30%，帶寬成本節(jié)省25%+。以好看視頻為例，BD265在實際應(yīng)用中節(jié)省帶寬成本25%+，同步提升了視頻畫質(zhì)?？梢哉f，BD265智能編解碼技術(shù)在視頻內(nèi)容的質(zhì)量、碼率和速度之間取得了最優(yōu)解。在全球頂尖的MSU2020世界視頻編碼器大賽中，BD265獲評“最優(yōu)編碼器”。目前，這套智能編解碼技術(shù)已經(jīng)廣泛應(yīng)到點播/直播等視頻應(yīng)用場景中，得到用戶的高度認(rèn)可。智能編碼BD265，同畫質(zhì)降低碼率30%+，提速2x+（圖3.3.2-1智能編碼BD265）智感超清為了匹配超高清時代的視頻體驗極致追求，百度智能云打造了“智感超清”產(chǎn)品。核心價值就是利用去噪、去劃痕、上色、畫質(zhì)增強(qiáng)、超分辨率等手段進(jìn)行老片修新，實現(xiàn)對視頻畫質(zhì)的提升和超高清內(nèi)容的轉(zhuǎn)換。智感超清背后涉及的技術(shù)眾多，具體如下：超分辨率基于U自適應(yīng)去燥視頻數(shù)據(jù)中的噪聲模式難以人工模擬，通過自研的無監(jiān)督去噪算法，可以擺脫有監(jiān)督神經(jīng)網(wǎng)絡(luò)訓(xùn)練畫質(zhì)增強(qiáng)原畫質(zhì)視頻的壓縮失真進(jìn)行細(xì)節(jié)還原；感興趣區(qū)域（RO）RIROIROIROI區(qū)域視覺主觀質(zhì)量的提升。SDRHDRSDRHDR標(biāo)準(zhǔn)視頻8itBT.709BT.202010bit及以上位深的信號。高幀率重制基于MEMC（運(yùn)動估計與運(yùn)動補(bǔ)償）的高幀率提升技術(shù)，通過對運(yùn)動方向預(yù)判，據(jù)此進(jìn)行插幀，提升畫面流暢度與觀屏舒適度。超高清編碼4KCPU+GPUASIC進(jìn)行加速處理。超分辨率：U自適應(yīng)去燥：無監(jiān)督去噪聲算法可交互控制參數(shù)，支持用戶調(diào)節(jié)高幀率重制：MEMC高幀率提升技術(shù)

畫質(zhì)增強(qiáng)：深度殘差神經(jīng)網(wǎng)絡(luò)，內(nèi)容特征提取與重建飽和度與壓縮失真還原ROI區(qū)域增強(qiáng)與編碼超高清編碼：CPU+GPU+ASICK200AI智感超清，大幅提升畫質(zhì)，加速超高清發(fā)展（圖3.3.3-1智感超清技術(shù)）百度智能云自研的智感超清技術(shù)，在CVPR、ECCV等全球大賽上均取得了好成績。同時，百度智能云也在牽頭《智能視頻處理系統(tǒng)通用技術(shù)規(guī)范》產(chǎn)業(yè)標(biāo)準(zhǔn)的組織工作，致力于制訂出普惠大眾的通用標(biāo)準(zhǔn)技術(shù)。APP等泛媒體與泛互聯(lián)網(wǎng)場景中。幫助電影頻道完成了眾多老舊影片的修復(fù)換新工作，在提供更好用戶主觀體驗的同時，減少了人工逐幀修復(fù)10（圖3.3.3-2國際比賽獎項及第三方權(quán)威認(rèn)證）實時音視頻通訊20203.0產(chǎn)品具有支持即時通訊、Android/iOS/Windows/Web/小程序等跨平臺互通、屏幕分享、旁路直播及云端錄制等特點?！皩崟r音視頻通訊”產(chǎn)品具備抗弱網(wǎng)、端到端延時性能監(jiān)控、高質(zhì)量音視頻通話等特點，具體如下：弱網(wǎng)支持FECNACK60%80%，弱網(wǎng)環(huán)境下保證高質(zhì)量通信。高性能200msServerWHIP協(xié)議轉(zhuǎn)換解決了信令交互復(fù)雜、房間管理業(yè)務(wù)量大、數(shù)據(jù)庫操作頻繁等問題，可支撐每個房間在線人數(shù)達(dá)百萬級別。首屏秒開處理800ms左右拿到首幀并渲染到屏幕，大幅提升用戶體驗。AI能力AR學(xué)生狀態(tài)監(jiān)測等更多場景。端到端實時監(jiān)控設(shè)備運(yùn)行狀態(tài)、QoE、QoS3A4K1000+（圖3.3.4-1實時音視頻通訊）低延時直播實時音視頻通訊實現(xiàn)了線上超低延時的互動體驗，但面對千萬級并發(fā)量，如何應(yīng)對？“低延時直播”就是滿足此類場景的視頻產(chǎn)品，其背后核心是百度智能云自研的通訊格式封裝和協(xié)議棧優(yōu)化技術(shù)。直播包括采編碼、推流、分發(fā)、接受、解碼和渲染等環(huán)節(jié)，要在直播中實現(xiàn)時延的突破、分發(fā)和接CDN節(jié)點資源等情況?！爸悄芤曨l云3.0”低延時直播產(chǎn)品采用全鏈路SRT協(xié)議技術(shù)傳輸方案，用戶從推流、播放及CDNSRTMPegTS封裝，從而將網(wǎng)絡(luò)丟包的可能性降到最低，把延遲做到最小。SRTCDN后，CDNSRT流轉(zhuǎn)成主流格式的直播協(xié)議，用戶也可以使用http-flvhlsrtmprtmpflv的延遲，SRT1sSRTBD26530%。mpegtsSRT務(wù)品質(zhì)。首屏秒開：CDN1UDPRTMPSRTHttp/flv（圖3.3.5-1低延時直播）智能視頻SDK矩陣在全民拍攝的泛直播時代下，輕量化美顏、智能剪輯、低碼率高品質(zhì)推流、沉浸式播放體驗等成為SDKPaddleLiteBD265編碼算法及全景渲染算法等百度自研算法變?yōu)楝F(xiàn)實。在這些底層算法的加持下，終端能力得到大幅提升。智能視頻終端框架正在經(jīng)歷從模塊化向智能化的演進(jìn)歷程。平臺接入層通過模塊化解決多SDK復(fù)據(jù)監(jiān)控，運(yùn)行質(zhì)量可一目了然。跨平臺層重點解決多終端數(shù)據(jù)處理一致性體驗的問題?；谏a(chǎn)消費(fèi)模型，將自研算法抽象成獨(dú)立算子（如人臉?biāo)惴ǎ?，?jīng)過管線中不同處理節(jié)點，最終將數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)效果（如美顏等）。CPU與GPU在時間和空間上得到更好的協(xié)同。（圖3.3.6-1智能視頻SDK矩陣）3.03.0AI基石。智能理解分析視頻中的單模態(tài)理解處理方法也不盡相同；二是視頻樣本素材少，無法支撐起一個有效的訓(xùn)練模型，這在工業(yè)場景尤為基于以上挑戰(zhàn)，百度智能云提出了一套“預(yù)訓(xùn)練-小型化-定制化”的研發(fā)流程：預(yù)訓(xùn)練的大規(guī)模訓(xùn)練框架，基于所有場景圖像、視頻等有監(jiān)督數(shù)據(jù)和無監(jiān)督數(shù)據(jù)進(jìn)行混合訓(xùn)練，打造預(yù)D于百度海量數(shù)據(jù)的人臉識別預(yù)訓(xùn)練模型，人物識別全場景錯誤率相對降低40%+，模型速度提升50%。小型化與定制化模型訓(xùn)練只是手段，應(yīng)用才是目標(biāo)。由于設(shè)備端規(guī)格多種多樣，計算能力千差萬別，邊緣側(cè)適配性PaddleSim模型。縮小后的模型，既具備大模型的知識結(jié)構(gòu)，又有通用性特點，結(jié)合特定場景的少量樣本，即PaddleSlim速度提升了兩倍。而在游戲、動漫、體育等垂類場景中，識別準(zhǔn)確率可達(dá)90%+，訓(xùn)練數(shù)據(jù)標(biāo)注量40%。（圖3.4.1-1視頻模態(tài)理解框架重磅升級）知識增強(qiáng)的視頻理解基于知識的視頻語義理解技術(shù)，充分利用豐富、全面的知識圖譜提升視頻理解效果。該技術(shù)通過對通過對背景知識的計算與推理，實現(xiàn)對視頻的深度語義理解。知識增強(qiáng)的視頻理解技術(shù)，突破了傳統(tǒng)的基于感知的視頻內(nèi)容分析的局限性，實現(xiàn)對視頻的深度結(jié)構(gòu)化語義理解，大幅提升視頻理解效果，標(biāo)簽召回量提升140%。目前基于知識的視頻理解技術(shù)，已在百度的搜索、推薦、好看視頻等多個重要業(yè)務(wù)中得到大規(guī)模應(yīng)用，取得了顯著效果。戰(zhàn)就是在保證準(zhǔn)確率的前提下，提升編目效率。視頻智能編目通過對視頻的多模態(tài)理解，算法能自動識別一系列的編目項，編目平均準(zhǔn)確率超過90%，68倍。一段30分鐘時長的新聞，人工編目需4小時，而智能編目只需要30-40分鐘。（圖3.4.1-2知識增強(qiáng)的視頻理解）智能視頻生產(chǎn)視覺模態(tài)創(chuàng)新技術(shù)//Video-in（內(nèi)容智能嵌入）知識增強(qiáng)的視頻生產(chǎn)基于知識圖譜的視頻生產(chǎn)技術(shù)是百度智能云視頻生產(chǎn)技術(shù)的差異化亮點，主要包括三種：實體盤點視頻：借助知識圖譜的海量事實，生產(chǎn)關(guān)于實體屬性、關(guān)系的各種知識類、趣味性的盤點視頻。脈絡(luò)視頻：基于知識圖譜中一項核心技術(shù)能力——多輪問答技術(shù)，可實現(xiàn)事件監(jiān)測和事件論元抽取基于事件脈絡(luò)能力，可生成關(guān)于熱點事件來龍去脈的報道視頻。場景聚合視頻：通過對影視劇的多模語義理解，能自動將某一類場景鏡頭進(jìn)行聚合，呈現(xiàn)作品的精彩片段。（圖3.4.2-1知識增強(qiáng)的視頻生產(chǎn)）視頻交互生成3.0AIAR特效技術(shù)到新型驅(qū)動特效、風(fēng)格特效和多模態(tài)生成，全面支持各類泛娛樂場景的視頻交互與生成需求。特別是數(shù)字AIAI中呈現(xiàn)。數(shù)字人（圖3.4.3-1交互生成矩陣）數(shù)字人視覺模態(tài)的任意風(fēng)格化視覺模態(tài)的任意風(fēng)格化有兩大挑戰(zhàn)：一是形成任意風(fēng)格之前都要先學(xué)習(xí)一個元模型；二是要在有限樣本的條件下進(jìn)行模型遷移。智能視頻云3.0可以完美解決這些問題，基于元學(xué)習(xí)、多風(fēng)格AdaptationFew-shotLearning（圖3.4.3-2視覺模態(tài)的風(fēng)格化）數(shù)字人技術(shù)區(qū)別于傳統(tǒng)的文字、語音等對話服務(wù)，數(shù)字人技術(shù)以更加擬人或還原真人的形式，提供更有溫度的3.0直接的解決用戶問題或輔助用戶決策。領(lǐng)先的數(shù)字人技術(shù)需要解決四大挑戰(zhàn)：形象豐富2D2D3D3D4的是3D高精建模人像，一方面可高度還原真人，實現(xiàn)風(fēng)格定制，另一方面可避免肖像權(quán)問題。其次廣泛應(yīng)用的是2D真人影像，制作成本相對比較低，但需要模特肖像授權(quán)，一般應(yīng)用在替代真人的嚴(yán)肅場景?！?D高精建模”分為重新構(gòu)建和微調(diào)兩種制作方式，模型構(gòu)建需要大量真人原型數(shù)真人影像”采集綠幕影像數(shù)據(jù)，通過唇部摳圖、打點切分等數(shù)據(jù)處理步驟，完成模型的構(gòu)建。交互自然百度智能云擁有業(yè)界首個基于RNN更自然、更動聽；同時融合了下巴、面部唇動合成技術(shù)，通過高精度的紋理合成，讓語音驅(qū)動的唇98.4%，幾乎可達(dá)到完美的口型聲音一致。（圖3.4.3-3數(shù)字人的四大挑戰(zhàn)-交互自然）為充分發(fā)揮云智技術(shù)的價值，百度智能云深度到參與視頻相關(guān)產(chǎn)業(yè)的智能化升級中，基于云智一體3.0覆蓋互動娛樂、內(nèi)容生產(chǎn)、智能分析、遠(yuǎn)程實時通訊、生產(chǎn)管理和安全管理等場景。升級3.0AI泛媒體產(chǎn)業(yè)格局：應(yīng)對新挑戰(zhàn)、把握新動能新挑戰(zhàn)需求多元化與傳播碎片化。用戶的個性化需求增長迅速，多元化趨勢顯著；同時，隨著傳播渠道的形式與數(shù)量直線增加，中心化傳播逐漸弱化，傳播碎片化加劇。新動能新內(nèi)容。當(dāng)前，直播、短視頻等新媒體內(nèi)容成為主流，AR/VR/AMR新方式。車載、家庭等多屏交互終端持續(xù)涌現(xiàn)，更有數(shù)字人等新交互技術(shù)加持。//商務(wù)等泛媒體組合出現(xiàn)了新的業(yè)務(wù)機(jī)會，內(nèi)容逐漸成為一種新產(chǎn)品業(yè)態(tài)。比如金融媒體，基于專業(yè)的內(nèi)容生產(chǎn)，為銀行、證券等金融機(jī)構(gòu)提供垂類內(nèi)容服務(wù)。（圖4.1.1-1泛媒體產(chǎn)業(yè)的挑戰(zhàn)與動能）泛媒體產(chǎn)業(yè)演進(jìn)的三條增長曲線泛媒體產(chǎn)業(yè)存在著用戶驅(qū)動、科技引領(lǐng)的三條增長曲線，不同的媒體形態(tài)和媒體階段，都在這三條曲線上發(fā)展。信息化增長曲線為實現(xiàn)提質(zhì)增效的目標(biāo)，傳統(tǒng)廣電媒體正在做辦公、采編、傳播等環(huán)節(jié)的信息化轉(zhuǎn)型。網(wǎng)絡(luò)化增長曲線完成信息化升級的媒體機(jī)構(gòu)，開始朝著網(wǎng)絡(luò)化新媒體矩陣方向發(fā)展，廣電、報業(yè)等諸多機(jī)構(gòu)都在謀劃自己的新媒體矩陣，一些省市廣電傳媒希望打造出超級APP，并嘗試通過MCN渠道來聚合更多內(nèi)容。智能化增長曲線//商務(wù)的新業(yè)務(wù)模式為立足點，為內(nèi)容的供給方和消費(fèi)方提供技術(shù)服務(wù)。智能媒體解決方案全景圖定位及價值主張百度智能云依托云智一體的視頻云技術(shù)，致力于助力媒體機(jī)構(gòu)的數(shù)智內(nèi)容生產(chǎn)、打造極致體驗。智能媒體解決方案的定位如下：云智一體的媒體技術(shù)體系。百度智能云可為媒體機(jī)構(gòu)提供包括智能媒資管理、智能生產(chǎn)創(chuàng)作和智慧經(jīng)營等在內(nèi)的云智一體技術(shù)方案，實現(xiàn)從內(nèi)容生產(chǎn)到消費(fèi)的全閉環(huán)技術(shù)體系。賦能產(chǎn)業(yè)三大升級。通過移動化、數(shù)字化升級，助力媒體業(yè)務(wù)獲得新的增長空間；打造高清互動的體驗，實現(xiàn)用戶體驗的新變革；推動媒體與服務(wù)模式升級，為媒體創(chuàng)新與探索更多元化、交互性更強(qiáng)的商業(yè)機(jī)會提供技術(shù)支持。打造產(chǎn)業(yè)生態(tài)圈。百度智能云希望通過跟央媒、省市廣電等媒體機(jī)構(gòu)以及頭部學(xué)校合作，探索產(chǎn)學(xué)（圖4.1.3-1智能媒體解決方案的定位及價值主張）全景圖解析云智基礎(chǔ)設(shè)施。提供核心的視頻云能力及多種智能化場景技術(shù)，圍繞各類業(yè)務(wù)場景，打造媒體中臺體系。媒體AI發(fā)等全流程。媒體知識中臺?；诙嘣R圖譜，實現(xiàn)內(nèi)容資產(chǎn)的知識化、資產(chǎn)化，將媒體自產(chǎn)和采購的海量內(nèi)容進(jìn)行標(biāo)簽索引，形成結(jié)構(gòu)化的內(nèi)容資源庫。媒體經(jīng)營中臺。所有媒體的內(nèi)容生產(chǎn)都是為了觸達(dá)受眾，實現(xiàn)傳播或者商業(yè)變現(xiàn)。百度有著豐富的多元化內(nèi)容經(jīng)營與分發(fā)經(jīng)驗，助力媒體打造智能經(jīng)營中臺體系。行業(yè)方案體系。在云智基礎(chǔ)設(shè)施和媒體中臺技術(shù)的加持下，構(gòu)建智能媒資管理、智能內(nèi)容生產(chǎn)及智能經(jīng)營等行業(yè)級方案體系，覆蓋策采編審發(fā)等全流程，實現(xiàn)臺網(wǎng)端的全渠道觸達(dá)。同時，還可結(jié)合廣電、網(wǎng)絡(luò)、金融、文旅和體育等不同泛媒體領(lǐng)域的個性化場景，提供定制化解決方案。20內(nèi)容分發(fā)處理經(jīng)驗，以及大量內(nèi)容數(shù)據(jù)渠道和生態(tài)資源，能夠聯(lián)合內(nèi)容合作伙伴，實現(xiàn)對整個泛媒體進(jìn)行全鏈條、全渠道的智能化賦能。新媒體智能分發(fā)與運(yùn)營?；诎俣戎R圖譜，基于用戶數(shù)據(jù)洞察和知識圖譜化的內(nèi)容資源，實現(xiàn)對用戶和內(nèi)容的智能化理解，形成用戶畫像和內(nèi)容庫，達(dá)到更加個性化、精準(zhǔn)化的內(nèi)容分發(fā)。同時，利用百度多年的內(nèi)容流量生態(tài)運(yùn)營經(jīng)驗，結(jié)合人工智能技術(shù)，達(dá)到整個產(chǎn)業(yè)從內(nèi)容生產(chǎn)到消費(fèi)的全閉環(huán)，實現(xiàn)一體化運(yùn)營。（圖4.1.3-2泛媒體產(chǎn)品和解決方案全景圖）泛媒體客戶案例解析廣電傳媒人民日報“創(chuàng)作大腦”。當(dāng)前，廣電傳媒機(jī)構(gòu)都在響應(yīng)國家政策號召，打造新型主流媒體，實現(xiàn)融媒體轉(zhuǎn)型。百度智能云攜AIAI化生產(chǎn)工具，覆蓋人民日報的內(nèi)容生產(chǎn)全場景，提升效率；二是對人民日報的海量信息，進(jìn)行知識化和圖譜化處理，對整體存量資源進(jìn)行標(biāo)簽化索引，內(nèi)容資源實現(xiàn)知識化和資產(chǎn)化，更好適用在媒體訂閱、新聞數(shù)據(jù)追蹤、熱門檢索和原創(chuàng)分析等生產(chǎn)分發(fā)場景中，提供最新熱門線索及覆蓋最廣的原創(chuàng)查重等數(shù)據(jù)服務(wù)；三是實現(xiàn)流量端的整合，百度的百家號、手機(jī)百度等媒體，融合人民日報的人民號和超級直播剪輯工具：滿足了新媒體視頻生產(chǎn)中對新聞會議、活動直播中精彩、重要片段的“邊播邊剪”已經(jīng)成為媒體高效制作短視頻的重要工具。新聞轉(zhuǎn)視頻工具：支持直接粘貼百家號、人民號、頭條號、企鵝號、微信號網(wǎng)頁鏈接等方式，自動word（有新聞通訊稿但來不及做成視頻）Word視頻橫轉(zhuǎn)豎工具：該功能在多終端多渠道進(jìn)行內(nèi)容發(fā)布時，尤為重要。利用編碼和人工智能技術(shù)對視頻畫面進(jìn)行處理，在確保最小壓縮比的情況下實現(xiàn)橫豎轉(zhuǎn)換，便于傳播和二次加工。同時對畫面主體人物進(jìn)行智能識別，保證主要人物始終處于畫面中。視頻生產(chǎn)提效：視頻自動生成字幕文件、視頻片段轉(zhuǎn)GIF、視頻大小自動適配壓縮等功能，能夠?qū)崿F(xiàn)視頻素材的快速處理，一次生產(chǎn)、多終端發(fā)布。智能媒體資源庫：對剪輯素材文件進(jìn)行多維AI分析，智能提取文件的標(biāo)簽、畫面文字、語音及關(guān)鍵字等，提高文件的多次利用率。智能云盤：快捷剪輯出視頻關(guān)鍵片段，高效生產(chǎn)短視頻；一鍵分享文件鏈接，更有加密、刪除分享、有效期設(shè)置，保證文件安全傳播。央視網(wǎng)“五智”人工智能編輯部。200C，組織了“兩會C+真探”的虛擬記者采訪項目，收到市場廣泛關(guān)注。攜手打造人民日報創(chuàng)作大腦（圖4.1.4-1）金融行業(yè)：垂類信息和技術(shù)的智能化服務(wù)行業(yè)等信息，對內(nèi)容進(jìn)行數(shù)據(jù)處理、標(biāo)簽化和索引化，提供可定制化的金融輿情信息和可視化展現(xiàn)服務(wù)，結(jié)合機(jī)器自動生產(chǎn)技術(shù)，快速生產(chǎn)金融機(jī)構(gòu)所需的內(nèi)容。文旅行業(yè)：改善服務(wù)質(zhì)量、提升用戶體驗文旅行業(yè)有很多存量視聽資源，并還在不斷生產(chǎn)。百度智能云聯(lián)合重點景區(qū)、博物館、愛國主義教AIAIAIAIAI增加了營收能力，打造了智慧文旅新基建標(biāo)桿。體育行業(yè)：全場景、全流程智能化百度智能云抓取足球領(lǐng)域各大聯(lián)賽與杯賽的賽事與球員信息，結(jié)合AIAI（圖4.1.4-2體育行業(yè)案例）云智一體的視頻技術(shù)推動泛互聯(lián)網(wǎng)產(chǎn)業(yè)升級內(nèi)容和用戶是互聯(lián)網(wǎng)企業(yè)增長的核心要素。百度智能云助力優(yōu)質(zhì)內(nèi)容生產(chǎn)者，深入垂類賽道，用AI技術(shù)降低碼率、提升畫質(zhì)，以低成本分發(fā)的方式，精準(zhǔn)觸達(dá)到目標(biāo)受眾群，形成裂變增長。3.0率，拉動創(chuàng)新內(nèi)容的產(chǎn)量，優(yōu)化視頻質(zhì)量，提升用戶體驗，實現(xiàn)降本增效。 四大解決方案，帶來視頻體驗與效率升級（圖4.2-1泛互聯(lián)網(wǎng)的四大視頻解決方案）智能小視頻解決方案：快速上線視頻業(yè)務(wù)智能小視頻一站式解決方案，提供全套智能視頻拍攝工具，在拍攝器上提供100+的AR技術(shù)拍攝編輯玩法。通過一站式工作流，直接將拍攝視頻傳輸至存儲系統(tǒng)，進(jìn)行媒資管理、視頻處理與審核、以及發(fā)布與分發(fā)加速。同時，APP樣本及服務(wù)端部分代碼開放給用戶，可根據(jù)自身需求定制開發(fā)，快速打造視頻應(yīng)用。云直播服務(wù)媒資處理與管理大數(shù)據(jù)服務(wù)云直播服務(wù)媒資處理與管理大數(shù)據(jù)服務(wù)媒資管理運(yùn)營數(shù)據(jù)媒資 媒資 媒資 人工 媒資 媒資 媒資生管理 編目 查詢 審核 封禁 發(fā)布 周期管用戶模型媒資數(shù)據(jù)處理任務(wù)數(shù)據(jù)轉(zhuǎn)碼處理智能分析 智能審核 視頻去重 原創(chuàng)檢測 內(nèi)容模型格式轉(zhuǎn)碼 抽幀內(nèi)容識別色情指紋提取原創(chuàng)庫創(chuàng)建分發(fā)播放數(shù)據(jù)前后貼片疊加水印 自動分類暴恐指紋比對策略制定視頻比對黑邊裁剪 標(biāo)簽提取涉政人工復(fù)查圖像增強(qiáng)圖像超分 智能封面廣告非原創(chuàng)重復(fù)刪除 駁內(nèi)容業(yè)務(wù)方數(shù)據(jù)用戶數(shù)據(jù) 數(shù)據(jù)個性化推薦APP端廣告展現(xiàn)與播放數(shù)據(jù)采集視頻拍攝器美顏濾鏡視頻編輯視頻拍攝器美顏濾鏡視頻編輯文件上傳互動特效編碼合流直播推流播放器SDKFEED展現(xiàn)播放/暫停/拖動彈幕封面圖 標(biāo)題視頻 數(shù)據(jù)量AR/VR播放廣告智能化，高體驗 開放性，個性化智能化，高體驗 開放性，個性化一站式，高效率端到端解決方案，幫助用戶1快速搭建短視頻/直播業(yè)務(wù)智能小視頻解決方案，幫助快速上線視頻業(yè)務(wù)（圖4.2.1-1智能小視頻解決方案）以其中的智能視頻拍攝器為例。它為短視頻及相關(guān)垂直行業(yè)的UGC/PGC場景，提供移動端采編傳的視頻內(nèi)容創(chuàng)作工具SDK，內(nèi)置美顏美體、人臉識別、肢體動作識別及場景特效等100多種技術(shù)能力，可對視頻做雙語字幕等多種編輯操作，為直播場景提供移動端推流工具，支持單向直播和互動連麥。智能視頻拍攝器，移動端視頻內(nèi)容創(chuàng)作利器（圖4.2.1-2智能視頻拍攝器）全鏈路編解碼優(yōu)化方案：降低成本、提升畫質(zhì)BD265H265編碼，50%2dbB265AISDK技術(shù)，同碼率情況下，大幅提升視頻畫質(zhì)，提升主觀體驗。（圖4.2.2-1全鏈路編解碼方案）BD265H26590H265BD265手機(jī)端解碼產(chǎn)品在具備與H265同等條件下，相比H26599.9%+（圖4.2.2-2BD265終端解碼策略）新零售直播SaaS解決方案：助力商家裂變獲客、流量變現(xiàn)新零售的直播SaaS解決方案，幫助網(wǎng)紅主播、實體門店、家電家居、房地產(chǎn)、汽車、品牌廠商、微商電商等開啟新零售導(dǎo)購直播。通過一鍵式導(dǎo)購直播能力，提升用戶觸達(dá)率，實現(xiàn)線上營銷變現(xiàn)和裂變引流，獲得更多的轉(zhuǎn)化；提供分銷系統(tǒng)，實現(xiàn)訂單追蹤，保證用戶的歸屬和轉(zhuǎn)化；具有數(shù)據(jù)分析能力，幫助用戶做出直播決策。（圖4.2.3-1新零售直播SaaS解決方案）轉(zhuǎn)化為老客戶或潛在客戶；再通過激勵措施，讓這些老客戶去分享帶動新用戶進(jìn)來，留存新用戶并形成轉(zhuǎn)化，最終形成自生長造血系統(tǒng)運(yùn)營。（圖4.2.3-2私域流量運(yùn)營）在線社交解決方案IMAIIP。（圖4.2.4-1在線社交解決方案）泛互聯(lián)網(wǎng)客戶案例解析智感超清幫助“得物APP”大幅提升視頻畫質(zhì)體驗AppPGCUGC720P720P?；谥歉谐褰鉀Q方案，PGC/UGC上線，視頻畫質(zhì)大幅提升，用戶觀感體驗獲得好評。為“好看視頻/全民小視頻”提供全鏈路處理分發(fā)服務(wù)好看視頻，是一個為用戶提供海量優(yōu)質(zhì)短視頻內(nèi)容的專業(yè)聚合平臺。全民小視頻App覆蓋多種類型的小視頻，用戶可以發(fā)布小視頻分享、記錄生活，支持大眼瘦臉美顏和各種貼紙等功能。兩款視頻應(yīng)用都是全面基于視頻全鏈路處理分發(fā)平臺來構(gòu)建的，從視頻拍攝、音視頻處理、理解分析等都是基于整個平臺來構(gòu)建的，大幅提升視頻畫質(zhì)，提升主觀體驗，節(jié)省用戶的傳輸帶寬和存儲成本。賦能快手為全球用戶提高優(yōu)質(zhì)的點播/直播體驗/BOS、CDN、LSS等云服務(wù)，為邊云一體的使用體驗。百度智能云BOSCDN節(jié)點，為快手提供海量的圖片和短LSS解決方案，智能優(yōu)化鏈路，為受眾帶來高清、流暢、低延時的游戲直播，以及性能穩(wěn)定的短視頻、點播回看。云智一體的視頻技術(shù)推動泛產(chǎn)業(yè)的視頻場景升級百度智能視頻云基于端邊云一體的基礎(chǔ)架構(gòu)，以“平臺+數(shù)據(jù)”為主導(dǎo)，滿足泛產(chǎn)業(yè)的業(yè)務(wù)系統(tǒng)對接和數(shù)據(jù)平臺化等需求。產(chǎn)業(yè)類視頻與消費(fèi)類視頻的區(qū)別視頻作為人類最直接、最容易感知世界的一種方式，廣泛應(yīng)用在日常生活和工作中，最喜聞樂見的知識信息轉(zhuǎn)化為多媒體形式，便于受眾體驗，提升與受眾的互動傳播性。而對于產(chǎn)業(yè)類視頻來說，主要是服務(wù)于業(yè)務(wù)場景。因此，信息的轉(zhuǎn)化過程恰恰相反，是通過視頻解析技術(shù)等，將視頻進(jìn)行結(jié)構(gòu)化處理，把其中的知識信息以結(jié)構(gòu)化形式提取出來，為企業(yè)業(yè)務(wù)提供決策依據(jù)。視頻->結(jié)構(gòu)化信息視頻->結(jié)構(gòu)化信息結(jié)構(gòu)化信息->視頻產(chǎn)業(yè)類視頻消費(fèi)類視頻智能視頻云3.0處理傳播 視頻解析處理傳播 視頻解析視頻信息化AI視頻構(gòu)建直播營銷采集AR/VR虛擬主播信息轉(zhuǎn)化互動傳播視頻客服短視頻業(yè)務(wù)視頻大數(shù)據(jù)視頻管理信息轉(zhuǎn)化互動傳播智能會議視頻結(jié)構(gòu)化視聯(lián)網(wǎng)發(fā)展的三大階段視頻管理階段該階段以硬件廠商為主導(dǎo)，提供簡單的視頻管理應(yīng)用，服務(wù)場景主要是視頻存管看等基礎(chǔ)問題，服務(wù)廠商主要是傳統(tǒng)設(shè)備商。這個階段雖然能滿足企業(yè)的視頻管理等基礎(chǔ)需求，但缺乏智能化手段，主要還是人工來完成流程操作，因而相對來說整體管理效率較為低下。視頻智能階段AIAII升視頻理解能力，解決了視頻“能看懂”的問題。這個階段主要是AIAI視聯(lián)網(wǎng)平臺階段視聯(lián)網(wǎng)發(fā)展到上一階段，雖然很多需求通過AI綜合來看，泛產(chǎn)業(yè)場景視聯(lián)網(wǎng)的未來發(fā)展趨勢：一是以應(yīng)用服務(wù)為中心，更加貼近業(yè)務(wù)，業(yè)務(wù)需求臺化和數(shù)據(jù)化，在邊側(cè)依托AI匯聚與處理。（圖4.3.2-1泛產(chǎn)業(yè)視聯(lián)網(wǎng)發(fā)展趨勢）百度智能云視聯(lián)網(wǎng)感知平臺針對視聯(lián)網(wǎng)平臺第三發(fā)展階段，百度智能云推出了視聯(lián)網(wǎng)感知平臺解決方案，該平臺屬于閉環(huán)性架構(gòu)。10SDK能力，其可快速和平臺對接，實現(xiàn)統(tǒng)一管理。百AI20200AIIasyDL，再利用這些數(shù)據(jù)產(chǎn)生豐富的、滿足業(yè)務(wù)場景化需求的AI（圖4.3.3-1視聯(lián)網(wǎng)感知平臺架構(gòu)）視聯(lián)網(wǎng)感知平臺架構(gòu)的三大特點特點一：智能覆蓋多行業(yè)和場景的智能視覺分析能力。視聯(lián)網(wǎng)感知平臺依托百度自研的全棧式AI//車輛，有豐富的特征值信息，并可提供庫查詢，還具備視頻修復(fù)能力，提升整體視頻的理解能力。目前，應(yīng)用已覆蓋交通、能源、城市治理和農(nóng)林等各類主流的業(yè)務(wù)場景。（圖4.3.4-1視聯(lián)網(wǎng)感知平臺覆蓋多行業(yè)和場景智能視覺分析能力）全目標(biāo)感知服務(wù)。相比于單一算子只能提供事件解析，不能提供更豐富數(shù)據(jù)的局限性，百度智能云視聯(lián)網(wǎng)感知平臺可提供全目標(biāo)感知服務(wù)，基于一張圖即可解析出人臉、人體、車輛以及其他關(guān)聯(lián)性信息，支持深度關(guān)系數(shù)據(jù)的挖掘。比如在疫情期間，快速追蹤到可能的密接者并獲取關(guān)聯(lián)信息，支持疫情防控的復(fù)雜性決策，這便是全目標(biāo)感知服務(wù)的應(yīng)用之一。（圖4.3.4-2全目標(biāo)感知服