騰訊：2023騰訊云工具指南06期：AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案

Tencen騰訊Tencen騰訊TECH)DAY騰訊技術(shù)開(kāi)放日騰訊云工具指南06AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案IDC數(shù)據(jù)解讀:數(shù)據(jù)管理賽道趨勢(shì)IDC中國(guó)企業(yè)軟件市場(chǎng)高級(jí)分析師王楠 04騰訊云數(shù)據(jù)管理產(chǎn)品全景解析騰訊云副總裁黃世飛 06產(chǎn)產(chǎn)品價(jià)值：一圖讀懂騰訊云數(shù)據(jù)管理產(chǎn)品矩陣02更彈性高效的“數(shù)據(jù)存儲(chǔ)” 08更靈活智能的“數(shù)據(jù)處理與集成” 08更實(shí)時(shí)敏捷的“數(shù)據(jù)分析與應(yīng)用” 09面向數(shù)據(jù)管理全流程的“數(shù)據(jù)安全防護(hù)” 09行業(yè)實(shí)踐：行業(yè)實(shí)踐：各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法微信讀書騰訊云ESRAG如何支持微信讀書實(shí)現(xiàn)AI問(wèn)書功能? 博世騰訊云全棧式數(shù)據(jù)管理如何助力博世自動(dòng)駕駛數(shù)據(jù)閉環(huán)? 福建海峽銀行騰訊云TDSQL助力海峽銀行核心系統(tǒng)升級(jí) 20極光騰訊云大數(shù)據(jù)如何幫助極光實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)架構(gòu)優(yōu)化? 22通過(guò)五大能力建設(shè)破解企業(yè)數(shù)據(jù)安全主要威脅 25PARTPART01趨勢(shì)洞悉AGI時(shí)代下數(shù)據(jù)管理的新思路·數(shù)據(jù)在AGI時(shí)代價(jià)值愈發(fā)重要:數(shù)據(jù)已經(jīng)成為社會(huì)和企業(yè)運(yùn)行的關(guān)鍵生產(chǎn)要素,隨著智能時(shí)代的到來(lái),數(shù)據(jù)將發(fā)揮更大作用,甚至成為企業(yè)競(jìng)爭(zhēng)的核心壁壘;·新時(shí)代應(yīng)用“全面系統(tǒng)、化繁為簡(jiǎn)”的視角系統(tǒng)看待數(shù)據(jù)管理:不能只關(guān)注數(shù)據(jù)庫(kù)、大數(shù)據(jù)具體產(chǎn)品的可靠性指標(biāo),更需要彼此的系統(tǒng)性協(xié)同;·騰訊云以數(shù)據(jù)為基的敏捷結(jié)構(gòu)貫穿數(shù)據(jù)旅程統(tǒng)籌管理:這包括Iaas層,對(duì)數(shù)據(jù)原材料的存儲(chǔ)、讀寫、調(diào)用處理;也包括paas層,基于大數(shù)據(jù)、數(shù)據(jù)庫(kù)等產(chǎn)品的數(shù)據(jù)價(jià)值挖掘及數(shù)據(jù)安全保障;更包括saas層,在不同行業(yè)場(chǎng)景中,例如LBs、AIGC應(yīng)用的靈活部署。趨勢(shì)洞悉——AGI時(shí)代下數(shù)據(jù)管理的新思路IDC數(shù)據(jù)解讀:數(shù)據(jù)管理賽道趨勢(shì)IDC中國(guó)企業(yè)軟件市場(chǎng)高級(jí)分析師王楠隨著技術(shù)的進(jìn)步和應(yīng)用場(chǎng)景的擴(kuò)展,數(shù)據(jù)將成為各行各業(yè)優(yōu)化決策和提升效率的核心資產(chǎn),數(shù)據(jù)管理也隨之成為企業(yè)戰(zhàn)略的核心之一。為此,企業(yè)需著眼于發(fā)展趨勢(shì),明確數(shù)字化轉(zhuǎn)型核心價(jià)值優(yōu)先級(jí),打造以數(shù)據(jù)業(yè)務(wù)化應(yīng)用場(chǎng)景為核心的路線圖,優(yōu)選戰(zhàn)略伙伴共同構(gòu)建高效的數(shù)據(jù)管理系統(tǒng),確保數(shù)據(jù)質(zhì)量和安全性。數(shù)據(jù)庫(kù)與大數(shù)據(jù)依然是核心產(chǎn)品●如今,本土數(shù)據(jù)庫(kù)崛起十分明顯。2023年本地部署模式的關(guān)系型數(shù)據(jù)庫(kù)市場(chǎng)中,ToP5本土廠商份額從2019的22%增加到36%,而ToP5國(guó)際廠商份額從65%下降至38%。中國(guó)數(shù)據(jù)庫(kù)管理軟件市場(chǎng)預(yù)測(cè),2022-2027($B)中國(guó)——增長(zhǎng)率年復(fù)合增長(zhǎng)率1630%14.21412108645.525%20%15%10%5%0%2022202320242025202620272023年全年，中國(guó)數(shù)據(jù)庫(kù)軟件市場(chǎng)規(guī)模達(dá)到65億美元，同比增長(zhǎng)17%。預(yù)計(jì)到2027年市場(chǎng)規(guī)模將達(dá)到142億美元，2022-27年復(fù)合增長(zhǎng)率達(dá)為21%?！衽c此同時(shí),大數(shù)據(jù)的價(jià)值亟待挖掘。調(diào)研顯示,企業(yè)認(rèn)為60%的業(yè)務(wù)數(shù)據(jù)具有價(jià)值,但實(shí)際上僅有56%得到了分析。此外,非結(jié)構(gòu)化數(shù)據(jù)管理需求日益增加,預(yù)計(jì)至2027年,全球非結(jié)構(gòu)化數(shù)據(jù)將占數(shù)據(jù)總量的86.8%,大數(shù)據(jù)市場(chǎng)整體規(guī)模將增長(zhǎng)至425億美元,年均增長(zhǎng)率(CAGR)達(dá)21.5%。中國(guó)大數(shù)據(jù)市場(chǎng)IT支出預(yù)測(cè)(2022-2027)450004000035000300002500020000150001000050000單位：百萬(wàn)美元0大數(shù)據(jù)管理軟件成為增長(zhǎng)最快的方向硬件服務(wù)軟件202220232024202520262027來(lái)源:IDC中國(guó),2024騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/04趨勢(shì)洞悉——AGI時(shí)代下數(shù)據(jù)管理的新思路高高低市場(chǎng)采納度數(shù)據(jù)治理和數(shù)據(jù)安全需要擁抱新技術(shù)●隨著數(shù)據(jù)量的激增和數(shù)據(jù)類型的多樣化,企業(yè)對(duì)數(shù)據(jù)治理和數(shù)據(jù)安全的需求不斷提升。未來(lái)五年,數(shù)據(jù)治理將與AI深度融合,帶動(dòng)產(chǎn)品的新一輪升級(jí),實(shí)現(xiàn)更敏捷、高效和精確的數(shù)據(jù)治理方式。 來(lái)源:IDC《企業(yè)大數(shù)據(jù)治理及安全可信研究報(bào)告》以最契合當(dāng)前市場(chǎng)需求和極具未來(lái)發(fā)展?jié)摿Φ臄?shù)據(jù)資產(chǎn)助理為例,其利用生成式AI等技術(shù)來(lái)自動(dòng)管理數(shù)據(jù)資產(chǎn),功能覆蓋元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)資產(chǎn)自運(yùn)維、自動(dòng)化構(gòu)建資產(chǎn)圖譜等,并通過(guò)交互式AI支持?jǐn)?shù)據(jù)的快速查詢、開(kāi)發(fā)和監(jiān)管。●在數(shù)據(jù)安全領(lǐng)域,中國(guó)的數(shù)據(jù)安全市場(chǎng)也將快速增長(zhǎng),AI、區(qū)塊鏈和隱私計(jì)算技術(shù)將被廣泛應(yīng)用于數(shù)據(jù)安全管理,推動(dòng)數(shù)據(jù)流轉(zhuǎn)新型信任底座的建立。企業(yè)將越來(lái)越重視數(shù)據(jù)安全防護(hù)措施的全面性和先進(jìn)性,以應(yīng)對(duì)不斷變化的網(wǎng)絡(luò)威脅和數(shù)據(jù)泄露風(fēng)險(xiǎn)。通過(guò)實(shí)施數(shù)據(jù)加密、訪問(wèn)控制、多因素認(rèn)證等策略,企業(yè)能有效保護(hù)敏感數(shù)據(jù)的安全。同時(shí),隨著數(shù)據(jù)安全法規(guī)和合規(guī)要求的持續(xù)完善,企業(yè)需確保其數(shù)據(jù)管理和處理活動(dòng)遵守最新的法律規(guī)定,以保護(hù)數(shù)據(jù)安全和隱私。數(shù)據(jù)安全領(lǐng)域相關(guān)技術(shù)Al賦能數(shù)據(jù)安全已有技術(shù)上的不斷迭代更新Al賦能數(shù)據(jù)安全已有技術(shù)上的不斷迭代更新技術(shù)將重塑市場(chǎng)數(shù)據(jù)丟失防護(hù)數(shù)據(jù)加密數(shù)據(jù)脫敏企業(yè)級(jí)秘鑰管理數(shù)據(jù)訪問(wèn)治理零信任之?dāng)?shù)據(jù)安全隱私計(jì)算-多方安全計(jì)算e數(shù)據(jù)風(fēng)險(xiǎn)管理數(shù)據(jù)安全基礎(chǔ)設(shè)施管理平臺(tái)隱私計(jì)算-多方安全計(jì)算eApl安全數(shù)據(jù)發(fā)現(xiàn)與分類數(shù)據(jù)隱私與合規(guī)隱私計(jì)算-聯(lián)邦學(xué)習(xí)隱私計(jì)算-機(jī)密計(jì)算數(shù)字版權(quán)管理硬件安全模塊滿足某些特定場(chǎng)景需求下的技術(shù)短技術(shù)發(fā)展時(shí)間長(zhǎng)騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/05趨勢(shì)洞悉——AGI時(shí)代下數(shù)據(jù)管理的新思路騰訊云數(shù)據(jù)管理產(chǎn)品全景解析騰訊云副總裁黃世飛數(shù)據(jù)“上云”趨勢(shì)為企業(yè)帶來(lái)創(chuàng)新機(jī)遇的同時(shí),也加快了數(shù)據(jù)管理多個(gè)領(lǐng)域的變革。在面對(duì)不確定宏觀環(huán)境時(shí),企業(yè)需應(yīng)對(duì)降本提效的挑戰(zhàn);同時(shí),從長(zhǎng)遠(yuǎn)視角看,生成式AI對(duì)數(shù)據(jù)管理的影響成為企業(yè)CI0在推動(dòng)業(yè)務(wù)創(chuàng)新時(shí)必須考慮的關(guān)鍵因素。在不斷提升產(chǎn)品性能和穩(wěn)定性的過(guò)程中,我們認(rèn)識(shí)到,企業(yè)需要用系統(tǒng)性思維來(lái)全局統(tǒng)籌數(shù)據(jù)管理來(lái)發(fā)揮自身的數(shù)據(jù)價(jià)值。騰訊云致力于提供全面的數(shù)據(jù)管理解決方案,整合數(shù)據(jù)底座、通用工具能力和行業(yè)屬性應(yīng)用服務(wù)并協(xié)同,實(shí)現(xiàn)企業(yè)數(shù)據(jù)的系統(tǒng)管理?！裨跀?shù)據(jù)底座方面,騰訊云提供的數(shù)據(jù)底座服務(wù)包括高效、穩(wěn)定的AI存儲(chǔ)服務(wù)和分布式數(shù)據(jù)庫(kù)TDSQL,支持云原生數(shù)據(jù)倉(cāng)庫(kù)TCHouse、一站式開(kāi)發(fā)治理平臺(tái)weData,以及數(shù)據(jù)湖倉(cāng)一體化智能引擎TBDS。此外,我們還推出了基于混元大模型的智能分析助手ChatBI,通過(guò)對(duì)話式分析讓用戶能夠快速獲取直觀的分析結(jié)果,致力于打造一個(gè)輕快、易用的智能大數(shù)據(jù)平臺(tái)。●在通用工具能力方面,我們通過(guò)數(shù)據(jù)應(yīng)用、BI、向量數(shù)據(jù)庫(kù)等產(chǎn)品,助力企業(yè)快速部署AI應(yīng)用,挖掘數(shù)據(jù)價(jià)值,快速構(gòu)建精準(zhǔn)營(yíng)銷體系,并確保數(shù)據(jù)安全和合規(guī)。●在具體行業(yè)應(yīng)用側(cè),我們專注滿足各行業(yè)的特定需求,如LBS和數(shù)字孿生等產(chǎn)品和服務(wù),通過(guò)提供客情大數(shù)據(jù)和熱力圖服務(wù),為文旅行業(yè)提供更精準(zhǔn)的市場(chǎng)分析和營(yíng)銷策略支持。我們深知,數(shù)據(jù)是企業(yè)數(shù)字化轉(zhuǎn)型的基石和創(chuàng)新發(fā)展的源泉。因此,我們致力于持續(xù)創(chuàng)新和優(yōu)化數(shù)據(jù)管理產(chǎn)品和服務(wù),以滿足企業(yè)日益增長(zhǎng)的需求,并成為AGI時(shí)代企業(yè)首選的全棧數(shù)據(jù)管理合作伙伴。application security securitystorage騰訊云全棧式數(shù)據(jù)管理方案騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/06PARTPART02產(chǎn)品價(jià)值一圖讀懂騰訊云數(shù)據(jù)管理產(chǎn)品矩陣騰訊云依托其在數(shù)據(jù)管理領(lǐng)域的深厚技術(shù)積累,推出了一系列明星產(chǎn)品:產(chǎn)品類型產(chǎn)品產(chǎn)品場(chǎng)景數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)TDSQL實(shí)時(shí)高并發(fā)事務(wù)系統(tǒng)、金融級(jí)核心交易系統(tǒng)、HTAP業(yè)務(wù)系統(tǒng)、物聯(lián)網(wǎng)類應(yīng)用系統(tǒng)DBbrain數(shù)據(jù)庫(kù)日常運(yùn)維、安全威脅識(shí)別、混合云管理數(shù)據(jù)庫(kù)、掌上數(shù)據(jù)運(yùn)維云存儲(chǔ)對(duì)象存儲(chǔ)C0S靜態(tài)網(wǎng)站托管、CDN分發(fā)加速、數(shù)據(jù)備份歸檔、大數(shù)據(jù)分析數(shù)據(jù)源等云端對(duì)象存儲(chǔ)場(chǎng)景數(shù)據(jù)湖存儲(chǔ)GooseFS機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析、交互式查詢、AI訓(xùn)練仿真場(chǎng)景、高性能計(jì)算場(chǎng)景數(shù)據(jù)萬(wàn)象CI圖片處理、版權(quán)保護(hù)、AI內(nèi)容識(shí)別、媒體處理、文檔預(yù)覽、內(nèi)容審核大數(shù)據(jù)彈性存儲(chǔ)EMR大數(shù)據(jù)遷移上云、云原生數(shù)據(jù)湖構(gòu)建、離線數(shù)據(jù)分析、在線業(yè)務(wù)查詢、流式數(shù)據(jù)處理TCHouse用戶行為分析、企業(yè)經(jīng)營(yíng)分析、多維商業(yè)分析weData輕量數(shù)據(jù)開(kāi)發(fā)、多源數(shù)據(jù)集成、全域資產(chǎn)治理、多維數(shù)據(jù)質(zhì)量、自主運(yùn)維中心、全面數(shù)據(jù)安全騰訊云BI數(shù)據(jù)門戶看板搭建、自助式數(shù)據(jù)分析數(shù)據(jù)安全數(shù)據(jù)安全治理中心DSGC敏感數(shù)據(jù)梳理、數(shù)據(jù)分類分級(jí)、數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估、安全能力協(xié)同云數(shù)據(jù)安全網(wǎng)關(guān)海量請(qǐng)求訪問(wèn)公網(wǎng)、安全訪問(wèn)公網(wǎng)數(shù)據(jù)安全審計(jì)DSAudit危險(xiǎn)操作感知、安全事件追責(zé)、性能監(jiān)控、安全信息統(tǒng)計(jì)、混合云部署產(chǎn)品價(jià)值——一圖讀懂騰訊云數(shù)據(jù)管理產(chǎn)品矩陣騰訊云存儲(chǔ)騰訊云數(shù)據(jù)庫(kù)騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/08產(chǎn)品價(jià)值——一圖讀懂騰訊云數(shù)據(jù)管理產(chǎn)品矩陣騰訊云大數(shù)據(jù)騰訊云數(shù)據(jù)安全騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/09PARTPART03行業(yè)實(shí)踐各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法騰訊云一直致力于為企業(yè)提供全面、系統(tǒng)的數(shù)據(jù)管理解決方案,包括分布式數(shù)據(jù)庫(kù)、高性能存儲(chǔ)、數(shù)據(jù)安全治理體系以及大數(shù)據(jù)應(yīng)用等,助力各行各業(yè)的企業(yè)全量盤活數(shù)字資產(chǎn),提升數(shù)據(jù)管理的效率與安全性,幫助優(yōu)化數(shù)據(jù)架構(gòu)、強(qiáng)化數(shù)據(jù)安全、提升存儲(chǔ)性能,為數(shù)據(jù)全面驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新奠定安全可靠的數(shù)字化基石。文旅零售泛互公益工業(yè)金融政務(wù)能源交通汽車行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法微信讀書騰訊云ESRAG如何支持微信讀書實(shí)現(xiàn)AI問(wèn)書功能?微信讀書自2015年上線至今,已經(jīng)積累2.1億用戶,日活超過(guò)200w,并從傳統(tǒng)書籍衍伸到有聲讀物領(lǐng)域。伴隨著用戶量的增長(zhǎng),微信讀書也在結(jié)合AI能力提高用戶體驗(yàn)上做了很多的嘗試——1.0階段:書籍標(biāo)簽提取(如科幻、理財(cái),當(dāng)用戶搜索命中關(guān)鍵詞則呈現(xiàn)相關(guān)結(jié)果)●標(biāo)簽詞數(shù)量與用戶搜索詞差距大(關(guān)鍵詞數(shù)量占用戶搜索量不足1%)●無(wú)法表達(dá)復(fù)雜語(yǔ)義(如組合詞、問(wèn)題型)●一本書關(guān)鍵詞多,難以判斷質(zhì)量(如一本《三體》數(shù)干關(guān)鍵詞難以評(píng)估相關(guān)性)●無(wú)在線閱讀新鮮體驗(yàn)感(標(biāo)簽與出版社分類一致)2.0階段:觀點(diǎn)提取(召回不同句子判斷是否作為觀點(diǎn)與知識(shí)展示與引導(dǎo))●無(wú)法回答復(fù)雜問(wèn)題(觀點(diǎn)之間缺乏相關(guān)性)●用戶體驗(yàn)上無(wú)創(chuàng)新(類似傳統(tǒng)全文搜索增加過(guò)濾與重排序)3.0階段:書籍RAG(如搜索《茶館》,能關(guān)聯(lián)性搜索“老舍”相關(guān)作品)●用戶問(wèn)題缺乏深度,檢索單一(95%用戶搜索關(guān)鍵詞不超過(guò)5個(gè)字,召回多為百科式,缺乏新意)現(xiàn)階段:書籍RAG+問(wèn)題生成關(guān)鍵挑戰(zhàn)及解法在書籍處理上—— 1內(nèi)容切分顆粒度難把控:1綜合書籍、百科、二次加工內(nèi)容(圖譜&大綱),經(jīng)過(guò)預(yù)處理(剔除不合格內(nèi)容)、文本切分、內(nèi)容質(zhì)量模型判斷,再進(jìn)行向量化處理;1在用戶提問(wèn)上——232用戶問(wèn)題缺乏深度:通過(guò)問(wèn)題擴(kuò)寫,增加搜索內(nèi)容深度及廣度;2343搜索結(jié)果重復(fù)高:通過(guò)多路召回,包括向量搜索、文本搜索等擴(kuò)大搜索面帶來(lái)搜索結(jié)果驚喜;44回答內(nèi)容質(zhì)量參差不齊:通過(guò)評(píng)測(cè)系統(tǒng),包括相關(guān)性、重復(fù)性、格式等判定,進(jìn)行檢索結(jié)果排序。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/11行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法最初,微信讀書不是采用騰訊云ES方案,而是單點(diǎn)的vectorsearch方案,但存在比較大的技術(shù)挑戰(zhàn)——●數(shù)據(jù)規(guī)模大整體數(shù)據(jù)超10億級(jí)向量規(guī)模,存儲(chǔ)成本高。早期預(yù)估30億768維的向量,需要超過(guò)400臺(tái)64G機(jī)器,運(yùn)營(yíng)成本百萬(wàn)級(jí);●運(yùn)維成本高除了文本搜索,同時(shí)還需部署向量化服務(wù),在外部進(jìn)行向量化后,寫入到向量數(shù)據(jù)庫(kù),同時(shí)向量數(shù)據(jù)庫(kù)不存儲(chǔ)原始meta信息,還需要額外部署正排服務(wù),相當(dāng)于需要同時(shí)運(yùn)維四套系統(tǒng)。(文本搜索,向量搜索、文本轉(zhuǎn)向量、存儲(chǔ)meta信息正排服務(wù));●開(kāi)發(fā)成本高調(diào)試召回過(guò)程中,需要在外部進(jìn)行向量化后,從向量數(shù)據(jù)庫(kù)召回,然后再用召回id訪問(wèn)正排獲取meta信息。相當(dāng)于每一次召回調(diào)試需要3次操作,跨越4個(gè)系統(tǒng);●穩(wěn)定性要求高在線讀書平臺(tái)超億級(jí)用戶,穩(wěn)定性要求5個(gè)9以上?！馬AG領(lǐng)域的一站式解決方案相關(guān)內(nèi)容5.LLM進(jìn)行re-ranking3.數(shù)據(jù)處理與向量轉(zhuǎn)換上下文窗口3公共互聯(lián)網(wǎng)數(shù)據(jù)您的知識(shí)庫(kù)數(shù)據(jù)1相關(guān)內(nèi)容5.LLM進(jìn)行re-ranking3.數(shù)據(jù)處理與向量轉(zhuǎn)換上下文窗口3公共互聯(lián)網(wǎng)數(shù)據(jù)您的知識(shí)庫(kù)數(shù)據(jù)1你的問(wèn)題2正確答案2generate和actionsGAI/LLIM4.4.ModelasAnalyzer微信讀書的Al問(wèn)書能力,需要兼顧文本搜索、向量搜索及存儲(chǔ)meta信息正排服務(wù),而傳統(tǒng)的數(shù)據(jù)方案一般只做向量存儲(chǔ)、檢索,部分兼顧生成能力,所以造成了開(kāi)發(fā)及運(yùn)維的壓力。ES搜索可以一站式實(shí)現(xiàn)文本、稀疏向量、稠密向量?jī)?nèi)容聚合;靈活嵌入成熟模型;文檔級(jí)權(quán)限管控,這其中主要能力包括——1向量轉(zhuǎn)換:1內(nèi)置模型eIser&muItiguaI-e5,并支持自部署(modeIasanaIyzer)、在線調(diào)用模型(inferenceApls)。自部署在線調(diào)用模型騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/12行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法 2召回排序:內(nèi)置REF排序,亦可通過(guò)LTR能力嵌入訓(xùn)練后的排序能力。排序?qū)W習(xí) 3混合搜索基于關(guān)鍵詞的文本搜索與基于相關(guān)性的向量搜索各有千秋——相比于文本搜索,向量搜索優(yōu)勢(shì)在于處理模糊表達(dá);捕捉語(yǔ)義;支持跨文本、跨語(yǔ)言、跨模態(tài);先文本搜索相比于向量搜索,文本搜索優(yōu)勢(shì)在于短文本精準(zhǔn)匹配強(qiáng)、計(jì)算成本低、可解釋性及調(diào)優(yōu)性強(qiáng)先文本搜索混合搜索先通過(guò)關(guān)鍵詞大范圍文本搜索,再通過(guò)向量搜索二次分析,綜合兩者優(yōu)勢(shì):更精準(zhǔn)、多樣、可解釋。再向量搜索●騰訊云ES進(jìn)一步增強(qiáng)RAG能力umumx:模型3 血與此同時(shí),在實(shí)際應(yīng)用場(chǎng)景中,考慮到微信讀書Al問(wèn)書多讀少寫的特點(diǎn),以及海量用戶訪問(wèn)對(duì)穩(wěn)定性、高性能嚴(yán)格的要求,騰訊云ES針對(duì)通用方案做了進(jìn)一步RAG增強(qiáng)優(yōu)化,這主要包括——騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/13行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法1資源層面1支持專有機(jī)器節(jié)點(diǎn)部署并隔離數(shù)據(jù)節(jié)點(diǎn),提高推理能力的同時(shí)保證在線業(yè)務(wù)穩(wěn)定性。支持上傳管理部署向量模型與數(shù)據(jù)節(jié)點(diǎn)隔離2硬件層面2全球唯一支持GPU的Es服務(wù),與自研芯片“紫霄”軟硬結(jié)合性能更強(qiáng);紫霄V1具有高能效、高吞吐、高帶寬等特點(diǎn),設(shè)計(jì)算力規(guī)格NVIDIAA10相當(dāng),顯存帶寬比A10高30%,最高可比A10性能高50%-100%。 3內(nèi)核層面針對(duì)“讀多寫少”的典型場(chǎng)景特點(diǎn)做更多優(yōu)化;分片架構(gòu)優(yōu)化●針對(duì)向量場(chǎng)景,合并查詢跟歸并流程,總體查詢性能提升2倍以上;塊存儲(chǔ)跟查詢優(yōu)化●通過(guò)對(duì)segment進(jìn)行合并收斂,減少查詢隨機(jī)10,總體查詢性能提升2倍以上;查詢并行化●多線程文檔切分、多segment并行化處理、精準(zhǔn)拉取文件數(shù)據(jù)段;Iucene查詢緩存鎖改造●大幅提高了查詢的并發(fā)能力,Qps提升50%以上。四、騰訊云ES為微信讀書AI問(wèn)書實(shí)現(xiàn)的價(jià)值?●從400臺(tái)64G下降到30臺(tái):向量量化及不要求全內(nèi)存索引,大幅降低硬件成本;●從1次調(diào)優(yōu)跨4套系統(tǒng),到“所見(jiàn)即所得”:一站式檢索方案開(kāi)發(fā)運(yùn)維人員在kibana上即可調(diào)試召回流程;●數(shù)億量級(jí)索引召回平均耗時(shí)在100ms以下:基于騰訊云強(qiáng)大的專業(yè)支持團(tuán)隊(duì)保證穩(wěn)定性及可靠性。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/14行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法騰訊云全棧式數(shù)據(jù)管理如何助力博世自動(dòng)駕駛數(shù)據(jù)閉環(huán)?一、博世高階智能駕駛的數(shù)據(jù)閉環(huán)包括哪些環(huán)節(jié)？博世的高階智能駕駛數(shù)據(jù)閉環(huán)工具鏈包括車輛調(diào)度、數(shù)據(jù)采集、AI模型訓(xùn)練和仿真評(píng)測(cè)等,涵蓋了六大主要應(yīng)用——●車隊(duì)管理平臺(tái):負(fù)責(zé)車輛調(diào)度和任務(wù)分發(fā),將采集需求下發(fā)到車端進(jìn)行數(shù)據(jù)采集?！駭?shù)據(jù)采集平臺(tái):接收到任務(wù)和場(chǎng)景采集需求后,車端采集場(chǎng)景數(shù)據(jù)和模型訓(xùn)練數(shù)據(jù),并上傳至數(shù)據(jù)管理平臺(tái)?！駭?shù)據(jù)管理平臺(tái):作為數(shù)據(jù)接收和處理中心,負(fù)責(zé)數(shù)據(jù)上傳、處理和挖掘。處理后的數(shù)據(jù),推送至標(biāo)注平臺(tái)。●標(biāo)注平臺(tái):對(duì)數(shù)據(jù)進(jìn)行標(biāo)注和管理?！裆疃葘W(xué)習(xí)平臺(tái):進(jìn)行模型的分布式訓(xùn)練和算法集成?！穹抡嬖u(píng)測(cè)平臺(tái):用于場(chǎng)景和事故分析及仿真評(píng)測(cè)?！駭?shù)據(jù)采集場(chǎng)景復(fù)雜度高:需同時(shí)滿足數(shù)據(jù)可靠性、場(chǎng)景豐富性及算法訓(xùn)練需求;●數(shù)據(jù)流轉(zhuǎn)及調(diào)度效率要求高:數(shù)據(jù)合規(guī)及隔離、冷熱分區(qū)、多模態(tài)數(shù)據(jù)處理;●數(shù)據(jù)溯源要求高:業(yè)務(wù)類型增長(zhǎng)要求高數(shù)據(jù)溯源,滿足模型訓(xùn)練的場(chǎng)景驗(yàn)證及大規(guī)模分布式訓(xùn)練;●整體數(shù)據(jù)閉環(huán)流程成本高:包括數(shù)據(jù)的被動(dòng)選擇、存儲(chǔ)及計(jì)算成本高、重復(fù)及冗余數(shù)據(jù)導(dǎo)致資源浪費(fèi)。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/15行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法三、騰訊云如何通過(guò)全棧式方案解決問(wèn)題？針對(duì)博世完整數(shù)據(jù)邏輯閉環(huán)的要求,騰訊云基于自身豐富的產(chǎn)品能力,協(xié)助博世實(shí)現(xiàn)了高效“車云協(xié)同”方案,這其中主要包括——騰訊云對(duì)象存儲(chǔ)c0S(數(shù)據(jù)采集及存儲(chǔ))騰訊云數(shù)據(jù)加速器GooseFS(數(shù)據(jù)緩存加速)騰訊云容器服務(wù)TKE(數(shù)據(jù)處理統(tǒng)一調(diào)度、解析、挖掘和脫敏)騰訊云彈性MaPReduce服務(wù)EMR(數(shù)據(jù)分析計(jì)算)騰訊云向量數(shù)據(jù)庫(kù)vectorDB(圖像檢索)環(huán)節(jié)一:數(shù)據(jù)采集與上傳在智能駕駛的早期階段,博世發(fā)現(xiàn)盡管每臺(tái)測(cè)試車每天采集的數(shù)據(jù)量以TB計(jì),實(shí)際用于模型訓(xùn)練的數(shù)據(jù)比例非常低。主要原因1)數(shù)據(jù)采集有效率低:車端無(wú)法精準(zhǔn)感知模型訓(xùn)練所需的場(chǎng)景和數(shù)據(jù)需求;2)設(shè)備和傳感器問(wèn)題:極端駕駛環(huán)境容易導(dǎo)致傳感器和設(shè)備損壞,云端無(wú)法及時(shí)感知車輛異常,導(dǎo)致大量不合格數(shù)據(jù)流入云端。對(duì)此,騰訊云為博世采用“車云協(xié)同”的解決方案:在博世三種開(kāi)發(fā)環(huán)境(車端、公網(wǎng)、專區(qū))進(jìn)行協(xié)同,實(shí)現(xiàn)數(shù)據(jù)的合規(guī)上傳和安全存儲(chǔ)。受控專線1)通過(guò)云端算法及工具團(tuán)隊(duì)將需求推給車端,讓車端更明確訓(xùn)練需求,比如數(shù)據(jù)質(zhì)量、場(chǎng)景特征等;2)通過(guò)容器特性,可以敏捷感知各個(gè)車端傳感器工作狀態(tài)及質(zhì)檢結(jié)果上報(bào),及時(shí)修正問(wèn)題;3)數(shù)據(jù)采集完成后,通過(guò)插盤自動(dòng)上傳至c0S,吞吐速度單個(gè)磁盤300MBPs,每天可實(shí)現(xiàn)400TB的數(shù)據(jù)上傳,解決了大量采集車數(shù)據(jù)堆積的問(wèn)題;4)合規(guī)審計(jì):所有采集的數(shù)據(jù)經(jīng)過(guò)騰訊云提供的合規(guī)審計(jì)方式進(jìn)行內(nèi)容審計(jì),確保數(shù)據(jù)安全、合規(guī)后上傳至專有云進(jìn)行存儲(chǔ)、處理和分析。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/16行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法環(huán)節(jié)二:數(shù)據(jù)存儲(chǔ)與管理●針對(duì)存儲(chǔ)管理環(huán)節(jié),騰訊云主要通過(guò)統(tǒng)一調(diào)度及分區(qū)管理的方式實(shí)現(xiàn)靈活處理與成本控制的平衡,這其中——1)基于騰訊云TKE的統(tǒng)一調(diào)度能力,結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于Mysql等關(guān)系型數(shù)據(jù)庫(kù),半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)于Redis、MongoDB等非關(guān)系型數(shù)據(jù)庫(kù)當(dāng)中,部分?jǐn)?shù)據(jù)推送到Es進(jìn)行緩存和檢索;非結(jié)構(gòu)化數(shù)據(jù)(點(diǎn)云、視頻)存于對(duì)象存儲(chǔ)c0s;2)利用騰訊云c0s生命周期管理能力,對(duì)持續(xù)使用的數(shù)據(jù)存儲(chǔ)在c0s標(biāo)準(zhǔn)存儲(chǔ)中,將周期性未使用的數(shù)據(jù)放在c0s低頻存儲(chǔ)中,長(zhǎng)期未使用的數(shù)據(jù)存儲(chǔ)在c0s歸檔存儲(chǔ)中,優(yōu)化云端存儲(chǔ)成本;3)基于騰訊云大數(shù)據(jù)EMR,構(gòu)建智能駕駛領(lǐng)域的大數(shù)據(jù)湖倉(cāng)體系,為業(yè)務(wù)分析平臺(tái)和報(bào)表平臺(tái)做數(shù)據(jù)支撐。●同時(shí)支持?jǐn)?shù)據(jù)的實(shí)時(shí)及在線處理——1)實(shí)時(shí)監(jiān)控與問(wèn)題修正:通過(guò)公網(wǎng)環(huán)境實(shí)時(shí)監(jiān)控車端各工具的運(yùn)行狀態(tài)和質(zhì)檢結(jié)果,及時(shí)修正問(wèn)題,并通過(guò)遠(yuǎn)程迭代和快速修正機(jī)制,提高數(shù)據(jù)采集的準(zhǔn)確性和質(zhì)量;2)在線預(yù)覽與標(biāo)注:通過(guò)在線預(yù)覽大量數(shù)據(jù),進(jìn)行數(shù)據(jù)標(biāo)注并推送給用戶,支持算法團(tuán)隊(duì)進(jìn)行模型演練。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/17行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法環(huán)節(jié)三:模型訓(xùn)練與仿真評(píng)測(cè)隨著業(yè)務(wù)種類增長(zhǎng),要求數(shù)據(jù)溯源滿足場(chǎng)景驗(yàn)證及大規(guī)模分布式訓(xùn)練,這其中——●針對(duì)模型訓(xùn)練,訓(xùn)練數(shù)據(jù)集存儲(chǔ)在c0s上,通過(guò)GooseFs-cache進(jìn)行數(shù)據(jù)緩存,大幅度提升訓(xùn)練效率。并通過(guò)c0s生命周期管理,冷熱數(shù)據(jù)分層,滿足大規(guī)模分布式訓(xùn)練的需求,降低存儲(chǔ)成本;●針對(duì)仿真評(píng)測(cè),仿真數(shù)據(jù)存儲(chǔ)在c0s上,通過(guò)GooseFs-Lite和c0ssDK提供仿真測(cè)試工具長(zhǎng)期穩(wěn)定的回放數(shù)據(jù)完成場(chǎng)景驗(yàn)證;onemorething:借助圖像檢索進(jìn)一步降本增效目前,博世高階智能駕駛現(xiàn)有AI平臺(tái)已經(jīng)建立了一個(gè)完善的數(shù)據(jù)閉環(huán)系統(tǒng),但在數(shù)據(jù)集檢索和處理過(guò)程中,每一個(gè)環(huán)節(jié)的成本都非常高。為此,博世在實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的閉環(huán)增效時(shí),系統(tǒng)設(shè)計(jì)里首次引入騰訊云的向量數(shù)據(jù)庫(kù),實(shí)現(xiàn)基于文本/內(nèi)容的兩種圖像檢索能力。圖像搜索,比如在把車尾燈倒影判斷為障礙物,導(dǎo)致無(wú)法行駛的場(chǎng)景下。通過(guò)一張簡(jiǎn)單的模糊不清截圖來(lái)提取關(guān)鍵特征,圖像檢索服務(wù)就可以搜索到大量相關(guān)的數(shù)據(jù),提升算法團(tuán)隊(duì)對(duì)類似場(chǎng)景做算法優(yōu)化的效率。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/18行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法文搜圖:比如搜索車輛左側(cè)開(kāi)門狀態(tài),傳統(tǒng)模型挑選或人工挑選消耗大量精力,但圖像檢索僅需幾秒鐘就可以完成任務(wù)。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/19行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法騰訊云TDSQL助力海峽銀行核心系統(tǒng)升級(jí)一、客戶背景福建海峽銀行成立于1996年12月,是一家省級(jí)股份制商業(yè)銀行。其核心系統(tǒng)建設(shè)較早,技術(shù)架構(gòu)相對(duì)落后,采用的I0E集中式架構(gòu)存在無(wú)法彈性擴(kuò)容、高投入成本等挑戰(zhàn),以及技術(shù)支持不足等風(fēng)險(xiǎn)。面對(duì)挑戰(zhàn),福建海峽銀行于2020年啟動(dòng)新一代核心系統(tǒng)項(xiàng)目群建設(shè),并于2022年5月實(shí)現(xiàn)了新一代核心系統(tǒng)投產(chǎn)運(yùn)營(yíng)。二、場(chǎng)景痛點(diǎn)系統(tǒng)架構(gòu)落后:核心系統(tǒng)傳統(tǒng)的I0E集中式架構(gòu),投入成本高,并存在技術(shù)支持下降風(fēng)險(xiǎn)。性能瓶頸:傳統(tǒng)集中式核心系統(tǒng)難以支撐日處理超千萬(wàn)筆交易和超TB數(shù)據(jù)量的存儲(chǔ)與吞吐需求。擴(kuò)展性不足:隨著金融業(yè)務(wù)的發(fā)展快速,當(dāng)前系統(tǒng)架構(gòu)難以靈活適應(yīng)日益增長(zhǎng)的業(yè)務(wù)量和場(chǎng)景創(chuàng)新需求。災(zāi)備與擴(kuò)容問(wèn)題:傳統(tǒng)架構(gòu)在提高部署效率、實(shí)現(xiàn)快速交付及高效擴(kuò)容和容災(zāi)方面的支持能力不足。三、關(guān)鍵目標(biāo)業(yè)務(wù)目標(biāo):以客戶為中心、支持產(chǎn)品快速創(chuàng)新,支持靈活定價(jià),業(yè)務(wù)流程優(yōu)化,靈活賬戶體系和管理支持。技術(shù)目標(biāo):高性能,響應(yīng)快,大容量,易擴(kuò)展,具備快速交付能力。業(yè)務(wù)連續(xù)性:高可用,兩地三中心部署,同城雙中心均衡負(fù)載運(yùn)行,提供365x7x24小時(shí)服務(wù)。安全可控+降本增效:全面國(guó)產(chǎn)化產(chǎn)品,安全可控,全面實(shí)現(xiàn)國(guó)密算法,多種安全方式相互補(bǔ)充,全面掌控各平臺(tái)源代碼,具備自研能力,分布式系統(tǒng)架構(gòu),去I0E,全面降本增效。四、產(chǎn)品/方案選型分布式數(shù)據(jù)庫(kù)TDSQL、DBbrain五、解決方案通過(guò)實(shí)施騰訊云TDSQL解決方案,福建海峽銀行實(shí)現(xiàn)了核心系統(tǒng)的全面升級(jí),支持兩地三中心的高可用架構(gòu),實(shí)現(xiàn)了同城雙活和異地容災(zāi),并通過(guò)微服務(wù)架構(gòu)增強(qiáng)了系統(tǒng)的擴(kuò)展性和靈活性。這些優(yōu)化顯著提升了系統(tǒng)性能和擴(kuò)展性,確保了數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性,有效支持了業(yè)務(wù)的快速發(fā)展。騰訊云工具指南.AGI時(shí)代首選的全棧式數(shù)據(jù)管理方案/20行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法關(guān)鍵方案包括:●高性能:通過(guò)TDSQL的高并發(fā)處理能力,解決了傳統(tǒng)系統(tǒng)的性能瓶頸,提升了核心系統(tǒng)的處理能力?！駨?qiáng)擴(kuò)展性:基于分布式數(shù)據(jù)庫(kù)和微服務(wù)架構(gòu),使核心系統(tǒng)能夠靈活擴(kuò)展,滿足了業(yè)務(wù)增長(zhǎng)和創(chuàng)新業(yè)務(wù)場(chǎng)景的需求。●數(shù)據(jù)安全與災(zāi)備:實(shí)現(xiàn)了兩地三中心高可用架構(gòu),同城雙活和異地容災(zāi),系統(tǒng)可用率99.999%,保障數(shù)據(jù)安全和業(yè)務(wù)連續(xù)性?！窀咝н\(yùn)維:打通TDSQL與行內(nèi)監(jiān)控,實(shí)現(xiàn)TDSQL分布式數(shù)據(jù)庫(kù)集群,集中管控和告警收斂,并結(jié)合TDSQL運(yùn)維特點(diǎn),完善和提升了運(yùn)維體系、工具和能力。。數(shù)據(jù)丟失數(shù)據(jù)丟失與帶寬和延時(shí)相關(guān)A生產(chǎn) 互聯(lián)網(wǎng)客戶外聯(lián)單位異地?cái)?shù)據(jù)丟失與帶寬相關(guān)BC架構(gòu)示意圖部署架構(gòu)圖。數(shù)據(jù)丟失數(shù)據(jù)丟失與帶寬和延時(shí)相關(guān)A生產(chǎn) 互聯(lián)網(wǎng)客戶外聯(lián)單位異地?cái)?shù)據(jù)丟失與帶寬相關(guān)BC主生產(chǎn)集群異地災(zāi)備集群同城主中心業(yè)務(wù)應(yīng)用系統(tǒng)業(yè)務(wù)應(yīng)用系統(tǒng)光纖同城備中心業(yè)務(wù)應(yīng)用系統(tǒng)業(yè)務(wù)應(yīng)用系統(tǒng)光纖異地災(zāi)備中心業(yè)務(wù)應(yīng)用系統(tǒng)業(yè)務(wù)應(yīng)用系統(tǒng)主要架構(gòu)目標(biāo)主要架構(gòu)目標(biāo)兩地三中心災(zāi)備架構(gòu)設(shè)計(jì)目標(biāo):保證同城中心業(yè)務(wù)連續(xù),異地災(zāi)備中心保證數(shù)據(jù)一致性災(zāi)備架構(gòu)采取“一二三”型架構(gòu)方式:一個(gè)系統(tǒng),兩個(gè)城市,三個(gè)中心,兩套TDSQL集群部署六、價(jià)值展現(xiàn)騰訊云數(shù)據(jù)庫(kù)TDSQL助力福建海峽銀行全面升級(jí)和重構(gòu)了核心系統(tǒng),此次系統(tǒng)建設(shè)既滿足了金融級(jí)高可用要求,也大幅提升了系統(tǒng)能力,預(yù)計(jì)將支持海峽銀行未來(lái)10年的業(yè)務(wù)發(fā)展需求。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/21行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法騰訊云大數(shù)據(jù)如何幫助極光實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)架構(gòu)優(yōu)化?一、極光為何要進(jìn)行大數(shù)據(jù)平臺(tái)優(yōu)化？極光的大數(shù)據(jù)平臺(tái)最初在自建的lDC上運(yùn)行,隨著業(yè)務(wù)的發(fā)展,極光大數(shù)據(jù)逐漸形成以下三個(gè)特征:1)離線數(shù)據(jù)量大:lDC節(jié)點(diǎn)規(guī)模過(guò)干臺(tái),歷史數(shù)據(jù)加上每天新增的數(shù)據(jù)近百PB,每天調(diào)度數(shù)萬(wàn)任務(wù)。2)實(shí)時(shí)數(shù)據(jù)量大:每天有近百TB的實(shí)時(shí)數(shù)據(jù)進(jìn)入,對(duì)基礎(chǔ)測(cè)試影響較大。3)跨云數(shù)據(jù)同步:業(yè)務(wù)集群和大數(shù)據(jù)集群分開(kāi)不同環(huán)境,涉及跨云同步的問(wèn)題。為了更輕快的支撐好公司對(duì)數(shù)據(jù)價(jià)值的挖掘,極光決定將具備上述特征的大數(shù)據(jù)平臺(tái)遷移到騰訊云大數(shù)據(jù)。二、大數(shù)據(jù)平臺(tái)面臨怎樣的業(yè)務(wù)場(chǎng)景與挑戰(zhàn)？關(guān)鍵業(yè)務(wù)場(chǎng)景1)業(yè)務(wù)數(shù)據(jù)生產(chǎn):數(shù)倉(cāng)中間層存在萬(wàn)億級(jí)單表、百億級(jí)別lD量,需要進(jìn)行百億節(jié)點(diǎn)圖計(jì)算,業(yè)務(wù)場(chǎng)景需要頻繁進(jìn)行大表間關(guān)聯(lián)Join,任務(wù)耗時(shí)從幾小時(shí)到一兩天不等。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/22行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法2)數(shù)據(jù)服務(wù):提供RTA場(chǎng)景的服務(wù),要求時(shí)延在100毫秒以下,單表規(guī)模超過(guò)100TB,涉及最多14個(gè)版本的數(shù)據(jù)回溯。面臨的挑戰(zhàn)1)文件數(shù)和RPC請(qǐng)求大:超4億文件數(shù),RPC請(qǐng)求高,導(dǎo)致NameNode壓力大。2)代碼質(zhì)量不一:客戶代碼質(zhì)量不同,導(dǎo)致高負(fù)荷甚至宕機(jī),需要現(xiàn)場(chǎng)定位問(wèn)題。3)壞盤故障:任務(wù)寫入壞盤導(dǎo)致重新運(yùn)行任務(wù),浪費(fèi)時(shí)間和資源。4)資源爭(zhēng)搶:大任務(wù)的l0寫入寫出非常高,業(yè)務(wù)高峰期資源爭(zhēng)搶嚴(yán)重。三、騰訊云大數(shù)據(jù)如何助力極光打破困局？極光以騰訊云EMR和TCHouse等產(chǎn)品來(lái)構(gòu)建云大數(shù)據(jù)平臺(tái)整體的框架。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/23行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法基于騰訊云EMR架構(gòu)及組件內(nèi)核優(yōu)化:1、基于騰訊云EMR離在線混合部署架構(gòu),利用業(yè)務(wù)TKE容器閑時(shí)充足資源,補(bǔ)充大數(shù)據(jù)平臺(tái)算力,提升TKE閑時(shí)利用率50%,同時(shí)結(jié)合彈性能力及存算分離場(chǎng)景下基于數(shù)據(jù)熱度分層存儲(chǔ),整體成本下降30%以上。2、基于騰訊云EMRHDFSNameNodeRBF聯(lián)邦部署架構(gòu),降低單組NameNodeRPC請(qǐng)求壓力60%,容量日增近百TB對(duì)現(xiàn)有基礎(chǔ)設(shè)施帶來(lái)挑戰(zhàn)NameNode容量日增近百TB對(duì)現(xiàn)有基礎(chǔ)設(shè)施帶來(lái)挑戰(zhàn)3、優(yōu)化核心業(yè)務(wù)鏈路及部分核心SQL及UDF,大表場(chǎng)景下,優(yōu)化及消除groupby分組邏輯,避免數(shù)據(jù)Shuffle落盤,核心鏈路任務(wù)SLA提升7個(gè)小時(shí)。HDFsc0s標(biāo)準(zhǔn)存儲(chǔ)c0s歸檔存儲(chǔ)4、騰訊云EMRSpark兼容Hive桶表優(yōu)化,大表Shuffle由原需要Shuffle36TB降低到18HDFsc0s標(biāo)準(zhǔn)存儲(chǔ)c0s歸檔存儲(chǔ)50%,提升集群運(yùn)行穩(wěn)定性。四、未來(lái)更多合作可能●大數(shù)據(jù)層面當(dāng)前核心基于騰訊云EMR及TCHouse-C構(gòu)建了云原生大數(shù)據(jù)平臺(tái),未來(lái)將與騰訊基于TCHouse-D及DLC構(gòu)建LakeHouse實(shí)時(shí)湖倉(cāng)架構(gòu)?！翊竽Ｐ蛯用鏄O光推出新的Al產(chǎn)品GPTBots,這是一套基于RAG的工具類產(chǎn)品。今年希望結(jié)合騰訊混元大模型著力國(guó)內(nèi)場(chǎng)開(kāi)拓。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/24行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法通過(guò)五大能力建設(shè)破解企業(yè)數(shù)據(jù)安全主要威脅一、新趨勢(shì)下的企業(yè)數(shù)據(jù)安全正處在怎樣的環(huán)境中？從大數(shù)據(jù)技術(shù)探索、大數(shù)據(jù)成為新的生產(chǎn)力要素,到去年數(shù)據(jù)作為企業(yè)資產(chǎn)進(jìn)行資產(chǎn)入表,都表明數(shù)據(jù)在企業(yè)生產(chǎn)經(jīng)營(yíng)以及社會(huì)和國(guó)家的框架中地位越來(lái)越高。同時(shí)伴隨著過(guò)去幾年,人工智能非?？焖俚陌l(fā)展,尤其是從去年chatGPT推出以后,大數(shù)據(jù)給整個(gè)生產(chǎn)生活帶來(lái)新的驅(qū)動(dòng)力。無(wú)論是數(shù)據(jù)或大模型,新的技術(shù)產(chǎn)生和應(yīng)用的過(guò)程中,數(shù)據(jù)安全都會(huì)面臨新的挑戰(zhàn)——●整個(gè)領(lǐng)域持續(xù)遭受各種各樣的攻擊,外部的攻擊和威脅持續(xù)在衍生和存在,而且其他的攻擊,比如加密勒索等,對(duì)企業(yè)造成了非常大的損失。1)2017-2018年數(shù)據(jù),全國(guó)公開(kāi)被泄漏的數(shù)據(jù)大概20億條左右在市場(chǎng)上售賣,2018年達(dá)到50億條。2)2023年,根據(jù)信通院公布的數(shù)據(jù),全球泄露的數(shù)據(jù)達(dá)到干億條以上?！癜殡S著大模型技術(shù)衍生的應(yīng)用,利用大模型和人工智能進(jìn)行的自動(dòng)化攻擊,以及針對(duì)大模型本身業(yè)務(wù)的問(wèn)題,也在快速的產(chǎn)生。二、企業(yè)的數(shù)據(jù)安全以及大模型保護(hù)需面對(duì)何種挑戰(zhàn)？1、企業(yè)數(shù)據(jù)安全面臨四大挑戰(zhàn)——1)怎樣建立完備的數(shù)據(jù)安全治理框架,能夠統(tǒng)籌兼顧企業(yè)的合規(guī)風(fēng)險(xiǎn)以及業(yè)務(wù)的發(fā)展?2)怎樣識(shí)別關(guān)鍵數(shù)據(jù)資產(chǎn),進(jìn)行數(shù)據(jù)全流程的跟蹤分析,以及進(jìn)行數(shù)據(jù)的風(fēng)險(xiǎn)評(píng)估?3)數(shù)據(jù)安全規(guī)范鏈很長(zhǎng),什么節(jié)點(diǎn)上運(yùn)用什么樣合適的技術(shù),采取什么策略進(jìn)行保護(hù)?尤其針對(duì)存量數(shù)據(jù)如何進(jìn)行數(shù)據(jù)安全保護(hù)改造?4)新的攻擊手段不斷涌現(xiàn),如何持續(xù)運(yùn)營(yíng)管理數(shù)據(jù)安全體系,及時(shí)發(fā)現(xiàn)和響應(yīng)新威脅?2、為應(yīng)對(duì)上述挑戰(zhàn),騰訊云經(jīng)過(guò)多年探索和實(shí)踐,形成了一套完整的企業(yè)數(shù)據(jù)安全治理能力框架。在這套框架下我們需要從三個(gè)視角觀察數(shù)據(jù)安全的威脅——●組織視角:數(shù)據(jù)在企業(yè)里,從組織層面貫穿于自上而下的各層組織,貫穿于各個(gè)部門?！窦夹g(shù)視角:數(shù)據(jù)貫穿于業(yè)務(wù)系統(tǒng)和應(yīng)用系統(tǒng)、數(shù)據(jù)庫(kù)以及基礎(chǔ)設(shè)施。●生命周期視角:數(shù)據(jù)從數(shù)采集、傳輸、存儲(chǔ)、處理到銷毀有比較長(zhǎng)的鏈條。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/25行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法3、同時(shí)對(duì)于傳統(tǒng)數(shù)據(jù)安全和大模型下的數(shù)據(jù)安全需要進(jìn)行區(qū)分:●傳統(tǒng)場(chǎng)景下的企業(yè)數(shù)據(jù)安全——數(shù)據(jù)在企業(yè)中根據(jù)用戶使用方式及數(shù)據(jù)本身特點(diǎn)存在形態(tài)差異及場(chǎng)景化差異。這些差異會(huì)導(dǎo)致數(shù)據(jù)在不同的場(chǎng)景下,面臨不同的風(fēng)險(xiǎn),需要采用不同的安全機(jī)制進(jìn)行保護(hù)。企業(yè)內(nèi)數(shù)據(jù)分布典型場(chǎng)景:辦公場(chǎng)景、在線數(shù)據(jù)庫(kù)、大數(shù)據(jù)、研發(fā)環(huán)境、運(yùn)維環(huán)境等?！袢斯ぶ悄芎痛竽Ｐ拖碌钠髽I(yè)數(shù)據(jù)安全——人工智能和大模型的領(lǐng)域?qū)鹘y(tǒng)企業(yè)的數(shù)據(jù)安全問(wèn)題有兩側(cè)的延伸,由于海量數(shù)據(jù)的原始存儲(chǔ)資源以及訓(xùn)練的過(guò)程,涉及基礎(chǔ)設(shè)施和模型集成廠商,所以需要考慮更多不同的責(zé)任主體,更多不同類型和數(shù)據(jù)以及系統(tǒng)用戶的用戶來(lái)源。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/26行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法三、騰訊云如何通過(guò)五大能力應(yīng)對(duì)企業(yè)數(shù)據(jù)安全挑戰(zhàn)？針對(duì)企業(yè)整體的風(fēng)險(xiǎn)的分布以及大模型特有的安全問(wèn)題,騰訊云提出了的數(shù)據(jù)安全治理框架。在框架內(nèi),企業(yè)的數(shù)據(jù)安全治理涵蓋的事項(xiàng)分為五個(gè)層次——●法律合規(guī):依循國(guó)內(nèi)外法律法規(guī)和行業(yè)標(biāo)準(zhǔn),將合規(guī)要求精準(zhǔn)映射到企業(yè)組織架構(gòu)、業(yè)務(wù)流程及安全保護(hù)體系?！窠M織保障體系:建立貫徹“最終責(zé)任人制”的數(shù)據(jù)治理組織體系,明確業(yè)務(wù)部門為數(shù)據(jù)安全保護(hù)的主體責(zé)任方,全員參與配合?！耧L(fēng)險(xiǎn)治理流程體系:形成包括數(shù)據(jù)識(shí)別、分類分級(jí)、風(fēng)險(xiǎn)評(píng)估、風(fēng)險(xiǎn)治理、持續(xù)運(yùn)營(yíng)等關(guān)鍵環(huán)節(jié)的端到端閉環(huán)流程?！耧L(fēng)險(xiǎn)治理技術(shù)體系:根據(jù)辦公、在線數(shù)據(jù)庫(kù)、大數(shù)據(jù)、人工智能等不同場(chǎng)景的數(shù)據(jù)特征差異,采取差異化的安全防護(hù)技術(shù)措施?！癜踩A(chǔ)設(shè)施:搭建安全基礎(chǔ)設(shè)施,為不同場(chǎng)景數(shù)據(jù)安全最終落地提供能力支撐?；谏鲜鲋卫眢w系,過(guò)去幾年騰訊積累了一整套具備五大能力的數(shù)據(jù)安全治理解決方案,包括資產(chǎn)清查、風(fēng)險(xiǎn)評(píng)估、數(shù)據(jù)保護(hù)、風(fēng)險(xiǎn)監(jiān)控和持續(xù)運(yùn)營(yíng),形成了數(shù)據(jù)安全能力體系閉環(huán)。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/27行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具體場(chǎng)景痛點(diǎn)及解法●能力一數(shù)據(jù)資產(chǎn)管理與分類分級(jí)1)數(shù)據(jù)資產(chǎn)管理的工具:可以自動(dòng)化的對(duì)主要的標(biāo)準(zhǔn)和數(shù)據(jù)類別進(jìn)行自動(dòng)化的識(shí)別和分類分級(jí),具備敏感數(shù)據(jù)識(shí)別發(fā)現(xiàn)、掃描效率優(yōu)化、掃描規(guī)則優(yōu)化等優(yōu)勢(shì),實(shí)現(xiàn)效率提升。2)AI輔助敏感數(shù)據(jù)識(shí)別:解決傳統(tǒng)規(guī)則引擎局限,顯著降低誤報(bào)和漏報(bào)率。挑戰(zhàn):傳統(tǒng)規(guī)則由于性能和靈活性存在瓶頸√部分場(chǎng)景誤報(bào)率較高,例如密碼√檢測(cè)對(duì)象難以窮盡,例如公司名稱√檢測(cè)規(guī)則難以創(chuàng)建,例如姓名應(yīng)對(duì):數(shù)據(jù)驅(qū)動(dòng),覆蓋復(fù)雜和未知場(chǎng)景,突破傳統(tǒng)規(guī)則束縛√面向60類敏感數(shù)據(jù),訓(xùn)練AINER模型,約3億參數(shù)√通過(guò)預(yù)訓(xùn)練提高準(zhǔn)確率,負(fù)樣本壓制誤報(bào)率√業(yè)務(wù)落地運(yùn)行效果:準(zhǔn)確率93.14%,召回率90.99%●能力二數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估與持續(xù)監(jiān)測(cè)AI引擎工作流程組織實(shí)體名稱識(shí)別示例1)風(fēng)險(xiǎn)評(píng)估模型:對(duì)數(shù)據(jù)建立了風(fēng)險(xiǎn)評(píng)估的模型,對(duì)數(shù)據(jù)常見(jiàn)的安全攻擊和威脅進(jìn)行自動(dòng)化的檢測(cè),并形成評(píng)估報(bào)告。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/282)數(shù)據(jù)安全情報(bào)判研與風(fēng)險(xiǎn)持續(xù)監(jiān)測(cè):通過(guò)聯(lián)合智能方式,結(jié)合情報(bào),對(duì)數(shù)據(jù)安全風(fēng)險(xiǎn)進(jìn)行持續(xù)的監(jiān)控和閉環(huán)。優(yōu)勢(shì):以DSGC智能化能力為數(shù)據(jù)安全運(yùn)營(yíng)抓手,圍繞核心數(shù)據(jù)資產(chǎn)(重要數(shù)據(jù)、敏感數(shù)據(jù)),結(jié)合威脅情報(bào)、Al等技術(shù),構(gòu)建多維度的數(shù)據(jù)安全事件監(jiān)測(cè)能力,降低MTTD、MTTR。3)數(shù)據(jù)安全運(yùn)營(yíng):基于S0AR技術(shù)的自動(dòng)化運(yùn)營(yíng)智能體,實(shí)現(xiàn)工具和流程統(tǒng)一化管理,從而達(dá)到數(shù)據(jù)安全治理流程的自動(dòng)化。●能力三數(shù)據(jù)安全防護(hù)策略與細(xì)粒度數(shù)據(jù)保護(hù)1)數(shù)據(jù)安全統(tǒng)一保護(hù)平臺(tái):通過(guò)Apl接入和數(shù)據(jù)透明訪問(wèn),用網(wǎng)關(guān)技術(shù)實(shí)現(xiàn)對(duì)數(shù)據(jù)的一次性接觸和多種策略靈活的保護(hù)。如:數(shù)據(jù)加密、動(dòng)態(tài)脫敏、行為審計(jì)、運(yùn)維管控等。騰訊云工具指南.AGl時(shí)代首選的全棧式數(shù)據(jù)管理方案/29行業(yè)實(shí)踐——各行業(yè)數(shù)據(jù)管理具