FFA2024分論壇-行業(yè)解決方案合輯

2?…），THANKYOUChinaUnicomNetworkResourcesDataLakehouseApplicationPractice效果及規(guī)劃效果及規(guī)劃現(xiàn)狀及挑戰(zhàn)StatusandChallenges寬帶業(yè)務開通—物理網(wǎng)絡圖無線/傳輸—數(shù)字網(wǎng)絡圖NewStructureofDataLakehouse?全字段比對100%一致?分鐘級延遲≤10?全字段比對100%一致?分鐘級延遲?全增量SchemaEvolution-CdcSchemaCommonUtils?全量寫?全增量SchemaEvolution-CdcSchemaCommonUtils?多個增量寫同一個表字段兼容支持SchemaEvolution+Schema?多個增量寫同一個表字段兼容支持THANKYOU謝謝觀看ConstructionofReal-TimeVariablePoolinWetechBasedonFlinkA正常行為正常行為異常行為異常行為·組件耦合·SLA·······FlinkExactlyOnce語義查詢查詢變量池時變量池流式計算流式計算原子層查詢?nèi)罩静樵內(nèi)罩緮?shù)據(jù)源均值、方差查詢請求查詢查詢請求查詢THANKYOU數(shù)據(jù)治理注：運維是指電站的運行維護風力發(fā)電機組和光伏面板大多位于偏遠地區(qū)，巡檢作覆蓋周期長。如何減少巡檢頻次，快速發(fā)現(xiàn)問題、定場站的高效率監(jiān)測運維，可以提高場站安全性莫呂掘滾莫呂掘滾禾詭蜂狙悟蛭撐靄瑩□□□□悟蛭撐靄瑩□□□□哆禾詭槐斥紅紅似竇腩撈甄螺拚竇腩撈禾詭刁久塵幌竇腩餾竇腩餾窒螺锨閉螺拚《鮮5$$JFHUJFHU螺拚竇腩撈講贛琶陳Kafka禾詭溺陪蹭禾詭困久蹭禾詭困久S501(#30)S502(#31)S504(#33)…… 數(shù)件件件型型valuevaluevalue率valuevalue力valueQYvaluevalue型法測value移XYZvalue…根據(jù)配置可以將遙測轉(zhuǎn)換為遙信，采用的策略是配置根據(jù)數(shù)據(jù)包校驗邏輯判斷是否接收到了錯誤的數(shù)據(jù)，在數(shù)據(jù)采集和傳輸過程中因為通訊原因可能會造成數(shù)指標計算上指標計算上統(tǒng)計報表… 壁壁壁枯枯 數(shù)據(jù)采集數(shù)據(jù)采集 聯(lián)合??機缺陷聯(lián)合??機缺陷集線等效?時集線等效?時箱變等效?時箱變等效?時組串等效?時組串等效?時庫THANKYOU基于Flink的中國電信星海時空數(shù)據(jù)多引擎實時改造中國電信數(shù)據(jù)發(fā)展中心企業(yè)級大數(shù)據(jù)時空智能系統(tǒng)2024年11月星海時空智能系統(tǒng)的現(xiàn)狀通過構(gòu)建時空系統(tǒng)的運營體系，結(jié)合全量客戶信息，形成跨地域、跨部門的客戶位置、等信息，封裝各類標準化時空服務能力，強化生態(tài)合作，促進了時空系統(tǒng)的n時空資產(chǎn)：2023年建設基站畫像、用戶位置標簽體畫像、智能區(qū)域（區(qū)域畫像）2024年建設行業(yè)指標庫、時空算法庫、基于MR數(shù)據(jù)集指紋庫n2024年8月，中國電信“星海大數(shù)據(jù)秀科技成果獎（左圖）。這是對電信時空智能系統(tǒng)建時空系統(tǒng)能力分層體系價值鏈N1算3級的定位價值鏈N1算3業(yè)交通旅游金融交通旅游金融++運態(tài)表表表表表表表表表表表表層4G信令數(shù)據(jù)據(jù)數(shù)據(jù)底座網(wǎng)元底座數(shù)據(jù)底座網(wǎng)元底座實時計算發(fā)展歷程集能實時計算業(yè)務痛點業(yè)務場景分散不聚焦、相同場景不同客戶的業(yè)務口徑不一致。需要時空系統(tǒng)回答如何將數(shù)據(jù)資產(chǎn)規(guī)?；ㄔO、業(yè)務場景封裝、客戶三者協(xié)同的問題。簡單說來，我們既想要關(guān)注數(shù)據(jù)的完備性，具有處理海量的數(shù)據(jù)能力，又想要封裝行業(yè)的通用能力，還想要快速多場景LBS支撐多場景LBS支撐不支持策略/規(guī)則/質(zhì)量管控不支持策略/規(guī)則/質(zhì)量管控多引擎實時架構(gòu)思路交通旅游交通旅游金融零售教育制造應急公共服務商務會展實時流介據(jù)據(jù)I多引擎改造2實時架構(gòu)演進 異常告警計算出行分析計算區(qū)域洞察計算人群駐留計算人單異常告警計算出行分析計算區(qū)域洞察計算人群駐留計算人單第一階段：多鏈路煙囪式開發(fā)第二階段：多引擎加工（實時數(shù)倉）這是一個多點運維到集中自動化運營的過程，監(jiān)控運維平臺的構(gòu)建需要滿足自動化的要求。Flink集群Backpressure監(jiān)控、CheckPoint的生效的監(jiān)控、長尾任務的解析，數(shù)據(jù)消費lag值監(jiān)控，生產(chǎn)加工時長的監(jiān)控等都實現(xiàn)了自動化實時多引擎web頁面：手動配置數(shù)據(jù)流規(guī)則客戶：調(diào)用API網(wǎng)關(guān)進行配置④④貼源數(shù)據(jù)的軌跡點去重原始用戶軌跡點中存在位置點重合及聚集現(xiàn)象（職住地尤為明顯），導致用戶軌跡過度冗余，為更清晰呈現(xiàn)用戶軌跡且減少原始用戶軌跡點中存在位置點重合及聚集現(xiàn)象（職住地尤為明顯），導致用戶軌跡過度冗余，為更清晰呈現(xiàn)用戶軌跡且減少計算和存儲資源浪費，對用戶軌跡數(shù)據(jù)進行分組、清洗，同時使用Flink滾動窗口函數(shù)進行位置點剔重度④③②引擎規(guī)則生效的優(yōu)化傳統(tǒng)方式定時掃描外部數(shù)據(jù)加載到傳統(tǒng)方式定時掃描外部數(shù)據(jù)加載到flink內(nèi)部進行關(guān)聯(lián)，并非基于事件驅(qū)動，存在實時關(guān)聯(lián)效率低現(xiàn)象；利用FlinkCDC全增量一體的方式捕獲規(guī)則變動，以事件驅(qū)動的方式，與信令主數(shù)據(jù)流進行join，達到實時驅(qū)動觸發(fā)基于配置規(guī)則的計算，降低計算的時延和提高計算準確性周邊位置檢索優(yōu)化遍歷求解 7位GeoHash遍歷求解 7位GeoHashn檢索方法：利用公共前綴n空間索引優(yōu)化：計算時間復雜度最低為遍歷求解的網(wǎng)格化并base32編碼，相鄰網(wǎng)格其編號前綴相同。如此，將二維空間數(shù)據(jù)壓縮為一維。結(jié)合B+樹索引，可適應于不nn檢索方法：利用公共前綴n空間索引優(yōu)化：計算時間復雜度最低為遍歷求解的網(wǎng)格化并base32編碼，相鄰網(wǎng)格其編號前綴相同。如此，將二維空間數(shù)據(jù)壓縮為一維。結(jié)合B+樹索引，可適應于不n時空伴隨分析n附近網(wǎng)約車等快速檢索n周邊POI興趣點推薦GeohashGeohash示意圖幾何圍欄時空映射優(yōu)化基站匹配關(guān)聯(lián)?量空間計算基站匹配關(guān)聯(lián)?量空間計算預先使用空間算法找到面與,轉(zhuǎn)換點面預先使用空間算法找到面與,轉(zhuǎn)換點面包含成為點與集合的join關(guān)在實際處理時，直接通過數(shù)據(jù)流中基站編號映射關(guān)來判定用戶是否在區(qū)域效率提升：基站匹配方式優(yōu)化了幾何圍欄關(guān)系計算，在點面包含計算場景下，約為傳統(tǒng)矢量計算時間復雜度的1/k倍（k為面的折基站的映射關(guān)系中下，通用點面包含、面面相交常使用ST_Intersects、效率提升：基站匹配方式優(yōu)化了幾何圍欄關(guān)系計算，在點面包含計算場景下，約為傳統(tǒng)矢量計算時間復雜度的1/k倍（k為面的折基站的映射關(guān)系中基站基站匹配典型應用漫入漫出類應用：運動狀態(tài)識別引擎①①②②③營銷類應用：個體行為識別引擎②篩選目標地市的數(shù)據(jù)④關(guān)聯(lián)目標用戶群，二次確認⑤剔除已營銷用戶⑥剔除免打擾用戶⑦計算駐留時長⑧駐留時長達到閾值，判定為個體行為識別用戶外部數(shù)據(jù)引入類應用：個體行為識別引擎智慧文旅類應用：群智感知識別引擎 ），像想象空間：封裝更多引擎為置置務為置置務勤碼務計勤分析未來展望匯總層整合層明細層應用層匯總層整合層明細層應用層流流流令流流流令湖②滿足規(guī)劃指引安全出湖e匯總層應用層整合層明細層安全出湖e匯總層應用層整合層明細層明細層匯總層應用層整合層批批批⑥計劃2025年構(gòu)建秒級延遲、分明細層匯總層應用層整合層批批批湖n長期來看，根據(jù)3GPP組織（第三代合作伙伴計劃）在2024年6月凍結(jié)的Release18的最新通信協(xié)議，未來通訊大網(wǎng)將融合低軌衛(wèi)星互聯(lián)網(wǎng)、5G6G基站、室分室內(nèi)等定位能力，增加包含大模型、深度學習構(gòu)建的通導感一體、空天地全域、軟硬結(jié)合的“三位一體”的業(yè)務場景（比如低空經(jīng)濟），電信時空智能系統(tǒng)會有進一步加快發(fā)展。服務能力調(diào)用手持終端、車載終端、飛行器終端、艦船終端、THANKYOU謝謝觀看面向未來的一體化實時湖倉架構(gòu)設計建設特點?數(shù)據(jù)架構(gòu)不分層，以任務為單位支撐應用場景架構(gòu)痛點?全部預處理方式要求每個開發(fā)同學E2E加工，不能適應建設特點支持OLAPQuery?數(shù)據(jù)分層：在DWD層按照主題將數(shù)據(jù)源整合，構(gòu)建可復用的架構(gòu)痛點?數(shù)據(jù)存儲冗余：不同業(yè)務SLA不同，KV引擎和OLAP根建設特點?統(tǒng)一存儲：公共明細層、公共匯總層，應用明細層、應用匯總關(guān)鍵收益在存儲層需要統(tǒng)一，既能存儲大量歷史數(shù)在存儲層需要統(tǒng)一，既能存儲大量歷史數(shù)4需要確保數(shù)據(jù)的時效性、一致性和可查詢同一個計算引擎需要能夠同時支持批、實?Hologres2Hologres2WHEREds=to_char(CU3__4 統(tǒng)一元數(shù)據(jù)極致性能增量消費45405050Trino422HologresV3.0.5DeletionVectorShard/PartitionPruningLocaljoinClusteringRuntimeFilter低中高全量刷新(全量刷新(實時數(shù)據(jù)實時數(shù)據(jù)?可將DynamicTable的刷新任務以Serverless方式執(zhí)?可將DynamicTable的刷新任務以Serverless方式執(zhí)行?不占用實例資源，任務間相互隔離。更加穩(wěn)定、更高效實時數(shù)倉HologresCREATEDYNAMICTABLEcommerce_tao merce_taobar_adv_benavior_logbehavior_log淘寶直播（全倉案例）淘天營銷活動分析（湖倉案例）淘寶直播（全倉案例）淘天營銷活動分析（湖倉案例）80%據(jù)據(jù)數(shù)據(jù)歸檔數(shù)據(jù)歸檔Y?openlake__win…Y?openY?openlake-win…》昌github__events高強中高強中中中強 阿里云上客戶案例 阿里云上客戶案例阿里巴巴集團案例輕松籌飛書深諾THANKYOU?翟佳(wechat_id:zhai--jia)：背景介紹架構(gòu)和實現(xiàn)總結(jié)和未來規(guī)劃MULTI-TENANTMULTI-TENANTMULTI-TENANTMULTI-TENANT背景介紹架構(gòu)和實現(xiàn)總結(jié)和未來規(guī)劃MULTI-TENANTMULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT MULTI-TENANT 背景介紹架構(gòu)和實現(xiàn)總結(jié)和未來規(guī)劃 MULTI-TENANT MULTI-TENANT），THANKYOU?/?/?dev@?users@?/apache/pulsar?/apache/bookkeeper?/AscentStreamn1PaimonxSpark的發(fā)展歷程n7PaimonxSpark極致查詢優(yōu)化nA未來展望與規(guī)劃完整流批能力新特性探索完整流批能力新特性探索極致讀寫優(yōu)化面臨的挑戰(zhàn)應對bL',2,4)數(shù)據(jù)更新與寫入元數(shù)據(jù)加載優(yōu)化 …………3-5倍查詢性能提升/confluence/display/PAIMON/PIP-16%3A+Introduce+deletion+SparkSQL執(zhí)行鏈路Spark查詢優(yōu)化https://mp.weixin.qq.cSpark查詢優(yōu)化43210210.50JDK17,Scala2.13底層API接口改變引入Spark3/4common層通過profile切換Spark3/4半結(jié)構(gòu)化的數(shù)據(jù)需求日益增加Json靈活，但是解析慢結(jié)構(gòu)化數(shù)據(jù)解析快，但是不靈活Variant靈活，高效，開放Shredding列化后，查詢性能數(shù)量級提升測試版本已完成Variant和ShreddinTHANKYOU?愿景：成為世界上最好且最受尊重的基礎軟件公司?公司使命：為開發(fā)者和企業(yè)賦能，以速度、敏捷、增長之道創(chuàng)新。）：LEXNLEXN樂信TCLLenovoTCLLenovo同程旅行同程旅行≈超大號超大號MySQL天然高可用多庫合一高擴展高吞吐）：）：式式 1selectt2.v_type,sum(t1.k+t2.k)frselectt2.v_type,sum(t1.k+t2.k)fr Region1*、Region2*Region1、Region2Region1、Region2*Region1、Region2Region1、Region2Region3Region3Region3*Region3Region4Region5Region6*Region4*Region5Region6RegionRegion4Region5Region6*Region4*Region5Region6Region4Region5*Region6方案對比低低低中高高高低低高低低低高低中高低低方案對比Clickhouse技術(shù)架構(gòu)數(shù)據(jù)分布策略基于random或hash分片分布式事務彈性擴縮容數(shù)據(jù)規(guī)模并發(fā)吞吐能力數(shù)據(jù)重平衡業(yè)務侵入性高并發(fā)實時寫入和更新高并發(fā)單表查詢高并發(fā)關(guān)聯(lián)查詢批量處理大數(shù)據(jù)分析性能與大數(shù)據(jù)生態(tài)的用戶行為用戶行為業(yè)務數(shù)據(jù)業(yè)務數(shù)據(jù)系統(tǒng)日志系統(tǒng)日志爬蟲數(shù)據(jù)爬蟲數(shù)據(jù)中中高●工具自身高可用模式運行保護●●●●毫秒級捕獲存儲層變化并異步復制到下游集群●●支持事務和下游事務的原子性●用戶行為業(yè)務數(shù)據(jù)系統(tǒng)日志爬蟲數(shù)據(jù)統(tǒng)一視圖數(shù)據(jù)服務用戶行為業(yè)務數(shù)據(jù)系統(tǒng)日志爬蟲數(shù)據(jù)統(tǒng)一視圖數(shù)據(jù)服務!TiDB數(shù)據(jù)處理：數(shù)據(jù)調(diào)度跑批加工+HTAP能力所有層數(shù)據(jù)都可以提供數(shù)據(jù)服務/分析TiD