2023云棲大會：多模數(shù)據(jù)庫Lindorm -打造AI時代的一體化數(shù)據(jù)平臺

阿里云資深技術(shù)專家SQL結(jié)構(gòu)化數(shù)據(jù)MapReduceAI非結(jié)構(gòu)化數(shù)據(jù)SQL結(jié)構(gòu)化數(shù)據(jù)MapReduce半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)SQL結(jié)構(gòu)化數(shù)據(jù)MapReduceAI非結(jié)構(gòu)化數(shù)據(jù)SQL結(jié)構(gòu)化數(shù)據(jù)MapReduce半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)APSARA云棲大會SQL結(jié)構(gòu)化數(shù)據(jù)互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)AIoT關(guān)系型數(shù)據(jù)庫階段關(guān)系型數(shù)據(jù)庫階段大數(shù)據(jù)&大數(shù)據(jù)&NoSQL階段融合型數(shù)據(jù)庫階段融合型數(shù)據(jù)庫階段在線KV全文檢索交互分析…資源開銷高?數(shù)據(jù)重復冗余?資源碎片化，使用不均?數(shù)據(jù)流轉(zhuǎn)額外開銷大?海量存儲成本高維護挑戰(zhàn)大在線KV全文檢索交互分析…資源開銷高?數(shù)據(jù)重復冗余?資源碎片化，使用不均?數(shù)據(jù)流轉(zhuǎn)額外開銷大?海量存儲成本高維護挑戰(zhàn)大?搭建N條數(shù)據(jù)鏈路?運維N套分布式系統(tǒng)?缺乏彈性，容量管理困難離線結(jié)果導入離線歸檔實時結(jié)果寫入實時明細同步離線歸檔實時處理APSARA云棲大會典型的多產(chǎn)品組合方案，數(shù)據(jù)鏈路多，訪問接口多，數(shù)據(jù)重復冗余開發(fā)效率低開發(fā)效率低?相似功能不一致?業(yè)務側(cè)雙寫或雙讀智能化智能數(shù)據(jù)分析多模態(tài)數(shù)據(jù)檢索智能化智能數(shù)據(jù)分析多模態(tài)數(shù)據(jù)檢索開放化標準化接口開放數(shù)據(jù)格式一體化存查算一體在離線、離在線一體一份數(shù)據(jù)，多種計算APSARA云棲大會云原生化云原生化資源彈性開箱即用低成本云原生多模數(shù)據(jù)庫云原生多模數(shù)據(jù)庫 統(tǒng)一QiLdorm實時&離線計算高并發(fā)寫入表格圖片視頻等對象消息多模數(shù)據(jù)在線服務共享存儲AI處理APSARA云棲大會計算層查詢層計算層查詢層數(shù)據(jù)引擎層存儲層云原生多模數(shù)據(jù)庫Lindorm統(tǒng)一體驗統(tǒng)一查詢引擎LSQL統(tǒng)一查詢引擎LSQL多模數(shù)據(jù)統(tǒng)一訪問，兼容MySQL通信協(xié)議開源兼容層LProxy開源兼容層LProxy兼容hbase、es、kafka、influxdb等接口智能計算ETL、交互分析、機器學習流引擎LStream流引擎LStream流計算模型管理、推理多?；ネ▽挶硪鎸挶硪嫠阉饕嫠阉饕媪写嬉媪写嬉嫦⒁嫦⒁娲嫠惴蛛x分布式文件系統(tǒng)分布式文件系統(tǒng)LDFS(X86/ARM/倚天)塊存儲塊存儲(ESSDPL1/PL0高效)對象存儲對象存儲本地盤本地盤(SSD/HDD)按需插拔復雜計算訂閱消費行存列存倒排實時入庫AI分析復雜計算訂閱消費行存列存倒排實時入庫AI分析APSARA云棲大會業(yè)務應用業(yè)務應用數(shù)據(jù)管理訪問Lindorm查詢引擎在線查流計算智能處理批處理&交互分析在線查流計算智能處理高吞吐寫入(KafkaAPI/SQL)數(shù)據(jù)網(wǎng)關(guān)數(shù)據(jù)網(wǎng)關(guān)APSARA云棲大會海量、低成本海量、低成本?糾刪碼EC，1.25副本實現(xiàn)靠存在線、高并發(fā)在線、高并發(fā)?點查、范圍查、多條件查、部分?簡單讀寫，P99小于10ms，千萬級吞吐，性能是HBase的3-7倍查彈性、靈活彈性、靈活?支持交互分析、批計算、流計?一份數(shù)據(jù)，同時滿足生產(chǎn)和分析算生態(tài)兼容生態(tài)兼容?開放數(shù)據(jù)格式（Parquet、?支持與數(shù)據(jù)庫、大數(shù)據(jù)間的訪問?支持多副本異構(gòu)存儲，高速介質(zhì)提供性能，低速介質(zhì)保障可靠性，最大化性價比?數(shù)據(jù)隨熱溫冷變化，在多級介質(zhì)間進行轉(zhuǎn)存，大幅降低綜合成本多級介質(zhì)混合管理?支持使用糾刪碼EC算法，副本冗余系數(shù)低至?數(shù)據(jù)文件分塊壓縮，上層計算透明使用?基于ZSTD深度優(yōu)化壓縮算法，效果提升30%高效壓縮與編碼彈性使用?基于存算分離的全分布式架構(gòu)，存儲和計算資源解耦，支持獨立伸縮?底層存儲池化管理，用戶按需使用，無感擴縮容APSARA云棲大會低成本存：兼容HDFS的云原生存儲底座LindormLindorm多模引擎寬表搜索列存列存消息存算分離靈活組合的存儲能力HadoopCompatibleFilesystemProtocol（HDFS兼容）多級介質(zhì)管理列類型編碼字典編碼深度優(yōu)化的ZSTD壓縮采樣編碼壓縮采樣訓練類型信息字典信息熵編碼類型信息字典信息JNA重寫，并且基于字典采樣優(yōu)化列類型編碼字典編碼深度優(yōu)化的ZSTD壓縮采樣編碼壓縮采樣訓練類型信息字典信息熵編碼類型信息字典信息JNA重寫，并且基于字典采樣優(yōu)化APSARA云棲大會開源數(shù)據(jù)集原始文件?數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲成本壓力大場景?冷數(shù)據(jù)存儲成本減少90%?熱數(shù)據(jù)查詢性能提升15%?業(yè)務代碼零改造?冷熱參數(shù)在線調(diào)整價值核心優(yōu)勢?數(shù)據(jù)冷熱特征明顯，數(shù)據(jù)存儲成本壓力大場景?冷數(shù)據(jù)存儲成本減少90%?熱數(shù)據(jù)查詢性能提升15%?業(yè)務代碼零改造?冷熱參數(shù)在線調(diào)整價值核心優(yōu)勢需懶加載冷數(shù)據(jù)，冷熱自動聚合返回Compaction算法，減少冷熱轉(zhuǎn)換IO放大調(diào)整冷熱分界線壓縮比，元數(shù)據(jù)分層按需加載減少內(nèi)存占用Lindorm多模引擎冷熱統(tǒng)一查詢冷熱高效分離冷熱自由調(diào)整冷熱異構(gòu)管理分區(qū)1元數(shù)據(jù)與索引層冷熱轉(zhuǎn)換 APSARA云棲大會性能型存儲性能型存儲容量型存儲Lindorm客戶端Kafka客戶端Lindorm客戶端Kafka客戶端分離，降低80%成本縮容Partition，比開源kafka提升一個數(shù)量級打通，數(shù)據(jù)自動入庫、入湖倉核心能力APSARA云棲大會Lindorm消息引擎KafkaCompatibleProtoTail緩存Tail緩存共享日志分區(qū)多副本Partition2 Partition1 Partition2 Partition1 ConsumePartition3…云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS?分區(qū)多副本，自動故障恢復?全球異地多活高可用客戶端?分區(qū)多副本，自動故障恢復?全球異地多活高可用客戶端客戶端客戶端APICQL?讀寫性能是HBase的3-7倍?支持多種索引，加速查詢高性能?存算分離，秒級擴縮容?動態(tài)上千列，單列大小0-1TB高擴展?100%兼容開源HBase?支持MySQL端訪問?提供Json、Gis等豐富類型開放易用APSARA云棲大會冷熱分離LSM分區(qū)多副本W(wǎng)rite 云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS0X單行讀范圍讀單行寫批量寫Lindorm-2.1社區(qū)版HBase-2.00APSARA云棲大會單行讀社區(qū)版HBase-2.0批量寫單行寫范圍讀0SearchIndex加速多維查詢與全文檢索SearchIndex加速多維查詢與全文檢索驗與效率大幅領(lǐng)先于傳統(tǒng)多產(chǎn)品組合方案最合適的索引，加速查詢詞、高亮顯示等能力簡單易用，開發(fā)效率大幅提升索與聚合分析的性能與吞吐延遲的選擇高性能，綜合成本顯著下降舊代碼無需改造，新場景使用SQL提效開源兼容，業(yè)務無改造APSARA云棲大會Lindorm客戶端搜索引擎 協(xié)議接入查詢解析執(zhí)行優(yōu)化Lindorm客戶端搜索引擎 協(xié)議接入查詢解析執(zhí)行優(yōu)化SQL引擎API寬表引擎寬表引擎APSARA云棲大會向量與標量的混合檢索向量與標量的混合檢索高性能向量搜索高性能向量搜索SELECTdoc_id,doc_tagsFROMdocsWHEREcreate_time>'2023-05-01'ORDERBYvector_distance(doc_vector,'[0.067985594,0.94134957,0.9174301]')LIMIT10;?分布式架構(gòu)，海量索引規(guī)模Lindorm搜索引擎keykeykeykeykeykeykeykeyLindormAI引擎Lindorm向量引擎LindormSQL引擎Lindorm搜索引擎keykeykeykeykeykeykeykeyLindormAI引擎Lindorm向量引擎LindormSQL引擎非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)?實時在線，毫秒響應，寫后即可查多模融合檢索多模融合檢索?標量數(shù)據(jù)，多維查詢與全文檢索?標量與向量混合檢索簡單易用簡單易用?統(tǒng)一SQL訪問與管理?向量PythonAPIAPSARA云棲大會彈性彈性ExecutorLindormLindorm計算引擎 使用資源?按需彈性，不使用不付費?秒級彈起，資源在10秒內(nèi)啟動?安全可靠，每個實例獨占ECS資源?資源可控，每個作業(yè)可獨立配置資源彈性彈性Executor彈性彈性Executor云原生分布式文件系統(tǒng)云原生分布式文件系統(tǒng)LindormDFS簡化數(shù)據(jù)分析計算簡化數(shù)據(jù)分析計算APSARA云棲大會LindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)復雜分析在線高并發(fā)請求列存引擎存量快照同步簡單查詢&寫入&管理近線復雜分析LindormSQL引擎(DDL/DQL/DML等統(tǒng)一接入)復雜分析在線高并發(fā)請求列存引擎存量快照同步簡單查詢&寫入&管理近線復雜分析ColumnIndex儲Spark/Hive客戶端DMS/Dataworks(離線任務編排、調(diào)度)寬表引擎SparkAPI/HiveSQLLindorm計算引擎數(shù)據(jù)生產(chǎn)&分析一體化列格式行格式列格式行格式簡單易用，效率大幅提升簡單易用，效率大幅提升高性能，綜合成本顯著下降高性能，綜合成本顯著下降即席分析數(shù)據(jù)生產(chǎn)開源分析引擎Spark/Fliink/PrestoLindorm計算引擎即席分析數(shù)據(jù)生產(chǎn)開源分析引擎Spark/Fliink/PrestoLindorm計算引擎?分布式元數(shù)據(jù)管理，Meta性能10倍提強大功能高性能?高效索引與計算下推，分析性能提升?數(shù)據(jù)高壓縮，減少50%存儲?分布式讀寫事務，原子性保證?數(shù)據(jù)零延遲，實時分析?靈活Schema，支持動態(tài)列和部分更新?開放數(shù)據(jù)格式Parquet/ORC?開源分析引擎（Spark/Flink/Presto）直連訪問開放兼容APSARA云棲大會高可用PB級文件元信息管理高性能并發(fā)提交分布式寫入事務文件索引與高效檢索================LSM-Filesbucket0 Partition高可用PB級文件元信息管理高性能并發(fā)提交分布式寫入事務文件索引與高效檢索================LSM-Filesbucket0 Partition-0Partition-1Partition-2Partition-3Partition-Nbucket0b1rb2r bucket0 bucket0bucket0 主鍵索引全表數(shù)據(jù)特征索引LSM-Files多維分區(qū)Bucket排布與上報多文件格式與壓縮LindormLindorm列存引擎00APSARA云棲大會同等資源下的100同等資源下的100GTPC-H性能對比40.230.427.325.923.521.19.78.77.865.54.92.48.14.37.75.55.43.43.820.623.220.54.59.18.18.98.68.98.58.38.77.86.32.58.37.17點查Spark+HudiSparkSpark+HudiLindorm支持在數(shù)據(jù)庫內(nèi)管理和部署模型，用戶可以簡單高效地使用AI能力，實現(xiàn)對多模數(shù)據(jù)的智能分析Lindorm支持在數(shù)據(jù)庫內(nèi)管理和部署模型，用戶可以簡單高效地使用AI能力，實現(xiàn)對多模數(shù)據(jù)的智能分析?支持對存儲于數(shù)據(jù)庫中的非結(jié)構(gòu)化數(shù)據(jù)執(zhí)行多種類型AI推理任務?架構(gòu)簡單，開發(fā)運維效率高，滿足安全、監(jiān)管需求?結(jié)合數(shù)據(jù)庫原有能力實現(xiàn)多模融合分析數(shù)據(jù)庫原生SQL交互?支持一鍵導入模型平臺（ModelScope、HuggingFace）中的模型?支持以API方式對接模型服務靈積（DashScope）?支持用戶上傳自己的模型無縫對接外部模型平臺與服務?云原生架構(gòu)，支持彈性部署云上異構(gòu)計算資源，包括CPU和GPU機型?AI推理引擎和多模引擎通過共享存儲打通，節(jié)省數(shù)據(jù)傳輸開銷，實現(xiàn)靠近數(shù)據(jù)的推理優(yōu)化彈性異構(gòu)計算APSARA云棲大會語義檢索知識問答多模態(tài)檢索多模引擎模型平臺與服務AI引擎語義檢索知識問答多模態(tài)檢索多模引擎模型平臺與服務AI引擎應用層應用層CREATEMODELqa_modelFROM(select*fromtable)TARGETdoc_fieldTASKRETRIEVAL_QAALGORITHMTONGYI_QIANWENselectai_infer(qa_model,doc_field)fromtablewhereid=xxx;APSARA云棲大會異常檢測算法AI異常檢測算法AI推理監(jiān)控預警詳單查詢運營分析數(shù)據(jù)報表分析數(shù)據(jù)標注車聯(lián)網(wǎng)業(yè)務層車聯(lián)網(wǎng)業(yè)務層實時處理查詢多維檢索交互分析計算流引擎高吞吐寫入行存列存行存列存倒排CEP+UDF高性能多模存儲與計算模型導入與推理價值價值A(chǔ)PSARA云棲大會場景實踐：從開源大數(shù)據(jù)升級至應用客戶端B客戶端A開源大數(shù)據(jù)數(shù)據(jù)通道服務LTS數(shù)據(jù)遷移與實時同步成本降低應用客戶端B客戶端A開源大數(shù)據(jù)數(shù)據(jù)通道服務LTS數(shù)據(jù)遷移與實時同步成本降低性能提升開發(fā)運維效率應用統(tǒng)一SQL云原生多模數(shù)據(jù)庫00業(yè)務改造高壓縮存儲在線寬表性能是HBase的7X統(tǒng)一SQL訪問在線數(shù)據(jù)遷移彈性Serverless計算分析計算性能是Spark的1.5X統(tǒng)一元數(shù)據(jù)開源接口100%兼容減少數(shù)據(jù)冗余消息吞吐性能是Kafka的1.5X無需搭建數(shù)據(jù)鏈路場景需求與痛點使用反饋APSARA云棲大會MomentaMoment