陳文光：AI時(shí)代的數(shù)據(jù)處理技

?數(shù)據(jù)量(Volume)和數(shù)據(jù)生成速度(Velocity)?數(shù)據(jù)量(Volume)和數(shù)據(jù)生成速度(Velocity)(inzettabytes)/statistics/871513/worldwide-data-created//hackernoon/the-ai-hierarchy-of-needs-18f111fcc007VectordatabaseNearestneighbors一Question?--Answer吳恩達(dá)（AndrewNg.）模型發(fā)布時(shí)間參數(shù)量預(yù)訓(xùn)練數(shù)據(jù)量GPT-12018年6?1.17億GPT-22019年2?40GBGPT-32020年5?1750億45TBGPT-3.5（ChatGPT）2022年11?千億級(jí)GPT-42023年3?未披露AppsQueue(Kafka)RealTimeETL（Flink,SPARK)Database(PyTorch,TF)(AppsQueue(Kafka)RealTimeETL（Flink,SPARK)Database(PyTorch,TF)(PyTorch,TF)（Hbase,KV,ES)DataLakeAnalystsBatchTraining/Test(PyTorch,TF)（Flink,Spark問(wèn)題問(wèn)題架構(gòu)創(chuàng)新架構(gòu)創(chuàng)新雙計(jì)算引擎?ZhifengYang,QuanqingXu,ShanyanGao,ChuanhuiYang,GuopingWang,YuzhongZhao,FanyuKong,HaoLiu,WanhongWang,JinliangXiao.OceanBasePaetica:AHybridShared-nothing/Shared-everythingDatabaseforSupportingSingleMachineandDistributedCluster.PVLDB,16(12):3728-3740,2023.成本優(yōu)化，維護(hù)方便 成本優(yōu)化，維護(hù)方便 OceanBase復(fù)雜查詢優(yōu)化線性化實(shí)時(shí)OLAP處理能力?水平可擴(kuò)展性（數(shù)百億條數(shù)據(jù)記錄）和低延遲（秒）TP&AP同一套引擎?同時(shí)處理TP和AP查詢集群級(jí)別的并發(fā)控制?優(yōu)化資源分配和流量控制的靈在線近線數(shù)據(jù)不一致模型效果不一致ApplicationApplicationStreamingDataflowStreamingDataflowDataflowPlaybackPlaybackTuGraphDataflow:流圖計(jì)算系統(tǒng)，支持國(guó)際標(biāo)準(zhǔn)圖查詢語(yǔ)言ISO-GQLApplicationApplicationStreamingStreamingDataflowDataflowDataflowPlaybackPlayback OceanBase螞蟻VSAG庫(kù)??提供通用向量檢索和構(gòu)建接口（與Faiss形式類(lèi)似）?向量間距離計(jì)算優(yōu)化?提供Binary向量索引算法?IVF算法對(duì)于批量搜索有很大?低門(mén)檻使用，無(wú)需算法專(zhuān)業(yè)知識(shí)，不需要算法選型，直接通過(guò)簡(jiǎn)單接入，可以快速獲得向量檢索能力，擁有內(nèi)存和磁盤(pán)兩個(gè)場(chǎng)景下極致解決方案的索引庫(kù)?向量檢索工具箱，可以深度定制向量檢索算法，對(duì)于特定的場(chǎng)景/workload可以有更好的性能，需要用戶對(duì)于檢索算法/參數(shù)非常了解，有最好的GPU算法實(shí)現(xiàn)，面對(duì)高寫(xiě)入/高QPS場(chǎng)景有巨大優(yōu)勢(shì)檢索過(guò)程與分析型索引類(lèi)似?CommonCrawl是一個(gè)海量的、非結(jié)構(gòu)化的、多語(yǔ)言的?CommonCrawl是一個(gè)海量的、非結(jié)構(gòu)化的、多語(yǔ)言的CommonCommonCrawl原始數(shù)據(jù)清洗后清洗后高質(zhì)量文本數(shù)據(jù)以正則化后的文檔哈希值為鍵，保留首次出現(xiàn)的文檔根據(jù)用戶提供的語(yǔ)言白名單、黑名單過(guò)濾，根據(jù)質(zhì)量分桶-Java/ScalaPyTorch,Tensorflow,SQL,Spark,PaddlePaddleDataFrameSciPy,Notepadkk問(wèn)題問(wèn)題*Dai,J.J.,Wang,Y.,Qiu,X.,Ding,D.,Zhang,Y.,Wang,Y.,...&Wang,J.(2019,Novemb