計(jì)算機(jī)行業(yè)向量數(shù)據(jù)庫(kù)市場(chǎng)分析

計(jì)算機(jī)行業(yè)向量數(shù)據(jù)庫(kù)市場(chǎng)分析一、向量數(shù)據(jù)庫(kù)為AI大模型全生命周期管理提質(zhì)增效隨著AI大模型的發(fā)展，向量數(shù)據(jù)庫(kù)已成為賦能MLOps各環(huán)節(jié)必備的軟件基礎(chǔ)設(shè)施。在AI模型全生命周期過(guò)程中，MLOps（MachineLearningOperations，機(jī)器學(xué)習(xí)運(yùn)營(yíng)體系）代表機(jī)器學(xué)習(xí)的開(kāi)發(fā)、部署和應(yīng)用，是涵蓋從訓(xùn)練到推理全流程，提升從數(shù)據(jù)到AI模型生產(chǎn)效率的工具。AI大模型的技術(shù)已成為業(yè)內(nèi)主流發(fā)展方向，在訓(xùn)練的數(shù)據(jù)量不斷增多，算力集群規(guī)模持續(xù)擴(kuò)大的趨勢(shì)下，從數(shù)據(jù)到模型的全生命周期管理需要更加專業(yè)的軟件工具用于生產(chǎn)效率的提升、流程的優(yōu)化和成本的節(jié)省。其中向量數(shù)據(jù)庫(kù)具備的快速檢索、混合存儲(chǔ)、向量嵌入等能力很好的解決了AI大模型在MLOps過(guò)程中存在的知識(shí)時(shí)效性低、輸入能力有限、回答問(wèn)題準(zhǔn)確度低等問(wèn)題，未來(lái)發(fā)展前景廣闊。（一）MLOps已成為AI模型規(guī)?；_(kāi)發(fā)的必備軟件工具AI大模型的訓(xùn)練和推理各環(huán)節(jié)過(guò)程復(fù)雜、步驟較多，需要統(tǒng)一的軟件工具鏈進(jìn)行管理。從原始的訓(xùn)練數(shù)據(jù)訓(xùn)練成為AI大模型的過(guò)程需要經(jīng)過(guò)數(shù)據(jù)預(yù)處理、特征提取、模型測(cè)試、訓(xùn)練監(jiān)控、生產(chǎn)部署等環(huán)節(jié)，任何一個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題亦或不同環(huán)節(jié)之間的銜接不流暢，則會(huì)影響整體的開(kāi)發(fā)效率和成果轉(zhuǎn)化率。根據(jù)Gartner調(diào)查結(jié)果，只有53%的項(xiàng)目能夠從AI原型轉(zhuǎn)化為生產(chǎn)，AI生產(chǎn)轉(zhuǎn)化率低的主要原因在于模型全鏈路生命周期管理存在跨團(tuán)隊(duì)協(xié)作難度大、過(guò)程和資產(chǎn)管理欠缺、生產(chǎn)和交付周期長(zhǎng)等問(wèn)題。因此，開(kāi)發(fā)從數(shù)據(jù)到模型，貫通從開(kāi)發(fā)到部署等多環(huán)節(jié)統(tǒng)一的流水線軟件MLOps是保障AI模型生產(chǎn)和管理的穩(wěn)定性、持續(xù)性、規(guī)?；托实年P(guān)鍵。MLOps的目標(biāo)是提高AI項(xiàng)目全生命周期的效率、可擴(kuò)展性和可靠性。在MLOps的框架下，機(jī)器學(xué)習(xí)項(xiàng)目的生命周期被劃分為幾個(gè)關(guān)鍵階段，包括需求設(shè)計(jì)、開(kāi)發(fā)階段、交付階段和運(yùn)營(yíng)階段。這種結(jié)構(gòu)化的運(yùn)行方法提供了一個(gè)清晰的路線圖，可以幫助團(tuán)隊(duì)有效減少數(shù)據(jù)質(zhì)量、模型過(guò)擬合和部署困難等難題，較大提高了項(xiàng)目推進(jìn)效率。此外，MLOps還通過(guò)自動(dòng)化持續(xù)集成/持續(xù)部署（CI/CD）等方式加快模型迭代速度，保證模型在生產(chǎn)過(guò)程中的連續(xù)性。MLOps的系統(tǒng)框架不是簡(jiǎn)單的線性推進(jìn)，而是各個(gè)環(huán)節(jié)的相互作用與結(jié)合。MLOps的生命周期包含了多個(gè)反饋循環(huán)，模型測(cè)試和運(yùn)維監(jiān)控階段的結(jié)果可能會(huì)反饋到數(shù)據(jù)工程和模型開(kāi)發(fā)環(huán)節(jié)，集成效果會(huì)影響模型上線后的性能，模型上線運(yùn)行的效果又影響業(yè)務(wù)需求和開(kāi)發(fā)方向。MLOps的生命周期不是一次性的過(guò)程，需要反復(fù)進(jìn)行數(shù)據(jù)收集和準(zhǔn)備、模型開(kāi)發(fā)和訓(xùn)練、模型驗(yàn)證和測(cè)試等步驟，以不斷對(duì)模型進(jìn)行迭代與優(yōu)化。目前，MLOps對(duì)AI全生命周期的管理和應(yīng)用正逐漸走向成熟，對(duì)各個(gè)環(huán)節(jié)都有對(duì)應(yīng)的軟件實(shí)現(xiàn)效率的提升。這些軟件和工具在各環(huán)節(jié)發(fā)揮著重要的作用，共同構(gòu)建了一個(gè)完整、高效的MLOps生態(tài)系統(tǒng)。1.需求管理：業(yè)務(wù)人員基于對(duì)產(chǎn)業(yè)和業(yè)務(wù)的深刻認(rèn)知，在復(fù)雜的業(yè)務(wù)場(chǎng)景中提煉出痛點(diǎn)問(wèn)題并形成需求，交付于數(shù)據(jù)科學(xué)家進(jìn)行對(duì)接；數(shù)據(jù)科學(xué)家通過(guò)需求文檔初步建立算法模型（demo），明確業(yè)務(wù)需求，并對(duì)需求的可行性進(jìn)行評(píng)估與檢驗(yàn)。在雙方的有效溝通下對(duì)方案多次修改直到達(dá)成一致，以確保業(yè)務(wù)需求被正確認(rèn)知，建模方案可行而高效，避免不同角色對(duì)于需求的理解不一致及風(fēng)險(xiǎn)不可控等問(wèn)題，從源頭提升項(xiàng)目質(zhì)量，降低需求變更帶來(lái)的影響。2.數(shù)據(jù)工程：明確了需求之后，就要從業(yè)務(wù)場(chǎng)景中提取建模所需的數(shù)據(jù)。業(yè)務(wù)場(chǎng)景覆蓋范圍寬廣且涉及情景復(fù)雜，獲取的數(shù)據(jù)格式、口徑、類型都大不相同。取數(shù)場(chǎng)景可能涉及到從各種源（如數(shù)據(jù)庫(kù)、日志文件、API等）收集數(shù)據(jù)，獲取的數(shù)據(jù)可能是結(jié)構(gòu)化的（如表格數(shù)據(jù)），也可能是非結(jié)構(gòu)化的（如文本或圖像），也可能包含錯(cuò)誤、缺失或異常值，需要識(shí)別并處理，以提高數(shù)據(jù)的質(zhì)量。此外，獲取的數(shù)據(jù)一般不符合機(jī)器學(xué)習(xí)模型的特定格式要求，需要數(shù)據(jù)工程師進(jìn)行相應(yīng)的處理，如編碼分類變量、標(biāo)準(zhǔn)化數(shù)值變量等。與此同時(shí)，數(shù)據(jù)工程師需要從原始數(shù)據(jù)中進(jìn)行特征選擇、特征提取、特征構(gòu)造以提高模型性能。數(shù)據(jù)工程是機(jī)器學(xué)習(xí)項(xiàng)目成功的關(guān)鍵，好的數(shù)據(jù)工程可以提高模型的準(zhǔn)確性，降低模型的復(fù)雜性，提高模型的可解釋性。3.模型開(kāi)發(fā)：模型開(kāi)發(fā)是MLOps生命周期中的關(guān)鍵階段，需要根據(jù)問(wèn)題的性質(zhì)（例如，是分類問(wèn)題、回歸問(wèn)題還是聚類問(wèn)題）和數(shù)據(jù)的特性，選擇一個(gè)或多個(gè)適當(dāng)?shù)臋C(jī)器學(xué)習(xí)算法進(jìn)行建模。特征選擇也是模型性能的關(guān)鍵，需要從所有可用的特征中選擇最相關(guān)的特征子集用于模型訓(xùn)練，減少?gòu)?fù)雜性，提高模型性能，并減少過(guò)擬合的風(fēng)險(xiǎn)。完成基本建模后，需要對(duì)模型進(jìn)行不斷訓(xùn)練、優(yōu)化和迭代，以達(dá)到最佳效果。4.構(gòu)架集成：持續(xù)集成（ContinuousIntegration，簡(jiǎn)稱CI）是一種軟件開(kāi)發(fā)實(shí)踐，開(kāi)發(fā)人員將他們的代碼更改合并到共享存儲(chǔ)庫(kù)中，通常每天至少一次。每次代碼合并都由自動(dòng)化的構(gòu)建（包括編譯、發(fā)布、自動(dòng)化測(cè)試）來(lái)驗(yàn)證，從而盡早地發(fā)現(xiàn)并解決問(wèn)題。通過(guò)持續(xù)集成和自動(dòng)化測(cè)試，可以快速發(fā)現(xiàn)和定位錯(cuò)誤，減少調(diào)試時(shí)間，提高流程效率。5.模型測(cè)試：模型測(cè)試用于評(píng)估機(jī)器學(xué)習(xí)模型的性能和可靠性，目的是確保機(jī)器學(xué)習(xí)模型可以根據(jù)最新的數(shù)據(jù)和反饋進(jìn)行更新和優(yōu)化。測(cè)試階通常構(gòu)造一組測(cè)試數(shù)據(jù)來(lái)評(píng)估模型的預(yù)測(cè)結(jié)果，并使用適當(dāng)?shù)脑u(píng)估指標(biāo)（如準(zhǔn)確率、召回率、AUC等）來(lái)量化模型的性能。同時(shí)還要測(cè)試模型的魯棒性，檢查模型是否對(duì)輸入數(shù)據(jù)的噪聲或異常值敏感。6.部署發(fā)布：持續(xù)部署階段（ContinuousDeployment，簡(jiǎn)稱CD）涉及將訓(xùn)練好的機(jī)器學(xué)習(xí)模型部署到生產(chǎn)環(huán)境，以便它可以開(kāi)始為實(shí)際業(yè)務(wù)問(wèn)題提供預(yù)測(cè)。它將模型和相關(guān)的預(yù)處理和后處理代碼打包為一個(gè)容器（如Docker容器），并將模型服務(wù)部署到適當(dāng)?shù)倪\(yùn)行環(huán)境。部署發(fā)布是一個(gè)復(fù)雜的過(guò)程，需要考慮性能、可用性、安全性和可擴(kuò)展性等多個(gè)因素，以確保模型的成功部署和高效運(yùn)行。7.運(yùn)維監(jiān)控：運(yùn)維監(jiān)控是在模型部署后對(duì)其性能和健康狀況進(jìn)行持續(xù)的監(jiān)控和管理。這要求IT運(yùn)維定期檢查模型的預(yù)測(cè)性能，以確保它仍然滿足業(yè)務(wù)需求;監(jiān)控模型服務(wù)的資源使用情況（如CPU、內(nèi)存和磁盤(pán)使用情況），檢查模型服務(wù)的錯(cuò)誤和異常；監(jiān)控模型的數(shù)據(jù)漂移，避免因?yàn)檩斎霐?shù)據(jù)的分布變化導(dǎo)致模型性能隨著時(shí)間的推移而下降。運(yùn)維監(jiān)控是一個(gè)持續(xù)的過(guò)程，它需要在模型的整個(gè)生命周期中進(jìn)行，以確保模型的持續(xù)性能和健康狀況。AI大模型對(duì)MLOps提出了更高要求。相較于普通的AI模型，AI大模型的訓(xùn)練有更多數(shù)據(jù)的輸入，通常需要更長(zhǎng)時(shí)間和更多的資源，因此在訓(xùn)練過(guò)程中需要進(jìn)行更精細(xì)的調(diào)優(yōu)和監(jiān)控。此外，由于AI大模型的規(guī)模較大，其部署和維護(hù)也會(huì)相應(yīng)地變得更加復(fù)雜。例如，如何將模型分布式部署到多個(gè)節(jié)點(diǎn)上、如何保證模型的穩(wěn)定性和可靠性、如何進(jìn)行故障排除和容錯(cuò)等。因此，適用于普通模型生產(chǎn)的MLOps較難適應(yīng)AI大模型的需求。目前，針對(duì)AI大模型的技術(shù)特點(diǎn)，部分廠商已開(kāi)發(fā)出LLMOps工具，在海量樣本構(gòu)建、模型增量與全量的訓(xùn)練和部署、模型推理、模型回滾、模型回溯等方面有較大提升能力?？傮w來(lái)看，在模型的全生命周期管理過(guò)程中，AI大模型具有以下特點(diǎn)：1.“預(yù)訓(xùn)練+微調(diào)”已成為AI大模型主流開(kāi)發(fā)方式：目前較多的大模型的開(kāi)發(fā)不再?gòu)念^開(kāi)始訓(xùn)練，而是選擇一個(gè)通用性基礎(chǔ)較好的、開(kāi)源的預(yù)訓(xùn)練模型，在其基礎(chǔ)上進(jìn)行參數(shù)微調(diào)和優(yōu)化得到滿足用戶需求的大模型。2.AI大模型的開(kāi)發(fā)涉及的環(huán)節(jié)較多，耗時(shí)較長(zhǎng)：由于訓(xùn)練數(shù)據(jù)量龐大，數(shù)據(jù)類型較多，AI大模型的訓(xùn)練時(shí)間較長(zhǎng)。AI大模型的訓(xùn)練包括數(shù)據(jù)清洗、特征提取、參數(shù)調(diào)優(yōu)、評(píng)估測(cè)試等，各環(huán)節(jié)的耗時(shí)都取決于數(shù)據(jù)量、模型復(fù)雜度以及評(píng)估指標(biāo)的選擇。因此數(shù)據(jù)處理工具、軟件平臺(tái)架構(gòu)的選擇對(duì)于AI大模型的開(kāi)發(fā)有關(guān)鍵作用。3.相似性檢索功能對(duì)于AI大模型生成內(nèi)容的效率和質(zhì)量有一定提升：在人機(jī)交互的過(guò)程中，存在由于用戶提問(wèn)方式不直接，給出的提示詞較為模糊，導(dǎo)致生成內(nèi)容質(zhì)量不高的問(wèn)題。因此，通過(guò)相似性檢索和向量標(biāo)量字段過(guò)濾混合查詢等技術(shù)手段提高提示詞與回答內(nèi)容之間匹配度已成為AI大模型的重要發(fā)展方向之一。4.人工反饋對(duì)于AI大模型通用性效果的提升有關(guān)鍵作用：在模型的評(píng)估測(cè)試環(huán)節(jié)，通過(guò)引入人工反饋機(jī)制對(duì)于模型輸出的內(nèi)容進(jìn)行糾正，篩除不合理的、錯(cuò)誤的回答，從而提升AI大模型整體的通用性。向量數(shù)據(jù)庫(kù)是開(kāi)發(fā)和應(yīng)用AI大模型過(guò)程中必備的軟件基礎(chǔ)設(shè)施。針對(duì)AI大模型的MLOps在架構(gòu)方面的設(shè)計(jì)考慮了海量多源數(shù)據(jù)的訓(xùn)練、預(yù)訓(xùn)練大模型的導(dǎo)入以及大規(guī)模計(jì)算集群算力資源調(diào)度。這些都是在普通AI模型開(kāi)發(fā)和應(yīng)用中難以遇到的問(wèn)題。在訓(xùn)練數(shù)據(jù)方面，由于所需處理的數(shù)據(jù)量較為龐大、類型更加復(fù)雜，向量數(shù)據(jù)庫(kù)是提升訓(xùn)練和推理效率必備的工具軟件。AI大模型在大規(guī)模計(jì)算集群的環(huán)境下進(jìn)行訓(xùn)練，具有算力資源調(diào)度和整合共享能力的分布式架構(gòu)已成為主流。我們認(rèn)為，以向量數(shù)據(jù)庫(kù)為代表的工具類軟件有效解決了AI大模型全生命周期管理中的痛點(diǎn)，是開(kāi)發(fā)和應(yīng)用AI大模型過(guò)程中必備的軟件基礎(chǔ)設(shè)施。向量數(shù)據(jù)庫(kù)賦能MLOps過(guò)程中數(shù)據(jù)導(dǎo)入、特征提取、模型構(gòu)建等多個(gè)環(huán)節(jié)。在數(shù)據(jù)導(dǎo)入過(guò)程中，向量數(shù)據(jù)庫(kù)可以將不同類型的非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行清洗、篩選并轉(zhuǎn)化為統(tǒng)一的向量嵌入格式，便于各類數(shù)據(jù)的交互和計(jì)算。在特征提取階段，向量數(shù)據(jù)庫(kù)的相似性檢索功能給不同的向量數(shù)據(jù)構(gòu)建索引，有效提升搜索效率，縮短訓(xùn)練時(shí)間。在模型構(gòu)建環(huán)節(jié)，向量數(shù)據(jù)庫(kù)也可以在微調(diào)和剪枝等環(huán)節(jié)減少訓(xùn)練數(shù)據(jù)量，節(jié)省訓(xùn)練成本。此外，在模型推理過(guò)程中，向量數(shù)據(jù)庫(kù)也可解決AI大模型知識(shí)的時(shí)效低、輸入能力有限以及準(zhǔn)確度低的問(wèn)題。接下來(lái)，我們就向量數(shù)據(jù)庫(kù)在AI大模型各環(huán)節(jié)賦能的技術(shù)原理和實(shí)際應(yīng)用案例進(jìn)行深入分析。（二）向量數(shù)據(jù)庫(kù)既能提升AI大模型各環(huán)節(jié)效率，又能保障用戶數(shù)據(jù)安全向量數(shù)據(jù)庫(kù)在AI大模型訓(xùn)練和推理過(guò)程中有較大的應(yīng)用空間。向量數(shù)據(jù)庫(kù)是專門(mén)用于存儲(chǔ)和管理向量數(shù)據(jù)，其主要特點(diǎn)是能夠高效地存儲(chǔ)和查詢大規(guī)模的向量數(shù)據(jù)。它通常采用基于向量相似度的查詢方式，即根據(jù)向量之間的相似度來(lái)檢索數(shù)據(jù)。這一功能特點(diǎn)不僅使得其可以提升訓(xùn)練過(guò)程中特征提取和數(shù)據(jù)檢索等任務(wù)的效率，還在推理過(guò)程中有效保護(hù)用戶隱私數(shù)據(jù)、保障應(yīng)用過(guò)程的數(shù)據(jù)安全性。1.在AI大模型訓(xùn)練過(guò)程中，向量數(shù)據(jù)庫(kù)可以有效提升數(shù)據(jù)檢索、特征提取等任務(wù)的效率針對(duì)海量和多源訓(xùn)練數(shù)據(jù)，向量數(shù)據(jù)庫(kù)統(tǒng)一數(shù)據(jù)格式，為訓(xùn)練任務(wù)效率提升打好基礎(chǔ)。AI大模型訓(xùn)練的數(shù)據(jù)量龐大、數(shù)據(jù)類型多樣，且訓(xùn)練過(guò)程設(shè)計(jì)過(guò)程復(fù)雜、耗時(shí)較長(zhǎng)的數(shù)據(jù)檢索過(guò)程。通過(guò)實(shí)踐摸索，AI算法開(kāi)發(fā)人員發(fā)現(xiàn)向量數(shù)據(jù)庫(kù)具備提升模型訓(xùn)練的工作效率的工具軟件。向量數(shù)據(jù)庫(kù)可以將文本、圖像等各種類型數(shù)據(jù)轉(zhuǎn)換為一個(gè)固定長(zhǎng)度的向量。轉(zhuǎn)化后的向量數(shù)據(jù)不僅統(tǒng)一了數(shù)據(jù)格式，便于各類型數(shù)據(jù)之間的交互和計(jì)算，還可以應(yīng)用相似度檢索的算法來(lái)減少大規(guī)模檢索過(guò)程的時(shí)間消耗。具體來(lái)說(shuō)，向量數(shù)據(jù)庫(kù)在AI大模型訓(xùn)練過(guò)程中的功能包括：（1）轉(zhuǎn)換數(shù)據(jù)結(jié)構(gòu)，統(tǒng)一數(shù)據(jù)格式，加速特征提?。合蛄繑?shù)據(jù)庫(kù)可以將圖像、音頻和視頻等數(shù)據(jù)數(shù)據(jù)，轉(zhuǎn)化成為統(tǒng)一格式的向量數(shù)據(jù)。在特征提取任務(wù)中，統(tǒng)一格式的向量數(shù)據(jù)的處理和計(jì)算效率有明顯提升。（2）利用相似性檢索的算法加速大規(guī)模數(shù)據(jù)檢索：在AI大模型訓(xùn)練過(guò)程中，大規(guī)模數(shù)據(jù)搜索的過(guò)程往往耗時(shí)較長(zhǎng)。向量數(shù)據(jù)庫(kù)通過(guò)ANN（ApproximateNearestNeighbor）算法給不同的向量數(shù)據(jù)構(gòu)建索引，有效提升搜索效率，縮短訓(xùn)練時(shí)間。（3）在模型更新和再訓(xùn)練過(guò)程中，減少訓(xùn)練量：當(dāng)用戶想要更新AI大模型時(shí)，向量數(shù)據(jù)庫(kù)允許用戶只更新部分?jǐn)?shù)據(jù)，而不是整個(gè)數(shù)據(jù)集。這可以節(jié)省大量的計(jì)算資源和時(shí)間，特別是在數(shù)據(jù)集很大且更新頻繁的情況下。不同類型的數(shù)據(jù)轉(zhuǎn)化成為向量嵌入的方式不同，統(tǒng)一的數(shù)據(jù)處理工具是關(guān)鍵。一般而言，數(shù)據(jù)都需要進(jìn)行編碼，轉(zhuǎn)化成向量嵌入（Embedding）后才開(kāi)始訓(xùn)練，而不同類型的數(shù)據(jù)轉(zhuǎn)化成為向量嵌入的方式不同。對(duì)于文字類信息，在字詞的屬性（主謂賓）等較為固定的情況下，語(yǔ)句中的語(yǔ)義信息的提取和識(shí)別有規(guī)律可循。將標(biāo)點(diǎn)符號(hào)、不同屬性的字詞編碼，根據(jù)其在文中的作用對(duì)編碼反復(fù)進(jìn)行排列組合的訓(xùn)練即可以得到一組向量嵌入。而圖像類數(shù)據(jù)的編解碼難度更大。圖像數(shù)據(jù)是大量像素排列組合而成的，不僅單個(gè)像素的固定屬性難以確定，其排列組合的方式也無(wú)規(guī)律可循。與一般的AI模型相比，AI大模型需要對(duì)多種類型數(shù)據(jù)進(jìn)行編碼、配對(duì)、擬合，導(dǎo)入數(shù)據(jù)開(kāi)始訓(xùn)練的過(guò)程更加復(fù)雜。在數(shù)據(jù)導(dǎo)入階段，向量數(shù)據(jù)庫(kù)可以支持多種類型數(shù)據(jù)轉(zhuǎn)化成為向量嵌入。向量數(shù)據(jù)庫(kù)支持不同類型數(shù)據(jù)導(dǎo)入AI模型訓(xùn)練中，解決了此前針對(duì)不同類型的數(shù)據(jù)導(dǎo)入需要采用不同數(shù)據(jù)處理平臺(tái)的難題。在訓(xùn)練過(guò)程中，大規(guī)模未標(biāo)記的數(shù)據(jù)首先輸入淺層的神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，其輸出結(jié)果為具有標(biāo)識(shí)的統(tǒng)一格式的向量，可以被深層的神經(jīng)網(wǎng)絡(luò)識(shí)別。由于AI大模型的訓(xùn)練涉及的數(shù)據(jù)量龐大，向量嵌入的方式可有效提高模型訓(xùn)練的效率和準(zhǔn)確性，已經(jīng)成為AI大模型的標(biāo)準(zhǔn)流程。在AI大模型的訓(xùn)練過(guò)程中，向量數(shù)據(jù)庫(kù)可以用于加速特征提取和數(shù)據(jù)檢索。在訓(xùn)練過(guò)程中，原始數(shù)據(jù)轉(zhuǎn)換為向量數(shù)據(jù)后更好的適應(yīng)了AI計(jì)算中涉及大量的矩陣運(yùn)算。向量化后的數(shù)據(jù)將單一維度的運(yùn)算擴(kuò)展到高維度的矩陣運(yùn)算，從而提升單次運(yùn)算能力。向量數(shù)據(jù)庫(kù)針對(duì)矩陣運(yùn)算提供了豐富的操作符，如點(diǎn)積、范數(shù)、索引查找等，對(duì)于特征提取、抽象化等都有很好的性能滿足。此外，向量數(shù)據(jù)庫(kù)還可以提供快速隨機(jī)訪問(wèn)和批量讀取功能，在訓(xùn)練過(guò)程中快速加載和檢索海量數(shù)據(jù)。2.在AI大模型推理過(guò)程中，向量數(shù)據(jù)庫(kù)可以有效保護(hù)用戶數(shù)據(jù)隱私并提升推理任務(wù)的準(zhǔn)確率向量數(shù)據(jù)庫(kù)在企業(yè)用戶隱私保護(hù)和推理任務(wù)準(zhǔn)確性方面有突出表現(xiàn)。在AI大模型應(yīng)用過(guò)程中，下游用戶一方面需要通用AI大模型訪問(wèn)企業(yè)私域數(shù)據(jù)，另一方面又需要防止企業(yè)隱私信息泄露。在這一過(guò)程中，向量數(shù)據(jù)庫(kù)作為通用AI大模型和企業(yè)私域數(shù)據(jù)間的橋梁，可以有效滿足用戶這一需求。其次，融合了最新資料和專業(yè)知識(shí)的向量數(shù)據(jù)庫(kù)可有效解決通用的AI大模型知識(shí)的時(shí)效低、輸入能力有限以及準(zhǔn)確度低的問(wèn)題。具體來(lái)說(shuō)，向量數(shù)據(jù)庫(kù)在AI大模型推理過(guò)程中的功能包括：（1）為大模型提供外掛知識(shí)庫(kù)，提升模型時(shí)效性與準(zhǔn)確性：用戶希望大模型能根據(jù)最新的數(shù)據(jù)來(lái)回答問(wèn)題，但大模型的訓(xùn)練語(yǔ)料在時(shí)效性上有一定局限。此外，企業(yè)都有自己內(nèi)部獨(dú)有的知識(shí)庫(kù)，出于數(shù)據(jù)安全考慮，難以直接應(yīng)用于大模型的預(yù)訓(xùn)練和微調(diào)階段。在此情況下，向量數(shù)據(jù)庫(kù)可以充當(dāng)外掛知識(shí)庫(kù)，為大模型提供最新數(shù)據(jù)或者企業(yè)客戶獨(dú)有的內(nèi)部知識(shí)庫(kù)。通過(guò)從知識(shí)庫(kù)中檢索與輸入相關(guān)的信息，作為上下文和問(wèn)題一起輸入給AI大模型，基于信息生成答案，可以提升大模型的時(shí)效性與準(zhǔn)確性。（2）為大模型提供長(zhǎng)記憶能力，突破Token數(shù)限制，避免上下文信息丟失：大模型有上下文長(zhǎng)度限制，一旦超過(guò)了最大Token數(shù)，便會(huì)忘記上下文。而向量數(shù)據(jù)庫(kù)可以記錄客戶端和大模型之間的對(duì)話信息，接收到新的消息時(shí)可以從整個(gè)歷史會(huì)話記錄中檢索與當(dāng)前消息相關(guān)的人機(jī)交互信息，為大模型提供長(zhǎng)期記憶。因此可以突破大語(yǔ)言模型對(duì)Token數(shù)的限制，避免上下文信息丟失的問(wèn)題。（3）為大語(yǔ)言模型提供緩存能力，減少調(diào)用開(kāi)銷，提升響應(yīng)速度：當(dāng)用戶觸發(fā)查詢時(shí)，在調(diào)用AI大模型之前，系統(tǒng)可以生成向量并執(zhí)行緩存查找，若緩存命中，就可以直接返回結(jié)果，不需再調(diào)用AI大模型，因此可以實(shí)現(xiàn)快速響應(yīng)，并減少對(duì)大模型調(diào)用的開(kāi)銷。存入隱私數(shù)據(jù)的向量數(shù)據(jù)庫(kù)外掛在AI大模型上，拓展交互信息范圍，保護(hù)用戶隱私。通過(guò)互聯(lián)網(wǎng)公開(kāi)數(shù)據(jù)訓(xùn)練的通用AI大模型難以覆蓋專業(yè)性較強(qiáng)以及最新的新聞數(shù)據(jù)。而用戶可以將最新資料和專業(yè)知識(shí)存入向量數(shù)據(jù)庫(kù)中，外接到通用AI大模型來(lái)解決這一問(wèn)題。此外，用戶還可以設(shè)置向量數(shù)據(jù)庫(kù)的訪問(wèn)權(quán)限，來(lái)限制AI大模型將其中數(shù)據(jù)作為訓(xùn)練語(yǔ)料。向量數(shù)據(jù)庫(kù)的實(shí)時(shí)更新、靈活編輯以及隱私保護(hù)的特點(diǎn)較好的彌補(bǔ)了通用AI大模型的缺陷。在ChatGPT的插件系統(tǒng)中，用戶即可在外接的向量數(shù)據(jù)庫(kù)中預(yù)先增加和編輯特定信息，再通過(guò)調(diào)用該插件后實(shí)現(xiàn)對(duì)于特定問(wèn)題的回答。我們認(rèn)為，外接的向量數(shù)據(jù)庫(kù)可以將用戶特定信息融入到交互內(nèi)容中，不僅大大拓展了AI大模型交互信息的范圍，還保證了用戶信息的私密性，應(yīng)用前景廣闊。在AI大模型的推理過(guò)程中，向量數(shù)據(jù)庫(kù)可以提升推理的效率和準(zhǔn)確性。在推理階段，向量數(shù)據(jù)庫(kù)可以提供快速的向量索引和查詢功能，以便快速地找到所需的特征向量。與傳統(tǒng)的基于關(guān)鍵字的搜索相比，向量數(shù)據(jù)庫(kù)可提供基于ANN算法的語(yǔ)義搜索功能。AI大模型可以更好的理解用戶的搜索意圖，并將搜索請(qǐng)求擴(kuò)展到相關(guān)領(lǐng)域的信息，快速、準(zhǔn)確定位到與問(wèn)題最相關(guān)的信息，縮短生成內(nèi)容的反饋時(shí)間。此外，在大型分布式環(huán)境中,向量數(shù)據(jù)庫(kù)還具有高效的并行計(jì)算能力，可以充分利用硬件資源，進(jìn)一步加快推理速度，以應(yīng)對(duì)海量數(shù)據(jù)的處理需求。在應(yīng)用階段，AI大模型存在較多的向量相似性搜索需求。AI大模型和用戶交互的信息往往包含大量的非結(jié)構(gòu)化數(shù)據(jù)。例如，用戶將圖片輸入到GPT-4后，就圖片信息進(jìn)行問(wèn)答。在這一過(guò)程中，原始的圖像（由像素組成）需要轉(zhuǎn)化成為向量數(shù)據(jù)才能被AI大模型識(shí)別和理解，之后這一組向量數(shù)據(jù)需要遍歷龐大的神經(jīng)網(wǎng)絡(luò)，搜索與之對(duì)應(yīng)的另一組向量數(shù)據(jù)后才能生成用戶想要的文字。向量搜索的過(guò)程往往耗時(shí)較長(zhǎng)，可能會(huì)影響到即刻需要得到內(nèi)容生成的用戶體驗(yàn)。而向量數(shù)據(jù)庫(kù)通過(guò)ANN算法給不同的向量數(shù)據(jù)構(gòu)建索引，有效提升搜索效率，縮短生成內(nèi)容的反饋時(shí)間。（三）向量數(shù)據(jù)庫(kù)在AI各場(chǎng)景應(yīng)用前景廣闊從實(shí)際應(yīng)用案例來(lái)看，向量數(shù)據(jù)庫(kù)在AI大模型的訓(xùn)練和推理過(guò)程中降本增效的效果已有所顯現(xiàn)。Pinecone、Weaviate等向量數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)清洗、去重，將優(yōu)化后的數(shù)據(jù)集導(dǎo)入模型訓(xùn)練過(guò)程，較大提升了訓(xùn)練效率。ChatGPTPlugins插件系統(tǒng)外接向量數(shù)據(jù)庫(kù)，不僅大大拓展了AI大模型交互信息的范圍，還保證了用戶信息的私密性。Qdrant向量數(shù)據(jù)庫(kù)產(chǎn)品與Pienso合作，已經(jīng)實(shí)現(xiàn)在開(kāi)源AI大模型的基礎(chǔ)上開(kāi)發(fā)私域大模型。接下來(lái)，我們通過(guò)實(shí)際應(yīng)用案例的分析，介紹向量數(shù)據(jù)庫(kù)的應(yīng)用前景。1.向量數(shù)據(jù)庫(kù)已應(yīng)用于數(shù)據(jù)清洗、向量嵌入轉(zhuǎn)換、私域大模型開(kāi)發(fā)等訓(xùn)練過(guò)程向量數(shù)據(jù)庫(kù)可實(shí)現(xiàn)低質(zhì)量數(shù)據(jù)的快速辨別和清洗，優(yōu)化訓(xùn)練數(shù)據(jù)集。Altas是一個(gè)數(shù)據(jù)管理平臺(tái)，通過(guò)接入Pinecone、Weaviate等向量數(shù)據(jù)庫(kù)，實(shí)現(xiàn)訓(xùn)練數(shù)據(jù)的清洗和去重。Atlas首先對(duì)文本語(yǔ)料庫(kù)進(jìn)行語(yǔ)義層面的分析，通過(guò)ANN的算法將具有相同屬性的數(shù)據(jù)進(jìn)行聚類，并以向量形式嵌入到可視化地圖上。在可視化的界面中，用戶可使用工具對(duì)數(shù)據(jù)進(jìn)行標(biāo)注，根據(jù)業(yè)務(wù)需要，對(duì)特定類別數(shù)據(jù)進(jìn)行清洗和篩選。之后，AI模型可以從Atlas中獲取優(yōu)化后的數(shù)據(jù)集用于后續(xù)的訓(xùn)練任務(wù)。我們認(rèn)為，數(shù)據(jù)清洗和篩選是AI模型訓(xùn)練必不可少的環(huán)節(jié)，向量數(shù)據(jù)庫(kù)已實(shí)現(xiàn)對(duì)大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分類、標(biāo)注和清理，優(yōu)化數(shù)據(jù)集，從而有效提高AI模型的訓(xùn)練效率。向量數(shù)據(jù)庫(kù)可以為企業(yè)客戶提供私域大模型解決方案，同時(shí)保護(hù)數(shù)據(jù)安全。Pienso與向量數(shù)據(jù)庫(kù)Qdrant合作，為客戶提供私域大模型解決方案。用戶可以基于私有數(shù)據(jù)，使用簡(jiǎn)單的可視化界面在各種流行的開(kāi)源模型上開(kāi)發(fā)定制AI模型。通過(guò)向量數(shù)據(jù)庫(kù)提升了AI模型的準(zhǔn)確性，同時(shí)保留了廣泛的上下文窗口，讓模型能夠更全面地理解對(duì)話或文檔，產(chǎn)生貼近語(yǔ)境的輸出，以及加速用戶模型的訓(xùn)練和推理過(guò)程。在這種方案下，Pienso保證用戶的數(shù)據(jù)只能自用，不會(huì)被拿去訓(xùn)練其他模型，保障了用戶隱私和數(shù)據(jù)安全。2.向量數(shù)據(jù)庫(kù)已應(yīng)用于問(wèn)答系統(tǒng)、圖像檢索、推薦系統(tǒng)等推理應(yīng)用場(chǎng)景在模型推理場(chǎng)景中，向量數(shù)據(jù)庫(kù)的高性能的向量存儲(chǔ)和檢索能力已經(jīng)在問(wèn)答系統(tǒng)、圖像檢索、推薦系統(tǒng)等多種AI場(chǎng)景中廣泛應(yīng)用：（1）外掛知識(shí)庫(kù)：在外接的向量數(shù)據(jù)庫(kù)中可以預(yù)先增加和編輯特定信息，再通過(guò)ChatGPT調(diào)用該插件后實(shí)現(xiàn)對(duì)于特定問(wèn)題的回答；（2）提升AI模型生產(chǎn)內(nèi)容精準(zhǔn)性：結(jié)合問(wèn)答系統(tǒng)的自然語(yǔ)言問(wèn)答能力和向量數(shù)據(jù)庫(kù)的相似性檢索能力，提供更準(zhǔn)確和可靠的答案，實(shí)現(xiàn)高效問(wèn)答服務(wù)；（3）非結(jié)構(gòu)化數(shù)據(jù)快速檢索：通過(guò)相似性檢索算法對(duì)圖像、視頻等非結(jié)構(gòu)化數(shù)據(jù)快速搜索，實(shí)現(xiàn)反向圖像搜索、對(duì)象檢測(cè)、人臉比對(duì)等任務(wù)；（4）個(gè)性化推薦：存儲(chǔ)用戶和物品的特征向量并對(duì)用戶偏好和內(nèi)容進(jìn)行分析，通過(guò)計(jì)算相似度找到與用戶歷史行為或興趣相似的物品，生成個(gè)性化推薦，提升推薦體驗(yàn)。AI大模型可外接融合了用戶特性信息的向量數(shù)據(jù)庫(kù)，拓展知識(shí)邊界，保護(hù)用戶安全。ChatGPTPlugins系統(tǒng)已開(kāi)放外接向量數(shù)據(jù)庫(kù)，大大拓展了AI大模型交互內(nèi)容的范圍。2023年3月，ChatGPT在推出的首批插件系統(tǒng)中包含了Retrival插件，其給向量數(shù)據(jù)庫(kù)（包括Milvus、Pinecone、Qdrant、Redis、Weaviate和Zilliz）提供了統(tǒng)一的接口。用戶在外接的向量數(shù)據(jù)庫(kù)中可以預(yù)先增加和編輯特定信息，再通過(guò)ChatGPT調(diào)用該插件后實(shí)現(xiàn)對(duì)于特定問(wèn)題的回答。我們認(rèn)為，外接的向量數(shù)據(jù)庫(kù)可以將用戶特定信息融入到交互內(nèi)容中，不僅大大拓展了AI大模型交互信息的范圍，還保證了用戶信息的私密性。接入向量數(shù)據(jù)庫(kù)的AI大模型已應(yīng)用于企業(yè)內(nèi)部數(shù)據(jù)的智能化和隱私保護(hù)。隨著向量數(shù)據(jù)庫(kù)接入AI大模型可有效保護(hù)隱私信息安全的特性被企業(yè)級(jí)用戶逐漸認(rèn)識(shí)，部分商業(yè)客戶以應(yīng)用于實(shí)際業(yè)務(wù)中。根據(jù)MongoDB在2023年12月5日的財(cái)報(bào)電話會(huì)議內(nèi)容，其客戶人力資源公司UKG已選擇采用MongoDB的AtlasVectorSeach向量檢索工具不僅有效提升其人員招聘各流程的數(shù)據(jù)的搜索效率以及資源對(duì)接的精準(zhǔn)性，還保護(hù)企業(yè)用戶的數(shù)據(jù)不泄露給AI大模型作為訓(xùn)練預(yù)料。我們認(rèn)為，向量數(shù)據(jù)庫(kù)作為外掛知識(shí)庫(kù)接入AI大模型后能夠保護(hù)用戶隱私數(shù)據(jù)的能力被企業(yè)級(jí)客戶充分認(rèn)識(shí)和理解后，其有望得到大規(guī)模推廣。向量數(shù)據(jù)庫(kù)可外接最新資料和專業(yè)知識(shí)，增強(qiáng)AI大模型的時(shí)效性和專業(yè)性。向量數(shù)據(jù)庫(kù)公司Zilliz開(kāi)發(fā)了一個(gè)開(kāi)源工具OSSChat，整合了各開(kāi)源項(xiàng)目的GitHub函數(shù)庫(kù)及相關(guān)文檔作為數(shù)據(jù)源，并將這些數(shù)據(jù)轉(zhuǎn)換為向量存儲(chǔ)在向量數(shù)據(jù)庫(kù)中。當(dāng)用戶與OSSChat進(jìn)行交互時(shí)，系統(tǒng)會(huì)在向量數(shù)據(jù)庫(kù)中進(jìn)行相似性檢索，將檢索結(jié)果發(fā)送給ChatGPT作為輸入問(wèn)題，并最終生成精準(zhǔn)的答案。我們認(rèn)為，通過(guò)結(jié)合ChatGPT的自然語(yǔ)言問(wèn)答能力和向量數(shù)據(jù)庫(kù)的相似性檢索能力，OSSChat將開(kāi)源社區(qū)中積累的內(nèi)容構(gòu)建成知識(shí)庫(kù)，有效解決了ChatGPT在特定領(lǐng)域知識(shí)和實(shí)時(shí)信息方面的局限性，可以提供更準(zhǔn)確和可靠的答案，實(shí)現(xiàn)高效問(wèn)答服務(wù)。向量數(shù)據(jù)庫(kù)基于快速的相似性檢索能力，提升圖像檢索速度，兼具高可拓展性。金融科技公司ChipperCash在向量數(shù)據(jù)Pinecone的基礎(chǔ)上構(gòu)建了一套身份驗(yàn)證系統(tǒng)，將人臉圖像等身份信息轉(zhuǎn)換為向量并存儲(chǔ)在Pinecone向量數(shù)據(jù)庫(kù)中，通過(guò)對(duì)Pinecone向量數(shù)據(jù)庫(kù)的查詢返回前三個(gè)最優(yōu)匹配項(xiàng)，最后在后端進(jìn)行查詢以返回匹配結(jié)果。該系統(tǒng)的主要優(yōu)勢(shì)包含：（1）高實(shí)時(shí)性：能夠迅速檢索用戶的相似自拍照，既能抓住并防止欺詐者，又不減緩合法新用戶的驗(yàn)證速度；（2）優(yōu)化支出：減少了10倍的重復(fù)注冊(cè)，實(shí)現(xiàn)了資金的更有效管理；（3）高可擴(kuò)展性：支持一次性處理數(shù)十億個(gè)向量，支持長(zhǎng)期內(nèi)存需求，方便擴(kuò)展并向數(shù)據(jù)集添加上下文（即自拍），擁有更多上下文信息的應(yīng)用能夠?qū)崿F(xiàn)更快速準(zhǔn)確的驗(yàn)證。推出身份驗(yàn)證系統(tǒng)后，端到端延遲從原來(lái)的20分鐘降低至不到2秒，Pinecone的搜索時(shí)間也不到200毫秒，因此結(jié)合了向量數(shù)據(jù)庫(kù)后，身份驗(yàn)證系統(tǒng)在實(shí)時(shí)性、可擴(kuò)展性及成本方面有了顯著改進(jìn)。向量數(shù)據(jù)庫(kù)高效、精準(zhǔn)檢索用戶和商品數(shù)據(jù)，提升商品推薦準(zhǔn)確度。電子商務(wù)公司CRITEO將向量數(shù)據(jù)庫(kù)，應(yīng)用于內(nèi)容平臺(tái)的個(gè)性化推薦功能中，有效匹配用戶需求，提升商品推薦的精準(zhǔn)度。向量數(shù)據(jù)庫(kù)將用戶的歷史行為、畫(huà)像和查詢等特征轉(zhuǎn)化為用戶特征向量，并與商品向量結(jié)合，通過(guò)計(jì)算相似度找到與用戶歷史行為或興趣相似的物品，生成個(gè)性化推薦。在應(yīng)對(duì)一些小眾的查詢時(shí)，傳統(tǒng)的查詢方式可能無(wú)法精確召回文檔，甚至出現(xiàn)與查詢無(wú)關(guān)的結(jié)果，但通過(guò)向量檢索，可以提前抽取商品和查詢的特征，并進(jìn)行向量的近似召回，有效匹配了用戶需求，提升了商品推薦準(zhǔn)確度。企業(yè)應(yīng)用AI大模型的需求和數(shù)據(jù)隱私保護(hù)的要求共同保障了向量數(shù)據(jù)庫(kù)在垂直應(yīng)用類AI的應(yīng)用前景。通過(guò)觀察向量數(shù)據(jù)庫(kù)在AI大模型各場(chǎng)景的應(yīng)用，我們發(fā)現(xiàn)其不僅增強(qiáng)了AI大模型生成內(nèi)容的精準(zhǔn)性和及時(shí)性，還可以作為外掛知識(shí)庫(kù)應(yīng)用于垂直領(lǐng)域大模型的訓(xùn)練。隨著以ChatGPT為代表的通用AI大模型產(chǎn)品的成熟，各行業(yè)用戶基于通用AI大模型開(kāi)發(fā)的智能化應(yīng)用帶來(lái)的降本增效的效果顯著。通用AI大模型被各行業(yè)用戶采用的意愿和需求大大增強(qiáng)。另一方面，數(shù)據(jù)安全防范和隱私保護(hù)在金融、醫(yī)療等行業(yè)的信息化和智能化升級(jí)中是必須考慮的前提。這一特點(diǎn)讓我們看到向量數(shù)據(jù)庫(kù)產(chǎn)品在垂直領(lǐng)域智能化升級(jí)過(guò)程中幾乎是剛需。在各行業(yè)智能化升級(jí)過(guò)程中，向量數(shù)據(jù)庫(kù)不僅可以將企業(yè)海量數(shù)據(jù)向量化后提升通用AI大模型應(yīng)用的時(shí)效性和精準(zhǔn)性，還可以保障企業(yè)隱私數(shù)據(jù)和信息不被通用AI大模型用作訓(xùn)練數(shù)據(jù)。我們認(rèn)為，隨著微軟365Copilot以及ChatGPT企業(yè)版等標(biāo)桿產(chǎn)品的落地，AI應(yīng)用的發(fā)展正逐步由點(diǎn)擴(kuò)散到面，各領(lǐng)域智能化升級(jí)的快速進(jìn)展將大大增強(qiáng)向量數(shù)據(jù)庫(kù)等相關(guān)產(chǎn)品的成長(zhǎng)確定性。二、向量數(shù)據(jù)庫(kù)處于商業(yè)化早期階段，隨各行業(yè)智能化升級(jí)而快速成長(zhǎng)向量數(shù)據(jù)庫(kù)作為新型技術(shù)，發(fā)展時(shí)間較短，開(kāi)源和上云是目前的主流趨勢(shì)。在向量數(shù)據(jù)庫(kù)領(lǐng)域早期的探索，主要是以Zilliz、Weaviate和Pinecone等初創(chuàng)型公司引領(lǐng)。在AI大模型未被普遍應(yīng)用之前，該產(chǎn)品的需求較少，因此，初創(chuàng)型公司開(kāi)發(fā)的向量數(shù)據(jù)庫(kù)產(chǎn)品多以開(kāi)源的形式培育社區(qū)生態(tài)，以及上云的方式擴(kuò)大用戶覆蓋面。隨著向量數(shù)據(jù)庫(kù)在AI大模型中應(yīng)用的重要性逐漸被挖掘，各廠商加大了該領(lǐng)域的研發(fā)。以騰訊云、華為云和星環(huán)科技為代表的廠商在非結(jié)構(gòu)化數(shù)據(jù)的向量檢索工具已經(jīng)具有一定技術(shù)積累的基礎(chǔ)上，也于近期推出了向量數(shù)據(jù)庫(kù)產(chǎn)品。（一）向量數(shù)據(jù)庫(kù)技術(shù)快速迭代，商業(yè)化在探索和嘗試階段Zilliz是向量數(shù)據(jù)庫(kù)領(lǐng)域的先驅(qū)。Zilliz公司成立于2017年，是行業(yè)中較早探索和研發(fā)針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的向量搜索引擎及相關(guān)工具。其開(kāi)發(fā)的Milvus向量數(shù)據(jù)庫(kù)產(chǎn)品于2019年10月開(kāi)源，為業(yè)內(nèi)公司在該領(lǐng)域技術(shù)的探索提供了豐富技術(shù)資源。從Milvus1.0即提供了相似性度量、ANN索引等核心算法以及支持分布式架構(gòu)，升級(jí)到Milvus2.0支持多云架構(gòu)部署、簡(jiǎn)易的操作查詢界面以及數(shù)據(jù)編輯歷史查詢，Zilliz為向量數(shù)據(jù)庫(kù)行業(yè)貢獻(xiàn)了較多的核心技術(shù)，并引領(lǐng)開(kāi)源社區(qū)的發(fā)展。目前Milvus應(yīng)用的領(lǐng)域包括計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、音頻搜索和化學(xué)分子式分析等。Zilliz的向量數(shù)據(jù)庫(kù)產(chǎn)品主要基于公有云提供SaaS服務(wù)，按資源使用量來(lái)收費(fèi)。用戶可根據(jù)業(yè)務(wù)場(chǎng)景，預(yù)估數(shù)據(jù)量和節(jié)點(diǎn)規(guī)模，選擇免費(fèi)版（適用于新手用戶開(kāi)發(fā)單一項(xiàng)目）、標(biāo)準(zhǔn)版（適用于少于5人的小團(tuán)隊(duì)）和企業(yè)版（適用于規(guī)模以上的企業(yè)）的向量數(shù)據(jù)庫(kù)產(chǎn)品。免費(fèi)版本的向量數(shù)據(jù)庫(kù)主要是吸引更多用戶嘗試使用，為后續(xù)轉(zhuǎn)化成為付費(fèi)用戶打好基礎(chǔ)。標(biāo)準(zhǔn)版和企業(yè)版起步價(jià)分別為65美元/月、99美元/月，在使用時(shí)間范圍內(nèi)根據(jù)計(jì)算資源和存儲(chǔ)資源的使用量來(lái)收費(fèi)。目前Zilliz的向量數(shù)據(jù)庫(kù)主要通過(guò)亞馬遜AWS、谷歌云等公有云廠商來(lái)提供SaaS服務(wù)。此外，Zilliz根據(jù)客戶定制化需求也提供虛擬私有云部署的SaaS服務(wù)供客戶靈活選擇。Weaviate積極擁抱開(kāi)源、上云等主流技術(shù)趨勢(shì)。Weaviate成立于2019年，早期主要的技術(shù)開(kāi)發(fā)專注于向量化的能力，即將各類不同的數(shù)據(jù)轉(zhuǎn)化成為向量數(shù)據(jù)。后續(xù)，Wearviate的向量數(shù)據(jù)庫(kù)在多租戶協(xié)同、檢索效率等方面提升。Weaviate向量數(shù)據(jù)庫(kù)產(chǎn)品也是采用開(kāi)源的形式。2022年9月，用戶下載量達(dá)到150萬(wàn)次的情況下，推出了WeaviateCloudServices，通過(guò)公有云的形式向用戶提供向量數(shù)據(jù)庫(kù)的能力。2023年10月，Weaviate1.22版本發(fā)布，物件式存儲(chǔ)、異步向量檢索等功能有一定提升。Weaviate的向量數(shù)據(jù)庫(kù)產(chǎn)品根據(jù)Embedding數(shù)量和資源使用量來(lái)收費(fèi)。Weaviate的向量數(shù)據(jù)庫(kù)的收費(fèi)方式分為兩種：基于WeaviateCloud的SaaS服務(wù)；基于第三方公有云平臺(tái)（谷歌云、亞馬遜AWS和微軟Azure）的SaaS服務(wù)。基于WeaviateCloud的SaaS服務(wù)分為標(biāo)準(zhǔn)版、企業(yè)版、商務(wù)專業(yè)版，起步價(jià)分別為25美元/月、135美元/月、450美元/月；在此模式下，用戶根據(jù)存儲(chǔ)在平臺(tái)上的Embedding的數(shù)量來(lái)付費(fèi)。Embedding的數(shù)量是有向量的維度和數(shù)據(jù)對(duì)象的數(shù)量共同決定。而在基于第三方公有云平臺(tái)的SaaS收費(fèi)模式中，用戶根據(jù)計(jì)算資源（CPU數(shù)量）和存儲(chǔ)資源（存儲(chǔ)空間大?。┑氖褂昧縼?lái)付費(fèi)。Pinecone首創(chuàng)的混合搜索和存儲(chǔ)功能，提升向量數(shù)據(jù)庫(kù)性能效果顯著。Pinecone在原始數(shù)據(jù)編碼為向量數(shù)據(jù)的階段采用多種編碼方式，不同編碼方式的向量數(shù)據(jù)在大模型的檢索過(guò)程中有快慢之分?；旌纤阉饕婵梢院Y選出檢索速度最快的向量嵌入方式作為結(jié)果反饋。而混合存儲(chǔ)則是將原本在內(nèi)存中存儲(chǔ)的向量索引部分轉(zhuǎn)移在磁盤(pán)上進(jìn)行存儲(chǔ)。2021年9月，Pinecone通過(guò)引入混合搜索和存儲(chǔ)功能后，將向量檢索的成本減少了10倍。我們認(rèn)為Pinecone公司對(duì)于數(shù)據(jù)在AI大模型全周期中的流程優(yōu)化方面較一般公司研究更為深入，已經(jīng)有較深的技術(shù)積累，其開(kāi)發(fā)的向量數(shù)據(jù)庫(kù)發(fā)展前景向好。Pinecone在公有云環(huán)境中提供容器化的SaaS服務(wù)，按照容器的數(shù)量和容量收費(fèi)。在公有云環(huán)境下，容器是融合了CPU、內(nèi)存和硬盤(pán)等資源的基礎(chǔ)單元，是實(shí)現(xiàn)云端資源彈性伸縮的關(guān)鍵。Pinecone在主流公有云平臺(tái)（亞馬遜AWS、谷歌云、微軟Azure）上提供的向量數(shù)據(jù)庫(kù)產(chǎn)品的收費(fèi)價(jià)格根據(jù)容器類型、數(shù)量、容量以及云服務(wù)器平臺(tái)決定。目前，Pinecone推出免費(fèi)版（單一容器）、標(biāo)準(zhǔn)版和企業(yè)版的向量數(shù)據(jù)庫(kù)產(chǎn)品。標(biāo)準(zhǔn)版和企業(yè)版的起步價(jià)分別為0.096美元/小時(shí)和0.144美元/小時(shí)。此外，Pinecone根據(jù)客戶定制化需求也提供虛擬私有云部署的SaaS服務(wù)供客戶靈活選擇。星環(huán)科技的向量數(shù)據(jù)庫(kù)產(chǎn)品滿足AI大模型對(duì)于檢索實(shí)時(shí)性、精準(zhǔn)性和跨模態(tài)的需求。2023年5月，星環(huán)科技發(fā)布向量數(shù)據(jù)庫(kù)產(chǎn)品TranswarpHippo。與開(kāi)源的向量數(shù)據(jù)庫(kù)不同，Hippo具備高可用、高性能、易拓展等特點(diǎn)，支持多種向量搜索索引、數(shù)據(jù)分區(qū)分片、數(shù)據(jù)持久化、增量數(shù)據(jù)攝取、向量標(biāo)量字段過(guò)濾混合查詢等功能，有效地解決了AI大模型的知識(shí)時(shí)效性低、輸入能力有限、準(zhǔn)確度低等問(wèn)題，讓大模型更高效率地存儲(chǔ)和讀取知識(shí)庫(kù)，降低訓(xùn)練和推理成本。我們預(yù)計(jì)，星環(huán)科技的向量數(shù)據(jù)庫(kù)產(chǎn)品Hippo，作為AI大模型的基礎(chǔ)軟件工具，在各領(lǐng)域智能化的升級(jí)中是必備的軟件基礎(chǔ)設(shè)施。星環(huán)科技的Hippo向量數(shù)據(jù)庫(kù)具備的優(yōu)勢(shì)如下：（1）高性能檢索：Hippo支持多進(jìn)程架構(gòu)與GPU加速，可以充分發(fā)揮并行檢索能力；同時(shí)支持多類索引，滿足不同業(yè)務(wù)場(chǎng)景;支持檢索速度和內(nèi)存使用的特定優(yōu)化，支持寄存器級(jí)算法優(yōu)化。（2）多模型聯(lián)合分析：基于多模型統(tǒng)一技術(shù)架構(gòu)，向量數(shù)據(jù)與關(guān)系型數(shù)據(jù)、圖數(shù)據(jù)、時(shí)序數(shù)據(jù)等多種模型數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)管理，通過(guò)統(tǒng)一接口實(shí)現(xiàn)數(shù)據(jù)跨模型聯(lián)合分析。（3）接口多樣化：提供類SQL語(yǔ)法支持；提供標(biāo)準(zhǔn)的Python、Restful、JavaAPI。（4）分布式部署：具備分布式部署能力，滿足大規(guī)模集群部署需求；通過(guò)Raft算法確保數(shù)據(jù)的強(qiáng)一致性；同時(shí)提供故障遷移，數(shù)據(jù)修復(fù)等數(shù)據(jù)保障能力。（5）云原生系統(tǒng)：Hippo采用全面容器化部署，支持服務(wù)的彈性擴(kuò)縮容；同時(shí)具備多租戶和強(qiáng)大的資源管控能力。（6）企業(yè)級(jí)安全：Hippo可提供基于SASL的用戶認(rèn)證能力，以及基于SSL/TLS的數(shù)據(jù)加密傳輸。星環(huán)科技的向量數(shù)據(jù)庫(kù)產(chǎn)品快速迭代，針對(duì)不同場(chǎng)景，已推出多個(gè)版本。自2023年5月星環(huán)推出向量數(shù)據(jù)庫(kù)Hippo1.0以來(lái)，星環(huán)科技持續(xù)投入，根據(jù)不同應(yīng)用場(chǎng)景推出了三個(gè)版本的產(chǎn)品：社區(qū)版、存儲(chǔ)密集版和高性能版。其中社區(qū)版Hippo僅需單臺(tái)服務(wù)器即可安裝部署，百萬(wàn)級(jí)向量數(shù)據(jù)量推薦配置僅需4核8G。面向存儲(chǔ)需求較大的場(chǎng)景，存儲(chǔ)密集版Hippo可支持單臺(tái)服務(wù)器2000萬(wàn)條向量的存儲(chǔ)；面向計(jì)算要求較高的場(chǎng)景，高性能版Hippo可支持單臺(tái)服務(wù)器1000QPS（Queries-per-second）的數(shù)據(jù)反饋。我們認(rèn)為，星環(huán)科技的向量數(shù)據(jù)庫(kù)Hippo的應(yīng)用覆蓋面廣泛，下沉到具體應(yīng)用場(chǎng)景推出的標(biāo)準(zhǔn)化產(chǎn)品更加符合行業(yè)客戶需求，未來(lái)發(fā)展前景看好。星環(huán)科技的向量數(shù)據(jù)庫(kù)產(chǎn)品按照軟件授權(quán)的模式收費(fèi)。根據(jù)《關(guān)于星環(huán)信息科技（上海）股份有限公司向特定對(duì)象發(fā)行股票申請(qǐng)文件的審核問(wèn)詢函的回復(fù)》中的信息，向量數(shù)據(jù)庫(kù)產(chǎn)品均價(jià)預(yù)測(cè)為15萬(wàn)元/套。我們認(rèn)為，基于公有云的SaaS收費(fèi)模式在中美之間存在一定差異，Hippo采用的軟件授權(quán)一次性收費(fèi)的模式更加符合我國(guó)較大比例的國(guó)企、央企以及金融機(jī)構(gòu)的付費(fèi)習(xí)慣。此外，由于Hippo是分布式的部署方式，下游客戶或因數(shù)據(jù)量的增加而產(chǎn)生持續(xù)擴(kuò)容的需求。因此，向量數(shù)據(jù)庫(kù)產(chǎn)品的銷售數(shù)量有望隨著用戶數(shù)據(jù)量的增長(zhǎng)而增長(zhǎng)。騰訊云基于多年積累的向量引擎技術(shù)，推出了向量數(shù)據(jù)庫(kù)VectorDB。2023年7月，騰訊云發(fā)布自研向量數(shù)據(jù)庫(kù)產(chǎn)品TencentCloudVectorDB。VectorDB是源自騰訊內(nèi)部的賦能工具OLAMA向量引擎，在其基礎(chǔ)上對(duì)于AI運(yùn)算、檢索方面進(jìn)行升級(jí)而來(lái)。騰訊云向量數(shù)據(jù)庫(kù)不僅能為大模型提供外部知識(shí)庫(kù)，提高大模型回答的準(zhǔn)確性，還可廣泛應(yīng)用于推薦系統(tǒng)、計(jì)算機(jī)視覺(jué)、智能客服等AI領(lǐng)域。騰訊云向量數(shù)據(jù)庫(kù)具備的產(chǎn)品優(yōu)勢(shì)如下：（1）高性能：自2023年7月份正式發(fā)布以來(lái)，VectorDB經(jīng)過(guò)多次迭代升級(jí)，在優(yōu)化版的IVF索引支持下，VectorDB單索引支持?jǐn)?shù)據(jù)規(guī)模從2023年7月份的10億級(jí)向量規(guī)模提升至2023年11月份的1000億級(jí)向量規(guī)模?？芍С职偃f(wàn)級(jí)QPS及毫秒級(jí)查詢延遲，讓相同的內(nèi)存可以存儲(chǔ)5-10倍的數(shù)據(jù)。（2）高可用：向量數(shù)據(jù)庫(kù)提供多副本高可用特性，其多可用區(qū)和三節(jié)點(diǎn)的架構(gòu)可用性可達(dá)99.99%，顯著提高系統(tǒng)的可靠性和容錯(cuò)性，確保數(shù)據(jù)庫(kù)在面臨節(jié)點(diǎn)故障和負(fù)載變化等挑戰(zhàn)時(shí)仍能正常運(yùn)行。（3）低成本：只需在管理控制臺(tái)按照指引，簡(jiǎn)單操作幾個(gè)步驟，即可快速創(chuàng)建向量數(shù)據(jù)庫(kù)實(shí)例，全流程平臺(tái)托管，無(wú)需進(jìn)行任何安裝、部署和運(yùn)維操作，有效減少機(jī)器成本、運(yùn)維成本和人力成本開(kāi)銷。（4）簡(jiǎn)單易用：支持豐富的向量檢索能力。用戶通過(guò)HTTPAPI或者SDK接口即可快速操作數(shù)據(jù)庫(kù)，開(kāi)發(fā)效率高。同時(shí)控制臺(tái)提供了完善的數(shù)據(jù)管理和監(jiān)控能力，操作簡(jiǎn)單便捷。（5）穩(wěn)定可靠：向量數(shù)據(jù)庫(kù)源自騰訊內(nèi)部自研的向量檢索引擎OLAMA，近40個(gè)業(yè)務(wù)線上穩(wěn)定運(yùn)行，日均處理的搜索請(qǐng)求高達(dá)千億次，服務(wù)連續(xù)性、穩(wěn)定性有保障。（6）Embedding功能：向量數(shù)據(jù)庫(kù)的Embedding功能會(huì)自動(dòng)將原始文本進(jìn)行轉(zhuǎn)換，生成對(duì)應(yīng)的向量數(shù)據(jù)并插入數(shù)據(jù)庫(kù)或進(jìn)行相似性檢索，實(shí)現(xiàn)了文本到向量數(shù)據(jù)的一體化轉(zhuǎn)換，減少了用戶的操作步驟，降低了使用門(mén)檻。VectorDB不僅對(duì)內(nèi)賦能騰訊日常業(yè)務(wù)，還正式上線騰訊云。截止2023年11月，騰訊的向量數(shù)據(jù)庫(kù)VectorDB已經(jīng)累積服務(wù)了騰訊內(nèi)部40多個(gè)業(yè)務(wù)，日請(qǐng)求量達(dá)1600億次。其支撐QQ音樂(lè)人均聽(tīng)歌時(shí)長(zhǎng)提升3.2%，QQ瀏覽器成本降低37.9%，騰訊視頻有效曝光人均時(shí)長(zhǎng)提升1.74%。此外，VectorDB對(duì)外服務(wù)了包括博世、銷售易、搜狐、好未來(lái)、鏈家等在內(nèi)的超過(guò)1000家外部客戶。VectorDB于2023年10月26日正式進(jìn)行全面公測(cè)，為用戶提供三個(gè)版本的產(chǎn)品：免費(fèi)測(cè)試版、單機(jī)版和高可用版。其中，免費(fèi)測(cè)試版僅供快速測(cè)試使用；單機(jī)版適用于對(duì)高可用性和容錯(cuò)性要求不高的場(chǎng)景，如個(gè)人、小型企業(yè)或測(cè)試/開(kāi)發(fā)環(huán)境；高可用版適合需要保證系統(tǒng)高可用性和容錯(cuò)性的大型企業(yè)或關(guān)鍵業(yè)務(wù)場(chǎng)景。騰訊云向量數(shù)據(jù)庫(kù)已被多家企業(yè)使用。截止到2023年11月中旬，騰訊云向量數(shù)據(jù)庫(kù)VectorDB已對(duì)外服務(wù)超過(guò)1000家客戶，包括博世、銷售易、搜狐、好未來(lái)、鏈家等。在CRM領(lǐng)域，存儲(chǔ)了客戶和企業(yè)各類信息的VectorDB可以準(zhǔn)確高效的回答銷售團(tuán)隊(duì)的各類問(wèn)題，從而推動(dòng)商機(jī)進(jìn)展和獲取客戶；在電商領(lǐng)域，VectorDB應(yīng)用于提升推薦、搜索、廣告業(yè)務(wù)的推薦效果；在出行領(lǐng)域，VectorDB有效提升自動(dòng)駕駛模型訓(xùn)練的效率；在教育領(lǐng)域，VectorDB可以快速、準(zhǔn)確地檢索與問(wèn)題相關(guān)的題目及解析。騰訊結(jié)合公有云的技術(shù)和渠道優(yōu)勢(shì)，實(shí)現(xiàn)了VectorDB的快速推廣，為后續(xù)商業(yè)化收費(fèi)打好了堅(jiān)實(shí)的客戶基礎(chǔ)。另一方面，VectorDB在短期內(nèi)實(shí)現(xiàn)用戶數(shù)量的快速增長(zhǎng)，也反映了企業(yè)級(jí)客戶對(duì)于向量數(shù)據(jù)庫(kù)的需求是普遍存在于各行業(yè)中的。騰訊云向量數(shù)據(jù)庫(kù)VectorDB目前面向公眾免費(fèi)測(cè)試，暫未定價(jià)。公測(cè)用戶免費(fèi)領(lǐng)用實(shí)例，免費(fèi)測(cè)試版實(shí)例每個(gè)賬號(hào)僅限申領(lǐng)1個(gè)，高可用版與單機(jī)版實(shí)例免費(fèi)試用時(shí)長(zhǎng)1個(gè)月。我們認(rèn)為，免費(fèi)版本的VectorDB主要是吸引大量用戶嘗試使用，為后續(xù)轉(zhuǎn)化成為付費(fèi)用戶打好基礎(chǔ)。VectorDB依據(jù)存儲(chǔ)節(jié)點(diǎn)CPU與內(nèi)存資源分配比例不同，分為存儲(chǔ)型和計(jì)算型兩類。（1）存儲(chǔ)型：主要用于存儲(chǔ)和管理大規(guī)模的向量數(shù)據(jù)，其主要優(yōu)勢(shì)在于：提供低查詢延遲，能夠高效地存儲(chǔ)和管理向量數(shù)據(jù)，特別適用于數(shù)據(jù)量大、數(shù)據(jù)增長(zhǎng)快、查詢QPS相對(duì)較低的場(chǎng)景，例如：人臉識(shí)別、圖像搜索等。（2）計(jì)算型：主要用于快速查找和檢索向量數(shù)據(jù)，支持高并發(fā)的查詢請(qǐng)求，其主要優(yōu)勢(shì)在于：提供更高的查詢QPS和更低的查詢延遲，適用于流量大、延遲敏感的場(chǎng)景，例如：實(shí)時(shí)推薦、廣告投放等。騰訊云向量數(shù)據(jù)庫(kù)基于CPU計(jì)算能力、內(nèi)存大小及其存儲(chǔ)能力，將節(jié)點(diǎn)規(guī)格劃分為不同層級(jí)。節(jié)點(diǎn)類型不同，對(duì)應(yīng)的產(chǎn)品規(guī)格有差異。參考海內(nèi)外競(jìng)品的收費(fèi)模式，我們判斷，VectorDB的收費(fèi)標(biāo)準(zhǔn)或與其產(chǎn)品性能以及消耗的計(jì)算和存儲(chǔ)資源相關(guān)。華為云GaussDBVector向量數(shù)據(jù)庫(kù)產(chǎn)品已對(duì)接盤(pán)古大模型。2023年9月，華為在全連接大會(huì)上發(fā)布了GaussDBVector向量數(shù)據(jù)庫(kù)產(chǎn)品。GaussDB向量數(shù)據(jù)庫(kù)具備千億級(jí)大規(guī)模向量數(shù)據(jù)快速查詢更新的能力，內(nèi)置自研的ANN索引算法可以使得查詢時(shí)延小于10ms。GaussDB向量數(shù)據(jù)庫(kù)不僅可以用于多模態(tài)搜索、推薦、人臉識(shí)別、智能問(wèn)答等，還與盤(pán)古大模型對(duì)接，為其提供緩存能力。目前，GaussDB向量數(shù)據(jù)庫(kù)已上線華為云，用戶根據(jù)CPU核數(shù)、內(nèi)存大小和存儲(chǔ)容量等資源選擇按月或按年付費(fèi)。我們認(rèn)為，華為云在數(shù)據(jù)庫(kù)領(lǐng)域技術(shù)積累深厚，包括盤(pán)古大模型在內(nèi)的全套生態(tài)支撐能力為GaussDBVector產(chǎn)品競(jìng)爭(zhēng)力及后續(xù)的商業(yè)化拓展提供了保障。向量數(shù)據(jù)庫(kù)目前仍處于行業(yè)發(fā)展早期階段。在技術(shù)方面，Zilliz和Weaviate將技術(shù)開(kāi)源一方面推動(dòng)了整體行業(yè)的進(jìn)步，另一方面也縮小了行業(yè)內(nèi)公司的技術(shù)差距。因此，早期開(kāi)始技術(shù)探索的公司并未形成明顯的技術(shù)壁壘和先發(fā)優(yōu)勢(shì)。在商業(yè)化方面，向量數(shù)據(jù)庫(kù)行業(yè)還處于市場(chǎng)培育期，Zilliz、Pinecone和騰訊云VectorDB均推出免費(fèi)版本的產(chǎn)品給用戶試用，而基于公有云的SaaS服務(wù)和星環(huán)科技的社區(qū)版Hippo都嘗試通過(guò)軟件的輕量化及部署的便捷化來(lái)推廣向量數(shù)據(jù)庫(kù)產(chǎn)品。我們認(rèn)為，向量數(shù)據(jù)庫(kù)在AI大模型訓(xùn)練和推理過(guò)程中的實(shí)際效果得到用戶充分認(rèn)識(shí)后，產(chǎn)品拓展過(guò)程有望加速，各行業(yè)用戶付費(fèi)意愿有望提升。未來(lái)，向量數(shù)據(jù)庫(kù)商業(yè)化的節(jié)奏取決于各行業(yè)客戶使用AI大模型的實(shí)際需求以及其在AI大模型技術(shù)中應(yīng)用的實(shí)際效果。（二）數(shù)據(jù)庫(kù)廠商與云計(jì)算公司競(jìng)合關(guān)系的差異與變化中美公有云商業(yè)模式的接受程度有差異。美國(guó)SaaS公司起步早，市場(chǎng)培育時(shí)間較長(zhǎng)，其軟件上云率較高。自2000年初，Salesforce首創(chuàng)SaaS服務(wù)模式后，美國(guó)通過(guò)立法的方式保障用戶隱私，防止信息泄露，為公有云服務(wù)提供了比較好的外部環(huán)境，經(jīng)過(guò)二十多年的市場(chǎng)培育，企業(yè)用戶對(duì)SaaS服務(wù)接受度較高。而國(guó)內(nèi)的國(guó)企、央企以及金融機(jī)構(gòu)的業(yè)務(wù)普遍涉及敏感數(shù)據(jù)，對(duì)數(shù)據(jù)安全具有較高要求，考慮數(shù)據(jù)安全的權(quán)重高于由于公有云部署帶來(lái)的成本節(jié)省，選擇上云的中小企業(yè)持續(xù)付費(fèi)能力有限。這造成了我國(guó)應(yīng)用級(jí)軟件公有云上云率較低，SaaS服務(wù)滲透率較低。根據(jù)Latka的數(shù)據(jù)，2022年，美國(guó)SaaS公司數(shù)量為1.7萬(wàn)個(gè)，中國(guó)SaaS公司數(shù)量為702個(gè)。軟件上云環(huán)境的差異導(dǎo)致中美開(kāi)發(fā)向量數(shù)據(jù)庫(kù)的公司類別有所差異。海外的云計(jì)算廠商專注于IaaS層算力資源利用的提升和優(yōu)化，在其基礎(chǔ)上的SaaS服務(wù)，采取部分自研，部分開(kāi)放給第三方應(yīng)用軟件公司。因此，在海外開(kāi)發(fā)向量數(shù)據(jù)庫(kù)產(chǎn)品的公司以獨(dú)立第三方（Pinecone、Weaviate和Zilliz）為主，而亞馬遜AWS、微軟Azure和谷歌云等海外的公有云平臺(tái)積極引入其開(kāi)發(fā)的向量數(shù)據(jù)庫(kù)產(chǎn)品。而國(guó)內(nèi)在SaaS付費(fèi)模式接受度不高的環(huán)境下，以騰訊云和華為云為代表的云計(jì)算廠商更愿意選擇開(kāi)發(fā)標(biāo)準(zhǔn)化的向量數(shù)據(jù)庫(kù)產(chǎn)品，對(duì)外開(kāi)拓市場(chǎng)。因此，在國(guó)內(nèi)云計(jì)算公司與獨(dú)立第三方數(shù)據(jù)庫(kù)公司相互競(jìng)爭(zhēng)大于合作互補(bǔ)。接下來(lái)，我們分別分析獨(dú)立第三方和云計(jì)算公司對(duì)于向量數(shù)據(jù)庫(kù)產(chǎn)品的定位、商業(yè)化優(yōu)劣勢(shì)以及競(jìng)合關(guān)系的變化。1.獨(dú)立第三方公司的向量數(shù)據(jù)庫(kù)產(chǎn)品化和商業(yè)化能力是競(jìng)爭(zhēng)的關(guān)鍵國(guó)內(nèi)獨(dú)立第三方公司的向量數(shù)據(jù)庫(kù)產(chǎn)品或定位于以線下應(yīng)用場(chǎng)景為主。一方面，在國(guó)內(nèi)云計(jì)算公司與獨(dú)立第三方數(shù)據(jù)庫(kù)公司競(jìng)爭(zhēng)大于合作，另一方面，在金融、醫(yī)療等領(lǐng)域智能化升級(jí)的過(guò)程中，向量數(shù)據(jù)庫(kù)存在較大的線下部署的需求。從評(píng)估借貸風(fēng)險(xiǎn)到提供個(gè)性化的投資建議，金融領(lǐng)域存在較多的智能化需求，但相關(guān)數(shù)據(jù)涉及較多用戶的隱私信息，如身份信息、資產(chǎn)信息和交易數(shù)據(jù)等。這類場(chǎng)景的智能化需求較難采用基于公有云的向量數(shù)據(jù)庫(kù)服務(wù)，而更有可能采用線下部署的方式。因此，無(wú)論從競(jìng)爭(zhēng)格局角度還是從下游需求角度，我們判斷，相較于互聯(lián)網(wǎng)場(chǎng)景，獨(dú)立第三方公司的向量數(shù)據(jù)庫(kù)產(chǎn)品在金融、醫(yī)療等線下部署的場(chǎng)景中更易推廣。對(duì)于行業(yè)數(shù)據(jù)和需求理解深刻獨(dú)立第三方公司在向量數(shù)據(jù)庫(kù)商業(yè)拓展時(shí)更具優(yōu)勢(shì)。不同行業(yè)數(shù)據(jù)結(jié)構(gòu)和組織方式不同，這導(dǎo)致向量數(shù)據(jù)庫(kù)在數(shù)據(jù)導(dǎo)入、轉(zhuǎn)換和向量化階段的算法應(yīng)根據(jù)不同行業(yè)屬性而調(diào)整優(yōu)化。其次，行業(yè)客戶對(duì)于AI大模型生成內(nèi)容的要求和需求不盡相同，向量檢索算法在訓(xùn)練和推理階段在不同行業(yè)也有一定優(yōu)化提升的空間。從這一角度來(lái)看，對(duì)行業(yè)數(shù)據(jù)特點(diǎn)理解深刻且對(duì)用戶需求具有洞察力的公司開(kāi)發(fā)的向量數(shù)據(jù)庫(kù)在部分行業(yè)具有一定優(yōu)勢(shì)，典型如星環(huán)科技在金融行業(yè)深耕多年所具備的優(yōu)勢(shì)。向量數(shù)據(jù)庫(kù)處于產(chǎn)品化和商業(yè)化的早期階段，配合標(biāo)準(zhǔn)化產(chǎn)品的技術(shù)服務(wù)是關(guān)鍵。向量數(shù)據(jù)庫(kù)發(fā)展時(shí)間較短，相應(yīng)功能難以廣泛滿足各行業(yè)需求，在商業(yè)化落地過(guò)程中難免會(huì)遇到無(wú)法滿足客戶定制化需求的情況。在這種情形下，配合標(biāo)準(zhǔn)化產(chǎn)品的技術(shù)服務(wù)的及時(shí)性和專業(yè)性將是向量數(shù)據(jù)庫(kù)公司新客拓展、老客留存的關(guān)鍵。我們認(rèn)為，具有成規(guī)模且專業(yè)性強(qiáng)的技術(shù)支持團(tuán)隊(duì)的公司在向量數(shù)據(jù)庫(kù)商業(yè)化落地過(guò)程中更具優(yōu)勢(shì)。相較于初創(chuàng)型的公司，星環(huán)科技已擁有410人的技術(shù)支持團(tuán)隊(duì)（截至2022年12月底），對(duì)于新產(chǎn)品的市場(chǎng)推廣、商業(yè)化策略制定以及客戶溝通方面已經(jīng)具有豐富經(jīng)驗(yàn)，基于此，我們看好星環(huán)科技向量數(shù)據(jù)庫(kù)產(chǎn)品Hippo未來(lái)的商業(yè)化前景。輕量化和免費(fèi)版本的向量數(shù)據(jù)庫(kù)產(chǎn)品對(duì)于市場(chǎng)需求培育有正向推動(dòng)?，F(xiàn)階段，向量數(shù)據(jù)庫(kù)還處于市場(chǎng)培育期，下游用戶對(duì)于產(chǎn)品的功能與應(yīng)用有一定認(rèn)知差距，因此部分向量數(shù)據(jù)庫(kù)公司提供的免費(fèi)版或輕量化的產(chǎn)品有利于激發(fā)下游用戶需求。在公有云的環(huán)境下，包括Zilliz、Pincone在內(nèi)的向量數(shù)據(jù)庫(kù)公司提供免費(fèi)版的向量數(shù)據(jù)庫(kù)服務(wù)，可有效吸引用戶使用，為后續(xù)轉(zhuǎn)化成為付費(fèi)用戶打好基礎(chǔ)。而星環(huán)科技在9月份推出的向量數(shù)據(jù)庫(kù)社區(qū)版，僅需單臺(tái)服務(wù)器即可安裝部署，百萬(wàn)級(jí)向量數(shù)據(jù)量推薦配置僅需4核8G。我們認(rèn)為，免費(fèi)版和輕量化產(chǎn)品的推廣一方面有利于推動(dòng)向量數(shù)據(jù)庫(kù)在各行業(yè)快速滲透，但另一方面也需注意產(chǎn)品天然特性確定的應(yīng)用邊界，即向量數(shù)據(jù)庫(kù)主要面向有智能化需求的企業(yè)級(jí)用戶和開(kāi)發(fā)者，而非普通的終端消費(fèi)者。獨(dú)立第三方將向量數(shù)據(jù)庫(kù)技術(shù)開(kāi)源或降低