伴隨著大模型的發(fā)展，許多概念也漸漸火了起來(lái)，比如“向量數(shù)據(jù)庫(kù)”，作為專門用于存儲(chǔ)、管理、查詢、檢索向量的數(shù)據(jù)庫(kù)，“向量數(shù)據(jù)庫(kù)”可以把復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)向量化，并被廣泛地應(yīng)用于大模型訓(xùn)練等場(chǎng)景。在這篇文章里，作者就對(duì)向量數(shù)據(jù)庫(kù)的定義、作用及發(fā)展等方面做了解讀，一起來(lái)看。

最近，又一個(gè)概念火了——向量數(shù)據(jù)庫(kù)。

隨著大模型帶來(lái)的應(yīng)用需求提升，4月以來(lái)多家海外知名向量數(shù)據(jù)庫(kù)創(chuàng)業(yè)企業(yè)傳出融資喜訊。

4月28日，向量數(shù)據(jù)庫(kù)平臺(tái)Pinecone宣布獲得1億美元（約7億元）B輪融資；

4月22日，向量數(shù)據(jù)庫(kù)平臺(tái)Weaviate宣布獲得5000萬(wàn)美元（約3.5億元）B輪融資；

4月6日Chroma獲1800萬(wàn)美元種子輪融資；

4月19日Qdrant獲750萬(wàn)美元種子輪融資。

國(guó)內(nèi)方面，星環(huán)科技、北交所云創(chuàng)數(shù)據(jù)等公司的股價(jià)連續(xù)異動(dòng)，其中云創(chuàng)數(shù)據(jù)自底部以來(lái)股價(jià)已接近翻倍。

7月4日，騰訊云正式發(fā)布向量數(shù)據(jù)庫(kù)Tencent Cloud VectorDB，預(yù)計(jì)8月上線騰訊云官網(wǎng)。

一連串的市場(chǎng)動(dòng)作，都展示了向量數(shù)據(jù)庫(kù)的爆紅。那么，什么是向量數(shù)據(jù)庫(kù)，到底有啥用？

一、什么是向量數(shù)據(jù)庫(kù)？

當(dāng)你在網(wǎng)上看到一張壁紙，你想知道這是哪個(gè)國(guó)家的美景，卻不知道如何搜索；或者，在閱讀一篇文章時(shí)，你想深入了解這個(gè)話題，尋找更多的觀點(diǎn)和資料，卻不知道該如何精確描述。

這時(shí)，你需要的是一個(gè)能夠理解你的意圖，為你提供最相關(guān)的結(jié)果，讓你輕松找到你想要的信息的工具。

這就是向量數(shù)據(jù)庫(kù)（Vector Data Base），它就像一個(gè)超級(jí)大腦，幫助你解決這些問(wèn)題。

所謂向量數(shù)據(jù)庫(kù)，是一種專門用于存儲(chǔ)、管理、查詢、檢索向量的數(shù)據(jù)庫(kù)，可以把復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)通過(guò)向量化，處理統(tǒng)一成多維空間里的坐標(biāo)值。

目前，向量數(shù)據(jù)庫(kù)主要應(yīng)用于人工智能、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域。

具體來(lái)看，向量數(shù)據(jù)庫(kù)被廣泛地用于大模型訓(xùn)練、推理和知識(shí)庫(kù)補(bǔ)充等場(chǎng)景：

• 支撐訓(xùn)練階段海量數(shù)據(jù)的分類、去重和清洗，給大模型的訓(xùn)練降本增效；
• 通過(guò)新數(shù)據(jù)的帶入，幫助大模型提升處理新問(wèn)題的能力，突破預(yù)訓(xùn)練帶來(lái)的知識(shí)時(shí)間限制，避免大模型出現(xiàn)幻覺；
• 提供一種私有數(shù)據(jù)連接大模型的方式，解決私有數(shù)據(jù)注入大模型帶來(lái)的安全和隱私問(wèn)題，加速大模型在產(chǎn)業(yè)落地。

簡(jiǎn)而言之，向量數(shù)據(jù)庫(kù)可以解決大模型預(yù)訓(xùn)練成本高、沒有“長(zhǎng)期記憶”、知識(shí)更新不足、提示詞工程復(fù)雜等問(wèn)題，突破大模型在時(shí)間和空間上的限制，加速大模型落地行業(yè)場(chǎng)景。

二、向量數(shù)據(jù)庫(kù)的發(fā)展

在向量數(shù)據(jù)庫(kù)出現(xiàn)之前，大家普遍使用的是關(guān)系型數(shù)據(jù)庫(kù)，如MySQL、Oracle等，這些數(shù)據(jù)庫(kù)以表格的形式存儲(chǔ)數(shù)據(jù)，適合存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)。但對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，如文本、圖像、音頻等，處理起來(lái)就相對(duì)困難。

此外，關(guān)系型數(shù)據(jù)庫(kù)在處理大規(guī)模數(shù)據(jù)時(shí)，性能會(huì)下降，不適合大數(shù)據(jù)處理。這就像是在一個(gè)擁擠的圖書館里找一本書，你知道它在哪個(gè)書架上，但是找到它還需要花費(fèi)大量的時(shí)間。

而向量數(shù)據(jù)庫(kù)和傳統(tǒng)數(shù)據(jù)庫(kù)的不同點(diǎn)在于，向量數(shù)據(jù)庫(kù)處理的是各種AI應(yīng)用產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)近似查進(jìn)行模糊匹配，輸出的是概率上的提供相對(duì)最符合條件的答案，而非精確的標(biāo)準(zhǔn)答案。

舉例來(lái)說(shuō)，傳統(tǒng)數(shù)據(jù)庫(kù)做圖片檢索可能是通過(guò)關(guān)鍵詞去搜索，向量數(shù)據(jù)庫(kù)是通過(guò)語(yǔ)義搜索圖片中相同或相近的向量并呈現(xiàn)結(jié)果。理論是向量之間的距離越接近，就說(shuō)明語(yǔ)意越接近，效果也有最相似。

隨著時(shí)間的推移，向量數(shù)據(jù)庫(kù)開始在不同的領(lǐng)域和應(yīng)用中不斷成長(zhǎng)和進(jìn)化。從20世紀(jì)90年代末到2000年初，美國(guó)國(guó)立衛(wèi)生研究院和斯坦福大學(xué)都開始使用向量數(shù)據(jù)庫(kù)。

2005年到2015年間，隨著基因研究的深入和加速，向量數(shù)據(jù)庫(kù)也在并行中增長(zhǎng)，像UniVec 數(shù)據(jù)庫(kù)這樣的工具在2017年就已經(jīng)被廣泛使用，它們?cè)诨蛐蛄斜葘?duì)、基因組注釋等領(lǐng)域發(fā)揮了重要作用。

2017年和2019年之間，向量數(shù)據(jù)庫(kù)開始爆炸式增長(zhǎng)，它被應(yīng)用于自然語(yǔ)言處理、計(jì)算機(jī)視覺、推薦系統(tǒng)等領(lǐng)域。這些領(lǐng)域都需要處理大量和多樣化的數(shù)據(jù)，并從中提取有價(jià)值的信息。

向量數(shù)據(jù)庫(kù)通過(guò)使用諸如余弦相似度、歐氏距離、Jaccard 相似度等度量方法，以及諸如倒排索引、局部敏感哈希、乘積量化等索引技術(shù)，實(shí)現(xiàn)了高效和準(zhǔn)確的向量檢索。

目前各大廠商使用的推薦系統(tǒng)、以圖搜圖、哼唱搜歌、問(wèn)答機(jī)器人等應(yīng)用，其內(nèi)核都是向量數(shù)據(jù)庫(kù)。

在今年，向量數(shù)據(jù)庫(kù)開始被用于與大語(yǔ)言模型結(jié)合的應(yīng)用。

它為大語(yǔ)言模型提供了一個(gè)外部知識(shí)庫(kù)，使得大語(yǔ)言模型可以根據(jù)用戶的查詢，在向量數(shù)據(jù)庫(kù)中檢索相關(guān)的數(shù)據(jù)，并根據(jù)數(shù)據(jù)的內(nèi)容和語(yǔ)義來(lái)更新上下文，從而生成更相關(guān)和準(zhǔn)確的文本。

這些大語(yǔ)言模型通常使用深度神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)文本數(shù)據(jù)中隱含的規(guī)律和結(jié)構(gòu)，并能夠生成流暢和連貫的文本。

向量數(shù)據(jù)庫(kù)過(guò)使用諸如BERT、GPT等預(yù)訓(xùn)練模型將文本轉(zhuǎn)換為向量，并使用諸如FAISS、Milvus等開源平臺(tái)來(lái)構(gòu)建和管理向量數(shù)據(jù)庫(kù)。

總體而言，向量數(shù)據(jù)庫(kù)成功地解決了很多挑戰(zhàn)，并為人們帶來(lái)了很多價(jià)值。

針對(duì)傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)難以處理的大規(guī)模數(shù)據(jù)、低時(shí)延高并發(fā)檢索、模糊匹配等領(lǐng)域，向量數(shù)據(jù)庫(kù)通過(guò)數(shù)據(jù)的向量化來(lái)滿足特定需求，尤其適用于人工智能領(lǐng)域。

三、讓行業(yè)大模型具備know how能力

隨著AI大模型的崛起，向量數(shù)據(jù)庫(kù)的爆紅也就不難理解。

一是，在現(xiàn)實(shí)世界里，非結(jié)構(gòu)化數(shù)據(jù)是“主流”。根據(jù)Gartner的數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)占企業(yè)生成的新數(shù)據(jù)比例高達(dá)90％，并且增長(zhǎng)速度比結(jié)構(gòu)化數(shù)據(jù)快三倍。

而生成式AI大模型進(jìn)一步帶來(lái)了非結(jié)構(gòu)化數(shù)據(jù)的暴增，也相應(yīng)推動(dòng)了對(duì)向量數(shù)據(jù)庫(kù)的需求。

向量數(shù)據(jù)庫(kù)的一大優(yōu)勢(shì)在于，能夠通過(guò)機(jī)器學(xué)習(xí)方法處理和理解來(lái)自不同源的多種模態(tài)信息，如文本、圖像、音頻和視頻等。

二是，越來(lái)越多的大模型從業(yè)者認(rèn)為，所有的行業(yè)都值得被AI重新做一遍。

因此，建立在不同行業(yè)的垂直大模型，成為大家的切入點(diǎn)，而向量數(shù)據(jù)庫(kù)是行業(yè)大模型具備“行業(yè)knowhow”能力的必經(jīng)之路。

這背后是，AI大模型的產(chǎn)生，需要經(jīng)歷大量反復(fù)的訓(xùn)練和調(diào)試。雖然通用AI大模型能回答一般性問(wèn)題，但在垂直領(lǐng)域服務(wù)中，其知識(shí)深度、準(zhǔn)確度和時(shí)效性有限。

而利用向量數(shù)據(jù)庫(kù)結(jié)合大模型和自有知識(shí)資產(chǎn)，可以構(gòu)建垂直領(lǐng)域的AI能力。向量數(shù)據(jù)庫(kù)存儲(chǔ)和處理向量數(shù)據(jù)，提供高效的相似度搜索和檢索功能。

正如東北證券觀點(diǎn)，AI化的本質(zhì)則是向量化，向量化計(jì)算成本高昂，海量的高維向量勢(shì)必需要專門的數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和處理，向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生。

向量數(shù)據(jù)庫(kù)在拓展AI全新應(yīng)用場(chǎng)景的同時(shí)，也將對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)產(chǎn)品形成替代，進(jìn)而成為AI時(shí)代的Killer App。

目前，向量數(shù)據(jù)庫(kù)是一個(gè)亟待引爆的藍(lán)海市場(chǎng)。

據(jù)公開資料顯示，向量數(shù)據(jù)庫(kù)市場(chǎng)空間巨大，尚處于從0-1階段，預(yù)測(cè)到2030年，全球向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望達(dá)到500億美元，國(guó)內(nèi)向量數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模有望超過(guò)600億人民幣。

未來(lái)隨著生成式AI大模型開發(fā)量和使用量的增長(zhǎng)，向量數(shù)據(jù)庫(kù)的應(yīng)用有望快速增長(zhǎng)。

而國(guó)內(nèi)外眾多玩家如傳統(tǒng)數(shù)據(jù)庫(kù)廠商、初創(chuàng)數(shù)據(jù)庫(kù)廠商、云廠商、跨界廠商等都已躍躍欲試，提前開始布局向量數(shù)據(jù)庫(kù)，做好了應(yīng)對(duì)AI大模型時(shí)代的準(zhǔn)備。