RAG开发中,如何用Milvus 2.5 BM25算法实现混合搜索

embedded/2024/12/23 19:50:02/

978adb9df7fb17d0fbb6e903f1cd2edf.png

93e94e828957d084a6757e1ea7266c0a.png

01.

背景

混合搜索(Hybrid Search)作为RAG应用中Retrieve重要的一环,通常指的是将向量搜索与基于关键词的搜索(全文检索)相结合,并使用RRF算法合并、并重排两种不同检索的结果,最终来提高数据的召回率。全文检索与语义检索不是非此即彼的关系。我们需要同时兼顾语义理解和精确的关键字匹配。比如学术论文的写作中,用户不仅希望在搜索结果看到与搜索查询相关的概念,同时也希望保留查询中使用的原始信息返回搜索结果,比如基于一些特殊术语和名称。因此,许多搜索应用正在采用混合搜索方法,结合两种方法的优势,以平衡灵活的语义相关性和可预测的精确关键字匹配。

从 Milvus 2.4 版本开始,我们引入了多向量搜索和执行混合搜索(多向量搜索)的能力。混合搜索允许用户同时搜索跨多个向量列的内容。这个功能使得可以结合多模态搜索、混合稀疏和全文关键词搜索、密集向量搜索以及混合密集和全文搜索,提供多样且灵活的搜索功能,增强了我们的向量相似性搜索和数据分析。

02.

Milvus BM25

在最新的Milvus 2.5里,我们带来了“全新”的全文检索能力

  • 对于全文检索基于的 BM25 算法,我们采用的是 Sparse-BM25,基于 Sparse Vector 实现的 BM25 在存储效率、检索性能上都打开了更多的空间,同时也融合在了 Milvus 以向量为核心检索范式的产品理念里;

  • 同时引入了原始文本插入和查询的能力,不需要用户手动将文本转成 Sparse Vector,这使得 Milvus 朝着非结构化数据处理的方向迈进了一步。

详情请参见 Milvus 2.5:全文检索上线,标量过滤提速,易用性再突破

Sparse-BM25 其原理类似 Elasticsearch 和其他全文搜索系统中常用的BM25算法,但针对稀疏向量设计,可以实现相同效果的全文搜索功能。

  • 具有数据剪枝功能的高效检索算法:通过剪枝来丢弃搜索查询中的低值稀疏向量,向量数据库可以显著减小索引大小并以最小的质量损失达成最优的性能。

  • 带来进一步的性能优化:将词频表示为稀疏向量而不是倒排索引,可以实现其他基于向量的优化。比如:用图索引替代暴力扫描,实现更有效的搜索;乘积量化(PQ)/标量量化(SQ),进一步减少内存占用。

详情请参见 Elasticsearch vs 向量数据库:寻找最佳混合检索方案

03.

Milvus BM25 Hybrid Search

1. 首先,准备数据和问题,数据来自Milvus 2.5 release notes,且通过llama-index的SentenceWindowNodeParser对于数据进行分块处理。

!wget https://raw.githubusercontent.com/milvus-io/milvus-docs/v2.5.x/site/en/release_notes.md -O milvus_2_5.mddocuments = SimpleDirectoryReader(input_files=["./milvus_2_5.md"]
).load_data()# Create the sentence window node parser 
node_parser = SentenceWindowNodeParser.from_defaults(window_size=3,window_metadata_key="window",original_text_metadata_key="original_text",
)# Extract nodes from documents
nodes = node_parser.get_nodes_from_documents(documents)# query question
query = "What are the key features in milvus 2.5?"

2. 其次,创建collection的schema以及索引,其中原始文本数据存于text列,而Sparse-BM25数据存于sparse_bm25列,这里需要通过转换Function来实现

bm25_function = Function(name="bm25",function_type=FunctionType.BM25,input_field_names=["text"],output_field_names="sparse_bm25",)
schema = MilvusClient.create_schema(auto_id=False,enable_dynamic_field=True,
)# Add fields to schema
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True)
schema.add_field(field_name="text", datatype=DataType.VARCHAR, max_length=512, enable_analyzer=True)
schema.add_field(field_name="sparse_bm25", datatype=DataType.SPARSE_FLOAT_VECTOR)
schema.add_field(field_name="dense", datatype=DataType.FLOAT_VECTOR, dim=dense_dim)bm25_function = Function(name="bm25",function_type=FunctionType.BM25,input_field_names=["text"],output_field_names="sparse_bm25",)
schema.add_function(bm25_function)index_params = client.prepare_index_params()# Add indexes
index_params.add_index(field_name="dense",index_name="dense_index",index_type="IVF_FLAT",metric_type="IP",params={"nlist": 128},
)index_params.add_index(field_name="sparse_bm25",index_name="sparse_bm25_index",index_type="SPARSE_WAND", metric_type="BM25"
)# Create collection
client.create_collection(collection_name=collection_name,schema=schema,index_params=index_params
)

3. 然后,把数据进行Embedding之后,插入到Collection里,这里Embedding采用的是 OpenAI的 text-embedding-3-large

def gen_embedding(docs):model_name = "text-embedding-3-large"openai_ef = model.dense.OpenAIEmbeddingFunction(model_name=model_name, api_key=os.environ["OPENAI_API_KEY"])return openai_ef.encode_documents(docs)docs_embeddings = gen_embedding(docs)
query_embeddings = gen_embedding([query])# Assemble data
data = [{"id": idx, "dense": docs_embeddings[idx].data, "text": doc}for idx, doc in enumerate(docs)
]# Insert data
res = client.insert(collection_name=collection_name,data=data
)

4. 最后,进行查询测试

4.1. 我们先测试下普通查询

search_params = {"metric_type": "IP","params": {"nprobe": 10}}res = client.search(collection_name=collection_name,data=[query_embeddings[0]],anns_field="dense",limit=5,search_params=search_params,output_fields=["text"]
)

查询结果

TopK results:0
0  Enhancements in cluster management, indexing, and data handling introduce new levels of flexibil...
1  With this release, Milvus integrates powerful new features like term-based search, clustering co...
2  Milvus 2.5 introduces a built-in Cluster Management WebUI, reducing system maintenance difficult...
3  \n\nv2.5.0-beta\n\nRelease date: November 26, 2024\n\n| Milvus version | Python SDK version | No...
4                                                 \n\nRelease Notes\n\nFind out what’s new in Milvus!

从查询结果来看,最后一条召回内容与查询问题相关度不大。

4.2. 然后进行Hybrid Search。定义向量搜索和Sparse-BM25搜索

k=5 # get the top 5 docs related to the querysearch_params_dense: { "metric_type": "IP", "params": {"nprobe": 10}}
request_dense = AnnSearchRequest([query_embeddings[0].data], "dense", search_params_dense, limit=k)search_params_bm25 = {"metric_type": "BM25"}
request_bm25 = AnnSearchRequest([query], "sparse_bm25", search_params_bm25, limit=k)reqs = [request_dense, request_bm25]

这里使用RRFRanker来进行Hybrid Search

ranker = RRFRanker(100)res = client.hybrid_search(collection_name=collection_name,reqs=reqs,ranker=ranker,limit=5,output_fields=["text"]
)
for hits in res:print("TopK results:")for hit in hits:print(hit)

查询结果:

TopK results:0
0  \n\nv2.5.0-beta\n\nRelease date: November 26, 2024\n\n| Milvus version | Python SDK version | No...
1  Enhancements in cluster management, indexing, and data handling introduce new levels of flexibil...
2  This feature is disabled by default in Milvus 2.5 and will be officially available in version 3....
3  With this release, Milvus integrates powerful new features like term-based search, clustering co...
4  Powered by Tantivy, Milvus 2.5 has built-in analyzers and sparse vector extraction, extending th...

从结果来看,基于Sparse-BM25的Hybrid Search可以准确找到与查询相关的内容。相对于普通查询,召回的内容准确度更大。

04.

总结

本文讲述了Milvus 2.5中引入的Sparse-BM25基础原理,以及如何利用BM25算法实现RAG开发中的Hybrid Search(混合搜索)实践。通过引入Sparse-BM25算法,Milvus能够在稀疏向量上执行高效的全文检索,并与密集向量搜索相结合,提升检索的召回率和精确度。

参考文档:

  • https://zilliz.com/blog/hybrid-search-with-milvus

  • https://milvus.io/docs/multi-vector-search.md

代码可通过链接获取:https://pan.baidu.com/s/1eArbrvqmkYTJ-DS8eDkbJA?pwd=1234 提取码: 1234

作者介绍

d3446255d7bd198ab10a167015641d96.jpeg

Zilliz 黄金写手:臧伟

推荐阅读

fb3d90dd4d68a73eb74d7ef3ac3a8971.png

560e5f378e592e8c1a4d7e8cdf0d3349.png

64743bc81432c36f6df5bf76c086a30d.png

802e235a127400cabe4a6a33fdc11a74.png


http://www.ppmy.cn/embedded/148151.html

相关文章

读书笔记~管理修炼-缄默效应

缄默效应:学会正确批评下属 员工明明犯了错误,却不及时告知你,总是拖到最后一刻无法弥补时才不得不承认出了问题——你遇到过这样的问题吗? 这其实是缄默效应在发挥作用。 在职场中,即使再扁平化的环境&…

[Unity] 【VR】【游戏开发】在VR中使用New Input System获取按键值的完整教程

在使用Unity开发VR项目时,推荐使用 New Input System 来处理输入操作。相比于旧的Input系统,New Input System更加灵活、功能强大,尤其在处理VR控制器的按键输入时具有明显优势。本文将详细介绍如何在VR项目中使用New Input System获取按键值,并通过代码示例和图文讲解,帮…

Pr:音频剪辑混合器

Pr菜单:窗口/音频剪辑混合器 Window/Audio Clip Mixer 音频剪辑混合器 Audio Clip Mixer是一种针对单个音频剪辑而非整个音轨的工具,适用于对单个音频剪辑进行细致调整。例如在人声录音中修复咬字不清、去除呼吸声,或其他需要对音频进行精细编…

中阳科技的量化交易研究:前沿探索与实践成果

量化交易以其高效性和客观性,正在全球金融市场中崭露头角。中阳科技秉承技术引领的理念,通过对量化模型的深入研究,为投资者提供独特的交易解决方案。本文从理论基础、实践成果和未来前景三个方面,探讨中阳科技在量化交易领域的探…

RunCam WiFiLink连接手机图传测试

RunCam WiFiLink中文手册从这里下载 一、摄像头端 1.连接天线(易忘) 2.打开摄像头前面的盖子(易忘) 3.接上直流电源,红线为正,黑线为负 4.直流电源设置电压为14v,电流为3.15A, 通…

SpringBoot相关漏洞学习资料

title: SpringBoot相关漏洞学习资料 声明 ⚠️ 本项目所有内容仅作为安全研究和授权测试使用, 相关人员对因误用和滥用该项目造成的一切损害概不负责 零:路由和版本 0x01:路由知识 有些程序员会自定义 /manage、/management 、项目 App 相关名称为 sp…

FLV视频封装格式详解

目录(?)[-] OverviewFile Structure The FLV headerThe FLV File BodyFLV Tag Definition FLVTAGAudio TagsVideo TagsSCRIPTDATA onMetaDatakeyframes Overview Flash Video(简称FLV),是一种流行的网络格式。目前国内外大部分视频分享网站都是采用的这种格式. File Structure…

【C++】数据结构 顺序表的实现(详解)

本篇博客给大家带来的是用C语言来实现数据结构的顺序表 🐟🐟文章专栏:C 🚀🚀若有问题评论区下讨论,我会及时回答 ❤❤欢迎大家点赞、收藏、分享 你们的支持就是我创造的动力 今日思想:如果你不能…