pymilvus执行多向量搜索

server/2024/9/23 1:02:02/

pymilvus执行多向量搜索

从 Milvus 2.4 开始,引入了多向量支持和混合搜索框架,单个collection可以支持10个向量字段。不同的向量字段可以表示不同的方面、不同的embedding模型甚至表征同一实体的不同数据模态。该功能在综合搜索场景中特别有用,例如根据图片、语音、指纹等各种属性来识别向量库中最相似的人。

多向量搜索支持在多个向量字段上执行搜索请求,并使用重排名策略(例如RRF和加权评分)组合结果。

客户端pymilvus需要2.4版本。

准备数据

集合hello_milvus有2个向量字段embeddings1、embeddings2

创建多个 AnnSearchRequest 实例

每个AnnSearchRequest代表指定向量字段上的单个搜索请求。

以下示例创建两个AnnSearchRequest实例对两个向量字段执行单独的相似性搜索。

query_vector1 = [[0.9425935745239258,0.7893211245536804,0.6682707071304321,0.6769697070121765,0.9508556127548218]]search_param_1 = {"data": query_vector1, # Query vector"anns_field": "embeddings1", # Vector field name"param": {"metric_type": "L2", # This parameter value must be identical to the one used in the collection schema"params": {"nprobe": 10}},"limit": 2 # Number of search results to return in this AnnSearchRequest
}
request_1 = AnnSearchRequest(**search_param_1)query_vector2 = [[0.7958434224128723,0.18576304614543915,0.650543212890625,0.3026141822338104,0.7158203125]]
search_param_2 = {"data": query_vector2, # Query vector"anns_field": "embeddings2", # Vector field name"param": {"metric_type": "L2", # This parameter value must be identical to the one used in the collection schema"params": {"nprobe": 10}},"limit": 2 # Number of search results to return in this AnnSearchRequest
}
request_2 = AnnSearchRequest(**search_param_2)reqs = [request_1, request_2]

配置重排名策略

创建AnnSearchRequest实例后,配置重排名策略以组合结果并重新排名。目前有两个选项:WeightedRanker和RRFRanker。

from pymilvus import WeightedRanker
rerank = WeightedRanker(0.8, 0.2)

执行混合搜索

使用hybrid_search()方法执行多向量搜索。

from pymilvus import (connections,Collection,AnnSearchRequest,WeightedRanker
)collection_name = "hello_milvus"
host = "192.168.230.71"
port = 19530
username = ""
password = ""query_vector1 = [[0.9425935745239258,0.7893211245536804,0.6682707071304321,0.6769697070121765,0.9508556127548218]]search_param_1 = {"data": query_vector1, # Query vector"anns_field": "embeddings1", # Vector field name"param": {"metric_type": "L2", # This parameter value must be identical to the one used in the collection schema"params": {"nprobe": 10}},"limit": 2 # Number of search results to return in this AnnSearchRequest
}
request_1 = AnnSearchRequest(**search_param_1)query_vector2 = [[0.7958434224128723,0.18576304614543915,0.650543212890625,0.3026141822338104,0.7158203125]]
search_param_2 = {"data": query_vector2, # Query vector"anns_field": "embeddings2", # Vector field name"param": {"metric_type": "L2", # This parameter value must be identical to the one used in the collection schema"params": {"nprobe": 10}},"limit": 2 # Number of search results to return in this AnnSearchRequest
}
request_2 = AnnSearchRequest(**search_param_2)reqs = [request_1, request_2]rerank = WeightedRanker(0.8, 0.2)print("start connecting to Milvus")
connections.connect("default", host=host, port=port,user=username,password=password)
coll = Collection(collection_name, consistency_level="Bounded")res = coll.hybrid_search(reqs, # List of AnnSearchRequests created in step 1rerank, # Reranking strategy specified in step 2output_fields=['pk'],limit=2 # Number of final search results to return
)print(res)

返回结果:

['[
"id: 0, distance: 1.0, entity: {'pk': 0}", 
"id: 568, distance: 0.7705678939819336, entity: {'pk': 568}"
]']

http://www.ppmy.cn/server/27497.html

相关文章

可重构柔性装配产线:AI边缘控制技术的崭新探索

在信息化和智能化浪潮的推动下,制造业正面临着前所未有的转型升级挑战。其中,可重构柔性装配产线以其独特的AI边缘控制技术,为制造业的智能化转型提供了新的解决方案。 可重构柔性装配产线是基于AI工业控制与决策平台打造的智能化生产系统。…

sql连续登录

1、sql建表语句 DROP TABLE IF EXISTS app_login_record; CREATE TABLE app_login_record (user_id int(0) NULL DEFAULT NULL,enter_time datetime(0) NULL DEFAULT NULL,leave_time datetime(0) NULL DEFAULT NULL );INSERT INTO app_login_record VALUES (789012, 2023-05-…

粤嵌gec6818开发板-播放视频、音频文件(管道文件控制)

前段时间做了一个项目,用到了linux环境下gec6818开发板播放视频、音频文件,在这里给大家分享一下。 这里使用的方法是利用mplayer播放器进行播放,首先先给开发板装上mplayer播放器,这里就不详细说明了。 我用的是管道文件来控制视…

【综述】多核处理器芯片

文章目录 前言 Infineon处理器 AURIX™系列 TC399XX-256F300S 典型应用 开发工具 参考资料 前言 见《【综述】DSP处理器芯片》 Infineon处理器 AURIX™系列,基于TriCore内核,用于汽车和工业领域。 XMC™系列,基于ARM Cortex-M内核&…

搭建vue3组件库(一): Monorepo架构搭建

文章目录 1. 以 pnpm 构建 monorepo1.1 全局安装 pnpm1.2 配置 pnpm 的 monorepo 工作区1.3 仓库项目内的包相互调用1.4 TypeScript 初始化配置文件 2. 通用配置文件2.1 添加 .editorconfig 编辑器格式配置文件2.2 添加 .gitignore git 忽略文件2.3 添加 .npmrc npm配置文件2.4…

数据结构(八)——排序

八、排序 8.1 排序的基本概念 排序(Sort),就是重新排列表中的元素,使表少的元素满足按关键字有序的过程。 输入∶n个记录R1,R2...., Rn,对应的关键字为k1, k2,... , kn 输出:输入序列的一个重排R1,R2....,Rn,使得有k1≤k2≤...≤…

Java设计模式 _结构型模式_过滤器模式

一、过滤器模式 1、过滤器模式 过滤器模式(Filter Pattern)是这一种结构型设计模式。过滤器,顾名思义,就是对一组数据进行过滤,从而最终获取到我们预期的数据。 2、实现思路 (1)、定义过滤器的…

CUDA内存模型

核函数性能并不只与线程束的执行有关。 CUDA内存模型概述 GPU和CPU内存模型的主要区别是,CUDA编程模型能将内存层次结构更好地呈现给用户,能让我们显示的控制它的行为。 对程序员来说,一般有两种类型的存储器: 可编程的&#x…