ModaHub魔搭社区:安装、启动 Milvus 服务(CPU版)教程

news/2025/2/13 5:19:50/

目录

安装、启动 Milvus 服务

安装前提

操作系统

硬件

软件

确认 Docker 状态

拉取 Milvus 镜像

下载配置文件

启动 Milvus Docker 容器

常见问题

接下来你可以


安装、启动 Milvus 服务

CPU 版 MilvusGPU 版 Milvus

安装前提

操作系统

操作系统

版本

CentOS

7.5 或以上

Ubuntu LTS

18.04 或以上

硬件

硬件

建议配置

CPU

Intel CPU Sandy Bridge 或以上

CPU 指令集

  • SSE42
  • AVX
  • AVX2
  • AVX512

内存

8 GB 或以上(取决于具体向量数据规模)

硬盘

SATA 3.0 SSD 或以上

软件

软件

版本

Docker

19.03 或以上

请确保可用内存大于你在 server_config.yaml 文件中设置的 cache.insert_buffer_size 和 cache.cache_size 之和。

确认 Docker 状态

确认 Docker daemon 正在运行:

$ sudo docker info
  • 如果无法正常打印 Docker 相关信息,请启动 Docker daemon。
  • 在 Linux 上需要使用 sudo 执行 Docker 命令。若要在没有 sudo 的情况下运行 Docker 命令,请创建 docker 组并添加用户,详见 Linux 安装步骤。

拉取 Milvus 镜像

拉取 CPU 版本的 Milvus 镜像:

$ sudo docker pull milvusdb/milvus:1.1.0-cpu-d050721-5e559c
  • 如果你的主机由于网络限制无法在线获得 Docker 镜像和配置文件,请从其他主机在线获取镜像,保存为 TAR 文件传输回本地,传输完成后重新加载为 Docker 镜像:点击查看离线传输相关代码示例。
  • 如果拉取镜像的速度过慢或一直失败,请参考 部署运维问题 中提供的解决办法。

下载配置文件

$ mkdir -p /home/$USER/milvus/conf
$ cd /home/$USER/milvus/conf
$ wget https://raw.githubusercontent.com/milvus-io/milvus/v1.1.0/core/conf/demo/server_config.yaml

如果无法通过 wget 命令下载配置文件,你也可以在 /home/$USER/milvus/conf 目录下创建 server_config.yaml 文件,然后将 server config 文件 的内容复制到你创建的配置文件中。

启动 Milvus Docker 容器

启动 Docker 容器,将本地的文件路径映射到容器中:

$ sudo docker run -d --name milvus_cpu_1.1.0 \
-p 19530:19530 \
-p 19121:19121 \
-v /home/$USER/milvus/db:/var/lib/milvus/db \
-v /home/$USER/milvus/conf:/var/lib/milvus/conf \
-v /home/$USER/milvus/logs:/var/lib/milvus/logs \
-v /home/$USER/milvus/wal:/var/lib/milvus/wal \
milvusdb/milvus:1.1.0-cpu-d050721-5e559c

上述命令中用到的参数定义如下:

  • -d: 在后台运行容器。
  • --name: 为容器指定一个名字。
  • -p: 指定端口映射。
  • -v: 将宿主机路径挂载至容器。

确认 Milvus 运行状态:

$ sudo docker ps

如果 Milvus 服务没有正常启动,执行以下命令查询错误日志:

$ sudo docker logs milvus_cpu_1.1.0

常见问题

可以在 Windows 上安装 Milvus 吗?

理论上只要能够支持 Docker 的操作系统都可以运行 Milvus。

为什么 Milvus 在启动时返回 Illegal instruction?

如果你的 CPU 不支持 SSE42、AVX、AVX2、AVX512 其中任何一个指令集,则 Milvus 无法正常启动。可以通过 cat /proc/cpuinfo 查看 CPU 支持的指令集。

Milvus 中如何实现数据迁移?

详见数据迁移。

注意:不同版本之间,数据可能会不兼容。目前数据格式兼容到 Milvus v0.7.0。

Milvus 只能使用 Docker 部署吗?

Milvus 还支持源码编译,该方法仅支持 Linux 系统。详见 从源代码编译 Milvus。

应如何设置 IVF 索引的 nlist 和 nprobe 参数?

IVF 索引的 nlist 值需要根据具体的使用情况去设置。一般来说,推荐值为 4 × sqrt(n),其中 n 为 segment 内的 entity 总量。 nprobe 的选取需要根据数据总量和实际场景在速度性能和准确率之间进行取舍。建议通过多次实验确定一个合理的值。 以下是使用公开测试数据集 sift50m 针对 nlist 和 nprobe 的一个测试。以索引类型 IVF_SQ8 为例,针对不同 nlist/nprobe 组合的搜索时间和召回率分别进行对比。

因 CPU 版 Milvus 和 GPU 版 Milvus 测试结果类似,此处仅展示基于 GPU 版 Milvus 测试的结果。

在本次测试中,nlist 和 nprobe 的值成比例增长,召回率随 nlist/nprobe 组合增长呈现上升的趋势。 在 nlist 为 4096 和 nprobe 为 128 时,速度性能最佳。

接下来你可以

  • 如果你刚开始了解 Milvus:
    • 运行示例程序
    • 了解更多 Milvus 基础操作
    • 体验 Milvus 在线训练营
  • 如果你已准备好在生产环境中部署 Milvus:
    • 创建 监控与报警系统 实时查看系统表现
    • 设置 Milvus 参数
  • 如果你想使用针对大数据集搜索的 GPU 加速版 Milvus:
    • 安装支持 GPU 加速版 Milvus

     


http://www.ppmy.cn/news/583046.html

相关文章

宏基微型计算机机箱怎么打开,机箱也智能 自己动手打造自动温控机箱

盛夏酷暑,当自己享受着空调冷气袭面的时候,可曾想到朝夕相处的电脑正面临着天气温度与日俱增的煎熬?如何让自己的机箱拥有出色的散热性能,是每一位DIYer都需要面对的挑战。与其整日开着空调,不如自己DIY一下&#xff0…

厚物科技PXI机箱PXIe机箱PXIe控制器PXIe台式测控平台HW-10183d(G2)

dMCS台式PXIe测控系列HW-10183d(G2) 符合PXIe/PXI总线标准规范 国产标准19"台式PXIe测控平台 支持19"标准机架式安装 内置厚物科技PXIe-9170控制器 内置厚物科技3U 18槽PXIe背板 1个3U PXIe系统槽和17个3U PXIe/PXI混合扩展槽 兼容数采、模块化仪器、航空总线、FPGA等…

VPX加固机箱学习资料第289篇:基于3U VPX的 5槽加固机箱

基于3U VPX的 5槽加固机箱 一、产品简介 VPX-305 机箱平台是4U高度 3U 5S的一种便携式VPX机箱。机箱提供1个VPX总线系统槽和4个VPX 外设槽。主要用于组建VPX测试系统。整机美观大方、小巧灵活、技术先进、安全可靠。可用于外场测试。 VPX-305采用工业级3U300W的C…

atx和matx机箱_别再用ATX机箱装MATX主板啦,换装TT启航者A1 MATX机箱

#电脑DIY#看看猫狗家的主板销量,MATX规格比ATX要高出不少,但有趣的是机箱品类却是ATX占据了大部分销量,为啥,ATX空间大,未来升级不愁,能插3块显卡,能扩展多块3.5寸硬盘等等,还有的人会往里面藏个小姐姐手办偷偷欣赏,这些大佬的“鬼话”有道理,可普通用户大部分都是单…

CPK 算法

一、简介 CPK是“Combined Public Key”的缩写,即中文名为组合公钥,是一种加密算法,以很小的资源,生成大规模密钥。 组合公钥CPK( Combined Public Key)基于标识的数字签名协议和密钥交换协议,满足证明的规模性和验证…

编译LOAM ROS PCL 报错记录

成功环境ubuntu18.04 pcl1.8.1 boost1.64 vtk7.1 强调一下vtk和pcl版本要对应 测试过安装vtk7.1才可以编译通过pcl1.8.1 测试过安装vtk8.2才可以编译通过pcl1.9.1 安装完后在ros环境下编译LOAM会报错 查看ROS报错是关于/usr/lib/x86_64-linux-gnu/libpcl_common.so链接库失效…

k8s的基础理论

K8S由google的Borg系统(博格系统,google内部使用的大规模容器编排工具)作为原型,后经GO语言延用Borg的思路重写并捐献给CNCF基金会开源。 云原生基金会(CNCF)于2015年12月成立,隶属于Linux基金会。CNCF孵化的第一个项…

Java设计模式之单例模式-【懒汉式与饿汉式】

1、单例,模式 单例模式属于创建型模式的一种,应用于保证一个类仅有一个实例的场景下,并且提供了一个访问它的全局方法 单例模式的特点:从系统启动到终止,整个过程只会产生一个实例。单例模式常用写法:懒汉…