Milvus 数据迁移工具 — MilvusDM

简介

MilvusDM 是一款针对 Milvus 研发的数据迁移工具，支持 Milvus 数据传输以及数据文件的导入与导出：

Faiss to Milvus：将未压缩的 Faiss 文件导入 Milvus
HDF5 to Milvus：将 HDF5 格式的文件导入 Milvus
Milvus to Milvus：支持 Milvus 之间的数据迁移
Milvus to HDF5：将 Milvus 数据批量备份为 HDF5 格式的本地文件

开发者使用 MilvusDM 可以提升数据管理效率，降低运维成本。

功能介绍

在之前发布的文章《Milvus 迁移升级攻略》中，我们介绍了如何将 Milvus 数据从有网环境迁移到无网环境以及不同版本 Milvus 之间的数据迁移。数据迁移工具 MilvusDM 可以通过指定 Milvus 中的集合或分区，帮助用户更智能地迁移所需数据。MilvusDM 十分易于使用，只需要运行一句 pip3 install pymilvusdm 指令即可快速安装。此外，您还可在 github 上获取本项目的开源代码。本文将介绍 MilvusDM 工具的使用方法：

Faiss to Milvus

使用示例1.下载 yaml 文件

$ wget https://raw.githubusercontent.com/milvus-io/milvus-tools/main/yamls/F2M.yaml

2.配置参数通过指定文件路径 data_path 读取 Faiss 的数据，并将读取到的向量和 ids 导入 Milvus 中。导入时需要指定参数 dest_host、dest_port、mode、dest_collection_name、dest_partition_name 和 collection_parameter。3.运行

具体实现读取 Faiss 的文件，返回特征向量和对应的 ids 并导入 Milvus。

ids, vectors = faiss_data.read_faiss_data()
insert_milvus.insert_data(vectors, self.dest_collection_name, self.collection_parameter, self.mode, ids, self.dest_partition_name)