解析了800份PDF,在使用ollama转向量数据库时,总是会中间断开。解决思路是划分了7个batch,每个batch有100份,在将batch转向量数据库,这时就很少断开了。
正好faiss提供了一个方法,merge_from,能够实现两个向量数据库实例的合并。这样将每个转换的向量数据库合成在一起。
解析了800份PDF,在使用ollama转向量数据库时,总是会中间断开。解决思路是划分了7个batch,每个batch有100份,在将batch转向量数据库,这时就很少断开了。
正好faiss提供了一个方法,merge_from,能够实现两个向量数据库实例的合并。这样将每个转换的向量数据库合成在一起。