【MongoDB】2.MongoDB导入文件

embedded/2024/9/23 6:39:27/

目录

一、MongoDB Compass

二、mongoimport

1、安装

2、语法:

 3、可能出现的错误

三、MongoDB的GridFS

1、介绍

2、语法


一、MongoDB Compass

这个简单,不做赘述

二、mongoimport

Mongoimport是一个用于导入数据到MongoDB的工具,默认情况下,它使用较小的内存限制来处理导入操作。

1、安装

(1)进入mongodb 官网,找到 tools 里面的  MongoDB Database Tools

(2)下载的压缩文件夹下的 bin 目录的 exe后缀文件全选,复制到 MongoDB \ bin 目录下面

 (3)重新打开一个cmd窗口,就可以根据语法使用了

2、语法:

(1)基本语法

mongoimport -d 数据库名称 -c 集合名称 --file 要导入的数据文件

当导入的数据文件较大时,可能会超出默认的内存限制,导致解析错误。

(2)大文件分批次语法

可以使用Mongoimport的--batchSize选项,将导入过程分成多个批次来处理,从而减少单个批次的内存使用量。通过调整每个批次的大小,您可以控制导入过程中的内存使用,并避免”文件过大”错误。

注:batchSize 含义:批大小,每个批次的文件数量

mongoimport --db 数据库名称 --collection 集合名称 --file 要导入的数据文件 --batchSize 1000 

 3、可能出现的错误

(1)Failed: an inserted document is too large

问题:mongoimport 工具报错 "an inserted document is too large" 表示有单个文档的大小超过了 MongoDB 默认的文档大小限制(16MB)。这是因为 MongoDB 不允许插入超过 16MB 的单个文档。如果你的JSON文件中的某些文档本身就超过了16MB的限制,那么无论批次大小如何设置,这些文档都无法被导入。

解决方法:使用GridFS,没有文件限制

(2)Failed: can not decode array into a D

解决方法:把参数 --file改成--jsonArray 即可如果JSON文件是一个大数组,包含多个对象,可以使用--jsonArray选项来告诉mongoimport整个文件被视为一个JSON数组。

三、MongoDB的GridFS

1、介绍

GridFS 用于存储和恢复那些超过16M(BSON文件限制)的文件(如:图片、音频、视频等)。

GridFS 也是文件存储的一种方式,但是它是存储在MonoDB的集合中。

GridFS 会将大文件对象分割成多个小的chunk(文件片段),一般为256k/个,每个chunk将作为MongoDB的一个文档(document)被存储在chunks集合中。

GridFS 用两个集合来存储一个文件:fs.files与fs.chunks每个文件的实际内容被存在chunks(二进制数据)中,和文件有关的meta数据(filename,content_type,还有用户自定义的属性)将会被存在files集合中。

2、语法

无需安装,MongoDB自带,在MongoDB/bin文件夹中。

mongofiles.exe -d 数据库名称 --prefix 集合名称 put 要导入的数据文件


http://www.ppmy.cn/embedded/94415.html

相关文章

Leetcode 17.电话号码的字母组合

目录 题目 方法一 思路 代码 题目 17. 电话号码的字母组合 难度:中等 给定一个仅包含数字 2-9 的字符串,返回所有它能表示的字母组合。答案可以按 任意顺序 返回。 给出数字到字母的映射如下(与电话按键相同)。注意 1 不对…

思科路由器的基本配置1

#路由技术基础# #路由器的基本配置1# #1调整超级终端的参数 #2退出配置向导,输入“NO”即可进入正常配置方式 #3路由器的模式切换 Router> !进入用户模式 Router>enable !进入特权模…

day25-系统优化

创建虚拟机后做下面优化,然后拍摄快照,做备份机 后面克隆此机改网卡即可理解: window 有 2 块网卡 本地网卡 192.168.13.253 用于连接外网 vmnet8 10.0.0.1(装虚拟机自动生成的 如果没有自动生成...)1. 虚拟机添加 2 块网卡: 第一…

RabbitMQ docker安装

后台配置文件 rabbitmq:image: rabbitmq:latestcontainer_name: rabbitmqports:- "5672:5672" # RabbitMQ server port- "15672:15672" # RabbitMQ management console portenvironment:RABBITMQ_DEFAULT_USER: adminRABBITMQ_DEFAULT_PASS: admin 若要打…

AI人工智能 启发式搜索

AI 人工智能概念 AI中启发式搜索的概念 启发式是一条经验法则,它将我们引向可能的解决方案 人工智能中的大多数问题具有指数性,并且有许多可能的解决方案。并不确切知道哪些解决方案是正确的,检查所有解决方案会非常昂贵。 因此&#xff0c…

vulnhub系列:DC-9

vulnhub系列:DC-9 靶机下载 一、信息收集 nmap扫描存活,根据mac地址寻找IP nmap 192.168.23.0/24nmap扫描IP 端口等信息 nmap 192.168.23.144 -p- -sV -Pn -O访问80端口 dirsearch目录扫描 python3 dirsearch.py -u http://192.168.23.144/页面查看…

旧手机拍摄的视频模糊可以修复清晰吗?

你是否时常“考古”一些老电影、老动漫来回忆旧日时光?你是否也有一些珍贵的录像,带你重温过去的美好?然而,我们已经习惯了高清体验,回头再看曾经的旧影像,画质或许“渣”的让人不忍直视。 旧手机像素不好&…

python 字典转成类 构建类

目录 python 字典转成类 复杂嵌套示例: 动态实例化类 字典转类,python文件转类 墙裂推荐 可以字典访问,也可以类属性访问 python 字典转成类 class DictToClass:def __init__(self, dictionary):for key, value in dictionary.items():if isinstance(value, dict):# 如…