mongodb文档字符串批量替换

news/2024/11/30 0:32:46/

mongodb文档字符串批量替换脚本语句】

前言:

1、本方式对于数据量大的情况不适用,执行可能比较慢;

2、数据量大的情况,个人推荐代码层面解决,多线程替换更快:
(1)写实体类的方式,查询全量list(也可分批次查);
(2)遍历,多线程处理,将单个实体类转JSON字符串,替换完,再转回实体类,再save。

3、!!!重要提醒:操作前一定先备份好数据。。。

一、参考方式一:eval(不推荐)

(1)语句内容:

// 旧的链接
const oldArr = [
"WWW.XXXXX.COM"
,"www.xxxxx.com"
];// 新的链接
const newStr = "www.hahahhaha.com";// ************** 【1】 示例文档:aa_文档名称_001
db.aa_文档名称_001.find().forEach(function(e) {// 替换oldArr.forEach(function(item) {const reg = eval('/' + item + '/g');e.字段111 = JSON.parse(JSON.stringify(e.字段111).replace(reg, newStr))e.字段222 = JSON.parse(JSON.stringify(e.字段222).replace(reg, newStr))});db.aa_文档名称_001.save(e);
});

(2)eval不推荐原因(摘自百度AI智能回答):

---安全隐患‌:eval函数允许执行任意JavaScript代码,这可能导致严重的安全漏洞。如果执行的代码来自不可靠的来源,比如用户输入,攻击者可以利用这一点执行恶意代码,从而窃取数据、破坏系统或获得不受限制的访问权限‌12---性能问题‌:eval通常比其他方法慢,因为它需要解析和编译代码。在处理大量数据时,使用eval可能会导致性能下降,影响系统的响应速度和效率‌2---全局锁问题‌:在MongoDB 4.0及以后的版本中,eval命令被逐步弃用,主要是因为其全局锁机制。在运行脚本时,eval会锁定整个数据库,阻止所有其他操作,这会影响数据库的并发性能和稳定性‌23---替代方案的存在‌:MongoDB提供了其他更安全和高效的替代方案,如使用聚合框架进行复杂的数据处理,或者使用事务支持来确保数据的一致性,这些方法不需要全局锁,且性能更好‌23---MongoDB版本更新对eval的影响‌:
在MongoDB 4.2及以后的版本中,Mongo shell现在只接受db.eval命令在与4.0或更早版本的服务器一起工作时使用。这意味着在未来的版本中,eval命令可能会被完全移除‌23---综上所述,由于安全隐患、性能问题和全局锁等问题,MongoDB不推荐使用eval,并提供了更安全的替代方案来处理复杂的数据操作和确保数据一致性。
二、参考方式二:RegExp(推荐)

(1)语句内容:

const urlMap = new Map();
urlMap.set( "www.aaaaa.cn", "www.AAAAA.com");
urlMap.set( "www.bbbbbbb.com", "www.BBBBBBB.com");// 预先创建正则表达式对象(如果需要的话,这里也可以不用正则表达式,而是使用简单的字符串替换)
const regexMap = new Map();
urlMap.forEach((value, key) => {// 注意:这里我们没有转义点字符,因为假设key不会包含正则表达式特殊字符// 如果key可能包含正则表达式特殊字符,请相应地转义它们regexMap.set(key, new RegExp(key, 'g'));
});// ************************* 【1】 示例文档:myDoc1
db.myDoc1.find().forEach(function(doc) {// ****** (1)数组中的字段if (Array.isArray(doc.xxxItems)) {doc.xxxItems = doc.xxxItems.map(item => {if (item.pic && typeof item.pic === 'string') {// 遍历所有正则表达式进行替换let newPic = item.pic;regexMap.forEach((regex, key) => {newPic = newPic.replace(regex, urlMap.get(key));});item.pic = newPic;}// 如果不是字符串,直接返回原值return item;});}// ****** (2)数组 -> 数组 -> 字段if (doc.aaaItems && Array.isArray(doc.aaaItems)) {doc.aaaItems = doc.aaaItems.map(ddd => {if (ddd.shippingItems) {ddd.shippingItems = ddd.shippingItems.map(sItem => {if (sItem.pic && typeof sItem.pic === 'string') {// 遍历所有正则表达式进行替换let newPic = sItem.pic;regexMap.forEach((regex, key) => {newPic = newPic.replace(regex, urlMap.get(key));});sItem.pic = newPic;}return sItem;});}// 如果不是字符串,直接返回原值return ddd;});}// 更新文档并保存db.myDoc1.save(doc);
});// ************************* 【2】 示例文档:myDoc555
db.myDoc555.find().forEach(function(doc) {if (Array.isArray(doc.aiItems)) {doc.aiItems = doc.aiItems.map(item => {if (item.pic && typeof item.pic === 'string') {// 遍历所有正则表达式进行替换let newPic = item.pic;regexMap.forEach((regex, key) => {newPic = newPic.replace(regex, urlMap.get(key));});item.pic = newPic;}// 如果不是字符串,直接返回原值return item;});// 更新文档并保存(如果实际上有更改)db.myDoc555.save(doc);}
});// ************************* 【3】 示例文档:myDoc666
db.myDoc666.find().forEach(function(doc) {regexMap.forEach((regex, key) => {if (doc.imageUrl && typeof doc.imageUrl === 'string') {doc.imageUrl = doc.imageUrl.replace(regex, urlMap.get(key));}});// 更新文档并保存(如果实际上有更改)db.myDoc666.save(doc);
});

http://www.ppmy.cn/news/1551046.html

相关文章

追加docker已运行容器添加或修改端口映射方法

docker run可以指定端口映射 【】docker run -d -p 80:80 --name name 但是容器一旦生成,就没有一个命令可以直接修改。通常间接的办法是,保存镜像,再创建一个新的容器,在创建时指定新的端口映射。 【】 docker stop A 【】 doc…

docker镜像、容器、仓库介绍

docker docker介绍docker镜像命令docker容器命令docker仓库 docker介绍 官网 Docker 是一种开源的容器化平台,用于开发、部署和运行应用。它通过将应用程序及其依赖项打包到称为“容器”的单一包中,使得应用能够在任何环境下运行,不受底层系…

量化交易系统开发-实时行情自动化交易-4.5.1.机器学习策略实现

19年创业做过一年的量化交易但没有成功,作为交易系统的开发人员积累了一些经验,最近想重新研究交易系统,一边整理一边写出来一些思考供大家参考,也希望跟做量化的朋友有更多的交流和合作。 接下来继续说说机器学习策略实现。 机…

[js] 函数柯里化

面试题:实现一个add方法,使计算结果能够满足如下预期: add(1)(2)(3) 6; add(1, 2, 3)(4) 10; add(1)(2)(3)(4)(5) 15; // 保存不定长参数 let nums []; function add(...args) { // 往数组中插入不定长参数nums.push(...args)// 判断参数…

Hive 函数(实例操作版2)

数据脱敏函数 -- 演示数据脱敏函数 -- mask_hash: 返回指定字符串的hash编码 select mask_hash(binzi);-- 拓展 --将查询回的数据,大写字母转换为X,小写字母转换为x,数字转换为n。 select mask("abc123DEF"); -- xxxnnnXXX--自定…

Epipolar-Free 3D Gaussian Splatting for Generalizable Novel View Synthesis 论文解读

目录 一、概述 二、相关工作 1、单场景3DGS 2、跨场景生成3DGS 3、几何方法解决3D任务 三、eFreeSplat 1、预训练跨视角模块 2、无外极线跨视角交互感知模块 3、迭代跨视角高斯对齐 4、高斯参数预测 一、概述 该论文设计了一种不依赖于极线约束的情况实现可推广的新视…

力扣第 72 题 编辑距离

一、题目描述 给你两个单词 word1 和 word2,请返回将 word1 转换为 word2 所使用的最少操作数。 你可以对一个单词进行如下三种操作: 插入一个字符;删除一个字符;替换一个字符。 二、解题思路 1. 问题分析 这是一个最优子结构…

Chrome://常用的内部页面地址

Chrome浏览器提供了一系列特殊的内部页面来用于开发和调试,可以通过在地址栏中输入以chrome://开头的协议来访问。 这些页面用于各种高级设置、实验性功能、诊断信息和浏览器工具等。 一些常用的内部页面: 协议用途chrome://settings/打开Chrome的设置…