Ubuntu 比较两个文件夹

ops/2024/9/24 4:21:26/

比较两个文件夹下的大量文件是否一致,可以通过以下几种方式完成:

1. 使用 diff 命令

diff 命令不仅可以比较文件,还能递归比较文件夹。可以使用 -r 选项来递归比较两个目录下的文件:

diff -r /path/to/dir1 /path/to/dir2 
  • 如果目录中的文件相同,diff 不会输出任何内容。
  • 如果目录中的文件不同,diff 会列出差异。

使用 -q 选项可以只显示文件是否不同,而不输出详细的差异:

diff -qr /path/to/dir1 /path/to/dir2 

2. 使用 rsync 命令

rsync 是一个强大的工具,通常用于同步文件,但它也可以用于比较文件夹的内容。rsync-n(dry-run)选项可以模拟文件同步操作,而不会实际更改文件,配合 --delete--itemize-changes,可以显示两目录的差异:

rsync -avcn --delete /path/to/dir1/ /path/to/dir2/ 
  • -a:归档模式,保持文件权限、时间戳等。
  • -v:详细输出。
  • -c:使用文件内容(而不是时间戳)来比较文件。
  • -n:只进行模拟,不实际执行复制。
  • --delete:报告第二个目录中多余的文件。
  • --itemize-changes:显示具体的差异。

3. 使用 cmp 命令结合 find

cmp 命令可以比较文件的字节,结合 find 命令递归遍历两个目录并比较它们的文件内容:

find /path/to/dir1 -type f | while read file; do cmp "$file" "/path/to/dir2/${file#/path/to/dir1}" done 

这个脚本会遍历 dir1 中的所有文件,并使用 cmp 比较 dir2 中对应的文件。

4. 使用 md5sumsha256sum

如果你想通过检查哈希值来比较文件,md5sumsha256sum 命令是很好的选择。这适用于大型文件夹或需要确保文件内容一致的情况。你可以生成每个文件的哈希值并比较哈希值文件。

find /path/to/dir1 -type f -exec md5sum {} + > dir1_checksums.txt find /path/to/dir2 -type f -exec md5sum {} + > dir2_checksums.txt diff dir1_checksums.txt dir2_checksums.txt 

这会生成两个文件夹的哈希值文件并使用 diff 比较它们。若输出为空,则文件夹内容完全一致。

5. 使用 fdupes

fdupes 是一个工具,专门用于查找重复文件。它不仅可以查找重复文件,还可以用于比较文件夹中是否有重复内容。可以安装并使用以下命令:

sudo apt install fdupes fdupes -r /path/to/dir1 /path/to/dir2 

-r 选项表示递归比较。如果没有任何输出,则两个目录的文件是不同的。如果有重复的文件,它会显示这些文件的路径。

6. 使用 diffoscope(高级比较工具)

diffoscope 是一个功能强大的工具,专门用于比较目录和文件的详细差异,适合复杂的比较需求。

sudo apt install diffoscope diffoscope /path/to/dir1 /path/to/dir2 

它会生成非常详细的差异报告。

结论

  • 如果你只想简单地确认文件夹是否一致,diff -qr 是最简便的解决方案。
  • 如果你需要更高效的方式来处理大量文件,并且要同时考虑文件内容、权限等因素,rsync -avcn 是一个很好的选择。
  • 对于哈希校验,md5sumsha256sum 是理想的选择,可以验证文件内容是否完全相同。

 


http://www.ppmy.cn/ops/107775.html

相关文章

GPT-4o mini轻量级大模型颠覆AI的未来

GPT-4o mini发布,轻量级大模型如何颠覆AI的未来? 引言 随着人工智能技术的飞速发展,大型AI模型的发布已成常态。然而,庞大的计算资源和存储空间限制了它们在广泛场景中的应用。为满足市场需求,轻量级大模型应运而生&a…

加密和安全

安全机制 信息安全防护的目标 目标En说明真实性Authenticity对信息的来源进行判断,能对伪造来源的信息予以鉴别保密性Confidentiality保证机密信息不被窃取,或窃取者不能了解信息的真实含义完整性Integrity保证数据一致性,防止数据被非法用…

CSS学习10[重点]--浮动、浮动的效果以及内幕特性

CSS布局——浮动 前言一、普通流二、浮动三、什么是浮动?四、浮动的内幕特性总结 前言 CSS盒子布具的三种机制:普通流(标准流)、定位、浮动。 一、普通流 普通流:网页内元素自上而下,从左到右排序。 二、浮动 浮动…

【论文笔记】Co-Fix3D: Enhancing 3D Object Detection with Collaborative Refinement

原文链接:https://arxiv.org/abs/2408.07999 简介:自动驾驶中准确检测遮挡或远处物体(称为弱正样本)较为困难,这是因为查询初始化时过度依赖置信度热图,导致了高虚警率并掩盖了弱检测。本文提出Co-Fix3D&am…

经验笔记:SQL调优

SQL调优经验笔记 引言 SQL调优是确保数据库系统高效运行的重要环节。通过对查询语句、数据库配置、硬件资源等方面进行优化,可以显著提升数据库性能,进而增强应用程序的整体表现。以下是基于常见调优手段和实践经验整理的一份经验笔记。 1. 查询语句优…

优化边缘设备上的大型语言模型(LLM)--tinychat

文章目录 一、项目启动1.背景:针对不同操作系统架构的4bit权重重排2.初始环境配置下载LLaMA2-7B-chat模型 3.项目启动项目结构说明评估不同优化技术可能遇到的bug以及措施1.macOS上部署 二、各种优化技术实现1.前置条件2.优化----循环展开3.优化----多线程4.优化---…

Python世界:文件自动化备份实践

Python世界:文件自动化备份实践 背景任务实现思路坑点小结 背景任务 问题来自《简明Python教程》中的解决问题一章,提出实现:对指定目录做定期自动化备份。 最重要的改进方向是不使用 os.system 方法来创建归档文件, 而是使用 zip…

如何在 Ubuntu 24.04 上安装 MariaDB ?

MariaDB 是一个流行的开源关系数据库管理系统,它是 MySQL 的一个分支,它被广泛用于存储和管理数据。本指南将引导您完成在 Ubuntu 24.04 上安装 MariaDB 的步骤。 Step 1: Update Your System 首先更新系统,确保所有的软件都是最新的。 su…