Linux大文件传输工具分享

news/2024/11/8 16:52:35/

sync——一个跨平台的文件传输工具,多用于Linux系统,下面也只介绍Linux上的应用。

       这是我在远程传输大文件时找到的最有效便捷的“可断点重传”的工具,最大的优势就是可断点重传,并且在本地磁盘之间、远程异地之间,文件的完整与保真效果是最好的;

       试想一下,一个100G以上的文件夹,里面几十上百万个文件,在本地一般的拷贝指令、远程其他传输指令,传输完成后,发现文件不可用,检测文件损坏,是不是很崩溃!

上干货:

安装指令

centos:yum install rsync

ubuntu:apt-get install rsync

本地同步范例(不同磁盘之间拷贝):

## 同步dev下所有文件到dev_svn下,不包括dev

rsync -av /work/dev/  /code/dev_svn

## 同步dev及其所有子文件和目录,到dev_svn下,包括dev

rsync -av /work/dev  /code/dev_svn

远程同步范例(内网、公网及交叉可访问网络):

## 数据推送到远程目录(本地目录——>远程目录)

rsync -av /root/itbiancheng root@192.168.2.216:/data/fileml

## 从远程目录拉取数据到本地(远程目录——>本地目录)

rsync -av root@192.168.2.216:/data/fileml /root/itbiancheng

## 指定秘钥端口进行远程拉取数据(远程目录——>本地目录)

rsync -avuP -e "ssh -i /key_file -p port" user@ip:/data/upload /data/receive/

*有IP跟着的为远程目录,没有则为本地目录

可断点的方式为:当因网络波动等因素导致文件传输中断,待排查相关问题后,重新执行传输指令,文件会承接上次传输进度继续传输


http://www.ppmy.cn/news/317847.html

相关文章

如何快速在两台电脑之间传输大文件

两台电脑如何传文件最快方法。我们在使用电脑的时候,有的情况下需要我们队两台电脑之间互相的传输大文件。那么我们应该通过什么样的方法传输最快速呢?我们一起来看看吧。 首先我们需要一根平时上网连接网络时用的网线。 网线的两端分别连接在你的两台电…

如何将超大文件传输给别人,超大文件如何传输

如何将超大文件传输给别人,超大文件如何传输呢?在我们的生活和工作中,我们总免不了要将超大文件传输给别人,在互联网发展的今天,还有哪些超大文件传输方法,那么超大文件如何传输?这一些问题&…

什么是极速文件传输,极速文件传输如何进行大文件传输

当谈到大文件传输时,人们总是担心大数据文件的大小以及将它们从一个位置交换到另一个位置需要多长时间。由于数据捕获高分辨率视频和图像的日益复杂,文件的大小不断增加。数据工作流在地理上变得越来越分散。在一个位置生成的文件在其他位置处理或使用。…

智源论文前沿记录230610

文章目录 大LLM使用过程中的成本缩减策略Google发布生成式AI教程《Google Cloud Skills Boost》马毅团队新工作|突破黑盒,深度网络研究大模型微调究竟需要多少数据Yann LeCun-智源大会 大LLM使用过程中的成本缩减策略 该研究概述并讨论了用户可以利用的…

快速实现大文件传输你了解多少?

在互联网时代,速度决定效率。在企业生产过程中需要进行信息数据交换、搬运。这时就需要进行大文件的传输。方方面面的行业都要涉及到大文件传输。例如影视行业需要每天进行视频素材的传输,一个视频小至几十兆,多至几T的视频数据要从拍摄地传输…

如何快速地向服务器传大文件,大文件如何快速传输

在这个互联网时代,信息更新速度逐渐加快。用户在进行文件传输时,一定是希望既稳定又快速的,并且还能够保证安全。但是通常来讲,FTP文件传输并不能同时实现这三点的,特别是上传大文件时,FTP上传文件速度明显…

大文件传输 , 快速传输工具 分享

互联网高速发展,大数据时代已经来临!无论是企业还是个人都面对大数据的事实,却常常需要等数据?文件传输速度达不到理想水平,影响企业效率? 其实可以选择传统FTP的方式来应对,But,传统FTP传输方式在传输大…

如何快速传输大文件,介绍大文件快速方法

现在,企业比以往任何时候都面临着一个重大挑战:需要一个快速共享文件的解决方案。但是,并非所有快速文件传输解决方案都以相同的速度传输文件。文件大小、端点位置、路径、设备、防火墙、网络系统和加密需求都会限制文件的传输速度。 什么是快…