手撸了一个文件传输工具

news/2024/12/4 20:39:04/

在日常的开发与运维中，文件传输工具是不可或缺的利器。无论是跨服务器传递配置文件，还是快速从一台机器下载日志文件，一个高效、可靠且简单的文件传输工具能够显著提高工作效率。今天，我想分享我自己手撸一个文件传输工具的全过程，包括需求场景、技术点分析以及实现的编码过程。

为什么要搞这个？

在我的日常学习和工作中，经常遇到以下几个需求场景：

1）跨服务器的文件共享：因为我们目前有两台服务器，有时需要在服务器之间同步配置文件或共享资源。

2）简单的文件传输：对于某些单文件传输的任务，现有工具配置较复杂，使用成本较高。希望能有一个简易的工具，不依赖复杂的配置和额外的库。

3）文件列表管理与下载：需要方便地列出文件存储目录中的内容，并支持选择性下载某些文件。

技术点分析

为了满足上述需求，我需要实现一个功能完整的文件传输工具。以下是一些关键技术点和设计思路：

TCP通信

使用 TCP 协议构建文件传输工具，确保传输的可靠性。实现客户端和服务器的双向通信，用于文件传输、列表查询等功能。

文件传输机制

通过 TCP 套接字发送和接收文件内容。客户端在上传文件时需要传递文件元信息（文件名和大小），以便服务器正确创建文件。

命令解析

支持多种命令（如 LIST、UPLOAD 和 DOWNLOAD），让工具更易扩展。

进度条展示

使用第三方库 pb 在终端展示传输进度条，提升用户体验。

工具开发过程

接下来，我将分享从零开始实现这个工具的完整过程。

首先的整体的机制：服务器监听一个固定的端口，接受客户端的 TCP 连接。根据客户端发送的命令执行不同的操作，在Upload操作时可以指定操作类型，比如查询文件列表等。

文件传输服务端

需要支持命令启动，而且在启动时能够指定端口号、文件保存的目录等，所以就需要使用Go语言的cobra插件。

main.go文件

var rootCmd = &cobra.Command{Use: "",Run: func(cmd *cobra.Command, args []string) {fmt.Println("Running myapp...")},
}func main() {rootCmd.AddCommand(ClientCmd())rootCmd.AddCommand(ServerCmd())if err := rootCmd.Execute(); err != nil {panic(err)}
}
server命令代码实现

先定义命令参数和默认值，比如port, webport代表要启动的TCP服务端口号和Web服务端口号，path, secret代表文件的保存路径和将来可能要做安全机制的密码功能。

const (DefaultPathDir    = "tmp"DefaultServerPort = 8088DefaultWebPort    = 8089
)var (port, webport intpath, secret  string
)

主要方法：

func ServerCmd() *cobra.Command {command := &cobra.Command{Use: "server",Run: func(cmd *cobra.Command, args []string) {quit := make(chan os.Signal, 1)signal.Notify(quit, os.Interrupt, syscall.SIGTERM)initCommand()go func() {runHttpServer()runServer(port, path)}()<-quit},}command.Flags().StringVarP(&path, "path", "", "", "path to serve")command.Flags().StringVarP(&secret, "secret", "", "", "path to serve")command.Flags().IntVarP(&port, "port", "", 0, "path to serve")command.Flags().IntVarP(&webport, "webport", "", 0, "path to serve")return command
}

支持TCP文件上传的主要逻辑：

func runServer(port int, savePath string) {listener, err := net.Listen("tcp", fmt.Sprintf(":%d", port))if err != nil {fmt.Println("Error starting server:", err)return}defer func() {_ = listener.Close()}()fmt.Println("Server is listening on port", port)for {conn, err := listener.Accept()if err != nil {fmt.Println("Connection error:", err)continue}go handleConnection(conn, savePath)}
}func handleConnection(conn net.Conn, savePath string) {defer func() {_ = conn.Close()}()reader := bufio.NewReader(conn)// 读取文件元信息：文件名和文件大小meta, err := reader.ReadString('\n')if err != nil {fmt.Println("Error reading file metadata:", err)return}meta = strings.TrimSpace(meta) // 清除换行符parts := strings.Split(meta, "|")if len(parts) != 2 {fmt.Println("Invalid metadata received")return}fileName := parts[0]fileSize := 0_, err = fmt.Sscanf(parts[1], "%d", &fileSize)if err != nil {fmt.Println("Error parsing file size:", err)return}// 确保保存路径存在fullPath := filepath.Join(savePath, fileName)if err = os.MkdirAll(filepath.Dir(fullPath), 0755); err != nil {fmt.Println("Error creating directories:", err)return}// 创建文件f, err := os.Create(fullPath)if err != nil {fmt.Println("Error creating file:", err)return}defer func() {_ = f.Close()}()// 创建进度条bar := pb.Start64(int64(fileSize))bar.Set(pb.Bytes, true)defer bar.Finish()// 读取数据并写入文件proxyReader := bar.NewProxyReader(reader)if _, err = io.Copy(f, proxyReader); err != nil {fmt.Println("Error saving file:", err)return}fmt.Println("File received:", fullPath)
}

启动服务端：

go build ./FTransferor server --path filepath --port 8081
后续会考虑支持的功能

1）文件列表功能：通过读取服务器的文件保存目录，列出所有文件。如使用 LIST 命令返回文件名列表。

2）文件下载功能：客户端通过 DOWNLOAD <filename> 命令请求文件。服务端确认文件存在后，先发送文件大小，然后传输文件内容。

文件传输客户端

客户端主要就是能够接收命令参数找到服务端、指定自己要上传的文件，然后就是支持文件上传。

参数定义：

server为将要上传的服务端地址，file为要进行上传的文件名次，action参数为客户端的操作，如LIST、DOWNLOAD等，后续会进行扩展。

var (server, file, action string
)

主要的client方法：

func ClientCmd() *cobra.Command {command := &cobra.Command{Use: "cli",Run: func(cmd *cobra.Command, args []string) {startClient(server, file)},}command.Flags().StringVarP(&server, "server", "", "", "path to serve")command.Flags().StringVarP(&file, "file", "", "", "path to serve")command.Flags().StringVarP(&action, "action", "", "", "path to serve")return command
}

文件上传方法：


func startClient(serverAddr string, filePath string) {f, err := os.Open(filePath)if err != nil {fmt.Println("Error opening file:", err)return}defer func() {_ = f.Close()}()// 获取文件信息fileInfo, err := f.Stat()if err != nil {fmt.Println("Error getting file info:", err)return}conn, err := net.Dial("tcp", serverAddr)if err != nil {fmt.Println("Error connecting to server:", err)return}defer func() {_ = conn.Close()}()// 发送文件元信息（文件名|文件大小）meta := fmt.Sprintf("%s|%d\n", fileInfo.Name(), fileInfo.Size())if _, err = conn.Write([]byte(meta)); err != nil {fmt.Println("Error sending metadata:", err)return}// 创建进度条bar := pb.Start64(fileInfo.Size())bar.Set(pb.Bytes, true)defer bar.Finish()// 发送文件数据proxyWriter := bar.NewProxyWriter(conn)if _, err = io.Copy(proxyWriter, f); err != nil {fmt.Println("Error sending file:", err)return}fmt.Println("File sent successfully!")
}

实现效果

1）工具编译

拿到代码后，我们需要在相关操作系统编译成可执行文件，需要go1.23以上的版本，命令：

go mod tidy go build

2）启动服务端

最简单的启动方式就是直接使用默认参数：

./FTransferor server

当然也可以指定参数，比如指定端口号为9910，文件的保存路径为当前目录下的yankaka目录，如果没有该目录会自动创建：

./FTransferor server --port 9910 --path yankaka

3）使用客户端

使用客户端就需要输入必要的参数了，因为TCP是点对点链接，客户端必须要有一个连接目标，下面就上传一个文件看下效果：

./FTransferor cli --server yankaka.chat:9910 --file go1.23.3.linux-amd64.tar.gz

此时会显示一个进度条，就是文件上传的进度和上传速度：

服务端也会显示，并在上传成功后有提示：

上传完成后看下目标目录的相关文件是否存在：

发现是存在并且正常的，至此我们这款文件上传工具的基本功能就已经实现了！

收获与总结

通过手撸这个文件传输工具，我对TCP编程有了更深刻的理解，其实有些功能并不需要利用HTTP、RPC等上层协议进行实现，更别说各种各样的框架了，最简单的功能往往TCP协议就足够了。


http://www.ppmy.cn/news/1552371.html

相关文章

【C#】书籍信息的添加、修改、查询、删除

【C#】书籍信息的添加、修改、查询、删除

文章目录 一、简介二、程序功能2.1 Book类属性&#xff1a;方法&#xff1a; 2.2 Program 类 三、方法&#xff1a;四、用户界面流程&#xff1a;五、程序代码六、运行效果 一、简介 简单的C#控制台应用程序&#xff0c;用于管理书籍信息。这个程序将允许用户添加、编辑、查看…
阅读更多...
顶刊算法 | 鱼鹰算法OOA-BiTCN-BiGRU-Attention多输入单输出回归预测（Maltab）

顶刊算法 | 鱼鹰算法OOA-BiTCN-BiGRU-Attention多输入单输出回归预测（Maltab）

顶刊算法 | 鱼鹰算法OOA-BiTCN-BiGRU-Attention多输入单输出回归预测&#xff08;Maltab&#xff09; 目录 顶刊算法 | 鱼鹰算法OOA-BiTCN-BiGRU-Attention多输入单输出回归预测&#xff08;Maltab&#xff09;效果一览基本介绍程序设计参考资料 效果一览 基本介绍 1.Matlab实…
阅读更多...
vue中如何获取public路径

vue中如何获取public路径

在Vue项目中获取public路径的方法有多种&#xff0c;主要通过以下1、使用相对路径、2、使用环境变量、3、使用webpack配置三种方式来实现。这些方法可以帮助开发者在项目中更灵活地使用静态资源。下面将详细解释每种方法以及如何使用它们。 一、使用相对路径 在Vue项目中&#…
阅读更多...
React进阶面试题目（二）

React进阶面试题目（二）

React 组件声明的方法有哪些&#xff1f;各有什么不同&#xff1f; React 组件声明的方法主要有三种&#xff1a; 无状态函数式组件&#xff1a;这种组件只负责根据传入的props来展示&#xff0c;不涉及到state状态的操作。组件不会被实例化&#xff0c;整体渲染性能得到提升…
阅读更多...
反向代理模块开发

反向代理模块开发

1 概念 1.1 反向代理概念 反向代理是指以代理服务器来接收客户端的请求&#xff0c;然后将请求转发给内部网络上的服务器&#xff0c;将从服务器上得到的结果返回给客户端&#xff0c;此时代理服务器对外表现为一个反向代理服务器。 对于客户端来说&#xff0c;反向代理就相当于…
阅读更多...
高级java每日一道面试题-2024年12月02日-JVM篇-虚拟机为什么使用元空间替换了永久代?

高级java每日一道面试题-2024年12月02日-JVM篇-虚拟机为什么使用元空间替换了永久代?

如果有遗漏,评论区告诉我进行补充 面试官: 虚拟机为什么使用元空间替换了永久代? 我回答: 在Java高级面试中&#xff0c;关于虚拟机为何使用元空间替换了永久代的问题&#xff0c;可以从以下几个方面进行详解&#xff1a; 一、背景与概念 永久代&#xff08;Permanent Ge…
阅读更多...
Spring Boot整合EasyExcel

Spring Boot整合EasyExcel

Spring Boot整合EasyExcel主要涉及到以下几个步骤&#xff1a; 1.添加EasyExcel依赖到Spring Boot项目的pom.xml文件中。 2.创建数据模型类&#xff0c;用于映射Excel文件中的数据。 3.编写读取和写入Excel的服务。 以下是一个简单的例子&#xff1a; 1.添加EasyExcel依赖 …
阅读更多...
CAD 二次开发入门与实践：以 C# 为例

CAD 二次开发入门与实践：以 C# 为例

摘要&#xff1a; 本文详细介绍了如何使用 C# 进行 CAD 软件的二次开发。首先阐述了 CAD 二次开发的概念、意义与应用场景&#xff0c;接着深入探讨了开发环境的搭建&#xff0c;包括 CAD 相关 API 的引用与 C# 开发工具的配置。随后重点讲解了基于 C# 的 CAD 二次开发的核心技…
阅读更多...
最新文章

Copyright @ 2022~2023