在ubuntu下对NFS做性能测试

ops/2025/1/11 18:16:40/

安装NFS

首先，安装服务

sudo apt update
sudo apt install nfs-kernel-server

然后创建共享文件夹

# 请自定义你自己的共享目录
sudo mkdir -p /exports/nfs4/homes
sudo chmod -R 777 /exports/nfs4/homes# 这个可以根据no_root_squash标致选择设置。
# 如果不设置，创建的文件会变成nobody:nogroup属性
sudo chown nobody:nogroup /exports/nfs4/homes

编辑/etc/exports

新增如下内容

/exports/nfs4/homes 192.168.1.0/24(rw,sync,no_root_squash,no_subtree_check)
  • /exports/nfs4/homes是共享目录的路径。
  • 192.168.1.0/24是允许访问共享目录的客户端IP地址范围，这里表示允许192.168.1.0到192.168.1.255这个子网内的客户端访问。你可以根据实际情况指定特定的IP地址或更宽泛的网络范围。 如果不限制，则可以填*
  • rw表示读写权限。
  • sync表示同步写入磁盘（默认）。 相反的是async异步写入，提高性能但可能丢失数据。
  • no_root_squash表示不过滤掉远程连接的root用户，允许root用户具有与本地root用户相同的权限。如果不设置这个选项，远程root用户在访问共享目录时会被映射为匿名用户，权限会受到限制。 对应的其他选项有：root_squash：将客户端的root用户映射为匿名用户（默认），all_squash：将所有客户端用户映射为匿名用户
  • no_subtree_check可以提高性能，当共享目录是文件系统中的一个子目录时，这个选项可以避免NFS服务器对整个文件系统的检查。 对应的其他选项有：subtree_check：启用子树检查，确保父目录权限正确（可能影响性能）

其他可配置参数

  • anonuid 和 anongid 指定匿名用户的UID和GID（通常与 all_squash 一起使用）
  • secure 限制客户端使用小于1024的端口（默认）。对应的其他选项有：insecure：允许客户端使用大于1024的端口
  • wdelay 延迟写入，合并多个写入请求以提高性能（默认） 对应的其他选项有：no_wdelay 禁用写入延迟（与 sync 一起使用时生效）。
  • hide 隐藏嵌套的挂载点（默认） 对应的其他选项有：no_hide 显示嵌套的挂载点
  • crossmnt 允许客户端跨挂载点访问其他文件系统。 对应的其他选项有： no_crossmnt 禁止客户端跨挂载点访问其他文件系统（默认）
  • secure_locks 要求客户端使用特权端口锁定文件（默认） 对应的其他选项有：insecure_locks 允许非特权客户端锁定文件

配置完成后，执行下面命令，使之生效

sudo exportfs -ra

如果对应的文件夹没有创建，该命令会报错。

启动NFS服务

sudo systemctl start nfs-kernel-server
sudo systemctl enable nfs-kernel-server

查看安装的版本

查看安装的nfs-server的版本

nfsstat --version
nfsstat: 2.6.1

查看该server支持的nfs协议版本

cat /proc/fs/nfsd/versions
+3 +4 +4.1 +4.2

所有+后面的版本都是支持的协议版本号

客户端挂载

sudo apt install nfs-common
sudo mount -t nfs -o vers=4.2,rw,rsize=65536,wsize=65536,hard,intr,timeo=600,retrans=5 192.168.1.100:/shared /mnt

  • vers=4.2：使用NFSv4.2协议。 这里的版本必须是服务器支持的版本才行。

  • rw：挂载为读写模式。 ro 只读

  • rsize=65536 和 wsize=65536：设置读写数据块大小为64KB。单位：字节

  • hard：设置硬挂载模式，超时后无限重试（默认）。soft 设置软挂载模式，超时后返回错误

  • intr：允许中断挂载操作。（通常与 hard 一起使用）

  • timeo=600：设置NFS请求的超时时间（单位：十分之一秒）

  • retrans=5：设置重试次数为5次。（默认是3次）

其他可配置选项

  • noatime 不更新文件夹时间戳。如果不需要每次访问文件时更新访问时间戳，可以在挂载时添加noatime选项，以提升性能。
  • proto 指定传输协议（如 tcp 或 udp）
  • port 指定NFS服务器的端口号（默认是2049）
  • mountport 指定mountd服务的端口号
  • noac 禁用客户端缓存，确保数据一致性（性能较差）
  • actimeo 设置文件和目录属性的缓存时间（单位：秒）
  • lookupcache 设置目录查找缓存模式（all 或 none）
  • sec 设置安全模式（如 sys、krb5、krb5i、krb5p）
  • nolock 禁用文件锁定（适用于旧版NFS或不支持锁定的场景）
  • local_lock 设置本地锁定模式（如 none、flock、posix）
  • bg 后台挂载，如果挂载失败，客户端会在后台重试。 fg 前台挂载，如果挂载失败，客户端会立即返回错误（默认）
  • namlen 指定客户端和服务器之间传输的文件名最大长度。它的作用是限制文件名的最大字节数，以确保客户端和服务器之间的兼容性

查看当前挂载参数

mount | grep nfs
192.168.32.101:/ on /mnt/101_mount type nfs4 (rw,relatime,vers=4.0,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.33.159,local_lock=none,addr=192.168.32.101)

或者

cat /proc/mounts | grep nfs
192.168.32.101:/ /mnt/101_mount nfs4 rw,relatime,vers=4.0,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.33.159,local_lock=none,addr=192.168.32.101 0 0

本地磁盘测速

要在NFS服务器上测试一下本地磁盘的读写速度，它是决定NFS性能的一个瓶颈指标

echo 3 > /proc/sys/vm/drop_caches
time dd if=/dev/zero of=local_testfile.bin bs=1M count=10000 conv=fsync
  • echo 3 > /proc/sys/vm/drop_caches：清除文件系统缓存，确保测试结果准确。
  • if=/dev/zero：输入文件为/dev/zero，即生成零字节流。
  • of=local_testfile.bin：输出文件为local_testfile.bin。
  • bs=1M：块大小为1MB。
  • count=10000：生成10000个1MB的块，即10GB的数据。
  • conv=fsync：在写入完成后，强制同步写入磁盘，确保数据完全写入。

我一台机器的磁盘速度不高，只有30.8 MB/s

10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 339.928 s, 30.8 MB/sreal	5m40.008s
user	0m0.029s
sys	0m10.751s

另外一台机器的磁盘速度也一般，只有112 MB/s

10000+0 records in
10000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 93.6185 s, 112 MB/sreal	1m33.621s
user	0m0.009s
sys	0m7.958s

网络测速

我测试的两台机器在同一个机房，在LAN下，理论上应该是比较快的，使用iperf工具来测速。

在服务器上执行

# 默认端口是5201，我机器上占用了，所以改了端口。一般可以不用添加这个参数
iperf -s -p 5202

在客服端上执行

iperf -c 192.168.32.101 -p 5202

以下是测试结果截图， 速度是826M/s，网络带宽还是可以的。
在这里插入图片描述
在这里插入图片描述

NFS性能测试

安装parallel工具，批量往挂在盘里写文件

seq 1 1000 | parallel -j 200 dd if=/dev/zero of=/mnt/159_mount/abcd/2025/Jan/10/a200_{}.bin bs=100k count=1

使用watch来实时监控nfs状态

# server
watch -d -n 1 nfsstat -s
# client
watch -d -n 1 nfsstat -c

在这里插入图片描述
在这里插入图片描述

模拟测试在单文件夹下大量小文件时写NFS

使用fio工具来模拟生成大批量本地文件

sudo apt update
sudo apt install fio

fio --name=filegen --directory=/mnt/nfs --numjobs=10 --nrfiles=100000 --size=1M --rw=write --bs=1M --direct=1

  • –numjobs=10：启动 10 个并发任务。

  • –nrfiles=100000：生成 10 万个文件。

  • –size=1M：每个文件大小为 1MB。

  • –rw=write：测试写入性能。

  • –bs=1M：块大小为 1MB。

  • –direct=1：使用直接 I/O，绕过缓存。

生成完毕后，再通过dd来往nfs下写文件。


http://www.ppmy.cn/ops/149215.html

相关文章

学习第六十四行

学习第六十四行

vim 是一个功能强大的文本编辑器，提供了丰富的命令和功能。以下是一些常用的 vim 命令，按类别分类： 基本命令 打开文件： vim filename保存文件： :w：保存文件。:w filename：另存为新文件。 退出…
阅读更多...
用 Python 绘制可爱的招财猫

用 Python 绘制可爱的招财猫

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ ​​​​​ ​​​​​​​​​ ​​​​ 招财猫，也被称为“幸运猫”，是一种象征财富和好运的吉祥物，经常…
阅读更多...
【Uniapp-Vue3】class类和style内联样式的绑定

【Uniapp-Vue3】class类和style内联样式的绑定

一、动态绑定Class类样式 我们现在有两个Class类，一个是box，一个是active，我们想要在特定情况下去显示active。 如果我们把两个类都写在一个class中，后一个类会覆盖前一个类： 我们给class前面加上v-bind（…
阅读更多...
Vue 开发者的 React 实战指南：组件设计模式篇

Vue 开发者的 React 实战指南：组件设计模式篇

作为 Vue 开发者，在学习 React 的过程中，除了语法和状态管理的差异，组件设计模式的差异也是一个重要的方面。本文将从 Vue 开发者熟悉的角度出发，详细介绍 React 中常用的组件设计模式。 组件基础对比 Vue 组件 Vue 组件通常采…
阅读更多...
重新整理机器学习和神经网络框架

重新整理机器学习和神经网络框架

本篇重新梳理了人工智能（AI）、机器学习（ML）、神经网络（NN）和深度学习（DL）之间存在一定的包含关系，以下是它们的关系及各自内容,以及人工智能领域中深度学习分支对比整理。…
阅读更多...
【LeetCode】力扣刷题热题100道（6-10题）附源码 相交链表 回文链表 反转链表 合并链表 移动零（C++）

【LeetCode】力扣刷题热题100道（6-10题）附源码 相交链表 回文链表 反转链表 合并链表 移动零（C++）

目录 1.合并两个有序链表 2.移动零 3.相交链表 4.反转链表 5.回文链表 1.合并两个有序链表 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 ​ 输入：l1 [1,2,4], l2 [1,3,4] 输出：[1,1,2,3…
阅读更多...
Python网络爬虫：从入门到实战

Python网络爬虫：从入门到实战

Python以其简洁易用和强大的库支持成为网络爬虫开发的首选语言。本文将系统介绍Python网络爬虫的开发方法，包括基础知识、常用工具以及实战案例，帮助读者从入门到精通。 什么是网络爬虫？ 网络爬虫（Web Crawler）是一种…
阅读更多...
G-Star Landscape 2.0 重磅发布，助力开源生态再升级

G-Star Landscape 2.0 重磅发布，助力开源生态再升级

近日，备受行业瞩目的 G-Star Landscape 迎来了其 2.0 版本的发布，这一成果标志着 GitCode 在开源生态建设方面又取得了重要进展。 G-Star Landscape仓库链接： https://gitcode.com/GitCode-official-team/G-Star-landscape 2024 GitCode 开…
阅读更多...
最新文章

Copyright @ 2022~2023