文章目录
- 背景
- 常用方法
- 代码实现
- 使用方法
- 测试代码
- 使用网络流量控制工具
- 常用工具
- Clumsy
背景
在软件开发过程中,经常需要模拟不同的网络环境来测试应用在不同条件下的表现。
这些模拟可以采用多种方式进行,包括在代码中实现随机丢包、随机延时、乱序;
使用专门的工具或调用系统接口。
模拟网络丢包是测试网络性能和稳定性的关键手段之一,它帮助开发人员和测试人员了解应用在不同网络条件下的表现,从而确保应用在实际部署时能够应对各种网络挑战。
常用方法
代码实现
- 自定义网络层:在应用程序内部实现自定义的网络层或代理,用于模拟特定的网络条件。
- 用库函数:利用编程语言提供的库函数来模拟网络丢包等条件。例如,在 Python 中可以使用 scapy 库来模拟数据包的丢失
Scapy 是一个强大的 Python库,用于创建、发送、接收和解析网络数据包。它可以用于网络研究、测试、教学以及安全审计等多种场景。
Scapy 的主要功能
- 创建数据包:可以创建各种类型的网络数据包(如 TCP、UDP、ICMP 等)。
- 发送数据包:可以直接发送数据包到网络中。
- 接收数据包:可以从网络中接收数据包,并对其进行处理。
- 解析数据包:可以解析接收到的数据包,提取出有用的信息。
- 修改数据包:可以修改数据包的内容,如 IP 地址、端口号等。
安装 Scapy
pip install scapy
使用方法
from scapy.all import *
# 创建一个 IP 数据包
ip = IP(src="192.168.1.1", dst="192.168.1.2")
# 创建一个 TCP 数据包
tcp = TCP(sport=1234, dport=80, flags="S")
# 将 IP 和 TCP 数据包组合起来
packet = ip/tcp
# 发送一个简单的 ICMP 回显请求(ping)数据包
response = sr1(IP(dst="www.example.com")/ICMP())
# 输出响应结果
print(response)
# 捕获指定数量的数据包
packets = sniff(count=10)
# 打印捕获的数据包
packets.show()
解析数据包
# 捕获数据包
packets = sniff(filter="tcp", count=10)# 遍历每个数据包并打印详细信息
for packet in packets:print(packet.summary())
测试代码
测试从本地机器(IP 地址为 192.168.1.2)到 Web 服务器(IP 地址为 192.168.1.100)的数据包在丢包环境下的表现
from scapy.all import *
import random
from selenium import webdriver
import timedef simulate_packet_loss(pkt, loss_rate=0.05):if random.random() < loss_rate:print("Packet dropped")else:sendp(pkt, iface="eth0")# 捕获数据包
pkts = sniff(filter=f"tcp and port 80 and host 192.168.1.2", count=100)# 模拟丢包
for pkt in pkts:simulate_packet_loss(pkt)# 启动 WebDriver
driver = webdriver.Chrome()# 模拟 Web 服务器 此处需要替换为具体的业务逻辑
url = "http://192.168.1.100/"
driver.get(url)# 等待一段时间
time.sleep(5)# 关闭 WebDriver
driver.quit()
使用网络流量控制工具
使用tc qdisc add dev eth0 root netem loss 10%命令可以设置eth0网卡的传输随机丢掉10%的数据包。
tc命令的主要组成部分包括qdisc(排队规则)、class(类别)和filter(过滤器),它们共同协作以控制网络流量。
- qdisc(排队规则)
是流量控制的基础,定义了网络数据包在网络接口上的排队和调度方式。常见的qdisc类型包括pfifo_fast(先进先出快速队列)、tbf(令牌桶过滤器)、htb(层次令牌桶)等。
例如,
tc qdisc add dev eth0 root tbf rate 1mbit burst 10kb latency 50ms
解释:
tc qdisc add:这个命令用于添加一个队列规则(qdisc)。
dev eth0:指定要添加队列规则的网络接口是eth0。
root:指定这是一个根队列规则。
tbf rate 1mbit burst 10kb latency 50ms:指定队列规则的具体类型为令牌桶过滤器(TBF),并设置相关的参数。其中,rate 1mbit表示带宽限制为1Mbps,burst 10kb表示突发大小为10KB,latency 50ms表示延迟为50毫秒。
// root 代表:
root关键字用于指定这是一个根队列规则,它作为eth0接口上所有流量的入口点,并根据TBF算法对流量进行初步的带宽限制、突发控制和延迟处理。这是网络流量控制中非常重要的一步,它确保了所有流量都能按照预设的规则进行管理和调度。
命令会在eth0接口上添加一个令牌桶过滤器,限制其传输速度为1Mbps,突发大小为10KB,延迟为50ms。
- class(类别)
为什么有类别
因为有精细化控制 比如层次化 优先级等需求,Class可以为每个类别分配带宽和优先级。
每个类别都有一个唯一的classid,用于标识该类别。
举例 :实现下面需求
总带宽:1 Mbps。
分配:
子类 1:最小保证带宽为 500 kbps,最大带宽为 1 Mbps。
子类 2:最小保证带宽为 250 kbps,最大带宽为 500 kbps。
子类 3:最小保证带宽为 100 kbps,最大带宽为 250 kbps。
# 创建根节点
tc class add dev eth0 parent 1:1 classid 1:1 htb rate 1mbit ceil 1mbit# 创建子类 1
tc class add dev eth0 parent 1:1 classid 1:10 htb rate 500kbit ceil 1mbit# 创建子类 2
tc class add dev eth0 parent 1:1 classid 1:20 htb rate 250kbit ceil 500kbit# 创建子类 3
tc class add dev eth0 parent 1:1 classid 1:30 htb rate 100kbit ceil 250kbit
通过 tc filter 命令将特定的流量分配到不同的子类中
# 将来自 192.168.1.100 的流量分配到子类 1
tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.1.100 flowid 1:10# 将来自 192.168.1.101 的流量分配到子类 2
tc filter add dev eth0 protocol ip parent 1:0 prio 2 u32 match ip src 192.168.1.101 flowid 1:20# 将来自 192.168.1.102 的流量分配到子类 3
tc filter add dev eth0 protocol ip parent 1:0 prio 3 u32 match ip src 192.168.1.102 flowid 1:30解释
parent:指定父节点
prio 1:表示优先级
u32:表示使用通用分类(Universal Classifier)
match ip src 192.168.1.100 匹配源 IP 地址为 192.168.1.100 的数据包
flowid:指定将匹配的数据包分配到哪个类。
具体解释
`tc class add dev eth0 parent 1:1 classid 1:10 htb rate 500kbit ceil 1mbit`
解释
class add:添加一个新的流量控制类。
dev eth0:指定在 eth0 网络接口上应用此规则
parent:指定父节点,即该类属于哪个类的子类。
classid:指定当前类的唯一标识符
htb:Hierarchical Token Bucket(HTB)算法,是一种用于网络流量控制的算法,可以实现多层次的带宽分配和控制
rate:指定该类的最小保证带宽 500 kbps
ceil:指定该类的最大带宽上限 1M
命令会在eth0接口上添加一个类别规则,将classid为1:10的流量限制为500Kbps,峰值速率为1Mbps。
- filter(过滤器)
Filter用于根据特定的规则过滤网络流量,并将其分配到不同的类别中。
过滤器可以基于IP地址、端口号、协议类型等多种条件进行匹配。
例如,
`tc filter add dev eth0 protocol ip parent 1:0 prio 1 u32 match ip src 192.168.1.2 flowid 1:10`
命令会创建一个过滤器规则,将源IP地址为192.168.1.2的流量分配到类别1:10中。
tc其他常用操作
查看当前配置:
- 使用tc qdisc show、tc class show dev 网卡 和tc filter show dev 网卡 命令可以分别查看当前系统中的队列规则、类别和过滤器配置。
- 添加/删除规则:使用add、del、change、replace等动作可以添加、删除或修改队列规则、类别和过滤器。
常用工具
Clumsy
Clumsy 是一个用于模拟弱网环境的工具,可以帮助开发者在不同的网络条件下测试他们的应用程序或服务。Clumsy 实时的将系统接收和发出的网络数据包拦截下来,人工的造成延迟,掉包和篡改操作后再进行发送。无论你是要重现网络异常造成的程序错误,还是评估你的应用程序在不良网络状况下的表现,clumsy 都能让你在不需要额外添加代码的情况下,在系统层次帮你达到想要的效果。
- 易于使用:Clumsy 提供了一个图形界面,使得设置和管理网络条件变得简单
- 多功能:除了模拟弱网环境外,Clumsy 还可以用来拦截 HTTP 请求,查看和修改请求内容。
- 跨平台:Clumsy 支持 Windows、macOS 和 Linux 等操作系统