FLOPS 和FLOPs的定义分别如下：

• FLOPS = Floating point operations per second：每秒执行的浮点运算, 也会被写作flops 或者flop/s， 比如在GPT-3的论文中就用了flops和petaflop/s 的写法

• FLOPs = Floating point operations 浮点运算，单数形式 FLOP=floating-point operation

FLOPS 用来描述一个GPU硬件的计算能力，也就是可以衡量用它训练一个模型需要花多长时间。一般在谈论FLOPS时，默认的浮点类型是双精度。实际上使用时一般会在FLOPS 前面加上如下表的前缀。

名字	单位	值
kiloFLOPS	kFLOPS	$10^3$
megaFLOPS	MFLOPS	$10^6$
gigaFLOPS	GFLOPS	$10^9$
teraFLOPS	TFLOPS	$10^{12}$
petaFLOPS	PFLOPS	$10^{15}$
exaFLOPS	EFLOPS	$10^{18}$
zettaFLOPS	ZFLOPS	$10^{21}$
yottaFLOPS	YFLOPS	$10^{24}$
ronnaFLOPS	RFLOPS	$10^{27}$
quettaFLOPS	QFLOPS	$10^{30}$

FLOPs 用来描述运行一个模型实例需要多少的计算量。假设有一个卷积层，其参数为$n\times (h\times w\times c+1)$, n 为输出通道数，$h\times w$是卷积核的大小，c是输入通道数，输入的Feature Map尺寸为$H\times W$, 那么有 $FLOPs=H\times W\times n\times (h\times w\times c+1)$

参考资料

1. https://stackoverflow.com/questions/58498651/what-is-flops-in-field-of-deep-learning
2. https://kb.iu.edu/d/apeq
3. https://en.wikipedia.org/wiki/FLOPS
4. https://discuss.huggingface.co/t/understanding-flops-per-token-estimates-from-openais-scaling-laws/23133
5. https://medium.com/@dzmitrybahdanau/the-flops-calculus-of-language-model-training-3b19c1f025e4