今天偶然刷到了

Accelerate Sentence Transformers with Hugging Face Optimum (philschmid.de)

看到可以是用 optimum 调用 onnx API 加速 embedding 模型在 CPU 上的推理速度，而且相比之前：

使用 onnx 使得 embedding 生成速度提高 4 倍（和原生 sentence transformer 模型对比）-CSDN博客

调用方式更为简单，就研究了下如何在 GPU 上加速。

结果

[Optimum] OnnxModel Runtime gpu Inference time = 3.22 ms
Sentence Transformer gpu Inference time = 17.63 ms

可以看到使用 optimum 推理速度，还会更快些。

完整的代码可以查看：

github.com/amulil/vector_by_onnxmodel