使用mkldnn为cpu运行网络加速

news/2024/11/30 14:39:19/

最近要在用crnn,跑的pytorch模型,本来在gpu跑的好好的,但是后来由于各种原因,需要在cpu上跑,才发现cpu上跑的是真的慢,后来发现了mkldnn这个东西,这是intel开发的开源项目,就是针对cpu上运行神经网络做了一些并行优化。

用了以后,大概速度快了7,8倍吧,效果还是比较明显的。

mkldnn的github链接: https://github.com/intel/mkl-dnn
安装过程基本没发现太多问题,按照README上一步一步走就行了:

git clone https://github.com/intel/mkl-dnn.git
cd scripts && ./prepare_mkl.sh && cd ..
mkdir -p build && cd build && cmake $CMAKE_OPTIONS .. && make
make test
make doc
make install

编完以后,直接跑一下程序,并没有什么卵用……看来还需要一些步骤把mkldnn与pytorch “连接”起来。看了一下mkldnn,基本上就是提供了一个c++的借口和一些lib库,所以,要么pytorch已经做了相关处理,到时候只要添加个环境变量之类的就可以,要么就是我要重编pytorch,build工程的时候就把相关库一起编进去。找了找,没发现啥要添加的环境变量,就重编吧。

跑到一半会发现打印编译信息:

发现MKLDNN选项打开了,放心等就ok了~

编完以后就直接可以用了,至于其他工具,估计也是差不多的步骤,如果以后用到了,再补充吧~


http://www.ppmy.cn/news/575941.html

相关文章

Azure VM加速网络

目前Azure 多种机型都配置了FPGA卡,可以实现网络加速。 一、 加速网络的硬件准备 下图是Azure中支持加速网络的一种硬件的逻辑图。可以看到硬件中增加了一块FPGA卡,通过40G与网卡连接,同时FPGA还通过PCIe与CPU直接连接。这块FPGA卡是实现wa…

超全总结:神经网络加速之量化模型 | 附带代码

作者丨郝泽宇 学校丨西安交通大学人机所硕士生 研究方向丨深度神经网络压缩 鸣谢 | XJTU 魏亚东 I.C. 董豪 量化模型(Quantized Model)是一种模型加速(Model Acceleration)方法的总称,包括二值化网络(Binar…

CUDA入门和网络加速学习(四)

0. 简介 最近作者希望系统性的去学习一下CUDA加速的相关知识,正好看到深蓝学院有这一门课程。所以这里作者以此课程来作为主线来进行记录分享,方便能给CUDA网络加速学习的萌新们去提供一定的帮助。 1. Cublas概念 cuBLAS是一个BLAS的实现,…

基于Cortex-M3的IP软核实现神经网络加速的SoC设计 (0)准备工作

基于Cortex-M3的IP软核实现神经网络加速的SoC设计 (0)准备工作 关键字&#xff1a;神经网络加速&#xff0c;SoC&#xff0c;ARM处理器&#xff0c;Designstart <0>简介 最近人工智能比较火&#xff0c;但是网上有关神经网络加速的硬件电路设计相关博文比较少&#xf…

神经网络的加速

背景 目前神经网络应用在大多数的场景&#xff0c;包括计算机视觉&#xff08;包括目标识别、检测&#xff09;&#xff0c;推荐系统&#xff0c;大型的科学计算等。神经网络的计算本质上是张量计算&#xff08;tensor&#xff09;&#xff0c;因此为了加速神经网络的计算&…

Debian/Ubuntu网络加速–安装BBR增强版

BBR具体是什么&#xff0c;google去吧&#xff0c;这里简单说下&#xff0c;BBR就是个单边加速linux网络速度的一个算法。详细操作比较复杂&#xff0c;偷了个大佬的脚本&#xff0c;我长期也用这个很方便 很稳定&#xff0c;这里精简下吧。 注意&#xff1a; ①openvz的虚拟…

More is Less: 卷积神经网络加速

论文: More is Less: A More Complicated Network with Less Inference Complexity pdf: https://arxiv.org/pdf/1703.08651.pdf (祖师爷颜水成老师的文章&#xff0c;在valse2017上专门介绍了这个工作&#xff0c;所以拿来学习一番) 论文motivation和贡献 卷积神经网络虽然效…

阿里云跨境游戏及电商网络加速方案(全球加速和CDN)

一.方案场景 此方案适用于跨境游戏&#xff0c;或跨境电商场景全球网络加速&#xff0c;提升用户游戏&#xff0c;购物体验&#xff0c;提高网络速度及稳定性。 二.方案架构 涉及产品及其作用 全球加速&#xff08;GA&#xff09;&#xff1a;用于加速杭州地域客户访问美国服务…