pyinstaller OSError: could not get source code

news/2024/10/21 23:13:35/

pyinstaller打包pytorch框架分类模型报错,

报错:pyinstaller OSError: could not get source code

解决思路:网上大部分资料都是降低torchvision,然后继续解决新的报错,这里提供另一个思路,就是直接把报错的框架代码注释了,项目急着部署,有点简单粗暴,各位大佬轻喷。

解决步骤:

  首先可以看到该错误本质就是获取源码失败了,其实就是pyinstaller打包没有把这部分依赖引入进来,可能可以通过--add data另外引入包,不过我没有尝试,希望有大佬能指点一下。而我是直接修改torchvision源代码,其实就是把使用jit包的代码注释掉了以及把使用了jit的代码注释了。jit可以理解为pytorch版本的脚本语言,专门用来引入创建可序列化和可优化模型的方法。如果不确定项目是否有使用该模块或者改动源码是否有影响,可以做好备份先打包运行成功,最后试试模型推理效果。

1、看报错代码可以看出,是在torchvision/ops/misc.py路径使用到了jit,导致引入jit,因此需要到源码,找到torchvision/ops/misc.py使用jit的地方

如图所示FrozenBatchNorm2d类导致引入jit,因此继续追踪

最终锁定backbone_utils.py文件,需要此文件去除对FrozenBatchNorm2d类的使用,因为该类需要配合jit引入一些脚本。misc_nn_ops.FrozenBatchNorm2d是用来在预训练模型时候,冻结住bn的参数,大致就是训练模型才会使用到。

1、进入你所在的anaconda安装目录下,我的是

/opt/anaconda3/envs/classify/lib/python3.7/site-packages/torchvision/models/detection

2、修改backbone_utils.py文件,注释掉对jit的使用,注意一定要备份源码文件

3、下面这个步骤可能不需要,可以先尝试重新打包看看还会不会报错。我注释了上面代码之后发现还是有地方会去引用jit,所以还需要把jit相关脚本注释了。注意还是需要备份。

进入/opt/anaconda3/envs/classify/lib/python3.7/site-packages/torch/jit

修改frontend.py所在目录的__init.py文件,将jit.frontend引入去掉(这里可以看到也是在最上面的报错图里面出现的),

同时将相关函数全部去除。

 

4、最后重新打包,看看能否正常运行,如果可以运行还没完,再测试一下模型的推理效果和速度,如果和开发环境一致(主要确认注释了源代码是否有影响)即可宣布大功告成!

5、如果是其他类,只要判断对模型推理没影响也可以使用上述方法,当然,正规的操作还是多研究pyinstaller的正确使用姿势。

https://pyinstaller.org/en/stable/spec-files.html#adding-files-to-the-bundle

 补充:另外我看github官网下也有issue在讨论,可以参考:

error about pytorch.jit when run *.exe · pyinstaller pyinstaller · Discussion #6230 · GitHub


http://www.ppmy.cn/news/283593.html

相关文章

osgi 学习系列(十一)非eclipse环境启动osgi配置

先说下bundle打jar包 选中要打包的bundle,export,在弹出的view中选中下图所示 在Destination中设置导出路径,Options修改如下,直接Finish即可 下面看下启动配置的目录结构 run.bat内容如下 java -Dosgi.noShutdowntrue -Dse…

Python基于指定范围筛选并剔除Excel表格中的数据

本文介绍基于Python语言,读取Excel表格文件,基于我们给定的规则,对其中的数据加以筛选,将不在指定数据范围内的数据剔除,保留符合我们需要的数据的方法。 首先,我们来明确一下本文的具体需求。现有一个Exce…

Linux ARM平台开发系列讲解(网络篇) 2.1 Marvell 88EA6321/6320 Switch 数据手册阅读之了解芯片功能

1. 概述 注意:88EA6321/88EA6320 和 88E6321/88E6320软件上无区别,区别在于硬件外围电源上 Marvell 88EA6321/88EA6320设备是一个集成了7端口千兆以太网交换机的单芯片,带有两个集成的千兆以太网收发器。该设备支持最新的IEEE 802.1音频视频桥接(AVB)标准。这些设备使用这…

如何使用ebpf kprobe探测内核函数

前言 在这之前, 我也曾使用过ebpf来改造我自己的项目, 最后也成功引入了项目, 有兴趣的同学可以查看此文章. 如何用ebpf开启tun网卡的TUNSETSTEERINGEBPF功能_我不买vip的博客-CSDN博客 但是该文章里并没有实质性的内容, 比如ebpf的map未曾涉及, 探测类型也未曾涉及, 只是一个空…

网络协议分析(2)判断两个ip数据包是不是同一个数据包分片

一个节点收到两个IP包的首部如下: (1)45 00 05 dc 18 56 20 00 40 01 bb 12 c0 a8 00 01 c0 a8 00 67 (2)45 00 00 15 18 56 00 b9 49 01 e0 20 c0 a8 00 01 c0 a8 00 67 分析并判断这两个IP包是不是同一个数据报的分片…

leetcode周赛第二题6230. 长度为 K 子数组中的最大和

题目: 给你一个整数数组 nums 和一个整数 k 。请你从 nums 中满足下述条件的全部子数组中找出最大子数组和: 子数组的长度是 k,且 子数组中的所有元素 各不相同 。 返回满足题面要求的最大子数组和。如果不存在子数组满足这些条件&#xff0…

MT7621_基础篇(2) 芯片资料了解 二

本篇依然为MT7621相关外设的介绍,pin和交换switch。(无介绍的模块将在分析章节研究些许细节) USB3主机控制器和PHY 手册中没有任何介绍,只有寄存器描述。详情见手册寄存器列表。 网络 PSE: 线速(1000 Mbps&#xff0…

Linux - 如何根据名字杀掉一个进程

Linux提供了许多工具来管理系统中的进程。你可以用它们来创建、克隆、甚至销毁进程(create, clone, destroy)。有时你可能需要在Linux中按名称杀死所有进程。在Linux中,有多种方法可以做到这一点。你可以使用pkill、pgrep、pidof和killall中的任何一个函数。在这篇文…