借助 .pth 文件完成多个 Python 解释器的合并

问题描述

如果你在 Ubuntu 20.04 中装了 conda，那么你的 Ubuntu 会有这些 Python 解释器：

/usr/bin/python3：系统的解释器 (版本为 3.8.10，含有 ROS 模块)
/opt/miniconda3/bin/python：base 环境的解释器
/opt/miniconda3/envs/*/bin/python：虚拟环境的解释器

对于 ROS 玩家而言，只要不使用 conda 就有很多好处：

不会因为环境变量导致各种奇怪的报错
只要用系统的 Python 解释器就万事大吉

但同时也有一些坏处：

不能使用不支持 Python 3.8 的库
万一把系统的 Python 解释器稿费了，可能就要重装系统了

如果既要用 conda 的虚拟环境 (version ≥ 系统解释器)，又要用系统解释器的 ROS 模块，就需要通过 .pth 文件完成多个 Python 解释器的合并

试错：PYTHONPATH

Python 的模块通常是一个包含 .py 文件、二进制文件的文件夹，只要我们的 Python 解释器能找到这个文件夹就能调用对应的模块

如果我们设置了 PYTHONPATH 的值，那么这其中的路径会位于 `sys.path` 的最前方——也就是 Python 解释器在执行 import 时，会优先搜索这个路径下的模块

PYTHONPATH=/opt/ros/noetic/lib/python3/dist-packages

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# python

Python 3.9.0 (default, Nov 15 2020, 14:28:56)

[GCC 7.3.0] :: Anaconda, Inc. on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> import catkin_pkg

Traceback (most recent call last):

File "<stdin>", line 1, in <module>

ModuleNotFoundError: No module named 'catkin_pkg'

>>> import sys

>>> sys.path

['', '/opt/ros/noetic/lib/python3/dist-packages', '/opt/miniconda3/envs/tongzj/lib/python39.zip', '/opt/miniconda3/envs/tongzj/lib/python3.9', '/opt/miniconda3/envs/tongzj/lib/python3.9/lib-dynload', '/opt/miniconda3/envs/tongzj/lib/python3.9/site-packages']

尽管如此，我们还是不能找到 catkin_pkg，那么又通过以下步骤对 PYTHONPATH 进行修正

系统解释器：

root@2c41537759b7:/home/workbench# python3
Python 3.8.10 (default, Nov 7 2024, 13:10:47)
[GCC 9.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import catkin_pkg
>>> catkin_pkg.__file__
'/usr/lib/python3/dist-packages/catkin_pkg/__init__.py'

export PYTHONPATH=/opt/ros/noetic/lib/python3/dist-packages:/usr/lib/python3/dist-packages

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# python
Python 3.9.0 (default, Nov 15 2020, 14:28:56)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.

>>> import catkin_pkg
>>> import sys
>>> sys.path
['', '/opt/ros/noetic/lib/python3/dist-packages', '/usr/lib/python3/dist-packages', '/opt/miniconda3/envs/tongzj/lib/python39.zip', '/opt/miniconda3/envs/tongzj/lib/python3.9', '/opt/miniconda3/envs/tongzj/lib/python3.9/lib-dynload', '/opt/miniconda3/envs/tongzj/lib/python3.9/site-packages']

现在可以正常导入模块了，但是如果使用 pip 的话，很容易就发现不对劲：虚拟环境应该使用 /opt/miniconda3/envs/tongzj/bin/pip，但是报错的来源都是 /usr/lib/python3 (也就是系统解释器)

或者说，虚拟环境使用了系统解释器的 pip —— 这是因为系统解释器的 pip 模块位于 /usr/lib/python3/dist-packages

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# pip install torch==2.4.1 torchvision==0.19.1 torchaudio==2.4.1 --index-url https://download.pytorch.org/whl/cu121
Traceback (most recent call last):
File "/opt/miniconda3/envs/tongzj/bin/pip", line 7, in <module>
from pip._internal.cli.main import main
File "/usr/lib/python3/dist-packages/pip/_internal/cli/main.py", line 10, in <module>
from pip._internal.cli.autocompletion import autocomplete
File "/usr/lib/python3/dist-packages/pip/_internal/cli/autocompletion.py", line 9, in <module>
from pip._internal.cli.main_parser import create_main_parser
File "/usr/lib/python3/dist-packages/pip/_internal/cli/main_parser.py", line 7, in <module>
from pip._internal.cli import cmdoptions
File "/usr/lib/python3/dist-packages/pip/_internal/cli/cmdoptions.py", line 25, in <module>
from pip._internal.locations import USER_CACHE_DIR, get_src_prefix
File "/usr/lib/python3/dist-packages/pip/_internal/locations.py", line 19, in <module>
from pip._internal.utils import appdirs
File "/usr/lib/python3/dist-packages/pip/_internal/utils/appdirs.py", line 13, in <module>
from pip._vendor import appdirs as _appdirs
ImportError: cannot import name 'appdirs' from 'pip._vendor' (/usr/lib/python3/dist-packages/pip/_vendor/__init__.py)

如果我们可以把 /usr/lib/python3/dist-packages 放在 `sys.path` 的末尾就可以避免这个问题

解决方案

要让虚拟环境的解释器找到系统解释器的 ROS 模块，我们可以使用 .pth 文件来拓展 Python 模块的搜索路径

经过测试，Windows 和 Ubuntu 系统下的虚拟环境，site-packages 文件夹下的所有 .pth 文件都是有效的

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# python

Python 3.9.0 (default, Nov 15 2020, 14:28:56)

[GCC 7.3.0] :: Anaconda, Inc. on linux

Type "help", "copyright", "credits" or "license" for more information.

>>> import sys

>>> sys.path

['', '/opt/ros/noetic/lib/python3/dist-packages', '/opt/miniconda3/envs/tongzj/lib/python39.zip', '/opt/miniconda3/envs/tongzj/lib/python3.9', '/opt/miniconda3/envs/tongzj/lib/python3.9/lib-dynload', '/opt/miniconda3/envs/tongzj/lib/python3.9/site-packages']

.pth 文件的格式如下 (可以有多行，每一行都是一个搜索路径)：

/usr/lib/python3/dist-packages

而如何定位 site-packages 的位置？site-packages 目录下不仅有我们通过 pip install 安装的包，还有 pip 模块，所以有：

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# python
Python 3.9.0 (default, Nov 15 2020, 14:28:56)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import pip
>>> pip.__file__
'/opt/miniconda3/envs/gsicpslam/lib/python3.9/site-packages/pip/__init__.py'

故我们可以通过以下代码来进行 .pth 文件的读写

python">from pathlib import Pathimport pipSITE_PACKAGES = Path(pip.__file__).parent.parentclass PythonExtLibs:f = SITE_PACKAGES / "extlib.pth"@classmethoddef load(cls):return set(p for p in cls.f.read_text().splitlines() if p) if cls.f.is_file() else set()@classmethoddef dump(cls, ext):ext = [str(p.absolute()) for p in map(Path, ext) if p.is_dir()]cls.f.write_text("\n".join(ext)) if ext else cls.f.unlink(missing_ok=True)return ext@classmethoddef add(cls, paths):ext = cls.load()return cls.dump(ext | set(map(str, paths)))@classmethoddef remove(cls, paths):ext = cls.load()return cls.dump(ext - set(map(str, paths)))if __name__ == "__main__":print(PythonExtLibs.dump(["/usr/lib/python3/dist-packages"]))

.pth 文件中的路径被成功添加到 `sys.path` 的末尾，解决

虚拟环境：

(tongzj) root@2c41537759b7:/home/workbench# python
Python 3.9.0 (default, Nov 15 2020, 14:28:56)
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import sys
>>> sys.path
['', '/opt/ros/noetic/lib/python3/dist-packages', '/opt/miniconda3/envs/tongzj/lib/python39.zip', '/opt/miniconda3/envs/tongzj/lib/python3.9', '/opt/miniconda3/envs/tongzj/lib/python3.9/lib-dynload', '/opt/miniconda3/envs/tongzj/lib/python3.9/site-packages', '/usr/lib/python3/dist-packages']

潜在问题的解决

完成以上步骤后，虚拟环境不仅能找到自己的模块，还能找到系统解释器的模块

我们把系统解释器模块的路径添加到了 `sys.path` 的末尾，使得虚拟环境优先使用自己的模块，如果没有的话再使用系统解释器的模块

那么，不难猜测还可能有以下问题：

	系统解释器	虚拟环境	问题
模块 1	无	无	未发现
模块 2	无	有	因为 pip 检测到已经安装该模块，无法在缺少该环境的一方进行 install
模块 3	有	无	因为 pip 检测到已经安装该模块，无法在缺少该环境的一方进行 install
模块 4	有	有	因为两个环境同时具有一个模块，导致 pip uninstall 无法正确定位需要卸载的部分 (如下所示)

(tongzj) root@2c41537759b7:/home/workbench# pip install -r requirements.txt
Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
Collecting opencv-contrib-python (from -r requirements.txt (line 1))
......
Attempting uninstall: click
Found existing installation: Click 7.0
Uninstalling Click-7.0:
Successfully uninstalled Click-7.0
Attempting uninstall: blinker
Found existing installation: blinker 1.4
error: uninstall-distutils-installed-package

× Cannot uninstall blinker 1.4
╰─> It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.