OpenMMLab-AI实战营第二期——3.基于RTMPose的耳朵穴位关键点检测（Colab+MMPose）

news/2025/2/23 2:36:10/

文章目录

  • 1. Colab和Google云端硬盘
    • 1.1 建立项目文件和jupyter文件
    • 1.2 Colab运行时选择
    • 1.3 关联Colab中的文件和Google云端硬盘的文件
  • 2. Colab和MMPose
    • 2.1 环境配置
    • 2.2 配置文件修改
  • 3. Colab相关知识

1. Colab和Google云端硬盘

参考：

  • 利用Colab上的TPU训练Keras模型（完整版）
  • 使用colab进行深度学习训练
  • 利用colab实现AI绘画自由

1.1 建立项目文件和jupyter文件

进入谷歌云，建立一个当前项目的文件夹，同时里面必须有一个.ipynb文件（后续直接用colab打开这个文件），项目结构类似：

|--OpenMMLab|--Exercise1|--checkpoint|--outputs|--Config|--exercise1.ipynb|--Exercise2...

总之把你希望要保留的文件都建立相应的文件夹，然后第一次打开.ipynb的时候，记得选择Colab，此时，这个文件就和Google云端硬盘关联了，在colab中对这个文件进行修改，会保存到Google云端硬盘中。
在这里插入图片描述

1.2 Colab运行时选择

有两种方式可以选：

  1. 修改->笔记本设置，可以选GPU，也可以选TPU，随便选吧
    在这里插入图片描述
  2. 右上角有个资源显示，点击，选择更改运行时类型
    在这里插入图片描述

注意：

  • 选择更改运行时类型后，之前程序运行的变量和文件都会被删除（jupyter文件不会删除，之前建立的和Google文件的关联，包括上传的文件，都会倍删除）。
  • 所以一定要先选好运行时，再去进行剩下的操作。
  • 选好运行时之后，右上方会变成“正在初始化” “分配”之类的状态，分配完成后，能看到RAM及磁盘使用情况说明分配到资源了，如果显示“重新连接”或者“忙碌”状态，说明没有分到。。
  • 但是我遇到了一开始有分配资源，能看到RAM等，但是跑了一段时间，变成忙碌了。。同时下面还显示红色叹号时间，但是训练还在继续（而且好像还是在GPU上训练的。）
    在这里插入图片描述

1.3 关联Colab中的文件和Google云端硬盘的文件

由于Colab中的命令行是pro版本才可以使用的，所以想使用命令行只能在jupyter借助! cmd来实现

注意，先选好运行时，再进行文件的关联，不然去新的运行时之后，还要再重来一遍。

!pwd
> /content
# 说明当前默认的根目录是/content
from google.colab import drive
drive.mount('/content/drive')
# 可以理解成本机和镜像里文件对应的意思，即 Colab中的/content 对应Google云端硬盘的 /content/drive
# 这只是目录对应，但是如果想在Colab看到这个文件，需要建立关联（软连接）!ln -s /content/drive/'My Drive'/OpenMMLab /content/OpenMMLab
#建立软连接后，就可以在Colab左侧看到这个文件夹了，在Colab中对/content/OpenMMLab中内容进行的操作，在Google中也可以看到# 如果搞不清在Colab的路径，就
import os
print(os.getcwd())

另外，如果要解压文件的话，例如：

# 关联到content的直接目录下
!ln -s /content/drive/'My Drive'/Ear210_Dataset_coco.zip /content# 解压要指定目录，用-d,如果不指定解压目录的话，你就找不到解压后的文件夹了。。
!unzip /content/Ear210_Dataset_coco.zip  -d /content/

参考：stackoverflow.com-Extract Google Drive zip from Google colab notebook

2. Colab和MMPose

2.1 环境配置

# 查看当前版本，Colab的环境非常新，是py3.10+pytorch 2.0.1+cu118
!pip show torch
> Name: torch
Version: 2.0.1+cu118
Summary: Tensors and Dynamic neural networks in Python with strong GPU acceleration
Home-page: https://pytorch.org/
Author: PyTorch Team
Author-email: packages@pytorch.org
License: BSD-3
Location: /usr/local/lib/python3.10/dist-packages
Requires: filelock, jinja2, networkx, sympy, triton, typing-extensions
Required-by: fastai, torchaudio, torchdata, torchtext, torchvision, triton

环境太新，导致后面安装mmcv的时候找不到现成的wheel，需要从tar.gz编译，编译一直过不去，mmcv一直卡在：Building wheels for collected packages: mmcv。可以看看文档，后来使用编译还是会卡住。

参考：

  • Installation takes forever #1386
  • Colab stuck at Building wheels for collected packages: mmcv-full #6909
  • mmcv Documentation-常见问题-安装问题,P65

所以对Colab中默认的torch版本降级，

"""
1. 降级pytorch
py3.10支持的torch版本，和参考链接里不太一样，自己可以根据提示支持的版本去调整。
"""
!pip3 install install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html"""
2.安装其他包
由于pycocotools这个包容易出问题，所以安装完可以再确认一下
"""
!pip install -U openmim
!mim install mmengine
!pip install opencv-python pillow matplotlib seaborn tqdm pycocotools -i https://pypi.tuna.tsinghua.edu.cn/simple!pip show pycocotools #确认"""
3. 安装OpenMMLab系列的包，用mim安装
"""
!mim install 'mmcv==2.0.0rc3'
!mim install "mmdet>=3.0.0rc6""""
4. 从git安装mmpose和mmdetection
"""
import os
print(os.getcwd()) # 随时查看自己的当前执行目录，不然可能就会安装到自己不希望的位置
> /content#------1.mmpose--------
# 删掉原有的 mmpose 文件夹（如有）
!rm -rf mmpose
!git clone https://github.com/open-mmlab/mmpose.git -b tutorial2023# 进入主目录
import os
os.chdir('mmpose')
print(os.getcwd())
!mim install -e .!pip show mmpose # 验证
> Name: mmpose
Version: 1.0.0
Summary: OpenMMLab Pose Estimation Toolbox and Benchmark.
Home-page: https://github.com/open-mmlab/mmpose#-------2. mmdetection------
#先切换目录
print(os.getcwd())
os.chdir('../')
print(os.getcwd())
>/content/mmpose
/content# 删掉原有的 mmdetection 文件夹（如有）
!rm -rf mmdetection# 从 github 上下载最新的 mmdetection 源代码
!git clone https://github.com/open-mmlab/mmdetection.git -b 3.x# 进入主目录
os.chdir('mmdetection')
print(os.getcwd())
!pip install -v -e .!pip show mmdet #验证
>Name: mmdet
Version: 3.0.0
Summary: OpenMMLab Detection Toolbox and Benchmark
Home-page: https://github.com/open-mmlab/mmdetection#-----3. 检查环境---------os.chdir('../') #切换会默认目录/content，为后续执行做准备
print(os.getcwd())
>/
# 检查 Pytorch
import torch, torchvision
print('Pytorch 版本', torch.__version__)
print('CUDA 是否可用',torch.cuda.is_available())# 检查 mmcv
import mmcv
from mmcv.ops import get_compiling_cuda_version, get_compiler_version
print('MMCV版本', mmcv.__version__)
print('CUDA版本', get_compiling_cuda_version())
print('编译器版本', get_compiler_version())
> Pytorch 版本 1.11.0+cu113
CUDA 是否可用 True
MMCV版本 2.0.0
CUDA版本 11.3
编译器版本 GCC 9.3

参考：colab安装mmcv-full和mmclassification

2.2 配置文件修改

由于是初学，所以这里并不改什么网络结构，训练参数，只是改一下数据文件位置，保证这个程序能跑起来。
当前的目录结构：

|--content|--Ear210_Keypoint_Dataset_coco|--rtmdet_tiny_ear.py|--mmpose|--mmdetection|--.exercise1.ipynb(其实应该还有个隐藏的exercise.ipynb文件，就是你当前执行所在的笔记本)

rtmdet_tiny_ear.py文件中的数据配置

# 数据集类型及路径
dataset_type = 'CocoDataset'
# 如果 rtmdet_tiny_ear.py和Ear210_Keypoint_Dataset_coco同级，可以直接
data_root = 'Ear210_Keypoint_Dataset_coco/' #主要是这个
# 否则 最好
data_root = '/content/Ear210_Keypoint_Dataset_coco/' #主要是这个metainfo = {'classes': ('ear',)}
NUM_CLASSES = len(metainfo['classes'])

训练使用的命令：

# 为了防止找不到，所以都直接使用了一个绝对目录
!python /content/mmpose/tools/train.py --work-dir /content/work_dir/rtmpose_small_ear /content/rtmpose_tiny_ear.py

如果不在命令行指定，或在config中修改work_dir的话，

  • 则默认就是在当前这个jupyter执行的同级目录下创建work_dir，
  • 例如：work_dir = './work_dirs/rtmdet_tiny_ear'，都没有/content，所以默认会放在一个当前用户不可见的位置。

跑的时候可以看看，GPU利用率大概是多高，可以调调。
在这里插入图片描述

参考：

  • ✅mmdetection-Train a model
  • mmdetectionV2 + colab 超详细目标检测攻略，学生党入门必看

3. Colab相关知识

参考：Colaboratory-常见问题解答

1. 我的笔记本存储在什么地方？可以共享吗？

Colab 笔记本存储在 Google 云端硬盘上，也可以从 GitHub 加载。您可以共享 Colab 笔记本，就像使用 Google 文档或表格一样。只需点击任一 Colab 笔记本右上角的“共享”按钮，或按照相关 Google 云端硬盘文件共享说明操作。

2. Colab 中的笔记本可以运行多久？

Colab 会优先处理交互式计算。如果您的系统处于空闲状态，运行时将超时。

  1. 在免费版 Colab 中，笔记本最长可以运行 12 小时，具体取决于实际可用情况和您的使用模式。Colab Pro、Pro+ 和随用随付方案会基于您的计算单元余量为您提供更多可用的计算资源。
  2. 通常，笔记本最长可以运行 12 小时，具体取决于实际可用情况和您的使用模式。购买 Pro、Pro+ 或随用随付方案后，如果您的可用计算单元已用尽，那么代码执行可在后端终止。
    如果您有足够的计算单元，Colab Pro+ 支持代码连续执行长达 24 小时。只有在代码执行终止后才会应用空闲超时。

所以最好设置当前页面一直是活跃状态，

  • 参考使用Colab训练步骤（有点mmdetection内容），
  • 但是把上面js代码放到浏览器的console报错了。
  • 上面的那种设置已经无效了，新的可用的是：stackoverflow.com-How to keep the google colab running without disconnecting in 2022

在浏览器的开发者工具的控制台里，输入以下函数

var sw = function ConnectButton(){console.log("Connect pushed"); document.querySelector("#top-toolbar > colab-connect-button").shadowRoot.querySelector("#connect").click() 
}
setInterval(ConnectButton,60000);# 如果要清除上面的触发器的话，可以。不用sw接也可以，默认function会返回一个数值，clear那个数值即可
clearInterval(sw)

但是好像用处不大？？？

参考：

  • stackoverflow.com：Stop setInterval call in JavaScript

http://www.ppmy.cn/news/208551.html

相关文章

C语言遥控器程序,红外遥控

C语言遥控器程序,红外遥控

红外遥控器的发送装置和接收装置以及关于载波等一些原理大家可参看《手把手教你学51单片机》文档第16章知识内容，这里笔者只简单说明如何运用该模块并讲解代码的实现。 1.接收装置 HS0038这个元器件是用来接收红外遥控器发送来的信号做处理的，我们知道红…
阅读更多...
单片机红外线遥控

单片机红外线遥控

项目简介： (TC9012)红外遥控器发送红外信号, 红外接收模块接收到信号后,通过外部中断0传送给(51)单片机; 单片机对接收到的每帧数据解码后将相应的按键值显示在LCD1602上; 并实现对相应外设的控制:0-开buzzer, 1-关buzzer; 2-开LED, 3-关LED。 TC9012遥控器相关参数…
阅读更多...
我谈学习型红外遥控（一）

我谈学习型红外遥控（一）

跟着项目组长一起做了几个空鼠项目，一直觉得自己长劲不大，因为自己只负责简单的键盘定义部分，最终的整个软件架构其实自己都不太了解。从去年11月份开始，一直都很忙，一个接着一个做，我的任务也只是键盘部分…
阅读更多...
arduino笔记20：红外遥控

arduino笔记20：红外遥控

红外LED 红外接收器 红外遥控的通讯协议 用到一个库： arduino红外接收器： IRrecvDemo 。 decode()库函数用于判断红外接收器所接收到的红外信号是否可以被解析。 如可以成功解析，则返回非零数值。并将解析结果存储于results中。…
阅读更多...
红外遥控学习，万能遥控解决方案

红外遥控学习，万能遥控解决方案

红外遥控学习，万能遥控解决方案 1. 原理2. 思路3. 红外遥控接收3.1 初始化定时器3.2 定时器输入捕获3.3 获取数据3.4 红外接收测试3.5 测试过程 4. 发送程序4.1 初始化定时器和定时器的通道4.1发送函数 1. 原理 目前电视机、空调等家电大部分还是采用的红外遥控的&…
阅读更多...
红外遥控器

红外遥控器

文章目录 前言续言一、红外基础知识二、数据协议三、编码1.编码基础2.编码格式 四、红外解码过程五、控制空调1.准备阶段2.解码3.编写程序4.烧写程序 六、遥控器硬件制作1.主控芯片2.红外发射3.OLED显示屏4.稳压电路5.升压电路6.充电电路7.矩阵按键8.时钟电路9.存储芯片10.WIIF…
阅读更多...
【红外遥控器】基于FPGA的学习型红外遥控器verilog开发

【红外遥控器】基于FPGA的学习型红外遥控器verilog开发

1.软件版本 quartusii12.1 2.系统设计概述 技术的发展使得视频和音频设备越来越智能化，红外遥控具有抗干扰，电路简单，编码及解码容易，功耗小，成本低的优点，因此对这些设备的控制，红外遥控仍然是首选，目前几乎所有的视频和音频设备都支持这样的控制方式。光谱位于红色…
阅读更多...
Arduino-IRremote-红外遥控器,发射与接收

Arduino-IRremote-红外遥控器,发射与接收

红外线接收示例 本文使用的红外接收器为:HX1738,连接方法如下 /** IRrecvDemo* 功能说明* 演示如何利用Arduino开发板接收红外遥控器控制信号，* 并将接收到的红外遥控器信号内容通过串口监视器显示出来。* * 本程序基于Ken Shirriff开发的IRremote库。如需获得该…
阅读更多...
最新文章

Copyright @ 2022~2023