关于谷歌云计算的使用操作(简略版)
谷歌云盘:https://drive.google.com/
翻墙订阅:链接
谷歌云盘创建操作:
1
2
3.添加Colaboratory关联
设置免费的GPU
它是很容易更换默认的硬件(None,GPU,TPU),通过 修改->笔记本设置或者代码执行程序->更改运行时类型来选择GPU,作为硬件加速.
Colaboratory命令:
查看GPU:
导入Google Colab:
from google.colab import drive drive.mount('/content/drive/')
1 进入路径:
%cd /content/xxx
2 测试torch:
import torch
print(torch.cuda.is_available())
x = torch.rand((3,5))
print(x)
在Colaboratory运行代码:
下载我们需要的一些包
requirements.txt文件:
!pip install -r requirements.txt
解压zip:!unzip xxx.zip
运行训练模型:!python train.py
注意事项
1 Colab是带有GPU的linux虚拟机,执行linux命令时前面需要加“ !”,执行python代码时可以直接编写执行。
2 每次重新登录需要挂载Google Drive,会在虚拟机里生成一个drive(即/content/drive/)文件夹,然后要执行命令将当前路径切换到/content/drive/My Drive/,才可以看到谷歌云盘上的文件。
3 Colab最多连续使用12小时,超过时间系统会强制掐断正在运行的程序并收回占用的虚拟机。并且经常使用GPU的colab用户之后分配到使用GPU的优先级会变低,所以不用的使用请将runtime type设置为None。
4 上传数据集的时候,一定要上传到谷歌网盘中,并且一定要上传的是压缩包,在Colaboratory中解压才可以。
5 每运行一步的时候,需要等待的时间都特别长,一直是在转圈
6 挂载只有12个小时,也就是说12小时之后你就需要重现挂载一次,所以就需要我们在进行模型训练的时候记得要加上checkpoint,不然你如果训练的模型超过12小时,Google断开挂载你就白白浪费12小时啦。
7 假如自己离开页面太久的话,也会自动断掉的。假如电脑断网了,或者关机重启了,只要时间不是特别长一般是没事的,但假如说时间太久的话,就只能是重新训练了
8 长时间运行一类任务会断掉