目录
一、OSS的使用
1、oss本地上传到服务器
2、oss服务器登录下载到服务器
3、oss服务器上下载到本地
二、解压缩
三、训练
四、训练结束自动关机、上传数据
五、查看实例储存空间
六、文件管理
七、所需的库
八、网盘数据上传下载
1）下载命令工具
2）使用方法
3）下载和上传阿里云盘示例
4）下载和上传百度云盘示例
九、其他
恒源云_GPUSHARE
一、OSS的使用
首先先下载OSS工具：点击下载
注意：以下命令的使用需要在OSS.exe文件的目录下进入命令窗口执行。
1、oss本地上传到服务器
# 登陆恒源云账号，使用恒源云的账号名与密码，账号名为手机号
# 如果是非中国大陆手机号码，需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!#在个人数据中创建文件夹
~# oss mkdir oss://datasets
Create folder [oss://] successfully, request id [0000017E0091FBEC9012CBB9E0EBBCE1]
Create folder [oss://datasets/] successfully, request id [0000017E0091FC1D9012CC094BBD9AF3]#将本地电脑的 "个人数据.zip" 上传至平台个人数据中的 `datasets` 文件夹下
~# oss cp 个人数据.zip oss://datasets/#查看我上传的 个人数据.zip
~# oss ls -s -d oss://datasets/
Listing objects .
Folder list:
oss://datasets/
Object list:
oss://datasets/个人数据.zip
Folder number is: 1
File number is: 12、oss服务器登录下载到服务器
下载数据 在服务器上操作# 登陆恒源云账号，使用恒源云的账号名与密码，账号名为手机号
# 如果是非中国大陆手机号码，需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!#查看个人数据中的datasets目录# oss ls -s -d oss://datasets/
Listing objects .
Folder list:
oss://datasets/
Object list:
oss://datasets/个人数据.zip
Folder number is: 1
File number is: 1#下载个人数据到/hy-tmp/目录下
~# oss cp oss://datasets/data.zip /hy-tmp/#查看已下载到/hy-tmp/目录中的数据
~# ls /hy-tmp/# 使用 unzip 解压 .zip 文件到当前目录
~# unzip -q data.zip3、oss服务器上下载到本地
# 登陆恒源云账号，使用恒源云的账号名与密码，账号名为手机号
# 如果是非中国大陆手机号码，需要加上带 + 的区号
~# oss login
Username:139********
Password:***********
139******** login successfully!# 查看文件和文件夹，-s 表示只显示文件名
~# oss ls -s oss://
Folder list:
oss://
oss://backup/Object list:
oss://backup/result-20211018-164323.zip# 下载个人数据中的 result-20211018-164323.zip 文件到当前目录（注意后面的" ." ）
~# oss cp oss://backup/result-20211018-164323.zip .
Download successfully, 310B, n/a, oss://backup/result-20211018-164323.zip --> /root/result-20211018-164323.zip, cost [57], status [200], request id [0000017C92929EF49014BE16738685B7]二、解压缩
# 解压 .tar.gz 文件到当前目录
~# tar -xf compress.tar.gz# 解压 .tar.gz 文件到 /hy-nas 目录
~# tar -C /hy-nas -xf compress.tar.gz# 将文件和文件夹压缩成 .tar.gz 文件
~# tar -zcf compress.tar.gz file directory# 解压 zip 或 rar 推荐使用 7z 命令，使用 apt 安装
~# apt-get update
~# apt-get install p7zip-full -y# 使用 unzip 解压 .zip 文件到当前目录
~# unzip -q compress.zip# 如果 zip 超过 1GB 推荐使用 7z 命令解压，-o 后直接加解压缩路径
~# 7z x compress.zip -o/hy-nas# 将文件和文件夹压缩成 .zip 文件
~# zip -q -r compress.zip file directory# 解压 .rar 文件到当前目录
~# 7z x compress.rar三、训练
加入 > log/output_patch.txt 2>&1 可以实现日志输出
python 01_train_patch.py > log/output_patch.txt 2>&1四、训练结束自动关机、上传数据
在 /root 目录下使用 vim 创建一个 upload.sh 脚本。（或者vim upload.sh创建脚本。输入脚本内容，使用 vim 编辑器，输入 I 进入插入模式，粘贴下来整个脚本内容，再按 Esc 退出 ，最后输入:wq 按 Enter 保存退出。）注意：第一行必须是 #!/bin/bash。
touch upload.sh复制以下内容到 .sh 文件中
#!/bin/bash
set -ecd /hy-tmp
# 压缩包名称
file="result-$(date "+%Y%m%d-%H%M%S").zip"
# 把 result 目录做成 zip 压缩包
zip -q -r "${file}" result
# 通过 oss 上传到个人数据中的 backup 文件夹中
oss cp "${file}" oss://backup/
rm -f "${file}"# 传输成功后关机
shutdown给 .sh 脚本添加执行权限
chmod u+x upload.sh此脚本实现了将 /hy-tmp/result 做成 zip 压缩包，再将此文件上传到了个人数据中。执行成功后执行关机操作。
在训练的任务代码中的最后调用此 /root/upload.sh 脚本运行即可，首次使用时建议先进行测试一下。如在 Python 代码中引用：
import os
os.system('/root/upload.sh')首先将upload.sh文件放入 root下
之后执行chmod u+x upload.sh给脚本添加执行权限。（设置权限后，后面就不用再次给权限了，就算关机重启也一样）
最后在训练的任务代码中的最后调用此 /root/upload.sh 脚本运行即可，首次使用时建议先进行测试一下。如在 Python 代码中引用：
import os
os.system('/root/upload.sh')cd .. # 返回上一层目录五、查看实例储存空间
#查看实例自身空间的总空间、已用空间、可用空间
df -hT | grep -w / | awk '{print "实例总空间: "$3, "\n实例已用空间: "$4, "\n实例可用空间: "$5}'#返回结果
实例总空间: 20G
实例已用空间: 45M
实例可用空间: 20G六、文件管理
ls #显示当前目录所有文件
ls /hy-tmp/ #显示/hy-tmp/目录所有文件
cd /hy-tmp/ #进入指定的/hy-tmp/目录
cd /root/ #进入 /root 目录
cd / #进入 / 目录
mkdir /hy-tmp/datafile #在/hy-tmp/下创建data目录
mkdir /root/data #在/root/目录下创建data目录
mkdir data #在当前目录创建data目录
touch datafile #在当前目录下创建datafile文件
touch /hy-tmp/datafile #在/hy-tmp/目录下创建datafile文件
mv datafile /hy-tmp/ #移动当前目录中的datafile文件到/hy-tmp/目录中
mv /root/datafile /hy-tmp/ #移动/root/datafile文件到/hy-tmp/目录中
mv /hy-tmp/datafile ./ #移动/hy-tmp/datafile文件到当前目录
cat /hy-tmp/datafile #查看/hy-tmp/datafile文件内容
cp /hy-tmp/datafile ./ #复制/hy-tmp/datafile文件到当前目录
cp /hy-tmp/datafile /root/ #复制/hy-tmp/datafile文件到/root/目录
rm /hy-tmp/datafile #删除/hy-tmp/datafile目录中的文件
rm -f /hy-tmp/data #删除/hy-tmp/data目录
ps -ef #查看当前实例中所运行的所有进程
ps -ef | grep python #查看丹铅实例中所运行的python进程
vim /hy-tmp/datafile #编辑/hy-tmp/datafile文件七、所需的库
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchsummary
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple einops八、网盘数据上传下载
1）下载命令工具
登录实例后执行如下命令进行下载gpushare-cli命令工具
curl -L https://download.gpushare.com/download/gpushare-cli-linux -o /usr/local/bin/gpushare-cli
chmod u+x /usr/local/bin/gpushare-cli#执行gpushare-cli version命令验证是否安装成功
gpushare-cli version
v1.0.112）使用方法
#gpushare-cli --help 命令可参考命令使用方法
gpushare-cli --help
恒源云网盘工具，目前支持百度云盘，阿里云盘。
请在官网授权对应网盘后，用恒源云账号登录使用。Usage:gpushare-cli [flags]gpushare-cli [command]Examples:gpushare-cli login -u=<username> -p=<password>Available Commands:ali 阿里云盘baidu 百度云盘help 帮助login 登录version 版本Flags:-h, --help 帮助3）下载和上传阿里云盘示例
1、下载阿里云盘数据到实例
- 通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>- 查看阿里云盘中文件
#展开阿里云盘中的所有文件，如下/dataset目录为是阿里云盘中的文件目录
~ gpushare-cli ali ls
加载中...
+------------------+------+--------+
| Path | ID | Size |
+------------------+------+--------+
| /dataset | | |
+------------------+------+--------+#展开阿里云盘中指定目录的所有文件
~ gpushare-cli ali ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+------------------------+--------------------------------------------+-----------+
| Path | ID | Size |
+------------------------+--------------------------------------------+-----------+
| /dataset/calib.zip | 6273f13cba015b49ef5b4f968b954a4e939f61e5 | 1.631MB |
+------------------------+--------------------------------------------+-----------+- 下载阿里云盘中的文件
#下载指令使用down，下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符，建议使用文件ID进行下载)#指定网盘文件路径下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down /dataset/calib.zip /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...1.56 MiB / 1.56 MiB [===================================] 100.00% 4.16 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105813#指定网盘文件ID下载阿里云盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli ali down 6273f13cba015b49ef5b4f968b954a4e939f61e5 /hy-tmp/
检查本地路径...
检查网盘路径...
开始下载...1.56 MiB / 1.56 MiB [===================================] 100.00% 4.31 MiB/s 0s
下载完成: /hy-tmp/calib.zip.1652105848- 查看下载到/hy-tmp/目录中的文件并解压
~ cd /hy-tmp/
~ ls
calib.zip
~ unzip calib.zip2、上传实例数据到阿里云盘
- 通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>- 上传实例中
/hy-tmp/dataset/train.zip文件到阿里云盘中的/dataset/目录中(要确保阿里云盘中存在dataset目录)。
#上传指令使用up
#注意：上传数据实例中的文件必须要写绝对路径，也就是需要从 / 开始写路径，不能使用相对路径，例如 ./train.zip 或 ../train.zip。~ gpushare-cli ali up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100% 1/1
上传完成: train.zip- 查看阿里云盘中的文件验证是否上传成功
#展开阿里云盘中的所有文件
~ gpushare-cli ali ls
/dataset #/dataset目录为是阿里云盘中的文件目录#展开阿里云盘中指定目录的所有文件来验证是否上传成功，也可以通过阿里云盘客户端登录查看。
~ gpushare-cli ali ls /dataset
#返回如下三个文件为阿里云盘中/dataset/目录中的文件，其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip4）下载和上传百度云盘示例
1、下载百度网盘数据到实例
- 通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>- 查看百度网盘中文件
#展开百度网盘中的所有文件，如下/dataset目录为是百度网盘中的文件目录
~ gpushare-cli baidu ls
加载中...
+------------------+------+--------+
| Path | ID | Size |
+------------------+------+--------+
| /dataset | | |
+------------------+------+--------+#展开百度网盘中指定目录的所有文件
~ gpushare-cli baidu ls /dataset
# Path列中展示/dataset目录下的文件
# ID列中展示该文件对应的ID
# Size列中展示该文件的大小
加载中...
+---------------------------------------+--------------------+-----------+
| Path | ID | Size |
+---------------------------------------+--------------------+-----------+
| /dataset/data_scene_flow_calib.zip | 1061409882677800 | 1.631MB |
| /dataset/calib.zip | 438325381265667 | 1.631MB |
+---------------------------------------+--------------------+-----------+- 下载百度网盘中的文件
#下载指令使用down，下载可以使用两种方式
#1. 指定网盘中的文件路径进行下载
#2. 指定网盘中的文件ID进行下载(如果文件名称有空格、特殊符号等字符，建议使用文件ID进行下载)#指定网盘文件路径下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down /dataset/calib.zip /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...1.56 MiB / 1.56 MiB [===================================] 100.00% 1.90 MiB/s 0s
下载完成: /hy-tmp/calib.zip#指定网盘文件ID下载百度网盘中/dataset/目录下的calib.zip文件到当前实例的/hy-tmp/目录
~ gpushare-cli baidu down 438325381265667 /hy-tmp/
检查网盘路径...
检查本地路径...
开始下载...1.56 MiB / 1.56 MiB [=================================] 100.00% 380.45 KiB/s 4s
下载完成: /hy-tmp/calib.zip- 查看下载到/hy-tmp/目录中的文件并解压
~ cd /hy-tmp/
~ ls
calib.zip
~ unzip calib.zip 2、上传实例数据到百度网盘
- 通过gpushare-cli命令工具登录平台；所使用的账号密码为恒源云控制台的账号密码，通过-u参数指定账号，-p参数指定密码
~ gpushare-cli login -u 186xxxxxxxx -p xxxxxxxxxxxx
登录成功
百度云盘[*********]已授权<已选择>
阿里云盘[*********]已授权<已选择>- 上传实例中
/hy-tmp/dataset/train.zip文件到百度网盘中的/dataset/目录中(要确保百度网盘中存在dataset目录)。
#上传指令使用up
#注意：上传数据实例中的文件必须要写绝对路径，也就是需要从 / 开始写路径，不能使用相对路径，例如 ./train.zip 或 ../train.zip。~ gpushare-cli baidu up /hy-tmp/dataset/train.zip /dataset/
计算文件大小...
上传中...
[==================================================] 100% 1/1
上传完成: train.zip- 查看百度网盘中的文件验证是否上传成功
#展开百度网盘中的所有文件
~ gpushare-cli baidu ls
/dataset #/dataset目录为是百度网盘中的文件目录#展开百度网盘中指定目录的所有文件来验证是否上传成功，也可以通过百度网盘客户端登录查看。
~ gpushare-cli baidu ls /dataset
#返回如下三个文件为百度网盘中/dataset/目录中的文件，其中train.zip为刚上传的文件
1061409882677800 -> data_scene_flow_calib.zip
864542844022467 -> calib.zip
827945728239665 -> train.zip九、其他
免费硬盘储存空间是在 /hy-tmp 中。/root 是服务器的系统储存空间。
